Digital

Warum Apps wie Yelp so große Probleme mit Transphobie haben

Wer gerade bei der Empfehlungs-App Yelp in Berlin nach einem Lokal sucht, der bekommt auch transphobe Vorschläge.

Wer etwa beginnt "Tra" zu tippen, bekommt den Begriff "Transe" in der Autovervollständigung vorgeschlagen:

Bild

Der Begriff wird meist abwertend und verletztend für Trans-Menschen verwendet. Und es gibt ihn nicht nur in der deutschen Yelp-App auf. Zuvor hatte das US-amerikanische Nachrichtenmagazin Daily Beast über Probleme bei Yelp US berichtet.

Dort tauchte der transgender-feindliche Begriff "Tranny" immer wieder in den Suchanfragen auf. Wer das ganze Wort "Tranny" eingab, bekam in San Francisco sogar den Suchvorschlag "Tranny Massage" angeboten.

Eine Dating-Seite für Transmenschen hatte auf das Problem aufmerksam gemacht:

Das transphobe System

Eins vorweg, Yelp hat nicht alleine Probleme mit transphobem Vokabular. Sie kommen durch die Algorithmen zustande, die Plattformen wie Yelp häufig benutzen und programmieren.

Es handelt sich dabei um Computerprogramme, die Suchergebnisse und Newsfeeds für uns vorfiltern. Durch sie können Anbieter wie Facebook oder eben Yelp die für uns am interessantesten Such-Ergebnisse, Posts und Nachrichten präsentieren. Die Software dahinter ist meist ein gut gehütetes Geschäftsgeheimnis.

In der Vergangenheit gab es deshalb immer wieder Probleme:

Weil sie mit unseren Daten arbeiten, füttern wir Algorithmen auch mit unseren Vorurteilen, Fantasien und Meinungen. Eben mit allem, was wir so den lieben langen Tag online eintippen.

So lässt sich auch erklären, dass die Yelp-App  das Wort "Transe" mit bestimmten Lokalen in Berlin in Verbindung bringt. Vermutlich gab es zuvor viele Yelp-User, die Beleidigungen wie diese über die Besucher oder Besitzer mehrere Lokale in die Kommentare geschrieben hatten. Die App hat diesen Input dann verarbeitet und selbst angeboten.  

Der Extremfall:

Wo sowas enden kann, zeigte schon 2016 das Chat-Programm "Tay" von Microsoft.

Auf Twitter sollte es mit jungen Usern interagieren und mit den gewonnen Daten immer schlauere Sätze schreiben können:

Los legte Tay mit: "Stoked to meet you", Am Ende postete der Bot Sätze wie: "Hitler was right I hate Jews"

Die Programme können auch Inhalte unterdrücken, die völlig ok sind:

Ende 2017 etwa blockte ein Algorithmus von Twitter Bilder, die unter den Hasthags #Bisexual und #Bisexuality liefen. Nur, weil das Filter-Programm einen pornographischen Zusammenhang annahm.

So sah das aus:

Unter dem Strich gibt es zahllose Beispiel für Probleme, die durch Algorithmen auftauchen: Von der Suchanfrage, die nur weiße Menschen zeigt. Über das Löschen von kritischen inhalten. Bis hin zu automatisch generierten YouTube-Videos für Kinder, die brutalste Szenen zeigen. Alles kommt aus dem System.

Die große Debatte

Nun lassen sich Programme nicht einfach kontrollieren oder überwachen, wie das oft gefordert wird. Etwa im vergangenen Jahr vom damaligen Justizminister Heiko Maas: Ein Algorithmus spiegelt und verstärkt nur das, was er aus dem Internet aufsaugt. Die Software selbst hat keine eigene Meinung und wird auch in seltenen Fällen mit dem Ziel programmiert, homophob oder rassistisch zu sein.

Dennoch kritisieren Forscher und Netzpolitiker, dass Unternehmen ihre Programme gegenüber der Öffentlichkeit geheim halten.

Das sei unter anderem deshalb so gefährlich, weil mittlerweile kaum noch jemand nachvollziehen kann, wie ein Algorithmus überhaupt seine Entscheidungen trifft.

Der anerkannte IT-Sicherheitsexperte Bruce Schneier sagt sogar:

"Nicht einmal Google versteht seine Künstliche Intelligenz noch"

wired

Die Folgen von Fehlentscheidungen der Programme könnten in Zukunft sogar noch gravierender werden. Gerade debattieren Experten beinahe irre klingende Fragen: Wie soll man lernende Programme kontrollieren, die selbst und ohne Mensch über das Abfeuern einer tödlichen Rakete entscheiden? Was, wenn ein in Schieflage geratener Algorithmus darüber entscheidet, wer eine rettende Krebstherapie bekommt, und wer nicht?

Zwar gibt das neue Datenschutz-Gesetz der EU erste Antworten und Richtlinien für solche Fragen vor. Weil die Entwicklung der Systeme aber so schnell geht, und weil sie so kompliziert ist, kommt die öffentliche Debatte kaum hinterher.

So stolpern eben auch die Unternehmen selbst immer wieder über neue Fallbeispiele, wie jetzt eben das Wort "Transe", die für Negativschlagzeilen sorgen.

So reagiert Yelp

Wir haben Yelp gefragt, wie es selbst zu den Problemen in seiner App steht. Die US-Version hat das Wort "Tranny" bereits aus den Anfragen entfernt.

Auch in Deutschland verspricht die Plattform gegenüber watson, die "Transen" so schnell wie möglich offline zu nehmen.

Eine Sprecherin schreibt:

"Wir wollen noch einmal klar sagen, dass kein Mensch diese Ergebnisse und Vergleiche programmiert hat"

watson

Der Fehler komme aus der Maschine, sei ein Resultat der Verarbeitung von historischen User-Suchanfragen.

Das stimmt sicher, auch kann Yelp die betroffenen Wörter entfernen. Solange der Algorithmus das Problem aber nicht versteht, wird er auch in Zukunft Vorurteile lernen und wieder ausspucken.

Umfrage

Für wie groß haltet ihr die Probleme der Algorithmen?

  • Abstimmen

24

  • Groß, keiner hat die Programme wirklich mehr unter Kontrolle.50%
  • Keine Bange. Das ist ein technisches Problem, dafür muss es eine Lösung geben. Ich ruf mal den Admin an. 13%
  • Das hat ein Mensch programmiert, das kann man nicht alles auf die Software schieben. (Hat der Admin gesagt)8%
  • Ich bin heute zum ersten Mal hier in diesem internet, aber eine schöne Website habt ihr Watsons8%
  • 40413%

Mehr zum digitalen Leben:

Warum Schüler weiter kein besseres WiFi bekommen – ein Scheitern in 3 Akten

Link zum Artikel

KI – wie China das Rennen um künstliche Intelligenz gewinnen will

Link zum Artikel

Ihr könnt Siri jetzt Google nennen – mit diesem einfachen Trick

Link zum Artikel

Gewalt, Hass und Kinderpornos: So arbeitet die heimliche Müllabfuhr des Internets

Link zum Artikel

Dieses Gesetz nervt Firmen und selbst Angela Merkel. Das sagt der Mann, der dahinter steht

Link zum Artikel

Neunjährige Rapperin prahlt auf Instagram mit ihrem Reichtum

Link zum Artikel

Die Grayscale-Funktion hat mich von meiner Handy-Sucht befreit

Link zum Artikel

Programm erstellt Fake-Profilbilder – erkennst du den Unterschied?

Link zum Artikel

Du findest Facebook immer noch sympathisch? Dann lies mal diesen (geheimen) Bericht

Link zum Artikel

watson-Redakteure verraten: So war mein 1. Mal im Internet

Link zum Artikel
Alle Artikel anzeigen

Das könnte dich auch interessieren:

Markus Lanz: Philipp Amthor führt alle hinters Licht – Zuschauer empört

Link zum Artikel

Torwart-Zoff: Hoeneß hat mit einer Sache recht – doch er wird dem FC Bayern schaden

Link zum Artikel

Dagmar Michalsky wurde mit 58 schwanger – bei Lanz spricht sie von "neun Monaten Horror"

Link zum Artikel

Wolfgang Joop über Heidi Klums Ehe: "Hat sich mit jedem Mann verändert"

Link zum Artikel

Lena rappt über Sex mit sich selbst bei "Gemischtes Hack"

Link zum Artikel

Diese Szenen zeigen: Nicht mal die Experten sind von der Hartz-IV-Show "Zahltag" überzeugt

Link zum Artikel

Barça-Keeper vor Linie: Wieso der VAR bei größter BVB-Chance nicht eingriff

Link zum Artikel

"Steh auf" – Rammstein-Sänger verstört Fans mit Video

Link zum Artikel

Tiere: 11 Fotos, die zeigen, wie lustig es in der Natur manchmal zugeht

Link zum Artikel

Helene Fischer verdient an "Herzbeben" – Songwriterin verrät, was sie für den Hit bekam

Link zum Artikel

"Hart aber Fair": Altmaier warnt vor "Klimapolizei" – und wird von Aktivistin verspottet

Link zum Artikel

Nach Höcke: ZDF will auch künftig über das berichten, was "AfD nicht gerne im Fokus sieht"

Link zum Artikel

Hai pirscht sich an ahnunglosen Surfer heran: Dann kommt Hilfe – von oben!

Link zum Artikel

Brief ans Jobcenter: Hört auf, meine über 60-jährige Mutter in Jobs zu drängen

Link zum Artikel

Gottschalk über Helene Fischer und Florian Silbereisen: "Hatte immer schlechtes Gefühl"

Link zum Artikel

Bei Pressekonferenz nach BVB-Sieg: Favre merkt nicht, dass Mikro schon an ist

Link zum Artikel

Luke Mockridge macht Andrea Kiewel in seiner Show ein Angebot – die blockt ab

Link zum Artikel

Kontakt mit 2 Bundesliga-Stars – warum der FCB trotz allem keinen Lewandowski-Backup holte

Link zum Artikel

Luke Mockridge traf Kiwi kurz vor ZDF-Auftritt: Er täuschte beim "Fernsehgarten" alle

Link zum Artikel

Krankenschwester warnt bei Maischberger: "Wir laufen auf eine riesige Katastrophe zu"

Link zum Artikel

Luke Mockridge über die Folgen seines ZDF-Auftritts: "Meine Eltern erhielten Hassbriefe"

Link zum Artikel

Hartz-IV-Show "Zahltag": Wie die Sendung falsche Hoffnungen schürt

Link zum Artikel

Alleinerziehend mit Hartz IV: Achtjährige sammelt Flaschen, um Taschengeld zu bekommen

Link zum Artikel

"Zahltag": Buschkowsky erklärt, warum ein Geldkoffer Hartz-IV-Empfängern nicht hilft

Link zum Artikel

2 Handelfmeter? Darum gab es für die DFB-Elf gegen Nordirland keinen Videobeweis

Link zum Artikel

In Berlin gab es eine Notlandung mit mehreren Verletzten

Link zum Artikel

Helene Fischer und Thomas Seitel: Polizei spricht von Einsatz auf ihrem Anwesen

Link zum Artikel

7 Zitate, die zeigen, wie "bürgerlich" Alexander Gauland wirklich ist

Link zum Artikel
Alle Artikel anzeigen
0
Bubble Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 48 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
0Alle Kommentare anzeigen

Rammstein setzt auf Bühne in Polen Zeichen, das dessen Regierung nerven wird

Den Aufreger beherrscht Rammstein im Schlaf. Vor kurzem erst setzte die Band etwa mit dem Zuschaustellen eines Schlauchboots im Mittelmeer in ihrem Video zum Song "Ausländer" eine viel diskutiertes Zeichen. Nun hat die Band bei einem Konzert in der polnischen Stadt Chorzów erneut ausgeholt – auch diesmal mit einem Schlauchboot, jetzt lesen Fans in der Aktion der Band allerdings ein Zeichen gegen Homophobie. Dazu gleich mehr.

Seit jeher spaltet die Frage nach den politischen Hintergedanken von …

Artikel lesen
Link zum Artikel