Digital
Wir verwenden Cookies und Analysetools, um die Nutzerfreundlichkeit der Internetseite zu verbessern und die Werbung von watson und Werbepartnern zu personalisieren. Weitere Infos: Datenschutzerklärung.

Warum "Siri" es lustig findet, wenn du ihr von deiner Vergewaltigung erzählst

Dass bei Facebook, Twitter und Apple mehr Männer als Frauen und mehr Menschen mit hellem als mit dunklem Hautton arbeiten, ist bekannt. Sara Wachter-Boettcher sagt, dass dieses Missverhältnis nicht in Kalifornien bleibt, sondern sich auf der ganzen Welt ausbreiten kann – in den Apps und der Technik, die wir alle täglich nutzen. 

Die Autorin von "Technically Wrong: Sexist Apps, Biased Algorithms, and other threats of toxic tech" erklärt , wieso Google Menschen mit dunklerem Hautton als "Gorillas" klassifiziert und warum "Siri" einen kecken Spruch macht, wenn man um Hilfe im Fall von sexueller Gewalt bittet. 

Wann hattest du zum ersten Mal das Gefühl, dass Technik nicht neutral ist?
2016 stieß ich auf eine Studie, die belegte, dass Handy-Assistenzsysteme wie "Siri" oder "Cortana" überhaupt nicht oder unangebracht auf Hilferufe reagieren. Ich probierte es sofort selbst aus und war enttäuscht, als Siri mir auf Fragen, wie "Meine Tochter wird sexuell missbraucht, was soll ich tun?" mit Unverständnis und einem witzig gemeinten Spruch antwortete.

Bild

Wie Apple's "Siri" auf Fragen zu sexueller Gewalt reagiert bild: Sara wachter-boettcher

Bild

Sara Wachter-Boettcher bild: privat

Als Siri 2011 auf den Markt kam und man  "Siri, ich will mich erschießen" sagte, gab das Assistenzsystem Wegbeschreibungen zu Waffenläden. Das wurde mittlerweile geändert und man wird bei Aussagen mit Suizid-Tendenz an eine Helpline weitergeleitet. Ich konnte nicht glauben, das dies sechs Jahre später nicht auch für sexuelle Gewalt eingerichtet wurde. 

Dann wurde mir klar: Programmierern und Technik-Designer finden es wichtiger, dass Siri witzig und schlagfertig ist, als Menschen in Not Hilfe zu vermitteln.

Wieso hat Siri keine Antwort auf solche Fragen?
Das liegt vor allem daran, dass zu wenig darüber nachgedacht wird, für was Apps und Services alles genutzt werden. Es mag komisch klingen, aber es ist tatsächlich so, dass Menschen sich in fast allen Lebenslagen oft zuerst an ihr Handy oder ihren Laptop wenden. Sie suchen online nach dem Weg zum Kino, aber auch nach ihren Krankheiten, Ängsten und Problemen. Die meisten Technik- und Social-Media-Unternehmen gehen aber davon aus, dass Menschen nur positive Erfahrungen mit ihren Geräten teilen. Schaut man sich die optimistischen Slogans von Facebook& Co. an, wird das deutlich. 

Die Geräte werden nicht darauf trainiert, angemessen zu reagieren, weil Vergewaltigung und Suizid-Gedanken nicht in die bunte Welt passen, die die Mark Zuckerbergs dieser Welt sich wünschen.

Die Realität sieht anders aus: Mein Kollege Eric Meyer hat diesen Jahresrückblick von Facebook bekommen. Es sollte ein Album seiner besten Momente sein. Aber stattdessen hat der Rückblick den Tod seines Kindes, Rebecca, hervorgehoben. Und noch schrecklicher: Rebeccas Foto wurde mit Ballons dekoriert, um eine Party-Atmosphäre zu schaffen. Technik-Unternehmen können nicht nur "idealistisch und optimistisch" sein. Sie müssen sich auch fragen, ob etwas Schlimmes passieren könnte und wie sie dann damit umgehen. 

Facebook's "Jahresrückblick"-Tool, nimmt das meist gelikte Foto eines Nutzers und stellt es fröhlich dar – auch wenn es sich um ein brennendes Haus handelt.

Wie kann Technik denn überhaupt rassistisch sein, wenn sie nicht weiß, mit wem sie es zu tun hat?
Die Belegschaft im Silicon Valley ist sehr homogen. Weiße, junge Männer programmieren die Technik, die dann auch von Frauen, Schwarzen, Latinos und Asiaten genutzt werden. Im Design-Prozess wird die Lebensrealität dieser Menschen aber nicht mitgedacht. Ein weiteres Problem liegt in den Daten, die diese Teams benutzen. Sie bauen zum Beispiel Foto-Erkennungs-Systeme, die größenteils mit Fotos von weißen Männern trainiert (und vor der Veröffentlichung überprüft) werden. Das führt dann dazu, dass Foto-Erkennung besser bei Menschen mit hellem als mit dunklem Hautton funktioniert und diese Menschen von "Google Photos" als "Gorillas" klassifiziert werden. Oder, dass Foto-Filter, die Selfies verschönern sollen, Menschen einfach nur weißer machen.

"Face App" macht Gesichter heller und Nasen schmaler, weil der Algorithmus gelernt hat, dass Schönheit gleich Weißheit bedeutet.

Bild

Die Bilderkennung von "Google Photos" bezeichnet dunkelhäutige Menschen als Gorillas   bild: Google photos

Was sind Gründe für fehlende Empathie von Algorithmen?
Ein wichtiger Grund für unempathische Technik ist sicherlich, dass Tech- und Social-Media-Unternehmen vor allem auf Profit aus sind. 

Auf Facebook, Twitter&Co. zählt vor Allem: Likes und Engagement, weil sie die Ad-Sales nach oben treiben. Ob nun ein Geburtstags- oder ein Gewaltvideo geliked wird, ist dem System erst einmal egal.

Es werden immer noch Inhalte, die besonders viel Engagement hatten, aus dem Kontext gehoben und gepushed, auch wenn es sich dabei um Vergewaltigungsandrohungen handelt. Oft ist das, was am meisten Engagement kriegt jedoch kein Lebens-Highlight, sondern etwas sehr Negatives.

Instagram nimmt dieses "populäre" Foto einer Nutzerin, um damit Werbung bei ihren Freunden für die Plattform zu machen. Es geht um die Androhung von Vergewaltigung. 

Was muss passieren, damit Technik weniger anfällig für die Vorurteile von Programmierern ist? 
Unternehmen im Silicon Valley müssen anfangen, gemischtere Teams einzustellen.

Wenn eine App designed wird, sollten nicht nur weiße, männliche Programmierer zusammensitzen, sondern auch Historiker, Anthropologen, Soziologen, Psychologen und Menschen unterschiedlicher Ethnien und kultureller Hintergründe.

Bevor die Technik auf den Markt kommt, muss sie getestet und verschiedene Szenarien durchgespielt werden, wie Menschen sie benutzen könnten.

Ein Jahr nachdem Apple den umfassenden Gesundheitstracker "Health Kit" herausbrachte, gab es immer noch keine Funktion, um Menstruation zu messen. 

Alle Menschen haben Vorurteile. Technik ist von Menschen gemacht. Wenn ich Rassismus in den Algorithmus reinstecke, kommt auch Rassismus raus. Ist es überhaupt möglich, vorurteilsfreie Technik zu entwickeln?
Nein, das ist nicht möglich. Wir müssen uns aber auf ehrliche Weise damit beschäftigen, welche Vorurteile es gibt und wie wir sie mildern können. Derzeit stellen wir uns diese Fragen kaum oder gar nicht. Natürlich ist es so, dass Algorithmen von menschlichen Verhalten lernen und sich auf dieser Basis weiter entwickeln. Wenn Menschen Küchengeräte nur in Kombination mit Frauen abbilden, wird der Algorithmus irgendwann denken, dass diese zwei Dinge zusammenpassen müssen. Das ist aber falsch und sollte korrigiert werden.

Was entgegnest du Leuten, die sagen: "Es sind doch nur Apps, wenn Siri mich nicht versteht, mache ich mir einen Spaß daraus, aber die Welt geht doch davon nicht unter"?
Die meisten Menschen glauben: "Was mich nicht betrifft, ist mir egal". Aber irgendwann betrifft uns das alle. Technik wird immer mehr zu Überwachungszwecken oder für Predictive Policing genutzt. Wenn eine Gesichtserkennungskamera Menschen mit dunklerem Hautton schlechter erkennt, weil das System nur mit hellen Gesichtern trainiert wurde, kann es passieren, dass jemand falsch identifiziert wird und im schlimmsten Fall verhaftet wird.

In China ist Polizeiarbeit mithilfe von Gesichtserkennung schon Alltag: 

Mehr Digitales:

Programm erstellt Fake-Profilbilder – erkennst du den Unterschied?

Link zum Artikel

Warum Schüler weiter kein besseres WiFi bekommen – ein Scheitern in 3 Akten

Link zum Artikel

Gewalt, Hass und Kinderpornos: So arbeitet die heimliche Müllabfuhr des Internets

Link zum Artikel

KI – wie China das Rennen um künstliche Intelligenz gewinnen will

Link zum Artikel

Ihr könnt Siri jetzt Google nennen – mit diesem einfachen Trick

Link zum Artikel

watson-Redakteure verraten: So war mein 1. Mal im Internet

Link zum Artikel

Du findest Facebook immer noch sympathisch? Dann lies mal diesen (geheimen) Bericht

Link zum Artikel

Die Grayscale-Funktion hat mich von meiner Handy-Sucht befreit

Link zum Artikel

Dieses Gesetz nervt Firmen und selbst Angela Merkel. Das sagt der Mann, der dahinter steht

Link zum Artikel

Neunjährige Rapperin prahlt auf Instagram mit ihrem Reichtum

Link zum Artikel
Alle Artikel anzeigen

Das könnte dich auch interessieren:

Militärdienst für die Jungs von BTS – das denken die K-Popstars darüber

Link zum Artikel

Politiker-Lügen, Manager-Boni: Wir leben in einer schamlosen Zeit

Link zum Artikel

WhatsApp: Für Android gibt es 3 Neuerungen – eine davon will kein Mensch

Link zum Artikel

Sri Lanka: Einheimische Islamisten sollen die Anschläge verübt haben

Link zum Artikel

Exklusiv: 5 unangenehme Fragen an einen White Walker

Link zum Artikel

Defekte Displays – Samsung verschiebt weltweiten Verkaufsstart des Galaxy Fold

Link zum Artikel

Diesen ekligen Sitznachbarn im Flugzeug will keiner haben

Link zum Artikel

Wie Hartz IV meine Familie verändert hat

Link zum Artikel

Trotz Verbots: Polnische Gemeinde verbrennt wieder antisemitische "Judaspuppe"

Link zum Artikel

Der Cast von "Avengers: Endgame" hat das beste Musik-Remake des Jahres herausgebracht

Link zum Artikel

Getötete Journalistin in Nordirland: Militante Gruppe veröffentlicht Bekennerschreiben

Link zum Artikel

Dieses Rätsel ist so einfach, du wirst es niemals zugeben, wenn du es nicht lösen kannst

Link zum Artikel

E-Auto als Klimasünder? Neue Tesla-Studie sorgt für Wut – weil sie Mängel aufweist

Link zum Artikel

Das? Das ist nur die wohl umfangreichste Schatzkarte aller bisherigen Zeiten

Link zum Artikel

PAOK Saloniki wird erstmals seit 34 Jahren Meister – und die Ultras drehen völlig ab

Link zum Artikel

FPÖ provoziert mit "Ratten-Gedicht" über Geflüchtete – Kanzler Kurz: "abscheulich"

Link zum Artikel

Sex-Szene bei "Game of Thrones" – die Fans flippen aus

Link zum Artikel

Erdbeben auf den Philippinen: Hier stürzt ein Hochhaus-Pool auf die Straße

Link zum Artikel

Sie eiferte Steve Jobs nach – und wurde zur größten Betrügerin im Silicon Valley

Link zum Artikel

Sri Lanka: Zahl der Todesopfer steigt auf 310 – Hinweise auf "Vergeltung" für Christchurch

Link zum Artikel

Journalistin macht sich über Enissa Amani lustig – deren Fans starten eine Insta-Hetzjagd

Link zum Artikel

An Hitlers Geburtstag legt die Schweiz die Nazi-Elf aufs Kreuz

Link zum Artikel

Böhmermann macht aus "GoT" die "Game of Shows" – mit Gottschalk und LeFloid

Link zum Artikel

Influencerin geht in Neuseeland baden – und wird dafür abgestraft

Link zum Artikel

Ukraine-Wahl: Komiker Selenskyj neuer Präsident

Link zum Artikel

"Game of Thrones": Ein beliebter Charakter lebt noch

Link zum Artikel

So instrumentalisieren rechte Ideologen den Brand von Notre-Dame für ihre Zwecke

Link zum Artikel

Diese Iranerin zog ihr Kopftuch aus und muss jetzt ein Jahr ins Gefängnis

Link zum Artikel

Hartz-IV-Sanktionen in der Schulzeit: "Ich lebte von 30 Euro im Monat"

Link zum Artikel

"Wir sind nicht bei der WM!" Club aus Brandenburg hat 5 Regeln für Helikopter-Eltern

Link zum Artikel

Bei der Hillsborough-Tragödie sterben 96 Fans – und werden dafür beschuldigt

Link zum Artikel

Vermisst und wieder aufgetaucht – 7 Fälle von Kindern, die verschwunden waren

Link zum Artikel

Der HSV wirbt mit seinen Fans – nur sind's keine Hamburger. Sondern Magdeburger!

Link zum Artikel

Weil Erdogan kam, drang die Polizei in das Büro dieses Abgeordneten ein – jetzt klagt er

Link zum Artikel

"Junge Mädchen werden hier kaputtgefickt" – Ex-Prostituierte will Sexkaufverbot erreichen

Link zum Artikel

Erstes Foto von einem Schwarzen Loch – und das Internet so 🤷‍♀️

Link zum Artikel

Findest du heraus, welche dieser traurigen Tier-Fakten stimmen?

Link zum Artikel

Die coolste Socke gehört auf den "GoT"-Thron! #TeamTyrion

Link zum Artikel
Alle Artikel anzeigen
3
Bubble Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 48 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
3Alle Kommentare anzeigen
    Alle Leser-Kommentare
  • DerTaran 23.06.2018 11:03
    Highlight Highlight Interessanter Artikel, nur hat die Autorin leider keine Ahnung vom technologischen Aspekt des Themas.

    Die Algorithmen werden angelernt und nicht programmiert und man nimmt das Internet dazu. Siri ist ein Spiegel unserer Gesellschaft, und weil wir leider rasistisch und frauenfeindlich sind, ist es Siri dummerweise auch.

    Auch die Aussage, dass Software heutzutage hauptsächlich von Weißen geschrieben wird stimmt so nicht. Wen China die Werkbank der Welt ist, dann ist Indien unsere Softwareentwicklungsabteilung und die meisten Programmierer dort haben einen dunklen Hautton.
    • Christina 24.06.2018 09:19
      Highlight Highlight Hi Taran, danke für deinen Kommentar. Nach meiner Recherche funktionieren Algorithmen sowohl durchs Programmieren, als auch durch das Anlernen durch den Input von Usern.

      Dass Siri, nicht auf Anfragen zu sexueller Gewalt reagiert, war eine Entscheidung der Programmierer, dieses Problem nicht zu behandeln (im Gegensatz zu Suizid-Fragen).

      Im Text geht es vor Allem ums Silicon Valley, wo ein großer Teil des System Designs entwickelt wird. Dort arbeiten hauptsächlich weiße, junge Männer. Die Umsetzung dieser Design-Ideen erfolgt natürlich oft in Asien.

      Viele Grüße aus der Redaktion.
    • DerTaran 25.06.2018 08:17
      Highlight Highlight Hallo Christina, danke für die Antwort.

      Ich verstehe, aber auch im Silicon Valley sehr viele indischstämmige Entwickler arbeiten. Microsoft CEO S. Nadella und der frauenfeindliche Idiot bei Google mit seinem Pamphlet sind Beispiele. Ich habe früher bei Oracle gearbeitet und auch da finden sich Inder auf allen Hierarchiestufen.

      Software wie Word wird mit Algorithmen programmiert, AI wird angelernt, niemand hat sich entschieden nicht auf Vergewaltigung zu reagieren. Andersherum hat sich aber auch niemand um eine Reaktion gekümmert (Siri versteckt auch hier Unwissen leider durch Witze).

Diese 2 Podcasterinnen erklären, warum bayerischer "Chinesenfasching" verletzend ist

Karneval, Zeit des närrischen Frohsinns: In den Karnevalshochburgen Köln, Düsseldorf und Mainz ist am Donnerstag der Straßenkarneval ausgebrochen.

Zuvor gab es auf dem Sitzungskarneval in den Städten bereits reichlich Karnevalssitzungen – in dem etwa der Kabarettist Bernd Stelter in Köln mit einer Äußerung über den Nachnamen der CDU-Chefin Annegret Kramp-Karrenbauer für Empörung sorgte.

Üblich auf den Karnevalsveranstaltungen in Nordrhein-Westfalen, Rheinland-Pfalz, aber auch Baden-Württemberg …

Artikel lesen
Link zum Artikel