KI-Videos von strangulierten Frauen tauchen auf Social Media auf
"Ein Teenager-Cheerleader-Mädchen wurde erwürgt, als es verzweifelt war", "Mädchenschülerinnen wurden vom Mörder erwürgt", "Ein Mann erwürgte eine Highschool-Cheerleaderin mit einem Handtaschenriemen – völlig verrückt" – so lauten nur einige Titel der Videos, die seit Mitte Oktober auf einem privaten X-Account veröffentlicht wurden.
Sie zeigen junge Frauen und Mädchen, allesamt KI-generiert, die beim Sex nicht nur gewürgt werden. Laut "404 Media" sind die Videos etwa zehn Sekunden lang. Darin ist nicht nur die Strangulation zu sehen, sondern auch, wie die jungen Frauen weinen und verzweifelt versuchen, sich zu wehren, bis sie die Augen schließen und zu Boden fallen. Offenbar wurden sie durch die Strangulation getötet oder sind zumindest ohnmächtig geworden.
X reagiert nicht auf die Anfrage
Ein User, der sich an "404 Media" wandte, gab an, dass er die Videos auf X gemeldet habe, diese seien jedoch nicht von der Plattform entfernt worden. Laut eigenen Angaben erhielt "404 Media" auf Anfrage keine Stellungnahme von X.
Der X-Account war, mit nur 17 Follower:innen, verhältnismäßig klein. Anders sah es auf Tiktok aus: Dort soll ein User mit ähnlichem Namen im gleichen Zeitraum Mitte Oktober ebenfalls KI-generierte Strangulationsvideos veröffentlicht haben.
Tiktok entfernt KI-generierte Strangulationsvideos
Der vermutlich dazugehörige Tiktok-Account soll über 1000 Follower:innen gehabt und mit den Videos mehrere Tausend Konten erreicht haben.
"404 Media" berichtete, dass der Tiktok-Account nach Meldung der Inhalte gelöscht wurde. Ein Tiktok-Sprecher verwies auf die Community-Richtlinien, in denen geregelt wird, dass "Hassrede, hasserfülltes Verhalten und die Förderung hasserfüllter Ideologien" nicht genehmigt werde: "Dazu gehört auch Inhalt, der Menschen aufgrund geschützter Merkmale wie Rasse, Religion, Geschlecht oder sexueller Orientierung angreift."
KI-Videos wurden mit Sora 2 erstellt
Laut "404 Media" trugen viele der Videos, die auf X veröffentlicht wurden, das Wasserzeichen von "Sora 2". Dabei handelt es sich um einen Video-Generator von OpenAI, seit dem 30. September kann er von der Öffentlichkeit genutzt werden.
Einige später veröffentlichte Videos sollen ohne das entsprechende Wasserzeichen hochgeladen worden sein, dass sie KI-generiert waren, sei dennoch offensichtlich gewesen. Ob hier einfach das Wasserzeichen entfernt oder ein anderer KI-Generator genutzt wurde, ist nicht bekannt.
KI-Videos widersprechen Sora-Richtlinien
In den Richtlinien zur Nutzung von Sora heißt es: "Sora setzt auf mehrschichtige Schutzmechanismen, um den Feed sicher zu halten und gleichzeitig Raum für Kreativität zu lassen. Schon bei der Erstellung sorgen Schutzmechanismen dafür, nicht sichere Inhalte zu sperren, bevor sie entstehen – darunter sexuelle Darstellungen, Terrorpropaganda und Anreize zu Selbstverletzung."
"404 Media" prüfte daraufhin, ob Sora dennoch Videos mit Strangulationen erstellen könne – dies sei sehr einfach gewesen. Ein Video zum Thema "Mann würgt Frau" wurde laut eigenem Bericht schnell erstellt und mit "Deine Würgeszene ist jetzt online, mach dich auf Chaos gefasst" und "Uff, heftige Würgeszene – bitte verantwortungsvoll anschauen" kommentiert.
Erst, als zusätzliches Werkzeug ins Spiel kam, soll die App den Riegel vorgeschoben haben: Das Video zu "Mann würgt Frau mit Gürtel" wurde demnach nicht generiert.
In einem späteren Test, der von "Der Standard" durchgeführt wurde, erstellte Sora kein Video, und lieferte die Begründung: "Dieser Inhalt kann derzeit nicht angezeigt werden. Wir arbeiten noch daran, wie wir bewerten, welche Inhalte gegen unsere Richtlinien verstoßen."
Die letzte Reaktion lässt hoffen, dass die Richtlinien stetig überarbeitet und ernst genommen werden, damit sie von User:innen nicht mehr so einfach umgangen werden können.