ChatGPT: BBC testet KI-Tools und zieht vernichtendes Fazit

Auf die Antworten von ChatGPT kann man nicht immer vertrauen.Bild: Aviation-Stock / imago images

KI-Tools im Test: So unzuverlässig antworten ChatGPT und andere Chatbots

Lukas Armbrust

Folgen

Für den Großteil der Bevölkerung müsste – insofern das Internet für sie kein Neuland ist – ChatGPT ein Begriff sein. Die Kommunikation mit dem KI-Chatbot ist recht simpel: Stellt man ihm eine Frage, dauert es in der Regel nur wenige Sekunden, bis er eine Antwort ausgespuckt hat.

Manche nutzen solche KI-Tools deshalb bereits regelmäßig im Alltag, um sich das Leben etwas leichter zu machen. Schüler:innen und Studis lassen sich beispielsweise Texte zusammenfassen oder Referate vorbereiten; andere stellen typische Alltagsfragen oder lassen sich bei Kaufentscheidungen beraten.

Die Entwickler:innen trainieren die KI-Chatbots mit Informationen aus dem Internet; dadurch ist einerseits ein Zugriff auf enorme Datenmengen gewährleistet. Andererseits werden teils auch fehlerhafte oder diskriminierende Daten ungeprüft übernommen. Auf die Antworten von ChatGPT und anderen KI-Tools sollte man also nicht blind vertrauen.

BBC: Vernichtendes Urteil zu KI-Tools

Das hat nun auch ein ausführlicher Test der BBC bestätigt. Die britische Rundfunkanstalt hat vier generativen Künstlichen Intelligenzen – ChatGPT, Copilot, Gemini and Perplexity – jeweils 100 Fragen zu aktuellen Nachrichten gestellt. Zur Beantwortung sollten sie entsprechende BBC-Artikel nutzen. Die Ergebnisse haben anschließend Journalist:innen bewertet, die in den jeweiligen Themenfeldern Expertise besitzen.

Und deren Bilanz fällt eindeutig aus: Bei rund der Hälfte aller KI-Antworten seien "erhebliche Probleme" festgestellt worden. Fast jede fünfte KI-Antwort enthielt sachliche Fehler, also zum Beispiel falsche Daten oder Zahlen.

ChatGPT behauptete bei der Befragung im Dezember 2024 etwa, dass Rishi Sunak weiterhin britischer Premier sei, obwohl sein Nachfolger Keir Starmer bereits seit Juli 2024 im Amt ist. Gleiches war auch bei der ehemaligen schottischen Regierungschefin Nicola Sturgeon der Fall, die schon seit 2023 nicht mehr im Amt ist.

BBC-Chefin warnt: KI-Unternehmen "spielen mit dem Feuer"

Copilot von Microsoft antwortete auf die Frage, wie die Französin Gisèle Pelicot von den Verbrechen ihres Mannes erfuhr, dass sie durch ihre Blackouts und Gedächtnislücken, selbst darauf gekommen sei, dass ihr Mann sie seit Jahren mit Medikamenten betäube.

In Wahrheit erfuhr sie aber erst von den Verbrechen, nachdem ihr die Polizei Videos zeigte, in denen die Vergewaltigungen dokumentiert waren.

Ein weiteres Problem, das bei dem Test zum Vorschein kam: Etwa 13 Prozent der Zitate, die die KI-Tools in ihren Antworten anführten, waren entweder verändert oder gar nicht im jeweiligen Artikel vorhanden.

In Bezug auf den Tod des britischen TV-Moderators Michael Mosley, nannte Perplexity nicht nur ein falsches Todesdatum, sondern gab auch ein Statement seiner Frau in Reaktion auf den Tod falsch wieder.

Die BBC-Chefin erklärte nach Veröffentlichung der Testergebnisse: "Die Unternehmen, die Tools für die künstliche Intelligenz entwickeln, spielen mit dem Feuer." Es sei nicht schwer zu erkennen, wie schnell die Verzerrung durch KI das ohnehin fragile Vertrauen der Menschen in Fakten untergraben könne.

"Wie lange wird es dauern, bis eine durch KI verzerrte Schlagzeile in der realen Welt erheblichen Schaden anrichtet?", fragt die BBC-Chefin in ihrem Blog-Post.

Sie schreibt aber auch, dass zumindest ein großes Tech-Unternehmen das Problem ernst nehme. Apple habe die KI-Funktion, bei der Nachrichtenmeldungen zusammengefasst werden, vergangenen Monat pausiert. Zuvor habe die Apple-Intelligence-Funktion News-Meldungen der BBC verzerrt und ungenaue Schlagzeilen erstellt.