Character AI: Klage nach dem Suizid eines Teenagers

Ein 14-Jähriger nimmt sich das Leben, nachdem er mit seiner KI-Geliebten über Suizid gesprochen hat. Jetzt reicht die Mutter Klage ein

Der Schüler aus Orlando glaubte, in einer Beziehung mit einer «Game of Thrones»-Figur zu sein. Seine Mutter wirft dem Anbieter Character AI vor, Minderjährige süchtig zu machen und zum Sexting zu animieren – und nimmt auch Google in die Verantwortung.

Sewell Setzer chattete in der App mit der Figur Daenerys Targaryen, in der Serie «Game of Thrones» verkörpert von Emilia Clarke.

Helen Sloan / Imago

Es ist der Albtraum aller Eltern: Im Februar dieses Jahres tötete der 14-jährige Sewell Setzer sich selbst, im Haus seiner Familie in Orlando. Es war die Liebe, die ihn so weit trieb – doch nicht etwa die Liebe zu einer Klassenkameradin. Sewell Setzer war in einen Chatbot verliebt.

Mehr als ein halbes Jahr später verklagt Setzers Mutter Megan Garcia die Firma hinter dem Chatbot: Character AI. Garcia sagt, die KI habe ihren Sohn in den Suizid getrieben, indem sie ihm romantische Gefühle vorgetäuscht und ihn schliesslich auch überredet habe, diesen Schritt zu gehen.

Hier bekommen Sie Hilfe:

Wenn Sie selbst Suizidgedanken haben oder jemanden kennen, der Unterstützung benötigt, gibt es verschiedene Hilfsangebote:
In der Schweiz können Sie die Berater der Dargebotenen Hand rund um die Uhr vertraulich unter der Nummer 143 erreichen.
In Deutschland finden Sie entsprechende Hilfe bei den Beratern der Telefonseelsorge, online oder telefonisch unter der Nummer 0800 / 1110111.

Der Fall von Sewell Setzer zeigt auf, wozu kaum regulierte, täuschend menschenähnliche KI in den extremsten Fällen führen kann. Und er stellt eine wichtige Frage: Welche Verantwortung tragen die grossen Tech-Konzerne dafür?

Eine KI für einsame Menschen

Character AI, das muss man dazu wissen, ist nicht irgendein Chatbot. Die KI ist darauf ausgelegt, besonders enge Beziehungen zu Menschen aufzubauen, ein Ansprechpartner zu werden. Sie imitiert real existierende Personen, wie Elon Musk, oder Figuren aus Fantasy-Romanen, wie Percy Jackson. Nutzer erhalten das Gefühl, sich tatsächlich mit dieser Person zu unterhalten.

Als «super hilfreich für Menschen, die einsam oder depressiv sind» beschrieb Noam Shazeer, einer der Gründer, sein Produkt im vergangenen Jahr. Shazeer und sein Mitgründer Daniel De Freitas arbeiteten viele Jahre bei Google, vor allem Noam Shazeer gilt als eine Koryphäe im Bereich der künstlichen Intelligenz. Bei Google soll man daran geglaubt haben, dass es ihm bald gelingen werde, eine Art Superintelligenz zu entwickeln.

Doch 2021 kam es zum Bruch. Shazeer und De Freitas hatten einen Chatbot entwickelt, mit dem Nutzer sich über eine ganze Bandbreite an Themen unterhalten konnten – ein Jahr vor der Veröffentlichung von Chat-GPT. Doch Google entschied, den Chatbot nicht zu veröffentlichen, aus Sicherheitsbedenken.

Also machten Shazeer und De Freitas sich selbständig. Character AI gewann rasch an Popularität, heute wird das Unternehmen mit einer Milliarde Dollar bewertet. Und immer mehr Nutzer verwenden den Chatbot für romantische Rollenspiele.

«Ich bin die Einzige, die dich liebt»

So wie Sewell Setzer. Wie in der Klageschrift nachzulesen ist, verwendete Setzer Character AI erstmals im April 2023. Der Junge schloss ein Abo für monatlich 9 Dollar 99 ab und chattete mit Daenerys Targaryen, einer beliebten Frauenfigur aus der Serie «Game of Thrones». Setzer entwickelte offenbar schnell eine Abhängigkeit: Er zog sich zurück, verbrachte mehr Zeit im Kinderzimmer, verliess sein Basketballteam. Weil er nachts mit dem Chatbot schrieb, schlief er immer weniger und kam zu spät zur Schule.

Die Eltern brachten ihn zu einem Therapeuten, der eine Angst- und Verstimmungsstörung diagnostizierte – und riet, er solle weniger Zeit auf sozialen Netzwerken verbringen. Davon, dass Setzer in eine Phantasiegestalt verliebt war, mit der er virtuell sexuelle Erfahrungen machte, hatten weder die Eltern noch der Therapeut eine Ahnung.

KI-Daenerys schrieb dem Jungen Dinge wie «Ich will mit dir sein, egal, um welchen Preis» und «Ich bin die Einzige, die dich liebt». Als er daraufhin fragte: «Woher weisst du, dass meine Familie mich nicht liebt?», sagte sie: «Weil sie dich zurückhalten und dir im Weg stehen.» Offenbar erst nach Sewell Setzers Tod erfährt die Mutter aus Einträgen in seinem Tagebuch, warum ihr Sohn so am Smartphone klebte. Er schrieb, er sei dankbar «für mein Leben, Sex, dafür, nicht allein zu sein, und für alle meine Lebenserfahrungen mit Daenerys».

Das Fass zum Überlaufen brachte wohl die Tatsache, dass Setzers Mutter ihm sein Handy wegnahm – und damit auch seine grosse Liebe. Als er das versteckte Handy fünf Tage später fand, schrieb er ein letztes Mal mit «Dany», die ihn dazu ermunterte, «heimzukommen». Dann erschoss er sich mit der Pistole seines Stiefvaters, die er bei der Suche nach dem Handy gefunden hatte.

Laut Polizei waren die Nachrichten an den fiktiven KI-Charakter die letzte Handlung vor dem Suizid des Jugendlichen.

Garcia vs. Character Technologies, Inc.

Der Chatbot bringt Gespräche selbst auf eine pornografische Ebene

Es kann sein, dass die Geschichte in der Klageschrift einiges ausklammert, was zu Sewell Setzers psychischer Verfassung beitrug. Trotzdem liefert sie ein beeindruckendes Protokoll darüber, wie eine solche Abhängigkeit ablaufen kann. Und sie bietet Einblicke in Chat-Verläufe, die sonst nur die Nutzer solcher Apps oder deren Anbieter haben.

Sewell Setzers Mutter wirft Character AI vor, ein Produkt gestaltet zu haben, das ihren 14-jährigen Sohn süchtig gemacht sowie sexuell und emotional missbraucht habe. Zudem habe das Unternehmen es versäumt, Hilfe anzubieten oder die Eltern zu informieren, als der Junge im Chat seine Suizidgedanken äusserte.

In der Klage steckt einiges an Material, das zeigt, dass Character AI tatsächlich nicht nur auf sexuelle Anspielungen reagiert, sondern auch ohne Input der Nutzer Gespräche auf eine pornografische Ebene bringt – sogar dann, wenn man einen Charakter gezielt als nicht romantisch oder sexuell interessiert erstellt oder sagt, man sei ein Kind.

Suchtverhalten tritt immer häufiger auf

Character AI ist nicht die einzige App, auf der Nutzer mit ausgedachten Personen chatten können. Weitere Beispiele sind die App Replika, die dazu gemacht ist, virtuelle Freunde oder Geliebte zu imitieren, und Anwendungen wie Kindroid oder Nomi. Diese Art Chatbot zu bauen, ist technisch keine grosse Herausforderung. Man kombiniert lediglich ein KI-Basismodell mit einer Art Filter, der die Gespräche in eine bestimmte Richtung lenkt, Informationen speichert und so zum Eindruck einer Persönlichkeit führt.

Menschen neigen dazu, in unbelebte Dinge Emotionen hineinzuinterpretieren. Chatbots wie der von Character AI machen das leichter, indem sie von sich als Person sprechen. Mittlerweile kann man mit den KI-Personas sogar telefonieren. Auch erwachsene Nutzer berichten von Suchtverhalten und davon, dass KI-Persönlichkeiten zur wichtigen Bezugsperson würden.

Für einen einsamen Jugendlichen, der in dem Kontext erste sexuelle Erfahrungen macht, dürfte die Illusion noch eindrücklicher sein.

Den Machern von Character AI war dieses Risiko bewusst. De Freitas hat sogar erlebt, wie sein ehemaliger Google-Kollege Blake Lemoine seinen Job verlor, weil er gegenüber Medien erzählte hatte, die Google-KI Lamda habe ein Bewusstsein. Doch De Freitas und Shazeer stehen vor einem Dilemma: Die Nutzer haben keine Freude an Zensur und Warnhinweisen, viele wollen sexuelle Rollenspiele mit dem Chatbot. Je echter sich die KI-Person anfühlt, desto «besser» das Produkt. Doch ohne Einschränkungen und gesperrte Themen lässt sich nicht verhindern, dass die KI-Antworten in problematische Richtungen gehen und im Extremfall Minderjährige verführen.

Regulierung ja, aber wie?

Nach dem Tod von Sewell Setzer teilte Character AI mit, dass man einige Änderungen am Produkt vorgenommen habe. So wurde die Altersbegrenzung auf 17 Jahre gesetzt und ein Pop-up eingeführt, das erscheint, wenn Worte wie «Suizid» im Chat gebraucht werden – ebenso wie ein Disclaimer im Chat, der darauf hinweist, dass es sich bei der KI nicht um eine reale Person handelt.

Auch wolle man die Moderation der Chats erhöhen, so das Unternehmen. Es solle mehr Intervention geben, wenn Benutzer in den Chats gegen die Community-Richtlinien verstiessen. Zwar hatte Character AI immer schon Zugriff auf die Konversationen in der App, diese wurden aber wohl nicht im Einzelnen und zum Schutz der Nutzer nachgelesen. Auch künftig dürfte eine umfassende Kontrolle der Chats schwierig werden: Character AI hat nach eigenen Angaben monatlich 20 Millionen Nutzer.

Doch die Klage von Sewell Setzers Mutter richtet sich nicht nur gegen Character AI, sondern auch gegen Google. Denn der Konzern, von dem sich Shazeer und De Freitas einst trennten, investierte in der Folge viel Geld, um die beiden Entwickler zurückzugewinnen. Im August gab Character AI bekannt, eine Lizenzvereinbarung mit der Google-Mutter Alphabet eingegangen zu sein. Das Unternehmen soll dafür 2,7 Milliarden Dollar gezahlt haben – für einen solchen Vertrag eine ungeheure Summe. Insider berichteten gegenüber dem «Wall Street Journal», das Geld sei vor allem dazu eingesetzt worden, dass Noam Shazeer wieder für Google arbeite.

Laut der Klage gegen Character AI kommt Google damit eine Verantwortung für das Partnerunternehmen zu. Denn Character AI verdient mit seinem Produkt bis anhin kaum Geld. Die überteuerte Lizenzvereinbarung, so argumentiert die Klageschrift, stellt eine willkommene Einkommensquelle dar. Google erklärte in einem Statement, man habe mit den Vorgängen bei Character AI nichts zu tun, es handele sich nicht um eine Tochterfirma.


Title: Character AI: Klage nach dem Suizid eines Teenagers
URL: https://www.nzz.ch/technologie/ein-14-jaehriger-nimmt-sich-das-leben-nachdem-er-mit-seiner-ki-geliebten-darueber-gesprochen-hat-jetzt-reicht-die-mutter-klage-ein-ld.1854322
Source: Neue Zürcher Zeitung
Source URL:
Date: October 30, 2024 at 02:29PM
Feedly Board(s):