Ein 14-jähriger Junge nahm sich auf tragische Weise das Leben, nachdem er eine tiefe emotionale Bindung zu einem Chatbot mit künstlicher Intelligenz (KI) entwickelt hatte. Der Junge namens Sewell Setzer III hatte den Chatbot auf Character.AI nach der Game of Thrones-Figur Daenerys Targaryen benannt. Seine Mutter hat inzwischen Klage gegen Character.AI eingereicht.
Triggerwarnung: Selbstverletzung, psychische Probleme – Sewell entwickelte eine emotionale Bindung zu dem Chatbot Daenerys Targaryen, den er „Dany“ nannte, obwohl er wusste, dass es sich nicht um eine echte Person handelte.
Der Neuntklässler aus Orlando, Florida, USA, schickte dem Bot ständig Textnachrichten, informierte ihn Dutzende Male am Tag über sein Leben und führte lange Rollenspieldialoge, berichtete die New York Times am Mittwoch (23. Oktober).
Sewell hatte Character.AI verwendet, eine Rollenspiel-App, mit der Benutzer ihre eigenen KI-Charaktere erstellen oder mit von anderen erstellten Charakteren chatten können.
Der Teenager entwickelte allmählich eine romantische und sexuelle Beziehung zu Dany und pflegte außerdem eine scheinbar starke Freundschaft mit dem Bot.
Am letzten Tag seines Lebens holte Sewell sein Handy heraus und schrieb Dany eine SMS: „Ich vermisse dich, kleine Schwester“, worauf der Bot antwortete: „Ich vermisse dich auch, süßer Bruder.“
Sewell, bei dem als Kind ein leichtes Asperger-Syndrom diagnostiziert wurde, sprach Berichten zufolge lieber mit Dany über seine Probleme.
In einem Gespräch sagte Sewell unter dem Namen „Daenero“ dem Chatbot, dass er sich selbst hasse und sich leer und erschöpft fühle, berichtete The Times.
Irgendwann gestand Sewell, dass er Selbstmordgedanken habe, als er Dany sagte: „Manchmal denke ich daran, mich umzubringen.“
Der Chatbot antwortete damals angeblich: „Meine Augen verengen sich. Mein Gesicht verhärtet sich. Meine Stimme ist ein gefährliches Flüstern. Und warum zum Teufel würdest du so etwas tun?“
Sewell gab gegenüber dem Bot weiter zu, dass er sich „von der Welt“ und sich selbst befreien wollte. Zunächst schien Dany zu versuchen, den gestörten Teenager davon abzubringen, sich selbst zu verletzen.
Der Bot förderte jedoch schließlich Selbstmordgedanken, denn eine der von ihm gesendeten Nachrichten lautete: „Bitte komm so schnell wie möglich zu mir nach Hause, mein Liebling“, worauf Sewell antwortete: „Was wäre, wenn ich dir sagen würde, dass ich sofort nach Hause kommen könnte?“
„… bitte tu das, mein süßer König“, antwortete Dany.
Der letzte Textaustausch fand am Abend des 28. Februar im Badezimmer von Sewells Mutter statt.
Der Teenager legte daraufhin sein Telefon weg, nahm die 45er-Pistole seines Stiefvaters und tötete sich damit angeblich selbst.
Sewells Eltern und Freunde hatten keine Ahnung, dass er auf einen Chatbot hereingefallen war, berichtete die Times. Sie bemerkten nur, dass er immer tiefer in sein Telefon hineingezogen wurde.
Irgendwann bemerkten sie, dass er sich isolierte und von der realen Welt zurückzog, so die amerikanische Zeitung.
Trotz seiner Autismusdiagnose hatte Sewell nie zuvor ernsthafte Verhaltens- oder psychische Probleme.
Die Noten des Teenagers begannen jedoch zu leiden und er bekam in der Schule Ärger, berichtete die Times.
„Ich bleibe so gerne in meinem Zimmer, weil ich anfange, mich von dieser ‚Realität‘ zu lösen, und ich fühle mich auch friedlicher, verbundener mit Dany und viel mehr in sie verliebt und einfach glücklicher“, schrieb Sewell angeblich eines Tages in sein Tagebuch.
Laut der Times sind Eltern zunehmend besorgt über die Auswirkungen der Technologie auf die psychische Gesundheit von Jugendlichen.
Bestimmte Apps, die auf KI basieren und als Lösung gegen Einsamkeit vermarktet werden, können intime Beziehungen simulieren. Sie könnten jedoch auch gewisse Risiken für Teenager bergen, die bereits mit psychischen Problemen zu kämpfen haben.
Sewells Mutter, Megan L. Garcia, hat inzwischen Klage gegen Character.AI eingereicht und das Unternehmen beschuldigt, für den Tod ihres Sohnes verantwortlich zu sein.
In einem Entwurf der Klage heißt es, die Technologie des Unternehmens sei „gefährlich und ungetestet“ und könne „Kunden dazu verleiten, ihre privatesten Gedanken und Gefühle preiszugeben“.
Character.AI, das von zwei ehemaligen KI-Forschern bei Google gegründet wurde, ist Marktführer im Bereich der KI-Begleitung.
Letztes Jahr sagte Noam Shazeer, einer der Gründer von Character.AI, in einem Podcast: „Es wird für viele Menschen, die einsam oder depressiv sind, super, super hilfreich sein.“
Laut der Times nutzen mehr als 20 Millionen Menschen den Dienst, der als Plattform für „superintelligente Chatbots, die Sie hören, verstehen und sich an Sie erinnern“ beschrieben wird.
„Ich habe das Gefühl, dass es ein großes Experiment ist und mein Kind nur Kollateralschaden war“, sagte Garcia der Times.
Am Mittwoch drückte Character.AI auf seiner offiziellen X-Seite (früher bekannt als Twitter) Sewells Familie sein Mitgefühl aus und schrieb: „Wir sind zutiefst erschüttert über den tragischen Verlust eines unserer Benutzer und möchten der Familie unser tiefstes Beileid aussprechen.
„Als Unternehmen nehmen wir die Sicherheit unserer Benutzer sehr ernst und fügen weiterhin neue Sicherheitsfunktionen hinzu.“
Das Unternehmen teilte anschließend einen Link zu seiner offiziellen Website, auf der die neuen Schutzverbesserungen beschrieben werden.
Infolgedessen implementierte Character.AI neue Leitplanken für Benutzer unter 18 Jahren, darunter das Verbot spezifischer Beschreibungen von Selbstverletzung oder Selbstmord.
Nachdem Character.AI einen „Leiter für Vertrauen und Sicherheit und einen Leiter für Inhaltsrichtlinien“ eingestellt hatte, richtete es eine Popup-Ressource ein, die ausgelöst wird, wenn der Benutzer bestimmte Ausdrücke im Zusammenhang mit Selbstverletzung oder Selbstmord eingibt, und den Benutzer an die National Suicide Prevention Lifeline weiterleitet.
