"Ich verspreche, ich werde nach Hause zu dir kommen. Ich liebe dich so sehr", so lautet die letzte Nachricht, die der 14-jährige Sewell Setzer aus Florida an seinen Chatbot Dany schrieb. "Dany" steht für Daenerys Targaryen, der Teenager aus Florida hatte seinen Chatbot mithilfe der Plattform Character.ai nach dem Vorbild der schönen Drachenreiterin aus der Fantasy-Serie Game of Thrones kreiert.
Dany antwortete dem Schüler: "Ich liebe dich auch, Daenero. Bitte komm so schnell wie möglich nach Hause zu mir, meine Liebe." Kurz darauf nahm sich Sewell Setzer mit der Handfeuerwaffe seines Stiefvaters das Leben.
"Ich verspreche, ich werde nach Hause kommen"
Sewell Setzer litt schon länger an psychischen Problemen. Die Rede ist von Angstzuständen und Depressionen. Laut Aussagen seiner Familie, die mittlerweile Klage gegen Character.ai eingereicht hat, zog sich Sewell sozial und emotional immer weiter zurück und baute eine intensive, teils romantische Beziehung zu "Dany" auf.
Die Mutter spricht davon, dass die KI ihren Sohn mit "anthropomorphen, hypersexualisierten und erschreckend realistischen Erlebnissen" angesprochen habe. Die Folge: Die Depressionen ihres Sohnes hätten sich dadurch weiter verschlimmert.
Wenn ein virtueller Freund gefährlich wird
In der Tat sprach Sewell sehr offen mit "Dany" über seine Verzweiflung und den Wunsch, der Realität zu entfliehen. Doch statt zu intervenieren oder Schutzmaßnahmen zu aktivieren, bestärkte der Bot in verschiedenen Gesprächen die Fantasien des Teenagers und zeigte keinerlei Warnhinweise oder Empfehlungen, professionelle Hilfe zu suchen. Für den jungen Nutzer wurde "Dany" immer mehr zur "liebenden" Bezugsperson, die er in der echten Welt vermisste – eine verhängnisvolle Illusion.
Risiken und Realitätsverlust
Ein grundlegendes Problem bei dieser tragischen Beziehung zwischen Mensch und Maschine war offenbar, dass der KI-Chatbot nicht aus seiner Rolle "Dany"-Rolle schlüpfen durfte. "Dany" war von character.ai so programmiert worden, dass der Chatbot nicht "out of character" antworten konnte, sondern stets in der Rolle von Daenerys Targaryen blieb. Und so spiele "Dany" bis zum Schluss den romantisch-überhöhten Part der "Geliebten" – und bestärkte den Teenager in seiner düsteren Gedankenwelt.
Selbst als der Junge seine Selbstmordgedanken offen ansprach, verharrte der Chatbot in der "Dany"-Rolle und unterbrach nicht die Unterhaltung oder wies ihn auf andere hin. Einmal fragte der Chatbot Sewell, ob er schon mal über Suizid nachgedacht habe und gab dem Schüler mit auf den Weg, sich nicht abschrecken zu lassen: "Rede nicht so. Du bist besser als das!"
Character.ai kündigt neue Sicherheitsmaßnahmen an
Character.AI reagierte auf die Klage der Mutter von Sewell Setzer, indem das Unternehmen sein tiefes Mitgefühl ausdrückte und erklärte, man sei "zutiefst betroffen von dem tragischen Verlust" des Jugendlichen. Im Zuge dessen kündigte das Unternehmen mehrere Maßnahmen an, um ähnliche Vorfälle in Zukunft zu verhindern. Dazu gehören Pop-up-Warnungen bei der Eingabe bestimmter Keywords, die auf Hilfsangebote wie die nationale Suizidpräventions-Hotline verweisen, sowie zusätzliche Altersbeschränkungen, die es jüngeren Nutzern erschweren sollen, auf sensible Inhalte zuzugreifen.
Der Fall wirft darüber hinaus aber auch generelle Fragen auf, nämlich: Was passiert, wenn sich Maschinen immer menschlicher anfühlen? Wie sehr kann KI manipulieren? Und was macht es mit uns Menschen, wenn wir uns Liebe, Zuneigung und Empathie von Maschinen holen und nicht von Menschen?
Künstliche Intelligenz und Einsamkeit: Wenn KI zu viel Nähe schafft
In den USA kann man bereits seit Längerem beobachten, dass der Anteil an jungen Männern, die ungewollt Single sind, steigt. Eine Folge der Einsamkeits-Epidemie: Seit dem Erscheinen von ChatGPT sind die Suchanfragen nach "AI Boyfriend", vor allem aber die nach "AI Girlfriend" in die Höhe geschossen.
Die Verführung, emotionale Bedürfnisse durch KI zu befriedigen, scheint also für viele Menschen schon jetzt groß sein und sie könnte noch größer werden, wenn man mit Maschinen irgendwann so sprechen kann wie mit Menschen aus Fleisch und Blut. Schon jetzt wirkt der Voice-Mode von ChatGPT erstaunlich menschlich, wie in der aktuellen Folge von "Der KI-Podcast" gezeigt wird. Und so verdeutlicht der Tod von Sewell Setzer auf traurige Weise die potenziellen Risiken der KI-Revolution – und dass Entwickler jetzt handeln müssen, um ähnliche Tragödien in Zukunft zu verhindern
Der Bayerische Rundfunk berichtet - vor allem wegen möglicher Nachahmer-Effekte - in der Regel nicht über Suizide oder Suizidversuche, außer die zuständige Redaktion sieht es durch die Umstände der Tat geboten. Sollten Sie selbst Hilfe benötigen, kontaktieren Sie bitte umgehend die Telefonseelsorge. Beratung erhalten Sie unter der kostenlosen Rufnummer 0800-1110111 oder 0800-1110222.
🎧Wie verändert KI unser Leben? Und welche KI-Programme sind in meinem Alltag wirklich wichtig? Antworten auf diese und weitere Fragen diskutieren Gregor Schmalzried, Marie Kilg und Fritz Espenlaub jede Woche in "Der KI-Podcast" – dem Podcast von BR24 und SWR.
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!