"Hallo Sandra, sorry, dass ich mich erst jetzt melde... die letzte Woche war echt stressig. Ich wollte dir schon längst antworten, aber irgendwie ist immer was dazwischen gekommen. Du weißt ja, wie das ist..."
Wurde diese E-Mail-Begrüßung von einem Mensch oder einer KI geschrieben? Noch vor ein bis zwei Jahren hätte man einen so natürlich klingenden Text mit Sicherheit für menschlich gehalten. Doch die Zeiten sind vorbei: Der Text stammt aus der Text-KI Claude 3.5. Claude antwortete damit auf die Aufforderung, den Anfang einer E-Mail "so menschlich und natürlich wie möglich" zu schreiben.
Dass KI-Programme mittlerweile täuschend echte Texte formulieren können, sorgt für Unruhe. Bewerbungssschreiben, Bachelor-Arbeiten, Facebook-Kommentare... Was davon ist echt und was KI? Für Außenstehende ist es mittlerweile quasi unmöglich, den Unterschied zu erkennen.
Die Versprechen der KI-Detektoren
Nun soll dafür es eine technische Lösung geben. Das versprechen zumindest die Anbieter von KI-Erkennungs-Programmen wie GPTZero und Scribbr. Auch ein deutsches Start-up, Genaios, drängt seit Neuestem auf den Markt.
Die Tools sind einfach zu bedienen: Man fügt einen Text ein und erhält anschließend eine Prozentbewertung: Wie wahrscheinlich ist es, dass dieser Text von einer KI stammt? Dieser Wert kann bei 0 oder auch bei 100 Prozent liegen, in der Praxis schwankt er jedoch oft in der Mitte.
Die KI-Detektoren erhoffen sich ein neues Geschäftsmodell. Sie wenden sich an Unternehmen, aber auch an Bildungseinrichtungen und Pädagogen – etwa, um Hausarbeiten auf ihren Echtheitsgrad zu überprüfen. Marktführer GPTZero ist dafür bereits eine Partnerschaft mit dem Amerikanischen Lehrerverband AFT eingegangen.
🎧 Was passiert als nächstes in der KI-Revolution? Und welche Programme sind in meinem Alltag wirklich wichtig? Antworten auf diese und weitere Fragen diskutieren Gregor Schmalzried, Marie Kilg und Fritz Espenlaub jede Woche in "Der KI-Podcast" – dem Podcast von BR24 und SWR.
So werden die Detektoren ausgetrickst
Das Problem: Trotz der Versprechen der Anbieter sind ihre Produkte nicht immer akkurat. Im Selbstversuch gelang es dem Team des KI-Podcasts von BR24 und SWR, sämtliche gängigen Tools zu überlisten. Dafür waren nur leichte Anpassungen im Prompt nötig, also in der Anweisung, die man der Text-KI gibt.
Gibt man KIs wie ChatGPT oder Claude eine eher banale Aufgabe wie "Schreibe mir den Beginn einer Doktorarbeit", dann wird das Ergebnis meist von Scribbr oder Genaios erkannt. Fordert man die Text-KI aber auf, den Text auf bestimmte Art abzuändern, werden die Detektoren zunehmend hilflos – in einigen Fällen weisen sie den Text als 100 Prozent menschlich aus.
Eine Möglichkeit, die Detektoren auszutricksen, sind Prompts wie: "Füge kleine Fehler und Unregelmäßigkeiten ein, schreibe in einem Stil, in dem du normalerweise nicht schreiben würdest, sei so menschlich wie möglich." Eine andere Möglichkeit ist es, einen echten menschlichen Text einzufügen und die KI zu bitten, diesen Stil genau zu imitieren.
Mittlerweile gibt es sogar KI-Tools, die diesen Prozess automatisieren. Auf einschlägigen Websites kann man einen unbearbeiteten KI-generierten Text einfügen, und dieser wird in einen menschlich klingenden Text verwandelt – natürlich auch mithilfe von KI. Alle gängigen Tools, sogar Marktführer GPTZero (der bislang nur mit englischen Texten funktioniert), werden von dieser Methode entwaffnet und getäuscht.
Keine 100-prozentige Sicherheit
Auf Nachfrage von BR24 bestätigt Genaios-CEO Khaleeq Aziz, dass es zu solchen Fehlern kommen kann. Das Unternehmen plane auch in Kürze ein Update, mit dem die KI-Erkennung noch besser werden solle. Aber: "Es wird nie eine Erkennungs-KI geben, die zu 100 Prozent akkurat ist", fasst Aziz selbst die Lage zusammen. Genaios mache das auch transparent: In der Praxis gibt die KI-Analyse lediglich an, ein Text sei "wahrscheinlich" von einem Menschen oder von einer KI erzeugt worden.
Trotzdem wirbt Genaios in einer aktuellen Pressemitteilung damit, das Programm könne "zuverlässig zwischen echten und gefälschten Inhalten unterscheiden". Auch andere Anbieter wie GPTZero legen in ihrem Marketing einen Fokus auf Begriffe, wie "Vertrauen" und "modernste Forschung". Dass auch die vertrauenswürdigste modernste Forschung gegen einen bewussten Täuschungsversuch machtlos ist, erfährt man erst, wenn man die Tools tatsächlich nutzt.
Wenn Menschen für KIs gehalten werden
Und auch andersherum können die Programme unzuverlässig sein – wenn sie von Menschen geschriebene Texte als KI-generiert ausweisen.
Im Test von BR24 fanden sich immer wieder Fälle, in denen menschliche Texte für KI gehalten wurden. Genaios hielt etwa eine echte Doktorarbeit für KI-geschrieben, Scribbr die menschliche Zusammenfassung einer Filmhandlung. In einer Untersuchung mit englischsprachigen Texten zeigte GPTZero eine "False Positive"-Rate von 10 Prozent – jeder zehnte menschliche Text wurde also falsch eingeordnet.
Das ist vor allem brisant, wenn Prüfer oder Lehrkräfte die Arbeiten von Schülern und Studenten damit checken wollen. Erst im März verlor ein Master-Bewerber an der TU München vor Gericht, weil ein Prüfer sein Essay als KI-generiert abgelehnt hatte. In diesem Fall wurden keine technischen Hilfsmittel eingesetzt, das Gericht folgte hierbei der fachlichen Einschätzung des Prüfers.
Keine technische Lösung in Aussicht
Die meisten Experten halten es für unwahrscheinlich, dass eine sichere KI-Text-Erkennung technisch möglich sein wird. Zwar lassen sich Texte der letzten KI-Generation wie GPT 3.5 mittlerweile fast immer identifizieren – doch je neuer das KI-Modell, desto schwerer wird die Einordnung. KI-Entwickler und KI-Detektore stehen in einem ewigen Wettlauf miteinander – und die Detektoren sind chronisch im Hintertreffen.
Dass die Erkennung von KI-generiertem Text verlorene Liebesmüh sein könnte, zeigte sich bereits vor einem Jahr. Denn im Juli 2023 nahm OpenAI seinen eigenen KI-Detektor, den "AI Classifier", offline. Als Begründung nannte OpenAI die "niedrige Genauigkeit" des Tools. Selbst das Unternehmen hinter ChatGPT scheint den Kampf um die Erkennung von KI-Texten aufgegeben zu haben.
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!