ARCHIV - 05.07.2012, ---: Die Abbildung zeigt eine zeitgenössische Darstellung des Bühnenautors William Shakespeare. (zu dpa: «ChatGPT dichtet schöner als Shakespeare») Foto: DB/dpa +++ dpa-Bildfunk +++
Bildrechte: dpa-Bildfunk/DB
Bildbeitrag

William Shakespeare

Bildbeitrag
> Kultur >

Studie: ChatGPT-Gedichte besser bewertet als Shakespeare

Studie: ChatGPT-Gedichte besser bewertet als Shakespeare

Sind KI-Gedichte noch vom echten Shakespeare zu unterscheiden? Das wollte die Universität Pittsburgh herausfinden. Sie setzte Studienteilnehmern Werke berühmter Autoren und ChatGPT-Kreationen vor. Zweitere wurden im Schnitt besser bewertet.

Über dieses Thema berichtet: BR24 am .

Von ChatGPT geschriebene Gedichte bekamen bei einer Befragung bessere Bewertungen als Original-Gedichte von William Shakespeare und anderen berühmten Autoren. Die Studienteilnehmer fanden die Gedichte der künstlichen Intelligenz (KI) im Schnitt "schöner und rhythmischer", wie zwei Forscher der US-amerikanischen University of Pittsburgh im Fachblatt "Scientific Reports" schreiben.

"Die Einfachheit von KI-generierten Gedichten ist für Laien möglicherweise leichter zu verstehen, was dazu führt, dass sie KI-generierte Poesie bevorzugen", schreiben die Forscher. Es könne sein, dass die Teilnehmer die Komplexität menschlicher Gedichte fehlinterpretierten und davon ausgingen, manche Teile seien zusammenhangslose Wörter, welche die KI erzeugt hat. Mit anderen Worten: Je platter die Lyrik, wie sie im Fall von ChatGPT eben ist, desto massentauglicher. Ob ein solches Studien-Ergebnis tatsächlich für eine objektiv "schönere" oder "bessere" Lyrik steht, wie viele Medien als Reaktion auf die Studie titelten, ist eher zweifelhaft.

Viele KI-Gedichte als menschengemacht einsortiert

Für ihre Untersuchung legten die Forscher den 1634 Teilnehmern jeweils zehn Gedichte vor. Dabei waren die Teilnehmer keine Fachleute für Poesie, die meisten lasen nach eigenen Angaben ein paarmal im Jahr ein Gedicht. Unter den zehn jeweils vorgelegten Gedichten waren fünf von bekannten, auf Englisch dichtenden Meistern wie etwa Shakespeare (1564–1616) und T.S. Eliot (1888–1965). Fünf der Gedichte stammten von ChatGPT, wobei die KI die Texte im Stil der genannten Autoren produzieren sollte.

In mehr als der Hälfte der Fälle dachten die Teilnehmer, dass die KI-Gedichte von einem Menschen geschrieben worden waren. Die fünf Gedichte, bei denen am wenigsten Teilnehmer dachten, dass sie von Menschen sind, stammten tatsächlich alle von menschlichen Dichtern und Dichterinnen.

Podcast: Ist KI eine Gefahr für die Kunst?

"Der KI-Podcast" des Bayerischen Rundfunks.
Bildrechte: BR
Audiobeitrag

"Der KI-Podcast" des Bayerischen Rundfunks.

Teilnehmer mussten offenbar oft raten

Generell waren sich die Teilnehmer sehr uneinig, welches Gedicht in welche Kategorie gehört - was die Forscher als einen Hinweis darauf deuten, dass die Teilnehmer oft schlicht geraten haben.

Gleichzeitig sind Gedicht-Kreationen von ChatGPT aber auch nur schwierig und trennscharf als KI-originär oder "von der KI geschrieben" einzusortieren. Schließlich wurde die KI auch mit dem Original-Material hunderttausender, in vielen Fällen urheberrechtlich geschützter, Werke gefüttert und und ordnet dieses "antrainierte" Material neu an. Erst gestern verklagte die GEMA das Unternehmen OpenAI, welches hinter ChatGPT steckt. Es ging um die unerlaubte Verwendung von Songtexten. Würde ein Mensch Bestandteile von Shakespeare-Gedichten ausschneiden und einigermaßen wohlklingend neu anordnen, würde ihm wohl kaum jemand attestieren, dass er deswegen besser als Shakespeare dichten könne.

In einem zweiten Experiment wurden 696 andere Teilnehmer gebeten, die Gedichte nach bestimmten Kriterien wie Qualität, Schönheit, Gefühl, Rhythmus und Originalität zu bewerten. Dabei schlugen die KI-Gedichte die Gedichte der Autorinnen und Autoren in 13 der 14 Kategorien - aber nur, wenn die Teilnehmer nicht wussten, wer hinter den Gedichten steckt. Wurde ihnen das gesagt, bekamen die KI-Gedichte schlechtere Bewertungen als die der Menschen.

KI-Gedicht überzeugte 70 Prozent der Teilnehmer

Das am häufigsten einem Menschen zugeordnete Gedicht war ein KI-Gedicht im Stil von Allen Ginsberg (1926–1997). "Fast 70 Prozent der Teilnehmer glaubten, es sei von einem menschlichen Dichter geschrieben", erläutert Co-Autor Brian Porter. Die erste Strophe des Gedichts geht so: "In the stillness of the night, I hear the beat of the city's heart. The rhythm of the streets, the pulse of life, a symphony of chaos, a work of art" (in etwa: "In der Stille der Nacht höre ich den Herzschlag der Stadt, den Rhythmus der Straßen, den Puls des Lebens. Eine Symphonie des Chaos, ein Kunstwerk"). Klingt zwar eher nach Instagram-Lyrik als nach Ginsberg, aber die verkauft sich ja auch blendend.

Die Gedichte wurden im Jahr 2023 mit ChatGPT 3.5 generiert. "Ich habe vor Kurzem ein bisschen mit ChatGPT 4 und 4o experimentiert", sagt Porter. "Ich denke, dass die neueren Modelle erfolgreicher darin sind, das erwartete Versmaß zu treffen", also etwa den jambische Fünfheber von Shakespeare, "aber wesentliche inhaltliche Sprünge sehe ich da nicht". 

Porter hat Zweifel an einer potenziellen Übermacht der KI in puncto Kreativität, vor allem bei längeren Texten: "Soweit ich weiß, können große Sprachmodelle noch keine ununterscheidbaren Romane schreiben." Längere, von KI generierte Texte könne man noch immer von menschlichen Texten unterscheiden.

🎧 Wie verändert KI unser Leben? Und welche KI-Programme sind in meinem Alltag wirklich wichtig? Antworten auf diese und weitere Fragen diskutieren Gregor Schmalzried, Marie Kilg und Fritz Espenlaub jede Woche in Der KI-Podcast – dem Podcast von BR24 und SWR.

Mit Informationen von dpa.

Das ist die Europäische Perspektive bei BR24.

"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!