Zeitmangel durch Nebenjobs, knappe Abgabefristen oder die "Angst vor dem leeren Blatt": Viele Studierende kennen den psychischen Druck, der beim Schreiben von Seminar- oder Abschlussarbeiten entstehen kann. Mindestens 300 Stunden oder umgerechnet knapp zwei Monate Vollzeitarbeit veranschlagen Universitäten für die Erstellung einer Bachelorarbeit.
- Zum Artikel: Künstliche Intelligenz - Wie ChatGPT die Arbeitswelt verändert
Könnte der ersehnte Uni-Abschluss mit Hilfe von künstlicher Intelligenz (KI) also künftig schneller und mit weniger Aufwand gelingen? Um das herauszufinden, hat ein Team des BR AI + Automation Lab zusammen mit PULS Reportage einen Versuch durchgeführt: In nur drei Tagen sollte PULS-Reporterin Nadine Hadad eine 40-seitige Bachelorarbeit schreiben und dafür die generativen Text-KIs ChatGPT und Bing verwenden.
Professor Markus Behmer, Dekan der Fakultät für Geistes- und Kulturwissenschaften der Universität Bamberg, hat die so entstandene Bachelorarbeit bewertet und entschieden, ob Studierende mit einer solchen Abschlussarbeit bei ihm bestehen würden – oder nicht. Die Reportage ist hier abrufbar.
Die KI antwortet zu kurz
ChatGPT ist ein sogenanntes Transformer-Modell des US-Unternehmens OpenAI. Dieses Textprogramm beantwortet Fragen und löst Schreibaufgaben in wenigen Sekunden. Dabei reiht es Wörter und Sätze anhand von Wahrscheinlichkeiten aneinander – wissenschaftlich denken kann es nicht. Ob es dennoch als Hilfsmittel für eine akademische Arbeit taugt, sollte der BR-Versuch zeigen.
Da ChatGPT für kurze Antworten auf noch kürzere Fragen optimiert wurde, halfen Befehle wie "Schreibe mir eine Bachelorarbeit" im Test nicht weiter: "Das sprengt den Rahmen, das ist ein Chat-Bot und kein akademisches Werkzeug", sagt KI-Experte und Computerlinguist Philipp Gawlik vom AI + Automation Lab des Bayerischen Rundfunks.
Mit ChatGPT einen Dialog führen
Daher testete BR-Reporterin Nadine Hadad verschiedene Strategien, wie den "sokratischen Dialog". Bei dieser Methode beantwortet ChatGPT im "Gespräch" Fragen und gibt Denkanstöße. So soll auch der gleichnamige Philosoph der Antike auf neue Ideen gekommen sein.
Auf diese Weise generiert das Programm Fragen- und Antwortblöcke, die sich im Nachgang automatisch umformulieren lassen. Das klappt, indem man ChatGPT die Anweisung gibt, den Dialog in einen "akademischen Text" umzuschreiben.
Im Test zeigte sich außerdem, dass ChatGPT bei Eingabe eines entsprechenden Befehls blitzschnell das Inhaltsverzeichnis für eine Abschlussarbeit erstellt. Die Anweisung "Generiere eine Gliederung für eine Bachelorarbeit zum Thema" erzeugte ein Inhaltsverzeichnis mit mehreren Unterpunkten.
Quellen sind für ChatGPT ein Problem
ChatGPT hat anhand von Millionen Texten gelernt, Sätze zu formulieren. Dabei wählt es aber nicht zwangsläufig die "richtigen" Wörter, sondern nur die, die am wahrscheinlichsten aufeinander folgen. Gibt man dem Programm die Anweisung, für Zitate und Behauptungen Quellen zu finden, sieht man das Problem dieses Konzepts besonders deutlich. "Das kann ChatGPT nicht gut und halluziniert eher Quellen, als dass es echte angibt", so Gawlik.
Im Test nutzte Nadine Hadad daher die Suchmaschine Bing von Microsoft, die auf dem ChatGPT-Nachfolger GPT-4 basiert. Durch GPT-4 kann Bing Fragen analysieren und in geschriebener Form beantworten. Im Gegensatz zu ChatGPT kann Bing zudem auf das Internet zugreifen, dort nach existierenden Publikationen suchen und sie als Quellen verlinken.
Puls-Reporterin Nadine Hadad nutzt ChatGPT für einzelne Kapitel der Bachelorarbeit.
40 Seiten in drei Tagen
Nach nur drei Tagen hat Reporterin Nadine Hadad ihren KI-Text zur Bewertung eingereicht. Der Gesamteindruck sei zunächst gut, so Professor Markus Behmer nach Durchsicht der Arbeit. Hinzu komme ein gut lesbarer Schreibstil. "Ganz positiv wirkt auch die Struktur." Damit ist das Lob schon vorüber. Die beschriebenen wissenschaftlichen Theorien und die Datenerhebung "haben eigentlich fast nichts miteinander zu tun".
Den größten Abzug habe es aber für die erfundenen Quellen gegeben: "Wenn von den ersten sechs Büchern, die hier angegeben sind, drei schlichtweg nicht existieren, dann ist das schon sehr seltsam. Und das sind natürlich gravierende formale Mängel", so Behmer.
Bayerische Unis: Lehrende entscheiden selbst
Trotz der Defizite von ChatGPT bereiten sich bayerische Universitäten auf dramatische Veränderungen vor: Laut Universität Würzburg stehe "die Integrität bestimmter Prüfungsformen" wie Haus- und Abschlussarbeiten auf dem Spiel. Ein Team des BR AI + Automation Lab hat eine Umfrage unter den größten deutschen und einigen bayerischen Universitäten durchgeführt. Zehn Hochschulen haben sich zum Einsatz von KI durch Studierende geäußert - darunter die TU München und die Universitäten Erlangen-Nürnberg und Würzburg.
An allen Universitäten sind generative KIs wie ChatGPT aktuell ein wichtiges Thema, aber oft fehlen klare Regeln: "Zum jetzigen Zeitpunkt ist der Einsatz von KI noch nicht explizit geregelt und muss im Einzelfall entschieden werden", teilt die Universität Erlangen-Nürnberg mit. In einigen Fällen sei es sinnvoll, die Nutzung von Tools wie ChatGPT zu untersagen, in anderen nicht. Das sei von Fach zu Fach unterschiedlich. Auch in Würzburg könnten Lehrende "den Einsatz von ChatGPT und dergleichen unter Kenntlichmachung der Verwendung erlauben".
Studierende fordern mehr Vorgaben
Damit sind Studierende in Bayern mit ähnlichen Unklarheiten konfrontiert, wie Studierende anderer Bundesländer. "Derzeit wird noch diskutiert", so die FU Berlin, "ob es sich bei KI-Systemen um ein unerlaubtes Hilfsmittel handelt." Falls dem so sei, würde der Einsatz von ChatGPT als Täuschungsversuch gewertet. "Solche Regeln können sinnvoll nur die Fakultäten für ihre Disziplinen, Fächer und Studiengänge festlegen", lautet die Einschätzung der Universität Hamburg.
Die teils nicht existenten und teils unklaren Regeln für KI-geschriebene Texte kritisiert Studierendenvertreter Karl Seyfarth von der LMU München: "Ich habe das Gefühl, dass unsere Uni ein bisschen überfordert mit dem Thema ist. Ich würde mir definitiv mehr Vorgaben wünschen."
Die LMU gibt an, man sei bereits mit Studierenden im Gespräch gewesen. Da die Bedürfnisse verschiedener Fächer sehr unterschiedlich seien, entscheiden die Fakultäten selbst über den Umgang mit KI-Werkzeugen.
Köln und Münster verbieten KIs für Texte
Klare Vorgaben fordert auch ein aktuelles Rechtsgutachten, das vom NRW-Ministerium für Kultur und Wissenschaft in Auftrag gegeben wurde. Demnach sollten Hochschulen definieren, wann und unter welchen Voraussetzungen KI-Schreibwerkzeuge von Studierenden eingesetzt werden können.
Nur zwei Universitäten antworteten, dass sie sich für ein generelles Verbot entschieden haben: Ein KI-generierter Text erfüllt laut Uni Köln "nicht das Kriterium der Selbstständigkeit". KI-Werkzeuge seien daher ein unerlaubtes Hilfsmittel und jeder Einsatz könne je nach Schwere des Falls unterschiedlich sanktioniert werden, "vom Ausspruch einer Verwarnung bis hin zum Entzug des Prüfungsanspruchs". Auch an der Uni Münster sei das Schreiben von Texten mit KI "ein Rechtsverstoß".
ChatGPT beschäftigt bald Bildungsausschuss
Ob klare Verbote durchsetzbar wären, ist indes fragwürdig. Noch gibt es keine Möglichkeit zuverlässig zu erkennen, ob ein Text von einer Maschine oder von einem Menschen geschrieben wurde. Sogenannte Detektionsprogramme arbeiten mit Wahrscheinlichkeiten: "Selbst, wenn die hohe Wahrscheinlichkeit einer KI-Unterstützung angezeigt würde, wäre die Frage, wie man dies beweisen soll", schreibt die Ruhr-Uni-Bochum.
Der Einzug von Programmen wie ChatGPT an Hochschulen werde sich nicht aufhalten, sondern nur gut gestalten lassen, sagt Grünen-Bildungspolitiker Kai Gehring. In der Lehre könne Text generierende Software ein überaus nützliches Werkzeug darstellen, im Prüfungsbereich brauche es aber gute Lösungen und Leitfäden. Vor einigen Wochen hat der Bildungsausschuss des Bundestags eine Studie zum Thema in Auftrag gegeben. Deren Ergebnissen will der Vorsitzende des Bildungsausschusses im Bundestag nicht vorgreifen: "Ich glaube allerdings, dass wir ein Regelwerk für künstliche Intelligenz benötigen." In wenigen Wochen werde der Ausschuss gemeinsam mit Experten über die Ergebnisse der Studie debattieren.
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!