Es war eine Ankündigung, die aufhorchen ließ: Am 6. Februar verkündete Wissenschaftsminister Markus Blume, dass ein bayerisches KI-Basismodell entwickelt werden soll. Der CSU-Politiker sprach von einem "BayernGPT".
ChatGPT basiert auf dem Grundlagenmodell GPT4
Ein KI-Basismodell ist eine spezielle Software, die auf einem künstlichen neuronalen Netzwerk (KNN) basiert. Ein künstliches neuronales Netzwerk ist stark vereinfacht gesprochen der Versuch, die Funktionsweise des menschlichen Gehirns in Form von Software abzubilden. KI-Basismodelle werden oft auf eine spezielle Eigenschaft hin trainiert, zum Beispiel darauf, Sprache zu verstehen, Bilder zu erkennen oder Entscheidungen zu treffen.
Das bekannteste Basismodell ist GPT4 der US-Firma OpenAI. Dabei handelt es sich um ein Sprachmodell, das sehr gut darin ist, menschliche Sprache zu verstehen. Auf einem Basismodell können Programme für spezielle Anwendungen aufgebaut werden. Bekanntestes Beispiel ist der Chatbot ChatGPT, der auf dem Grundlagenmodell GPT4 basiert. GPT4 gilt als das leistungsstärkste Sprachmodell.
Entwicklung von Grundlagenmodellen ist sehr aufwändig
In Deutschland gibt es bislang kaum ein annähernd so leistungsstarkes Sprachmodell. Die Entwicklung von Basismodellen ist extrem aufwändig, erfordert enorme Rechnerkapazitäten und Unmengen an Trainingsdaten, aus denen die Algorithmen dann selbständig Muster und Zusammenhänge lernen. Bei großen Sprachmodellen wie GPT4 ist aber weitgehend unklar, welche Trainingsdaten verwendet werden und welche Art von Voreingenommenheit darin steckt.
Ziel: technologische Souveränität
Um nicht länger von den Modellen ausländischer Konzerne wie OpenAI abhängig zu sein, will Bayern ein eigenes Grundlagenmodell entwickeln. "Für mich ist es eine Frage der technologischen Souveränität, ein eigenes KI-Basismodell zu entwickeln, das aus dem akademischen Bereich kommt und in dem wir wissen, mit welchen Daten und mit welchen Wertvorstellungen es trainiert wurde", sagt Blume im Gespräch mit BR24.
Mehrere Tausend Hochleistungsrechner sollen angeschafft werden
Für die Entwicklung bzw. Berechnung eines KI-Basismodells sind mehrere tausend GPUs genannte Hochleistungsrechner notwendig. Die will das bayerische Wissenschaftsministerium nun anschaffen, der dafür notwendige mehrstellige Millionenbetrag soll aus dem bayerischen Innovationsförderungsprogramm namens "Hightech Agenda" kommen.
Die TU Nürnberg (UTN) soll die Entwicklung des bayerischen Grundlagenmodells vorantreiben – im Verbund mit anderen bayerischen Hochschulen und Forschungseinrichtungen. Blume erwähnt in diesem Zusammenhang auch die Friedrich-Alexander-Universität Erlangen-Nürnberg.
Entwicklung eines Basismodells dauert etwa ein Jahr
Demnächst wird ein Expertengremium bestehend aus Universitäten, bayerischem KI-Rat und bayerischer KI-Agentur einen Fahrplan zur Entwicklung des Grundlagenmodells erstellen. Etwa fünf Jahre soll das dauern. Mit der Anschaffung der Rechner-Infrastruktur soll schon 2024 begonnen werden. Es wird etwa ein Jahr dauern, das Basismodell zu errechnen, das Training von verschiedenen darauf aufbauenden Domänen für spezielle Anwendungsbereiche kommt dann noch dazu.
Bayern will Grundlagenmodell für eigene Anwendungen nutzen
Auch die Staatsregierung möchte dann spezielle Anwendungen entwickeln, die auf dem Grundlagenmodell basieren. "Für uns als Staat ist es wichtig, dass KI-Modelle vertrauenswürdig sind. Dafür brauchen wir ein Modell, von dem wir wissen, wie es trainiert wurde. Dann können wir es auch in der Verwaltung und zum Bürokratieabbau einsetzen", sagt Wissenschaftsminister Blume.
Die Staatsregierung plant, künstliche Intelligenz "breitflächig" in der Verwaltung einzusetzen. "So können etwa Chatbots Anfragen von Bürgerinnen und Bürgern zu jeder Tages- oder Nachtzeit beantworten", heißt es im Koalitionsvertrag von CSU und Freien Wählern. Ministerpräsident Söder will mithilfe von KI auch Stellen in der Verwaltung einsparen.
Basismodell soll als Open Source veröffentlicht werden
Das fertige Basismodell BayernGPT soll dann unter einer Open-Source-Lizenz veröffentlicht werden. Das heißt, dass jeder es nutzen und weiterentwickeln kann, ohne dafür bezahlen zu müssen. Das könnte für Wirtschaft und Industrie interessant sein, die das Basismodell für ihre Zwecke anpassen können.
In diesem "Feintuning" genannten Prozess wird das Grundlagenmodell mit einem spezifischen Datensatz trainiert, der für die gewünschte Aufgabe relevant ist. Eine mögliche Anwendung wäre der Kundenservice: Unternehmen könnten ein Basismodell mit Kundenanfragen und Antworten des Unternehmens trainieren. Resultat wäre ein Kundenservice-Modell, das automatisch häufig gestellte Fragen beantworten kann.
Stromkosten im hohen sechsstelligen Bereich
Bis es so weit ist, gibt es für die TU Nürnberg allerdings noch sehr viel zu tun. Sie muss klären, welche Universitäten bei der Entwicklung mitmachen, die Hochleistungsrechner anschaffen, geeignete Trainingsdaten besorgen, die Modellarchitektur definieren. Und wenn das alles geschafft ist, die mehreren Tausend Rechner das Modell errechnen lassen.
Und auch das ist ein Kostenfaktor: Wenn diese GPUs ein Jahr lang unter Volllast laufen, kommen nach Schätzung von Wolfram Burgard, Professor für Künstliche Intelligenz und Robotik an der UTN Stromkosten im hohen sechsstelligen Bereich zusammen.
Dieser Artikel ist erstmals am 9. Februar 2024 auf BR24 erschienen. Das Thema ist weiterhin aktuell. Daher haben wir diesen Artikel erneut publiziert.
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!