Generative KI: neuronale Netze und Large Language Models

Neuronale Netze und Large Language Models markieren einen Wendepunkt der KI-Entwicklung. Systeme wie ChatGPT zeigen, wie leistungsfähig Deep Learning geworden ist und warum KI heute Texte, Bilder und Ideen erzeugen kann, die menschlich wirken. Gleichzeitig bleibt KI „schwach“: Sie erkennt Muster, versteht aber keinen Sinn. Viele Menschen haben das Gefühl, sie kommen mit den technischen Entwicklungen nicht mehr mit. Technikoptimisten setzen auf eine verheißungsvolle Zukunft.

„Intelligente“ Maschinen

„Künstliche Intelligenz ist die Fähigkeit einer Maschine, menschliche Fähigkeiten wie logisches Denken, Lernen, Planen und Kreativität zu imitieren“, schreibt das Europäische Parlament auf seiner Website [97].

2016 gelang es dem Computergramm Alpha Go von Google DeepMind erstmals einen menschlichen Profispieler im Brettspiel Go zu schlagen. Ein Erfolg, der von Forschenden erst zehn Jahre später erwartet worden war [98].

Seit November 2022 ist der Chatbot ChatGPT von Open AI frei zugänglich verfügbar [99]. Das Large Language Model [100] erzeugt Texte, die teilweise nur schwer von menschlichen zu unterscheiden sind [101].

Doris Weßels, Professorin für Wirtschafsinformatik an der Fachhochschule Kiel und Leiterin des Virtuellen Kompetenzzentrums Schreiben lehren und lernen mit Künstlicher Intelligenz, bezeichnet ChatGPT als Meilenstein der KI-Entwicklung, die Leistungsvielfalt und -stärke von ChatGPT habe selbst IT-Expert*innen überrascht [102].

Im Frühjahr 2023 gaben 33 Prozent der 14 bis 29-Jährigen in Deutschland an, schon einmal Chatbots wie ChatGPT genutzt zu haben, unter den 30 bis 49-Jährigen waren es 19 Prozent [26, p. 7].

Deep Learning auf Basis neuronaler Netze

Alpha Go und ChatGPT sind Deep Learning-Systeme. Sie arbeiten auf Basis von künstlichen neuronalen Netzen. Der Begriff neuronales Netz leitet sich von der Funktionsweise menschlicher Gehirne ab. Wie die Synapsen im Gehirn geben Knotenpunkte im Computersystem Informationen an andere Knoten weiter, mit denen sie verbunden sind.

Zwischen Input und Output liegen mehrere Schichten vernetzter Knotenpunkte. Ab etwa hundert Hidden Layern spricht man von einem künstlichen neuronalen Netz. Welche Eingangsinformation auf welchem Weg weiterreicht wird, entscheidet das System selbst, indem es Muster erkennt, diese gewichtet und durch häufiges Trainieren dazulernt.

Generative KI ist in der Lage, auf Basis der Daten und Gewichtungen neue Inhalte als Output zu erzeugen. Das können Texte, Bilder, Audios oder Videos sein. Die Technologie Generative Pre-trained Transformer, ist ein vortrainiertes Sprachmodell, das auf Deep Learning beruht. Es basiert auf dem generativen KI-Sprachmodel GPT. ChatGPT wurde mit Reinforcement Learning from Human Feedback (RLHF) auf Basis von riesigen Textmengen vortrainiert. Anschließend bewerteten menschliche KI-Trainer den Output, um das System zu optimieren.

In der Informatik ist Deep Learning ein Teilbereich von Machine Learning, bei dem Systeme auf Basis von Daten und Training Regeln selbst lernen. Knowledge Based Learning dagegen sind regelbasierte Verfahren, bei denen Prozesse automatisch abgearbeitet werden. Beide Bereiche zählen in der Informatik zum Begriff künstliche Intelligenz, im täglich Sprachgebrauch sind allerdings meist Deep Learning-Systeme gemeint.

Schwache KI generiert menschenähnliche Ergebnisse​

Inwiefern kann künstliche Intelligenz Probleme besser lösen, als Menschen es können? Die Stärken von KI liegen vor allem in der Verarbeitung sehr großer Datenmengen, in der Mustererkennung oder Anwendungen mit klar eingegrenzten Regeln, wie bei dem Spiel Go.

Diese Fähigkeiten zählen zum Bereich der schwachen KI. Schwache KI hat in den letzten zehn Jahren enorme Fortschritte gemacht. Die Anwendungen können mit multimodalen Daten umgehen und ohne technische Kenntnisse benutzt werden. Der Output mag uns menschenähnlich erscheinen, tatsächlich versteht eine schwache KI aber nicht dessen Sinn oder kann Erkenntnisse daraus ableiten.

Schwache KI ist sehr gut darin geworden, Ergebnisse zu generieren, die unser menschlicher Geist als menschenähnlich wahrnimmt. Es fehlen ihr allerdings grundlegende Fähigkeiten auf menschlichem Niveau wie kausales Denken, robuste Entscheidungsfindung oder die Nutzung eines gesunden Menschenverstandes [103].

Eine enge Zusammenarbeit von Mensch und Maschine ist so möglich. Persönliche KI-Avatare könnten sogar eine Art emotionaler Nähe erzeugen, allerdings nur auf der Seite der menschlichen Nutzenden.

Forschungsstand starke KI

Unter einer starken KI wird verstanden, dass eine künstliche Intelligenz Gefühle, Verstand, Bewusstsein und Vorstellungskraft besitzt.

Mithilfe von Gesichtserkennung, Emotionsanalyse oder Sensoren können künstliche Intelligenzen trainiert werden, menschliche Gefühle zu erkennen und einem Gefühl eine Bedeutung oder Interaktion beizumessen. Es würde aber nicht bedeuten, dass eine KI menschliche Gefühle besitzt. Selbst wenn eine zukünftige künstliche Intelligenz Verstand, Bewusstsein und Vorstellungskraft besitzen würde, kann nicht davon ausgegangen werden, dass die KI auf eine Weise reagieren wird, wie es Menschen tun würden [104].

Jüngste Forschung befasst sich unter dem Begriff weak-to-strong mit der Verbesserung leistungsstarker schwacher KI. Mit Self-Play fine-tuNing (SPIN) spielen Large Language Models gegen Instanzen ihrer selbst und vergleichen die eigenen Ergebnisse mit denen, die aus von Menschen annotierten Daten erhalten wurden [105]. Vision Superalignment verwendet ein schwächeres Modell, um ein stärkeres Modell zu überwachen [106].

Rechtliche Grundlagen

Die aktuelle Entwicklung von künstlicher Intelligenz ist sehr dynamisch. Es werden täglich neue Anwendungen auf den Markt gebracht, während die Politik noch damit beschäftigt ist, Regeln zur formulieren und in Gesetze zu gießen.

So wurde im Mai 2024 der European Artificial Intelligence Act vom Europäischen Rat angenommen und ist am 1. August 2024 in Kraft getreten [107]. Das Gesetz stuft KI-Anwendungen in vier Risikoklassen ein. Unannehmbare Risiken, wie soziale Bewertungssysteme oder manipulative KI sind verboten.

Der größte Teil des Gesetzes befasst sich mit KI-Systemen mit hohem Risiko. Je nach Risikogruppe müssen die EU-Mitgliedsstaaten die Regelungen innerhalb mehrerer Stufen bis spätestens 2030 umsetzen [107].

KI: Ängste und Verheißungen

Das Zeitalter, in dem wir uns befinden, wird von Zukunftsforschenden als Beginn der nächsten großen globalen Transformation betrachtet, vergleichbar mit der Erfindung von Ackerbau und Viehzucht oder der industriellen Revolution, allerdings mit dem Unterschied, dass die Entwicklung ungleich schneller verläuft und die Menschheit gleichzeitig multiple Krisen bewältigen muss [109]. Es ist deshalb nachvollziehbar, dass Menschen das Gefühl haben, sie kämen mit den technischen Entwicklungen nicht mehr mit.

In Bezug auf künstliche Intelligenz beobachtet der Soziologe Stefan Selke vier typische Zukunftserzählungen [12]: Das Dagegen-Narrativ betrachtet KI als Gefahr, beim Anpassungs-Narrativ arrangieren wir uns mit dem scheinbar Alternativlosen, die Quest-Geschichte sieht KI als lohnende Herausforderung und die Aufbruch-Geschichte beschreibt den Weg in eine verheißungsvolle Zukunft.

Auf einer sehr konkreten Ebene formuliert die Autorin und Journalistin Kathrin Passig typische Reaktionen auf neue Technologien im Allgemeinen [110]. Mit Blick auf Large Language Models wie ChatGPT befinden sich die Technikpessimisten demnach aktuell überwiegend in den Phasen: „Das Neue ist nicht gut genug. Schwächere können nicht damit umgehen. [Die Technologie erzeugt] schlechte Manieren oder hat einen schlechten Einfluss auf Denken, Schreiben und Lesen“.

Technikoptimisten sehen in KI die Möglichkeit, Lernen zu vereinfachen bzw. das Ende der Knappheit in Bezug auf Wissen. Dabei ist für Passig die Begeisterung für das Neue keine Frage des Alters, sondern der „Motivation, über die Zukunft nachzudenken oder wenigstens in Kontakt mit der Gegenwart zu bleiben“.

Quellen

[12]S. Selke, Zukunftseuphorie als Trost. Gesellschaftliche Funktionen von Verheißungserzählungen über Künstliche Intelligenz, Juli 2022.
[26]N. Beisch und W. Koch, „ARD/ZDF-Onlinestudie: Weitergehende Normalisierung der Internetnutzung nach Wegfall aller Corona-Schutzmaßnahmen,“ Media Perspektiven, Bd. 23, 2023.
[97]Europäisches Parlament, Was ist künstliche Intelligenz und wie wird sie genutzt?, 14. September 2020 (zuletzt aktualisiert 20. Juni 2023).
[98]D. Silver et al., A. Huang und C. Maddison, Mastering the game of Go with deep neural networks and tree search, 28. Januar 2016.
[99]Open AI, ChatGPT: Optimizing Language Models for Dialogue, 30. November 2022.
[100]P. Kelbert, J. Siebert und L. Jöckl, Was sind Large Language Models? Und was ist bei der Nutzung von KI-Sprachmodellen zu beachten?, 12. Dezember 2023.
[101]J. E. Casal und M. Kessler, Can linguists distinguish between ChatGPT/AI and human writing?: A study of research ethics and academic publishing, 7. August 2023.
[102]D. Weßels, ChatGPT – ein Meilenstein der KI-Entwicklung, 20. Dezember 2022.
[103]B. Liu, “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for us?, 30 März 2021.
[104]J. C. Flowers, Strong and Weak AI: Deweyan Considerations, 2019.
[105]Z. Chen, Y. Deng, H. Yuan, K. Ji und Q. Gu, Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models, 14. Juni 2024.
[106]J. Guo, H. Chen, C. Wang , K. Han, C. Xu und Y. Wang, Vision Superalignment: Weak-to-Strong Generalization for Vision Foundation Models, 6. Februar 2024.
[107]EU Artificial Intelligence Act , Zeitplan für die Umsetzung
[109]C. Schuldt, Wie gelingt Transformation im 21. Jahrhundert?, 27. Juni 2024.
[110]K. Passig, Neue Technologien, alte Reflexe, 2. Oktober 2013.