Großes Sprachmodell (LLM) · KI-Wiki · Metatron Intelligence

Was es ist

Ein großes Sprachmodell (LLM) ist ein Computerprogramm, das aus enormen Textmengen gelernt hat, wie Sprache aufgebaut ist. Auf eine Frage oder eine Anweisung hin schreibt es eine passende Antwort, ein kleines Textstück nach dem anderen.

„Groß“ bezieht sich auf zwei Dinge: die Menge des Trainings文本, oft viele Billionen Wörter, und die Zahl der einstellbaren Einstellungen im Modell, Parameter genannt, die in die Milliarden geht. GPT-3 aus dem Jahr 2020 hatte bereits 175 Milliarden Parameter.²

Wie es funktioniert

Text wird zu Tokens. Text wird in kurze Stücke (Tokens) zerlegt, im Englischen jeweils etwa drei Viertel eines Wortes.
Training: das nächste Token vorhersagen. Das Modell liest Text und wird wiederholt aufgefordert, das nächste Token zu erraten. Jede falsche Vermutung passt seine Parameter leicht an. Nach Milliarden von Runden hat es Grammatik, Fakten und Stile aufgenommen.
Die Transformer-Architektur. Seit 2017 nutzen fast alle LLMs den Transformer, der jedes Wort in einem Text alle anderen Wörter auf einmal berücksichtigen lässt.¹
Feinabstimmung für Konversation. Ein rohes Modell setzt nur Text fort. Um Anweisungen zu befolgen, wird es weiter mit Beispielen und mit menschlichen Bewertungen guter und schlechter Antworten trainiert (Reinforcement Learning from Human Feedback).³
Antworten. Wenn Sie etwas fragen, erzeugt das Modell seine Antwort Token für Token, jedes auf Grundlage Ihrer Frage und allem, was es bisher geschrieben hat.

Kurze Geschichte

2017Google-Forscher veröffentlichen die Transformer-Architektur.¹
2018Erste große vorab trainierte Sprachmodelle: BERT (Google) und GPT (OpenAI).
2020GPT-3 zeigt, dass ein einziges, sehr großes Modell viele Aufgaben aus wenigen Beispielen lösen kann.²
2022OpenAI veröffentlicht ChatGPT am 30. November; LLMs erreichen die breite Öffentlichkeit.⁶
2023Offene Modelle wie Meta’s Llama lassen Unternehmen LLMs selbst betreiben.
2025EU-Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck gelten ab 2. August.⁵

Wofür Unternehmen es nutzen

Entwerfen und Zusammenfassen: E-Mails, Berichte, Angebote, Besprechungsnotizen.
Kundenservice: routinehafte Fragen beantworten, den Rest übernimmt ein Mensch.
Eigene Dokumente in einfacher Sprache durchsuchen, meist indem das Modell an die Dateien eines Unternehmens angebunden wird (Retrieval-Augmented Generation).⁴
Übersetzung und Lokalisierung.
Softwarecode schreiben und prüfen.
Als das „Gehirn“ von KI-Agenten, die Aufgaben selbstständig ausführen.

Grenzen und Risiken

Es kann falsche Dinge überzeugend darstellen. Das Modell erzeugt plausiblen Text, keine geprüften Fakten. Das nennt man Halluzination.⁷ Wichtige Ausgaben müssen geprüft werden.
Das Wissen hat einen Stichtag. Ohne Zugriff auf aktuelle Quellen kennt das Modell keine neueren Ereignisse.
Datenschutz. Was Sie eingeben, kann das Unternehmen verlassen. Welche Daten in welchen Dienst dürfen, braucht eine Regel.
Kosten und Geschwindigkeit. Der Preis wird pro Token berechnet; lange Dokumente und große Modelle kosten mehr.
Verzerrung. Das Modell spiegelt die Muster und Lücken seines Trainings texts wider.

Regeln in der EU

Der EU AI Act behandelt LLMs als KI-Modelle mit allgemeinem Verwendungszweck. Seit 2. August 2025 müssen ihre Anbieter unter anderem technische Dokumentation führen, eine Zusammenfassung der Trainingsinhalte veröffentlichen und das EU-Urheberrecht beachten; die leistungsfähigsten Modelle tragen zusätzliche Sicherheitspflichten.⁵ Unternehmen, die ein LLM nur nutzen, haben eigene, leichtere Pflichten, etwa die Kennzeichnung KI-generierter Inhalte.

Schlüsselbegriffe

Token: Ein kleines Textstück, das das Modell liest und schreibt; Preise und Grenzen werden in Token gezählt.
Parameter: Eine einstellbare Zahl im Modell; zusammen speichern sie, was es gelernt hat.
Kontextfenster: Wie viel Text das Modell auf einmal berücksichtigen kann.
Prompt: Die Anweisung oder Frage, die Sie dem Modell geben.
Fine-Tuning: Weiteres Training eines bestehenden Modells für eine bestimmte Aufgabe oder einen bestimmten Stil.
RAG: Retrieval-Augmented Generation: Das Modell schlägt zuerst relevante Dokumente nach und antwortet dann daraus.⁴
Halluzination: Eine selbstsichere, aber falsche oder erfundene Aussage des Modells.⁷

Neueste Forschung

Neue Papers und Berichte, die diesen Begriff erwähnen, gefunden durch unseren täglichen Quellen-Scan. Eine Zeile pro Quelle, zitiert wie veröffentlicht.