Großes Sprachmodell (LLM)
Ein großes Sprachmodell (LLM) ist ein Modell der künstlichen Intelligenz, das anhand riesiger Textmengen trainiert wurde, um menschliche Sprache zu verstehen und zu erzeugen. Es lernt die statistischen Muster der Sprache, sodass es den nächsten Textbaustein in einer Sequenz vorhersagen und erzeugen kann, was ihm (bei ausreichender Größe) ermöglicht, Fragen zu beantworten, zusammenzufassen, zu übersetzen, Code zu schreiben und ein Gespräch zu führen.
Kurz gesagt: Ein LLM ist ein Modell, das anhand riesiger Textmengen trainiert wurde und Sprache erzeugen kann, indem es die wahrscheinlichsten nächsten Wörter vorhersagt. Ein LLM ist leistungsstark und flexibel, aber durch das begrenzt, worauf es trainiert wurde, und ohne eine Retrieval-Schicht anfällig für Halluzinationen.
So funktioniert ein großes Sprachmodell
Das Modell wandelt Text in ein Vorhersageproblem um und löst es in enormem Umfang:
- Tokenisierung: Der Eingabetext wird in Token zerlegt (Chunks, die typischerweise kürzer als ein Wort sind; zum Beispiel könnte aus „running“ „run“ und „ning“ werden), wodurch das Modell einen handhabbaren Wortschatz erhält, der auch seltene und neuartige Wörter abdeckt.
- Transformer-Architektur: Die meisten LLMs basieren auf dem Transformer, einem neuronalen Netzwerkdesign, das Attention nutzt (ein Mechanismus, um zu gewichten, wie relevant jedes Token für jedes andere ist), um den Kontext über eine gesamte Passage hinweg zu erfassen, anstatt Wort für Wort von links nach rechts zu lesen.
- Vortraining: Das Modell lernt aus einem enormen Textkorpus (oder mehreren Korpora), indem es wiederholt das nächste Token vorhersagt und dabei Milliarden interner Parameter anpasst, um Sprach- und Faktenmuster zu codieren.
- Feinabstimmung und Ausrichtung: Weiteres Training anhand kuratierter Beispiele, einschließlich Reinforcement Learning aus menschlichem Feedback (RLHF), bringt dem Modell bei, Anweisungen zu befolgen, schädliche Anfragen abzulehnen und zuverlässigere und nützlichere Antworten zu erzeugen.
- Inferenz: Bei einem gegebenen Prompt erzeugt das Modell eine Antwort Token für Token, wobei jedes von allem im bisherigen Kontext abhängt.
Das entscheidende Merkmal ist, dass ein LLM keine Fakten nachschlägt. Stattdessen erzeugt es statistisch wahrscheinlichen Text aus im Training gelernten Mustern, was es leistungsstark und flexibel macht, aber nicht von Natur aus in einer Quelle verankert.
Großes Sprachmodell im Vergleich zu Chatbots und Suchmaschinen
- Ein Chatbot oder KI-Assistent ist ein Produkt, das um ein LLM herum aufgebaut ist und oft Speicher, Tools und eine Konversationsschnittstelle hinzufügt; das LLM selbst ist das zugrunde liegende Modell, das die Antworten erzeugt.
- Eine Suchmaschine ruft vorhandene Dokumente ab und ordnet sie; ein LLM erzeugt neuen Text und kann Details erfinden, sofern es nicht mit Retrieval verbunden ist (ein Problem, das als Halluzination bezeichnet wird).
- Herkömmliche Software folgt expliziten, deterministischen Regeln; ein LLM erzeugt probabilistische Ausgaben, die aus Daten gelernt wurden, sodass derselbe Prompt unterschiedliche Antworten liefern kann.
Wo große Sprachmodelle eingesetzt werden
- Konversationelle KI: Chat-Assistenten und Kundensupport, die in natürlicher Sprache antworten.
- Such- und Antwortmaschinen: Erzeugen direkter Antworten, die in der Regel in Retrieval verankert sind, um aktuell und genau zu bleiben.
- Inhalte und Code: Entwerfen, Zusammenfassen und Übersetzen von Text sowie Schreiben oder Erklären von Code.
- Agenten und Tool-Nutzung: Dienen als Reasoning-Kern, der über Funktionsaufrufe entscheidet, wann gehandelt werden soll.
Ein LLM ist durch sein Kontextfenster und seine Wissensgrenze begrenzt und kann ohne Verankerung halluzinieren, weshalb Retrieval so häufig damit kombiniert wird, um die Ausgaben aktuell und genau zu halten.
Verwandte Begriffe
Kontextfenster, Wissensgrenze, Halluzination, Funktionsaufruf, Retrieval-Augmented Generation (RAG), Embeddings, Transformer, Prompt Engineering, Tokenisierung.