Latenz

Latenz ist die Verzögerung zwischen einer Anfrage und der zugehörigen Antwort – im Grunde, wie lange ein Benutzer oder ein System auf Ergebnisse wartet. In der KI-Suche und in Anwendungen mit Sprachmodellen bezeichnet sie üblicherweise die Zeit vom Senden einer Query bis zum Erhalt einer Antwort und ist ein zentrales Maß dafür, wie reaktionsschnell und benutzbar sich ein System anfühlt.

Kurz gesagt: Latenz ist Wartezeit. In LLM-Systemen ist diese Wartezeit jedoch in einzelne Phasen unterteilt, und die Zeit bis zum ersten Token ist oft ebenso wichtig wie die Zeit bis zur vollständigen Antwort.

Wie Latenz funktioniert

Bei einem großen Sprachmodell gliedert sich die gesamte Wartezeit in Phasen:

1. Netzwerk und Warteschlange: Die Anfrage wandert zum server und muss möglicherweise warten, wenn das System ausgelastet ist, bevor die Verarbeitung beginnt.
2. Prefill: Das Modell liest und verarbeitet den gesamten Prompt, einschließlich jedes abgerufenen Kontexts. Dieser Schritt skaliert mit der Prompt-Länge, sodass längere Kontexte die Zeit bis zum ersten Token direkt erhöhen.
3. Zeit bis zum ersten Token (TTFT): Der Moment, in dem der erste Teil der Antwort erscheint – die Metrik, die Benutzer am stärksten wahrnehmen, weil sie signalisiert, dass das System arbeitet.
4. Generierung: Das Modell erzeugt den Rest der Antwort Token für Token, mit einer Rate, die häufig als Zeit pro Ausgabe-Token gemessen wird.
5. End-to-end-Latenz: Die gesamte Dauer von der Anfrage bis zum letzten Token, was in etwa der TTFT plus der gesamten Zeit zur Generierung einer Antwort entspricht.

Der entscheidende Punkt ist, dass Latenz keine einzelne Zahl ist: Ein System kann schnell mit der Antwort beginnen, aber eine Weile bis zum Abschluss brauchen – oder umgekehrt. Das aussagekräftigste Maß hängt daher davon ab, welche Benutzererfahrung optimiert werden soll.

Latenz vs. Durchsatz und Qualität

• Latenz ist die Zeit, die eine einzelne Anfrage benötigt; Durchsatz ist die Anzahl der Anfragen oder Token, die ein System pro Zeiteinheit verarbeiten kann. Die Optimierung des einen kann auf Kosten des anderen gehen.
• Zeit bis zum ersten Token misst die Reaktionsschnelligkeit und wie schnell die Ausgabe beginnt; die End-to-end-Latenz misst den Abschluss und wie schnell er erfolgt. Beide sind wichtig, je nach Aufgabe.
• Schnellere Antworten und höhere Qualität stehen oft im Zielkonflikt, da größere, leistungsfähigere Modelle tendenziell langsamer antworten.

Wo Latenz eine Rolle spielt

• Kontextlänge: Ein größeres Kontextfenster (eines voller Prompts und abgerufener Texte) erhöht die Prefill-Zeit und die Zeit bis zum ersten Token.
• Modellgröße: Größere Modelle erzeugen in der Regel qualitativ hochwertigere Ausgaben, antworten aber langsamer.
• Retrieval und mehrstufige Verarbeitung: Retrieval-Augmented Generation (RAG) fügt einen Nachschlageschritt hinzu, und die agentische Suche verkettet viele Aufrufe an das Modell, sodass jeder zusätzliche Schritt die Gesamtwartezeit erhöht.
• Such-APIs: Wenn eine Anwendung eine Such-API aufruft, um Live-Ergebnisse abzurufen – oft als Retrieval-Schritt, der ein LLM speist –, addiert sich die eigene Antwortzeit der API direkt zur Gesamtwartezeit des Benutzers. Eine latenzarme Such-API ist daher unerlässlich, um eine KI-Antwort-Pipeline reaktionsschnell zu halten.
• Gegenmaßnahmen: Das Streamen der Antwort, das Kürzen unnötigen Kontexts, Caching sowie die Verwendung kleinerer oder schnellerer Modelle reduzieren alle die tatsächliche oder wahrgenommene Latenz.

In der KI-Suche und im Chat entscheidet Latenz oft darüber, ob sich ein System „schnell“ anfühlt oder ob Benutzer es wegen der wahrgenommenen Langsamkeit aufgeben. Deshalb kann es ebenso wichtig sein, die ersten Token schnell auszugeben, wie die Qualität der endgültigen Antwort.

Verwandte Begriffe

Durchsatz, Kontextfenster, großes Sprachmodell (LLM), Zeit bis zum ersten Token (TTFT), Streaming, Inferenz, Retrieval-Augmented Generation (RAG), agentische Suche.