LLM-Inferenz

Was unterscheidet Inferenz von Training und Wissenssuche?

Beim Training werden Modellparameter anhand von Beispielen angepasst. Inferenz nutzt das trainierte Modell für eine konkrete Aufgabe. Der Google-Kurs zu Produktionssystemen unterscheidet dabei vorberechnete Ergebnisse und Berechnung auf Anfrage. Ein Dialog braucht jeweils eine Reaktion auf den aktuell bereitgestellten Inhalt.

Eine RAG-Suche kann vor der Antwort passende Dokumentstellen liefern. Diese ergänzen die Eingabe; das ist kein Nachtraining auf den Dokumenten. Ob eine Anwendung Gesprächsverläufe oder Protokolle aufbewahrt, bleibt eine gesonderte Betriebsfrage. „Kein Training“ beschreibt deshalb nicht automatisch den vollständigen Umgang mit Daten.

Was geschieht bei der Textausgabe?

Zunächst wird die Eingabe für das Modell aufbereitet. Anschließend berechnet es weitere Tokens anhand des verfügbaren Kontexts und der bisherigen Ausgabe. Die Transformers-Dokumentation 4.55.4 zur Textgenerierung erklärt dieses Vorgehen und die Begrenzung der erzeugten Länge. Eine vollständige Antwort liegt bei dieser Arbeitsweise nicht schon mit dem ersten Token vor.

Ein KV-Cache kann bereits berechnete Zwischenwerte wiederverwenden, statt sie für jeden Schritt erneut zu berechnen. Dies erläutert die Caching-Dokumentation derselben Version. Modellgewichte, Kontextfenster und Laufzeitspeicher gehören zusammen in die Planung. Die reine Dateigröße oder eine Bitzahl aus der Quantisierung reicht dafür nicht.

Welche Messgrößen helfen bei einer Entscheidung?

Trenne den Beginn der Ausgabe von ihrem Abschluss. Die NVIDIA-Dokumentation zu GenAI-Perf im Archiv 25.02 definiert Time to First Token, Anfragezeit und Durchsatz mit unterschiedlichen Messgrenzen. Prüfe bei jedem Ergebnis, ob es eine einzelne Anfrage oder alle gleichzeitig bearbeiteten Anfragen beschreibt.

Ergänze bei Bedarf serverseitige Wartezeiten. Triton dokumentiert im Archiv 23.10 Warteschlangenzeit getrennt von Modellberechnung und gesamter Anfragezeit. Solche Messgrößen helfen, einen Engpass einzugrenzen. Sie sind keine Behauptung über die eingesetzte smao Software.

• Konfiguration: Modellrevision, Laufzeit, Hardware, Präzision und Cache-Zustand festhalten.
• Last: Eingabe- und Ausgabelängen sowie gleichzeitig aktive Anfragen beschreiben.
• Zeit: Messpunkt, Antwortbeginn, Abschluss, Wartezeiten und Fehler getrennt erfassen.
• Qualität: Dieselben fachlichen Fragen bewerten, bevor ein schnellerer Lauf als besser gilt.