RAG ergänzt die Antwort eines Sprachmodells um zuvor gesuchte Informationen. Entscheidend sind passende Quellen, Zugriffsrechte und ein kontrollierter Umgang mit fehlendem Wissen.
Redaktion: smao Team · Stand: 14. September 2026
Kurz erklärt
Retrieval-Augmented Generation, kurz RAG, verbindet Informationssuche mit der Antworterzeugung eines Sprachmodells. Vor einer Antwort werden passende Inhalte aus einer vorgesehenen Wissensquelle gesucht und dem Modell als Kontext bereitgestellt. Das Modell kann daraus eine Antwort formulieren, ohne dass dafür bei jeder Inhaltsänderung seine Gewichte neu trainiert werden müssen. Richtige Suchtreffer und belastbare Antworten sind dadurch jedoch nicht garantiert.
Wie kommt Wissen in eine Antwort?
Ein typischer Ablauf beginnt mit freigegebenen Dokumenten, FAQs oder Anleitungen. Die Inhalte werden aufbereitet und in Abschnitte gegliedert, die sich gezielt wiederfinden lassen. Eine Suchanfrage liefert passende Abschnitte, die zusammen mit der Frage in den Antwortkontext gelangen. Die grundlegende RAG-Arbeit von Lewis und Mitautoren beschreibt diese Verbindung von gespeichertem Modellwissen und extern abrufbaren Informationen.
Die Suche kann unterschiedliche Verfahren nutzen. Häufig werden Texte als Embeddings abgebildet, um inhaltlich ähnliche Abschnitte zu finden. Auch Stichwortsuche oder eine Kombination von Suchverfahren ist möglich. Ein Suchtreffer ist aber nur ein Kandidat: Ein ähnlicher Absatz kann zum falschen Produkt, einer alten Version oder einer nicht freigegebenen Kundengruppe gehören.
Was unterscheidet RAG von Training und Tool Calling?
Bei RAG kommen die abgerufenen Informationen zur Anfrage hinzu. Das unterscheidet sich vom Training oder Fine-Tuning, bei dem Modellparameter angepasst werden. Eine neue Dokumentversion muss in der Wissensquelle und ihrem Suchindex verfügbar sein; sie wird nicht allein durch das Ablegen einer Datei automatisch berücksichtigt. Deshalb gehören Aktualisierung und das Entfernen veralteter Inhalte zum Betrieb.
Tool Calling beschreibt dagegen den kontrollierten Aufruf einer Funktion. Eine Wissenssuche kann als solches Werkzeug angeboten werden, RAG und Tool Calling sind aber nicht gleichbedeutend. Eine Anleitung zum Umbuchen ist Wissen. Einen verfügbaren Termin abzurufen oder eine bestätigte Buchung zu ändern, ist eine Aktion im angebundenen System und benötigt eigene Berechtigungen sowie Fehlerregeln.
Warum verhindern Suchtreffer nicht jeden Fehler?
Fehler können vor und nach der Suche entstehen: Eine veraltete Quelle wird eingelesen, der relevante Absatz fehlt oder die Antwort gibt einen gefundenen Inhalt falsch wieder. Auch Anweisungen innerhalb eines Dokuments sind nicht automatisch vertrauenswürdige Systemregeln. OWASP behandelt deshalb Quellenprüfung, Zugriffsbeschränkungen und die Trennung von Daten und Anweisungen als Teile der RAG-Absicherung.
In einer mandantenfähigen Anwendung müssen Kundengrenzen bereits den Wissenszugriff begrenzen. Ein Dokument eines anderen Kunden darf nicht erst nach einer erzeugten Antwort ausgeblendet werden. Für fachlich unklare Fälle braucht der Gesprächsprozess eine definierte Rückfrage oder Übergabe. RAG ist ein Baustein für quellenbezogene Antworten, keine Garantie gegen erfundene oder unpassende Aussagen.
Wie lässt sich der Nutzen am Telefon prüfen?
Ein guter Test trennt Suchqualität und Antwortqualität. Für eine konkrete Frage wird zuerst festgelegt, welcher freigegebene Inhalt die Antwort trägt. Dann wird geprüft, ob die Suche diesen Inhalt findet und die gesprochene Antwort ihn korrekt wiedergibt. Ohne diese Trennung lässt sich ein Fehler leicht dem Sprachmodell zuschreiben, obwohl bereits die falsche Dokumentversion ausgewählt wurde.
Am Telefon kommen Erkennungsfehler und Wartezeiten hinzu. Ein undeutlich genannter Produktname kann die Suche verändern; eine sehr lange Antwort kann trotz korrekter Quelle unpraktisch sein. Die Wissensdatenbank-Seite beschreibt den Einsatz freigegebenen Wissens bei smao. Dieser Glossarbegriff erklärt das zugrunde liegende Muster und seine Prüffragen, ohne eine bestimmte Sucharchitektur für jedes Produkt oder Deployment zu behaupten.
- Beantwortbare Frage: Wird der passende freigegebene Abschnitt gefunden?
- Fehlendes Wissen: Fragt der Prozess nach oder übergibt er kontrolliert?
- Veralteter Inhalt: Greift die aktuelle statt der ersetzten Information?
- Kundengrenze: Bleiben Suchtreffer im berechtigten Mandantenkontext?
Praxisbeispiel
Ein mögliches Prüfszenario: Eine Person fragt telefonisch, wie sie eine Störung an einem bestimmten Gerät melden soll. Die freigegebene Anleitung nennt Seriennummer, Standort und Fehleranzeige als benötigte Angaben. Die Wissenssuche liefert diesen Abschnitt. Der Assistent erklärt die nächsten Schritte und fragt die Angaben einzeln ab.
Die Anleitung enthält keine Aussage zur Reaktionszeit für den Vertrag dieser Person. Der Assistent darf daraus keine Zusage ableiten. Stattdessen wird die Vertragsfrage nach dem vorgesehenen Prozess geklärt oder an das Team übergeben. Eine spätere Ticketanlage läuft über eine getrennt geprüfte Integration. Das Beispiel ist ein Testfall, kein Kundenbericht.
Abgrenzung
- Eine Wissensdatenbank ist eine Inhaltsquelle; RAG beschreibt die Verbindung von Suche und Antworterzeugung.
- RAG ist weder ein bestimmtes Sprachmodell noch gleichbedeutend mit dessen Training auf Kundendaten.
- Eine gefundene Quelle garantiert keine richtige Antwort und erteilt keine Berechtigung für schreibende Aktionen.
Quellen
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (abgerufen am 14. September 2026)
- Mistral: RAG Basics (abgerufen am 14. September 2026)
- OWASP: RAG Security Cheat Sheet (abgerufen am 14. September 2026)
Kostenlos testenLive in 15 MinHosting in Deutschland