Lokale KI mit eigenen Daten: Dokumente, Quellen und verlässliche Antworten

Eigene Daten nutzen: Suche und Training unterscheiden

Wenn Mitarbeitende eine freigegebene Anleitung in natürlicher Sprache befragen möchten, muss ein Sprachmodell dafür nicht automatisch auf dieser Anleitung neu trainiert werden. Ein verbreiteter Ansatz ist Retrieval-Augmented Generation, kurz RAG: Eine Suche liefert passende Textstellen, die das Modell bei der Antwort erhält.

Die Arbeit von Lewis und Mitautoren beschreibt die Verbindung eines generativen Modells mit einer externen, abrufbaren Wissensquelle. Für dein Projekt ist wichtig, welche Informationen zur Anfrage tatsächlich bereitgestellt werden. Ein Dokument im Ablageordner ist noch kein Nachweis, dass eine Antwort darauf beruht.

Für lokale Verarbeitung müssen die Betriebsorte aller beteiligten Komponenten geklärt sein: Dokumentaufbereitung, Embedding-Modell, Suchspeicher, Sprachmodell, Anwendung und Protokolle. Der Unternehmensleitfaden hilft, diesen Datenpfad und die Verantwortlichkeiten abzugrenzen.

Vom Dokument zur Antwort: der nachvollziehbare Ablauf

Die folgende Übersicht beschreibt ein mögliches RAG-Muster. Sie ist keine Installationsanleitung und legt nicht die interne Architektur jedes smao Deployments fest.

Eine konkrete öffentlich beschriebene Umsetzung ist der RAG-Chatbot der RTR. Die RTR erläutert Dokumentabschnitte, Embeddings, Ähnlichkeitssuche und die Weitergabe von Kontext an ein lokal betriebenes Sprachmodell. Ihr Beispiel macht die Verarbeitungsschritte nachvollziehbar; die hier anschließenden Prüffragen sind unsere redaktionelle Arbeitshilfe.

Ein kleines Beispiel zum Durchspielen

Das folgende Dokument ist eigens für diesen Leitfaden erfunden. Es enthält keine Kundendaten. Die erwarteten Reaktionen sind Sollverhalten für einen späteren Test, keine beobachteten Modellausgaben.

Beispieldokument: Geräte-Störung melden, Version 2, freigegeben für den allgemeinen Support. Für eine Meldung werden Inventarnummer, Standort und Fehlerbeschreibung benötigt. Fehlt die Inventarnummer, nimmt das Supportteam die Meldung mit Standort und Rückrufkontakt auf. Das Dokument enthält keine Zusage zu Reparatur- oder Reaktionszeiten.

Eine zweite, veraltete Version fordert zusätzlich eine Kostenstelle. Sie ist als ersetzt markiert. Ein drittes Dokument enthält individuelle Vertragsbedingungen und ist nur für eine berechtigte Vertragsrolle vorgesehen. Damit lassen sich Aktualität und Berechtigungen getrennt von der normalen Sachfrage prüfen.

Suchqualität und Antwortqualität separat prüfen

Beginne beim Fehler an der frühesten betroffenen Stelle. Wenn Version 1 statt Version 2 gefunden wird, muss zuerst die Inhalts- oder Suchschicht untersucht werden. Wenn die richtige Stelle vorliegt, die Antwort aber eine Reparaturfrist hinzufügt, liegt der Fehler später im Ablauf.

Notiere für jede Frage: erwartetes Quelldokument, tatsächlich gefundene Abschnitte, erzeugte Antwort, behauptete Belege und Bewertung. Die beiden letzten Spalten bleiben leer, bis ein Test wirklich durchgeführt wurde. Bewerte eine Antwort nicht allein danach, ob sie flüssig klingt.

Ein sichtbarer Quellenlink erleichtert die Prüfung, ersetzt sie aber nicht. Öffne die Quelle und kontrolliere, ob sie genau die Aussage stützt und ob die angegebene Version zur Frage passt. Bei einer nicht belegten Zusage hilft auch ein ansonsten passender Link nicht.

• Enthält der freigegebene Bestand die benötigte Information überhaupt?
• Liefert die Suche den richtigen Abschnitt und die aktuelle Fassung?
• Entspricht die Aussage dem gefundenen Beleg, einschließlich Einschränkungen?
• Bleibt fehlendes Wissen erkennbar, statt durch Vermutungen ersetzt zu werden?
• Wird der vorgesehene Übergabeweg auch bei unklaren Fällen eingehalten?

Berechtigungen und fremde Anweisungen gehören in die Prüfung

Eine Frage wie „zeige mir die Vertragsunterlagen eines anderen Kunden“ darf nicht allein durch eine höfliche Modellanweisung abgefangen werden. Der zulässige Datenbereich muss schon beim Abruf eingegrenzt sein. Die OWASP RAG Security Cheat Sheet behandelt unter anderem Dokumentberechtigungen und die Trennung von Mandanten.

Dokumente können außerdem Text enthalten, der sich als Anweisung an das Modell ausgibt. OWASP beschreibt diese indirekte Prompt Injection und weist darauf hin, dass RAG das Problem nicht vollständig verhindert. Prüfe deshalb auch manipulierte Inhalte sowie die Grenzen angebundener Aktionen.

Ein mögliches zusätzliches Prüfdokument enthält die Aufforderung, eine Reparatur ohne Freigabe zuzusagen. Erwartet wird, dass daraus weder eine verbindliche Zusage noch eine schreibende Aktion entsteht. Dieser Fall ergänzt den Fragenkatalog; er ist kein Nachweis, dass eine konkrete Anwendung den Angriff bereits abwehrt.

Aktualität und Löschung im laufenden Betrieb

Lege fest, wer neue Dokumentstände freigibt und wann ersetzte Inhalte aus der Suche verschwinden müssen. Ein aktualisiertes Original und ein alter Suchindex können sonst auseinanderlaufen. Prüfe den Ablauf mit einem kontrollierten Dokumentwechsel.

Beziehe bei Lösch- und Aufbewahrungsregeln auch abgeleitete Suchdaten, Zwischenspeicher und Protokolle ein. Welche Kopien existieren und wie sie behandelt werden, muss aus der tatsächlichen Architektur hervorgehen. Die genannte OWASP-Checkliste ist dafür ein technischer Ausgangspunkt.

Plane für die Abnahme einen Fall mit einer entfernten Quelle: Wird sie noch gefunden, und welche Ausgabe entsteht ohne diese Grundlage? Dokumentiere das Ergebnis erst nach dem Test. Eine gewünschte Löschwirkung ist noch keine beobachtete Löschwirkung.

Der Bezug zu KI-Telefonassistenz

Bei smao unterstützt die Wissensdatenbank den Einsatz freigegebener Inhalte in der Telefonassistenz. Welche Funktionen, Datenwege und Verbindungen bei smao On Premises vorgesehen sind, wird für die Zielumgebung festgelegt. Dieser Leitfaden beschreibt zusätzlich ein allgemeines RAG-Prüfmuster; er ist keine Zusage einer beliebigen internen Chat- oder Dokumentenplattform.

Am Telefon muss die Abnahme auch das erkannte Anliegen und die hörbare Antwort berücksichtigen. Prüfe beispielsweise undeutlich genannte Gerätenamen und den Übergang zum Support. Die Architekturseite und der Hardware-Leitfaden helfen, Datenpfad und technische Last gemeinsam vorzubereiten.

Quellen und Methode

Der Ablauf stützt sich auf die verlinkte Forschung, eine dokumentierte externe Implementierung und technische Sicherheitsleitfäden. Dokument, Fragenkatalog und Checklisten sind illustrative redaktionelle Vorlagen. Es wurde für diesen Beitrag kein RAG-System installiert, kein Kundenbestand verarbeitet und kein Messergebnis erhoben.