RAG einfach erklärt: Eigenes Wissen für KI nutzbar machen

RAG macht vorhandenes Unternehmenswissen für eine KI-Antwort zugänglich. Die Abkürzung steht für Retrieval-Augmented Generation: Erst werden passende Informationen gesucht, dann bekommt das Sprachmodell diese Informationen zusammen mit der Frage. Handbücher, Richtlinien, FAQs und Wikis werden so zur Arbeitsgrundlage für einen Wissensbot.

Dafür muss das Sprachmodell nicht allein wegen neuer Inhalte nachtrainiert werden. RAG und Fine-Tuning lösen unterschiedliche Aufgaben: RAG stellt Wissen für eine Anfrage bereit; Fine-Tuning kann Verhalten, Stil oder die Bearbeitung bestimmter Aufgaben verändern. Das ist kein pauschales Entweder-oder. Den grundlegenden Ablauf erklärt auch die RAG-Dokumentation von Microsoft.

Ein Beispiel: Welche Reiseregel gilt für mich?

Eine Mitarbeiterin fragt: „Welche Richtlinien gelten bei Geschäftsreisen?“ Statt eine allgemeine Antwort über Dienstreisen zu liefern, soll der Wissensbot die freigegebene Reiserichtlinie ihres Unternehmens heranziehen. Fehlt etwa die Angabe zum Standort, wäre eine Rückfrage sinnvoll. Eine verständliche Antwort sollte die passende Regel erklären und zur verwendeten Fundstelle führen.

Das Beispiel zeigt die Arbeitsteilung: Die Suche findet Inhalte, das Sprachmodell formuliert daraus eine Antwort. Ein Quellenlink hilft beim Nachprüfen; er ist noch kein Beweis, dass die Antwort die Quelle richtig wiedergibt.

Was hinter der Antwort passiert

1. Inhalte vorbereiten: Geeignete Quellen werden ausgelesen und in zusammenhängende Abschnitte gegliedert. Überschriften, Dokumenttitel und Versionsangaben sollten erhalten bleiben.
2. Passende Stellen suchen: Ein Suchindex erschließt die Inhalte. Möglich sind Stichwortsuche, Suche über Bedeutungsähnlichkeit oder eine Kombination. Ein Vektorindex ist ein verbreiteter Weg, aber nicht die Definition von RAG.
3. Kontext übergeben: Die Anwendung stellt ausgewählte Fundstellen zusammen mit der Frage und Anweisungen für die Antwort bereit.
4. Antwort prüfen: Das Ergebnis muss zum Anliegen passen und durch die gefundenen Inhalte gedeckt sein. Gerade bei verbindlichen internen Regeln empfehlen wir eine Prüfung im Original.

Die Qualität beginnt bei den Inhalten

Für den Einstieg empfehlen wir einen überschaubaren, gepflegten Wissensbereich. Ein neues Dokumentenmanagementsystem ist nicht automatisch nötig; entscheidend sind zugängliche Quellen und ein geklärter Aktualisierungsweg. Bei Word-Dateien, Webseiten, PDFs und Scans sollte geprüft werden, ob Texte, Tabellen und Zusammenhänge korrekt übernommen werden.

Eine feste Abschnittslänge passt nicht zu jedem Dokument. Zu kleine Ausschnitte verlieren Zusammenhang, zu große enthalten möglicherweise viel Unpassendes. Microsoft beschreibt deshalb verschiedene Verfahren zur Aufteilung von Dokumenten. Wir empfehlen, die Auswahl mit echten Fragen zu testen, statt eine Tokenzahl zum Qualitätsversprechen zu machen.

Wo ein Wissensbot Grenzen braucht

RAG garantiert weder richtige Antworten noch aktuelle Inhalte. Veraltete oder unvollständig gefundene Abschnitte können zu Fehlern führen. Änderungen müssen den Suchbestand erreichen. Zugriffsrechte sind ebenfalls eine eigene technische Aufgabe: Ein Rollenname im Chat ersetzt keine Berechtigungsprüfung beim Abruf. Diese Grenzen benennt auch Microsofts Überblick zu RAG-Systemen.

Prüfen Sie einen ersten Wissensbereich mit konkreten Fragen und den dazugehörigen Originalquellen. Für Unternehmensregeln empfehlen wir vier Testfälle:

• Die Antwort steht in der Quelle: Gibt der Wissensbot die Regel richtig wieder und führt sein Quellenlink zur passenden Stelle?
• Eine Angabe fehlt: Fragt er beispielsweise nach dem Standort, wenn davon die Reiserichtlinie abhängt?
• Die Quellen reichen nicht aus: Benennt er die Lücke, statt eine Unternehmensregel aus Allgemeinwissen zu ergänzen?
• Die Berechtigung reicht nicht aus: Bleiben Inhalte verborgen, auf die das Testkonto nicht zugreifen darf?

Halten Sie für jeden Fall fest, was Sie erwartet haben und was tatsächlich ausgegeben wurde. So wird sichtbar, ob eine Quelle fehlt, die Suche eine falsche Stelle liefert oder die Antwort von der Fundstelle abweicht. Verantwortliche sollten anschließend Datenpflege, Rückmeldungen, laufende Kosten und Antwortqualität regelmäßig prüfen.

Von der Erklärung zum ersten Einsatz

Für die praktische Einführung hilft es, drei Aufgaben getrennt zu planen: Inhalte aufbereiten, Suche und Antworten testen sowie den laufenden Betrieb organisieren. Wer nur das Sprachmodell vergleicht, übersieht leicht den Aufwand für Datenpflege und Rechte. Eine nachvollziehbare Vorgehensweise für einen Pilot mit Unternehmenswissen zeigt, welche Fragen und Prüfschritte Sie vorbereiten können.

Wenn Sie dafür eine betreute Lösung suchen, beschreibt SOULSURF Company GPT unser Angebot, Einsatzbereiche und die Faktoren für Aufwand und Kosten. Eine öffentliche Anwendung mit anderem Schutzbedarf ist KI-Wolfi auf der Website von Passauer Wolf. Dort erschließt der Assistent Website-Inhalte für Besucher; das ist kein Beleg für Zugriffsrechte auf interne Unternehmensunterlagen.

Wie sich das im Alltag anfühlen kann, zeigt unser Anwendungsfall Unternehmensdaten mit KI befragen. Wenn eine KI zusätzlich Aktionen ausführen soll, kommen KI-Agenten und ihre Werkzeuge ins Spiel. Gemeinsam klären wir einen passenden ersten Wissensbereich.