RAG für Entscheider: Wie ein Wissens-Bot funktioniert – ohne Feintuning, ohne Code

Retrieval-Augmented Generation (RAG) verbindet ein großes Sprachmodell (LLM) mit Ihren eigenen Inhalten. Ergebnis: präzise, nachvollziehbare Antworten (inkl. Quellen), ohne dass das Modell eigens neu trainiert werden muss.

21. August 2025
Allgemein, Künstliche Intelligenz (KI/AI), Unternehmen
4 min read
Alexander Krapp - Leichte Sprache: Ein Schlüssel zur Inklusion

So funktioniert RAG – Funktionsbeschreibung auf Führungsebene 

  1. Fra­ge stel­len
     Der Nut­zer fragt z. B.: „Wel­che Richt­li­ni­en gel­ten bei Geschäftsreisen?“
  2. Rol­len & Tona­li­tät fest­le­gen
     Ein Sys­tem-Prompt legt Ver­hal­ten und Stil fest (z. B. „ant­wor­te ver­bind­lich, nen­ne Quel­len, bie­te nächs­te Schrit­te an“). Optio­nal gibt es Rol­len (z. B. Füh­rung, Sup­port, Fachabteilung).
  3. Rele­van­te Inhal­te fin­den (Retrie­val)
     Das Sys­tem durch­sucht einen Vek­tor­in­dex Ihrer Inhal­te und holt die pas­sends­ten Text­aus­schnit­te (Chunks).
  4. Ant­wort gene­rie­ren
     Das LLM kom­bi­niert All­ge­mein­wis­sen + Ihre Inhal­te zu einer kon­so­li­dier­ten Ant­wort mit Quel­len­ver­wei­sen.
  5. Qua­li­tät absi­chern
     Guar­drails (z. B. Tona­li­täts-/Com­pli­ance-Vor­ga­ben) und Schwel­len­wer­te sor­gen dafür, dass das Sys­tem bei Unsi­cher­heit nach­fragt statt zu raten.

Wich­tig: RAG „denkt“ nicht zu klein. Das LLM lie­fert wei­ter­hin voll­stän­di­ge, sprach­lich run­de Ant­wor­ten – die nach­ge­la­de­nen Inhal­te geben Fach­tie­fe und Bele­ge.

Braucht es ein Dokumentenmanagementsystem? 

Nein. Für RAG genügt eine les­ba­re Quel­le (Datei­en, CMS, Wiki, Cloud-Ord­ner).
 In vie­len Pro­jek­ten lesen wir direkt aus einem CMS (z. B. Word­Press) ein. Vor­teil: kei­ne Dop­pel­pfle­ge, bestehen­de Kategorien/Tags kön­nen als Meta­da­ten über­nom­men werden.

Inhalte vorbereiten – was wirklich zählt 

Formate

  • Text first. Bes­tens: Mark­down.
  • Word/HTML → direkt nutz­bar. PDFs: vor­her in Text über­füh­ren (Export/OCR).

Struktur & Überschriften

  • Inhal­te in sinn­vol­le Bedeu­tungs­blö­cke glie­dern (Absät­ze, Zwischenüberschriften).
  • Jeder Abschnitt erhält eine kla­re, spre­chen­de Über­schrift.
  • Wenn meh­re­re Abschnit­te das­sel­be Ober­the­ma haben, Ober­the­ma in jeder Über­schrift wie­der­ho­len (z. B. Rei­se­kos­ten – Bahn – Sitz­platz­re­ser­vie­rung). Das ver­bes­sert die Tref­fer­qua­li­tät spürbar.

Chunking (Abschnittsgröße)

  • Ziel­grö­ße: 200–300 Tokens, max. 512.
  • Kon­sis­tenz: Län­gen ±20 %.
  • Über­lap­pun­gen nur spar­sam ein­set­zen – lie­ber sau­ber schneiden.

  • Pra­xis-Tipp:
    • Tex­te um ~2.000 Zei­chen (~500 Tokens) meist nicht wei­ter splitten.
    • Sehr lan­ge Tex­te (~6.000+ Zei­chen) sinn­voll in meh­re­re abge­schlos­se­ne Unter­the­men teilen.

Metadaten / Taxonomie

Ein klei­nes, sta­bi­les Set reicht:
 topic (Ober­the­ma) • sub­to­pic • audience/persona (z. B. Füh­rung, Sup­port) • source • created_at/version.

Mythos „Key­words“: Sie müs­sen kei­ne Stich­wor­te aus dem Prompt in jeden Text schrei­ben. Die Zuord­nung pas­siert seman­tisch. Tags hel­fen vor allem beim Fil­tern (z. B. unter­schied­li­che Zielgruppen).

Ein Bot – mehrere Rollen (Persona-Handling)

Es gibt drei bewähr­te Wege, wie der Bot die Per­spek­ti­ve wählt:

Vari­an­te

Beschrei­bung

Rei­fe­grad

Emp­feh­lung

Manu­el­ler Schalter

Nut­zer wählt Rol­le (Dropdown/Buttons).

MVP-taug­lich, sofort verständlich

Start­punkt

Pro­fil-Attri­but

Rol­le aus Benut­zer­pro­fil (z. B. „Füh­rung“).

Enter­pri­se-rea­dy

Für fes­te Zielgruppen

Auto­ma­ti­sche Erkennung

Sys­tem lei­tet Rol­le nach ein paar Nach­rich­ten ab.

Kom­for­ta­bel, aber erklärungsbedürftig

Nach MVP evaluieren

Prompt-Hin­weis: Oft bewährt sich ein Ein­stiegs-Prompt + rol­len-spe­zi­fi­sche Leit­plan­ken (ins­ge­samt 4 Prompts: Ein­stieg + 3 Rol­len). So bleibt Ver­hal­ten sta­bil, ohne meh­re­re Model­le zu pflegen.

Governance, Sicherheit, Betrieb 

  • Daten­schutz & PII: Per­so­nen­be­zü­ge vor der Inde­xie­rung mas­kie­ren oder aus­schlie­ßen.
  • Zugriffs­rech­te (RBAC): Wer darf wel­che Quel­len sehen? Die­se Rech­te wer­den beim Retrie­val respek­tiert.
  • Nach­voll­zieh­bar­keit: Jede Ant­wort ent­hält Quel­len­an­ga­ben (Doku­ment, Abschnitt, Datum).
  • Betrieb: Cloud oder On-Prem – wich­tig sind Moni­to­ring (Nut­zung, Latenz, Qua­li­tät) und Inhalts-Life­cy­cle (Ver­sio­nie­rung, Archiv).

Erfolg messen – klare, geschäftsrelevante KPIs 

  • Ant­wort-Nütz­lich­keit (User-Rating)
  • Quel­len-Abde­ckung (Ant­wor­ten mit beleg­ter Quelle)
  • First-Ans­wer-Time (Zeit bis zur ers­ten sinn­vol­len Antwort)
  • Deflec­tion-Rate (wie vie­le Anfra­gen ohne mensch­li­che Eska­la­ti­on gelöst werden)
  • Con­tent-Fit­ness (Anteil veralteter/fehlender Inhal­te pro Quartal)

Vorgehensmodell – vom Kick-off zum Rollout 

  1. Dis­co­very (½ Tag)
     Zie­le, Ziel­grup­pen, Top-Use-Cases, Datenlage.

  2. Con­tent-Audit & Leit­plan­ken
     For­ma­te, Struk­tur, Chun­king-Regeln, Meta­da­ten-Sche­ma.

  3. Pilot (ca. 2–3 Wochen)
     Quel­len anbin­den, Index auf­bau­en, Prompt-Leit­plan­ken set­zen, Test­fra­gen definieren.

  4. Eva­lua­ti­on & Ite­ra­ti­on
     Ant­wor­ten prü­fen, Lücken schlie­ßen, Rol­len feinschärfen.

  5. Roll­out & Betrieb
    Moni­to­ring, Con­tent-Pro­zes­se, Schu­lung der Redaktionen.

Häufige Fragen – kurz & klar 

  • „Ist RAG ohne unse­re Inhal­te schon sinn­voll?“
     Ja – das LLM ant­wor­tet mit All­ge­mein­wis­sen. Ihre Inhal­te heben die Treff­si­cher­heit und Com­pli­ance.
  • „Sol­len wir sofort neu struk­tu­rie­ren?“
     Ja, aber prag­ma­tisch. Begin­nen Sie mit einem Inhalts­ver­zeich­nis (Ober-/Un­ter­the­men) und kur­zen, abge­schlos­se­nen Arti­keln (Mark­down). Sehr gro­ße Alt­do­ku­men­te kann die Soft­ware auto­ma­tisch teilen.
  • „Brau­chen wir drei Model­le für drei Ziel­grup­pen?“
     Nein. Ein Modell reicht. Rol­len wer­den über Prompts und – falls gewünscht – Fil­ter auf Inhal­te gesteuert.
  • „Wie tief müs­sen wir tech­nisch ein­stei­gen?“
    Nicht tief. Inhal­te, Struk­tur, Frei­ga­be­pro­zes­se – das ist der Hebel. Die Tech­nik küm­mert sich um Suche, Ran­king und Generierung.

Optional: Anbindung an bestehende Plattformen 

RAG läuft stand-alo­ne oder lässt sich in bestehen­de Arbeits­um­ge­bun­gen (Web-Por­tal, Teams/Slack, CMS) inte­grie­ren.
 Wer bereits mit einer zen­tra­len Platt­form arbei­tet, kann RAG dort sanft ando­cken (Quel­len, Rol­len, Rech­te) – ohne Medienbrüche.

Fazit 

RAG ist der geschäfts­na­he Weg zu ver­läss­li­chen Ant­wor­ten: Das LLM lie­fert Sprach­kom­pe­tenz, Ihre Inhal­te lie­fern Rele­vanz.

 Mit kla­ren Con­tent-Regeln (Mark­down, sau­be­re Über­schrif­ten, kon­sis­ten­tes Chun­king, schlan­ke Meta­da­ten) und einem schritt­wei­sen Vor­ge­hen ent­steht in kur­zer Zeit ein pro­duk­ti­ves Wis­sens­sys­tem – ohne Fein­tu­ning-Mara­thon und ohne Code.

Nächster Schritt 

Las­sen Sie uns in einem halb­tä­gi­gen Work­shop Ihre Use-Cases und Inhal­te struk­tu­rie­ren und die Leit­plan­ken für Chun­king & Meta­da­ten fest­le­gen. Auf die­ser Basis lie­fern wir einen Pilot-Bot in weni­gen Wochen – mess­bar, nach­voll­zieh­bar, erweiterbar.

SOULSURF GmbH – Digi­tal Solu­ti­ons. AI Engi­nee­ring. Mensch­lich nah.

„Ich möchte ein RAG-System für meine Firma!“

Wir bera­ten, imple­men­tie­ren, erwei­tern und beglei­ten. Mel­det Euch gerne.

RAG-Sys­tem anfragen
Kon­takt SOULSURF
Termin via Calendly