RAG — Retrieval-Augmented Generation — ist 2025 und 2026 zum Standard geworden, wenn es darum geht, unternehmens-spezifisches Wissen für LLM-Anwendungen nutzbar zu machen. Die Idee ist bestechend: Dokumente werden indiziert, bei einer Nutzerfrage relevante Passagen geholt, und das LLM bekommt sie zusammen mit der Frage als Kontext. Klingt einfach. In der Praxis liegen zwischen einem funktionierenden Prototyp und einem produktiven System mehrere Monate Arbeit.
Die drei Stellschrauben, die wirklich zählen
Erstens: Chunk-Größe. Zu kleine Chunks verlieren Kontext, zu große verwässern Relevanz. Für PDF-basierte Fachliteratur haben sich 400–600 Tokens pro Chunk bewährt, mit 80–120 Tokens Overlap. Für strukturierte Inhalte (Wikis, Knowledge-Base-Artikel) funktioniert die natürliche Sektionsgrenze besser als fixe Token-Größen.
Zweitens: Metadaten. Ein Chunk ohne Metadaten ist ein Chunk ohne Kontext. Mindestens Titel, Autor, Datum, Kategorie und Sprache sollten mitgespeichert werden — oft auch eine URL zurück zum Original. Im Retrieval filtert man damit nicht nur, sondern liefert dem LLM wertvolle Positionsinfos.
Drittens: Reranking. Der Wechsel von reinem Vektor-Retrieval zu Hybrid-Suche (BM25 + Dense Embeddings) mit anschließendem Cross-Encoder-Reranking hat in unseren Projekten die Trefferqualität regelmäßig um 30–40% gehoben. Kostet ~200ms mehr pro Anfrage — fast immer ist das die beste 200ms-Investition im ganzen System.
Was oft unterschätzt wird
Die Kultivierung der Wissensbasis. Ein System, das gestern gut funktionierte, ist in sechs Monaten mittelmäßig — einfach weil neue Dokumente dazukommen und alte veralten. Ohne einen klaren Pflege-Prozess entsteht schleichend ein System, das selbstbewusst falsche Antworten gibt.
Die saubere Antwort ist ein redaktioneller Workflow: Dokumente haben einen Status (draft/published/archived), ein Review-Datum und einen Owner. Der Indexer überspringt archived und flaggt Dokumente, deren Review-Datum überschritten ist.
Ergebnisse aus einem aktuellen Projekt
In einem Projekt mit 4500 Fachdokumenten (gemischt PDF, DOCX, Markdown) haben wir folgende Werte gemessen:
- Precision@5: 0.73 (vor Reranking) → 0.89 (nach Cross-Encoder-Rerank)
- Latenz median: 380ms (Retrieval) + 1.2s (LLM-Response) = 1.6s End-to-End
- Nutzer-Akzeptanz (nach 4 Wochen): 71% der Nutzer kehren wöchentlich zurück
Die Akzeptanz-Zahl ist interessanter als die Retrieval-Metriken. Ein System mit 0.89 Precision, das niemand nutzt, ist wertlos. Ein System mit 0.73, das im Alltag hilft, schafft echten Impact.
Ausblick
Der nächste Sprung wird weniger am Modell liegen und mehr an der Orchestrierung: Wann muss überhaupt gesucht werden? Wann reicht eine schnelle Entscheidung ohne RAG? Wann soll das System eine Rückfrage stellen statt zu halluzinieren? Die Antworten auf diese Fragen bestimmen, ob aus einem RAG-System ein echter Assistent wird.