RAG (Retrieval-Augmented Generation)

Definition

RAG (Retrieval-Augmented Generation) ist ein Architekturmuster der angewandten KI, bei dem ein Large Language Model vor der Antwortgenerierung relevante Dokumente aus einer externen Datenquelle abruft und diese Dokumente in den Eingabekontext einspeist. Statt ausschliesslich aus den im Modellgewicht trainierten Informationen zu schöpfen, stützt sich das Modell auf eine externe Wissensbasis, die laufend aktualisiert werden kann.

Eingeführt wurde der Begriff 2020 von Lewis et al. (Facebook AI Research, heute Meta AI) in der Publikation Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Seither hat sich RAG zum Standardmuster für produktive LLM-Anwendungen mit Faktenbezug entwickelt, von Customer-Support-Bots über Legal-Tech bis zu wissenschaftlichen Assistenten.

Architektur

Eine RAG-Pipeline besteht aus zwei Hauptkomponenten:

• Retriever: Wandelt die Nutzeranfrage in einen Vektor um (Embedding) und sucht in einer Vektor-Datenbank die ähnlichsten Dokument-Chunks. Klassisch via Cosine Similarity.
• Generator: Das Sprachmodell selbst, das die abgerufenen Chunks zusammen mit der Originalanfrage als Kontext erhält und darauf gestützt antwortet.

Zwischen Retrieval und Generation schalten reife Systeme typischerweise weitere Stufen ein: Query-Rewriting, Hybrid-Retrieval, Re-Ranking, Citation-Mapping.

Vektor-Datenbanken und Embedding-Modelle

Die Vektor-Datenbank ist das Rückgrat der Retrieval-Komponente. Marktstandards 2026:

• Pinecone: Managed Cloud, hoher Durchsatz, einfache API.
• Weaviate: Open Source mit Cloud-Variante, eingebaute Modul-Architektur für Embedding und Hybrid-Suche.
• Chroma: Python-nahe Embedded-Datenbank, dominant in Prototypen und Notebooks.
• pgvector: PostgreSQL-Extension, beliebt in Unternehmen mit bestehender Postgres-Landschaft.
• Qdrant, Milvus, Vespa: Hochskalierende Open-Source-Alternativen.

Auf der Embedding-Seite dominieren OpenAI text-embedding-3, Voyage AI voyage-3, Cohere embed-v4 und Open-Source-Modelle wie BGE und E5. Die Wahl des Embedding-Modells beeinflusst die Retrieval-Qualität stärker als die Wahl der Vektor-Datenbank.

Re-Ranking und Hybrid-Retrieval

Reine Vektorsuche scheitert bei exakten Begriffen, Eigennamen, Codes und Zahlen. Deshalb hat sich Hybrid-Retrieval durchgesetzt: parallele Suche via Vektor (semantisch) und BM25 (Keyword), gefolgt von Score-Fusion.

Im zweiten Schritt sortiert ein Cross-Encoder (z. B. Cohere Rerank, BGE-Reranker) die Treffer nach kontextueller Relevanz. Dieser Schritt verbessert die Faithfulness-Metriken in praktisch allen Benchmarks. Anthropic hat 2024 mit Contextual Retrieval gezeigt, dass das Hinzufügen von Chunk-Kontext vor dem Embedding die Rate fehlgeschlagener Retrievals um 49 Prozent senkt, in Kombination mit Reranking um 67 Prozent.

GraphRAG

GraphRAG ist die Brücke zwischen klassischem Vektor-RAG und Knowledge-Graph-Reasoning. Statt nur Text-Chunks abzurufen, werden Entitäten und ihre Beziehungen aus einem Knowledge Graph extrahiert. Microsoft Research veröffentlichte 2024 eine Implementierung, die Community-Detection auf einem aus Dokumenten gebauten Graph anwendet und so globale Zusammenfassungen über grosse Korpora ermöglicht. GraphRAG eignet sich besonders für Multi-Hop-Fragen und für Korpora mit dichter Entitätsstruktur.

Wann RAG, wann Fine-Tuning

RAG und Fine-Tuning lösen verschiedene Probleme:

• RAG: aktuelle Fakten, zitierbare Quellen, dynamisches Wissen, schnelle Updates.
• Fine-Tuning: Sprachstil, Format, Domänenvokabular, spezifisches Verhalten.

In der Praxis kombiniert: Fine-Tuning für Stil und Domäne, RAG für Fakten. Reines Fine-Tuning auf Faktenwissen veraltet schnell und ist schwer zu korrigieren.

Frameworks

Drei Frameworks dominieren das Ökosystem:

• LangChain: verbreitetste Pipeline-Bibliothek mit Adaptern für nahezu jede Datenquelle und jedes LLM.
• LlamaIndex: spezialisiert auf Datenanbindung, Indexierung und Query-Engines.
• Haystack: Enterprise-orientiert, modulare Pipelines, eigenes Evaluation-Framework.

Daneben etablieren sich leichtere Alternativen wie DSPy (Stanford), die deklarative Programmierung von RAG-Pipelines erlauben.

Häufige Fehler

• Naive Chunking-Strategien: zu kleine oder zu grosse Chunks verschlechtern beide Enden der Pipeline.
• Fehlendes Hybrid-Retrieval: rein vektorbasierte Suche scheitert systematisch bei Eigennamen und Zahlen.
• Kein Re-Ranking: Top-K-Treffer aus reiner Cosine Similarity sind selten optimal sortiert.
• Keine Evaluation: ohne Faithfulness-Messung via RAGAS oder TruLens fliegt das System blind.
• Veraltete Indizes: ein RAG-System ist nur so aktuell wie sein letzter Index-Build.

Abgrenzung

• LLM Grounding: RAG ist die häufigste, aber nicht einzige Form von Grounding. Tool Use und strukturierte Lookups zählen ebenfalls dazu.
• Fine-Tuning: komplementär zu RAG, nicht konkurrierend.
• Prompt Engineering: strukturiert die Anfrage, nicht die Wissensbasis.
• Search: klassische Suche liefert Links, RAG liefert generierte Antworten gestützt auf Dokumente.