Vektordatenbank

Definition

Eine Vektordatenbank ist ein Datenbanksystem, das hochdimensionale Vektoren speichert und effiziente Ähnlichkeitssuche über diese Vektoren erlaubt. Im Unterschied zur klassischen Datenbank, die Datensätze über exakt definierte Felder identifiziert, sucht eine Vektordatenbank über geometrische Nähe in einem Vektorraum.

Der Hauptanwendungsfall sind sogenannte Embeddings: numerische Repräsentationen von Texten, Bildern, Audio oder anderen Daten, die von einem Modell so gelernt wurden, dass semantisch ähnliche Eingaben nahe beieinander liegen. Vektordatenbanken sind die Speicher- und Such-Infrastruktur, die diese Repräsentationen für produktive Systeme nutzbar macht.

Mechanismus

Die zentralen Funktionen einer Vektordatenbank sind:

• Indexierung: Speichert Vektoren plus Metadaten (Dokument-ID, Tags, Zeitstempel) und legt eine Datenstruktur an, die schnelle Nachbarsuche erlaubt.
• Ähnlichkeitsmass: Definiert, wie Nähe gemessen wird. Üblich sind Kosinus-Ähnlichkeit, Skalarprodukt und euklidischer Abstand.
• Approximate Nearest Neighbor Search: Algorithmen wie HNSW, IVF (Inverted File Index) und PQ (Product Quantization) liefern in logarithmischer oder konstanter Zeit Nachbarn, auch bei Milliarden Vektoren.
• Filterung: Erlaubt, die Suche auf Vektoren mit bestimmten Metadaten zu beschränken, etwa nur Dokumente einer Sprache, eines Datums oder eines Zugriffs-Levels.
• Persistenz und Skalierung: Verteiltes Speichern, Sharding, Replikation, ähnlich wie bei klassischen NoSQL-Datenbanken.

Der typische Workflow: Eingaben werden via Embedding-Modell in Vektoren umgewandelt, in der Datenbank gespeichert und indiziert. Bei einer Anfrage wird auch die Anfrage embedded, und die Datenbank liefert die k nächsten Nachbarn, oft kombiniert mit Metadaten-Filtern.

Praxis

Vektordatenbanken sind das Rückgrat fast aller produktiven Retrieval-Augmented-Generation-Systeme. Wer ein Sprachmodell mit eigenen Dokumenten verbinden will, baut typischerweise eine Pipeline aus Embedding-Modell, Vektordatenbank und LLM. Bekannte Anbieter sind Pinecone, Weaviate, Milvus, Qdrant und Chroma. Daneben bieten klassische Datenbanken Vektor-Funktionen, etwa pgvector für PostgreSQL, Elasticsearch und Mongo Atlas.

Über RAG hinaus werden Vektordatenbanken für semantische Suche in Wissensbasen, Produktempfehlungen, Bild- und Audio-Ähnlichkeit, Duplikat-Erkennung, semantisches Caching von LLM-Antworten und Anomalie-Erkennung verwendet. In der Robotik dienen sie als Episoden-Gedächtnis, in der Forschung als Such-Layer über Embeddings biologischer Sequenzen.

Praxis-Trends 2025/26: Hybrid Search wird Default, weil reine semantische Suche bei Eigennamen und seltenen Begriffen schwächelt. Reranker (Cross-Encoder) hinter der Vektorsuche heben die Relevanz weiter. Chunking-Strategien (semantisch versus festes Token-Fenster) sind oft wichtiger für die Qualität als die Wahl der Datenbank selbst.

Häufige Fehler

• Chunking ignoriert: Wer Dokumente unbedacht in feste Token-Chunks zerteilt, zerschneidet semantische Einheiten. Semantisches oder hierarchisches Chunking ist meist deutlich besser.
• Falsches Embedding-Modell: Generische Modelle versagen auf Fachdomänen. Domänen-spezifische oder feinabgestimmte Embedder liefern oft Sprünge in der Qualität.
• Nur Vektorsuche ohne BM25: Reine semantische Suche verfehlt seltene Begriffe und exakte Namen. Hybrid Search ist meist die bessere Default-Wahl.
• Metadaten vergessen: Ohne Filterfelder wie Sprache, Datum oder Zugriffsrecht ist die Datenbank für produktive Anwendungen kaum brauchbar. Metadaten-Schema gehört in die initiale Planung.
• Reranking weggelassen: Vektorsuche liefert oft thematisch passende, aber nicht maximal relevante Treffer. Ein Cross-Encoder-Reranker auf den Top-50-Kandidaten hebt die Qualität deutlich.

Abgrenzung

• Klassische SQL-Datenbank: Sucht über exakt definierte Spalten, kein Konzept geometrischer Nähe. Vektordatenbanken sind komplementär, nicht ersetzend.
• Volltextsuche (BM25, Elasticsearch): Sucht über Wörter und Token. Vektorsuche sucht über Bedeutung. Hybrid Search nutzt beide.
• Knowledge Graph: Speichert explizite Relationen zwischen Entitäten. Vektordatenbanken speichern dichte Repräsentationen. Beides lässt sich kombinieren.
• Embedding-Modell: Erzeugt die Vektoren. Vektordatenbanken speichern und durchsuchen sie. Beides ist nötig, aber getrennt.