Vektordatenbank

Eine Vektordatenbank ist eine Datenbank, die entwickelt wurde, um Embeddings zu speichern und zu durchsuchen – die hochdimensionalen numerischen Vektoren, die die Bedeutung von Text, Bildern oder anderen Daten repräsentieren. Anstatt Datensätze anhand exakter Werte wie eine herkömmliche Datenbank abzugleichen, findet eine Vektordatenbank die Datensätze, deren Vektoren einer Query am ähnlichsten sind, was eine bedeutungsbasierte (semantische) Suche im großen Maßstab ermöglicht.

Kurz gesagt: Eine Vektordatenbank speichert Embeddings und findet diejenigen, die einer Query am ähnlichsten sind – die Speicher- und Suchmaschine hinter der semantischen Suche und RAG.

So funktioniert eine Vektordatenbank

Die Aufgabe besteht darin, Vektoren zu speichern und die einer Query am nächsten liegenden schnell zu finden:

1. Vektoren speichern: Jedes Element wird in ein Embedding umgewandelt und gespeichert, in der Regel mit angehängten Metadaten wie Quelle, Titel und Tags.
2. Indizierung für Geschwindigkeit: Vektoren werden mit einem Approximate-Nearest-Neighbor-Index wie HNSW (Hierarchical Navigable Small World) organisiert, einer graphbasierten Struktur, die schnell zu nahen Übereinstimmungen navigiert, anstatt jeden gespeicherten Vektor zu durchsuchen.
3. Suche nach Ähnlichkeit: Eine Query wird in einen Vektor eingebettet, und die Datenbank gibt die nächstgelegenen Vektoren mithilfe einer Ähnlichkeitsmetrik wie der Kosinus-Ähnlichkeit zurück, jeweils mit einem Retrieval-Score.
4. Filtern und zurückgeben: Die Ergebnisse können nach Metadaten (wie Datum oder Kategorie) eingegrenzt und dann bereits nach Ähnlichkeit sortiert zurückgegeben werden.

Da der Vergleich einer Query mit jedem Vektor per Brute Force im großen Maßstab zu langsam ist, verwenden Vektordatenbanken die Approximate-Nearest-Neighbor-Suche (ANN), bei der ein wenig Genauigkeit gegen einen großen Geschwindigkeitsgewinn eingetauscht wird, sodass die Ähnlichkeitssuche selbst über Millionen oder Milliarden von Vektoren hinweg schnell bleibt.

Vektordatenbank vs. relationale Datenbanken und Suchbibliotheken

• Relationale Datenbanken rufen Zeilen anhand exakter Übereinstimmungen und Filter ab; eine Vektordatenbank ruft anhand von Bedeutungsähnlichkeit ab. Die Frage verschiebt sich von „ist gleich“ zu „am ähnlichsten“.
• Vektor-Suchbibliotheken wie FAISS (eine Open-Source-Bibliothek von Meta) bieten in erster Linie ANN-Indizierung und Ähnlichkeitssuch-Primitive; eine Vektordatenbank umgibt diese Fähigkeiten mit Persistenz, Metadatenfilterung, Updates, Bereitstellung und Skalierung.
• Vektordatenbanken speichern ähnlichkeitsbasierte Repräsentationen; ein Wissensgraph speichert explizite, gekennzeichnete Fakten und Beziehungen. Das eine ist statistisch, das andere symbolisch, und beide werden oft kombiniert.

Wo Vektordatenbanken eingesetzt werden

• Semantische Suche: Speicherung eines Korpus als Embeddings, sodass Queries anhand der Bedeutung übereinstimmen, was die semantische Suche über eine Sammlung von Dokumenten ermöglicht.
• RAG: Speicherung des in Chunks aufgeteilten, eingebetteten Wissens, aus dem ein RAG-System zur Query-Zeit abruft.
• Empfehlungen und Ähnlichkeit: Finden ähnlicher Produkte, Bilder oder Songs anhand der Vektornähe.
• Gängiges Architekturmuster: Teams kombinieren häufig eine Vektordatenbank mit einer Such-API: Die Vektordatenbank verarbeitet den Korpus, den sie aufnehmen (oft proprietär, aber möglicherweise lizenzierte oder öffentliche Daten), während die Such-API frische Ergebnisse aus dem offenen Web liefert.

Eine Vektordatenbank ist wichtig, wenn Sie im großen Maßstab anhand der Bedeutung über einen eingebetteten Korpus suchen müssen, und sie ist oft eine Hälfte eines Retrieval-Stacks (wobei eine Such-API das ergänzende Web-Retrieval übernimmt).

Verwandte Begriffe

Embeddings, semantische Suche, Retrieval-Augmented Generation (RAG), Chunking, Retrieval-Score, Kosinus-Ähnlichkeit, Approximate Nearest Neighbor (ANN), Wissensgraph, Such-API.