Hybride Suche

Die hybride Suche ist ein Retrieval-Ansatz, der Schlüsselwortsuche (lexikalische Suche) und semantische Suche (Vektorsuche) als zwei sich ergänzende Methoden kombiniert, wobei die Ergebnisse anschließend zu einer einzigen Rangliste zusammengeführt werden. Durch die gleichzeitige Ausführung beider Methoden kombiniert die hybride Suche exakte Begriffsübereinstimmungen (worin die Schlüsselwortsuche gut ist) mit bedeutungsbasierten Übereinstimmungen (worin die semantische Suche gut ist). Bei gemischten Abfragelasten verbessert dies häufig die Robustheit des Retrievals im Vergleich zur Verwendung nur einer der beiden Methoden.

Kurz gesagt: Die hybride Suche führt Schlüsselwortsuche und semantische Suche gemeinsam aus und fusioniert die Ergebnisse, wodurch Sie in einer einzigen Rangliste die Präzision exakter Übereinstimmungen und semantisches Verständnis erhalten.

So funktioniert die hybride Suche

Um die hybride Suche zu erklären, betrachten Sie das reale Beispiel der Online-Suche nach einer neuen Gitarre. Die lexikalische Suche kann mit exakten Schlüsselwörtern gut abschneiden, zum Beispiel wenn Sie bereits wissen, dass Sie eine “J45 Akustikgitarre” möchten. Im Gegensatz dazu ist die semantische Suche hilfreicher, wenn Sie eine Vorstellung davon haben, was die Gitarre können oder wie sie klingen soll (z. B. mit einer Abfrage wie “Folk-Gitarre mit warmem Klang”). Bei der Hybriden Suche laufen diese beiden Retrieval-Methoden parallel und werden anschließend kombiniert:

1. Schlüsselwort-Retrieval (sparse): Eine lexikalische Methode wie BM25 findet Dokumente, die die tatsächlichen Begriffe der Abfrage enthalten, gereiht danach, wie gut diese Begriffe übereinstimmen.
2. Semantisches Retrieval (dense): Ein Embedding-Modell wandelt die Abfrage und die Dokumente in Vektoren um und findet die nächstgelegenen Übereinstimmungen nach Bedeutung, selbst wenn keine Wörter übereinstimmen.
3. Parallele Ausführung: Beide Retrieval-Methoden analysieren denselben Inhalt und liefern jeweils ihre eigene Rangliste von Kandidaten zurück.
4. Fusion: Ein Fusionsschritt führt die beiden Listen zu einer zusammen. Eine gängige Methode ist die Reciprocal Rank Fusion (RRF), die Dokumente anhand ihrer Rangposition statt ihrer Rohwerte kombiniert und damit umgeht, dass die beiden Methoden auf unterschiedlichen Skalen bewerten.
5. Reranking: Optional wird die fusionierte Liste an ein Reranking-Modell übergeben, um vor der Rückgabe der Ergebnisse eine endgültige, präzisere Reihenfolge zu erzielen.

Die grundlegende Idee ist, dass Schlüsselwortsuche und semantische Suche unterschiedliche blinde Flecken haben: Die eine kann Synonyme und Umschreibungen verpassen, während die andere exakte Begriffe wie Produktcodes oder Namen verpassen kann. Das Fusionieren von Ergebnissen mit der Hybriden Suche kann Fehltreffer reduzieren, die durch eine der beiden Schwächen verursacht werden.

Hybride Suche im Vergleich zu Schlüsselwortsuche und semantischer Suche

• Die Schlüsselwortsuche gleicht exakte Begriffe ab und ist hervorragend bei präzisen Zeichenfolgen wie Codes, Namen und seltenen Fachbegriffen, verpasst jedoch Synonyme und Umschreibungen; die hybride Suche bewahrt diese Präzision und ergänzt sie um semantischen Recall.
• Die semantische Suche gleicht Bedeutung ab und bewältigt Umschreibungen gut, kann jedoch exakte Übereinstimmungen mit seltenen Begriffen unterbewerten (oder „untergewichten“); die hybride Suche bewahrt dieses Verständnis und stellt gleichzeitig die Zuverlässigkeit exakter Übereinstimmungen wieder her.
• Das Reranking ordnet eine bestehende Kandidatenliste zur Präzisionssteigerung neu; bei der Hybriden Suche geht es darum, diese Kandidatenliste überhaupt erst aus zwei Retrieval-Methoden zu erzeugen, und die beiden werden oft zusammen verwendet.

Wo die hybride Suche eingesetzt wird

• RAG-Pipelines: Das Abrufen der richtigen Chunks für ein LLM profitiert sowohl von exaktem als auch von semantischem Abgleich, weshalb hybrides Retrieval häufig verwendet wird.
• Unternehmens- und Produktsuche: Kataloge mischen exakte Kennzeichnungen wie SKUs und Modellnummern mit natürlichsprachlichen Abfragen, was die hybride Suche in einem Durchgang bewältigt.
• Dokumentation und Fragenbeantwortung: Benutzer formulieren Fragen locker, benötigen aber manchmal einen bestimmten Begriff, und hybrides Retrieval bedient beides.
• Gemischte Abfragelasten: Jedes System, in dem einige Abfragen schlüsselwortartig und andere gesprächsartig sind, da keine der beiden Methoden bei jeder Abfrage gewinnt.

Die hybride Suche ist am wichtigsten, wenn ein Korpus und seine Abfragen so vielfältig sind, dass keine einzelne Retrieval-Methode zuverlässig am besten ist, was viele reale Suchlasten beschreibt.

Verwandte Begriffe

Semantische Suche, Schlüsselwortsuche, Vektordatenbank, Embeddings, BM25, Reciprocal Rank Fusion (RRF), Reranking, Retrieval-Augmented Generation (RAG), Chunking.