Recherche hybride

La recherche hybride est une approche de récupération qui combine la recherche par mots-clés (lexicale) et la recherche sémantique (vectorielle) comme deux méthodes complémentaires, dont les résultats sont ensuite fusionnés en une seule liste classée. En exécutant les deux simultanément, la recherche hybride combine les correspondances de termes exacts (dans lesquelles la recherche par mots-clés excelle) avec les correspondances basées sur le sens (dans lesquelles la recherche sémantique excelle). Dans les charges de travail à requêtes mixtes, cela améliore souvent la robustesse de la récupération par rapport à l’utilisation de l’une ou l’autre méthode seule.

En bref : la recherche hybride exécute ensemble la recherche par mots-clés et la recherche sémantique, puis fusionne les résultats, ce qui vous offre à la fois la précision des correspondances exactes et la compréhension sémantique dans un même classement.

Comment fonctionne la recherche hybride

Pour mieux expliquer la recherche hybride, prenons l’exemple concret d’une recherche en ligne pour une nouvelle guitare. La recherche lexicale fonctionne bien avec des mots-clés exacts, par exemple si vous savez déjà que vous voulez une « guitare acoustique J45 ». En revanche, la recherche sémantique est plus utile si vous avez une idée de ce que vous voulez que la guitare fasse ou de la sonorité recherchée (par exemple, avec une requête comme « guitare folk au son chaleureux »). Dans la recherche hybride, ces deux méthodes de récupération s’exécutent côte à côte, puis sont combinées :

1. Récupération par mots-clés (creuse) : une méthode lexicale telle que BM25 trouve les documents qui contiennent les termes réels de la requête, classés selon leur degré de correspondance.
2. Récupération sémantique (dense) : un modèle de plongement convertit la requête et les documents en vecteurs et trouve les correspondances les plus proches par le sens, même lorsqu’aucun mot ne se recoupe.
3. Exécution parallèle : les deux méthodes de récupération analysent le même contenu, chacune renvoyant sa propre liste classée de candidats.
4. Fusion : une étape de fusion réunit les deux listes en une seule. Une méthode courante est la fusion réciproque des rangs (RRF), qui combine les documents en fonction de leur position de classement plutôt que de leurs scores bruts, contournant ainsi le fait que les deux méthodes attribuent des scores sur des échelles différentes.
5. Reclassement : de manière facultative, la liste fusionnée est transmise à un modèle de reclassement pour un ordonnancement final plus précis avant que les résultats ne soient renvoyés.

L’idée centrale est que la recherche par mots-clés et la recherche sémantique ont des angles morts différents : l’une peut passer à côté des synonymes et des paraphrases, tandis que l’autre peut manquer des termes exacts comme des codes ou des noms de produits. La fusion des résultats avec la recherche hybride peut réduire les oublis causés par l’une ou l’autre de ces faiblesses.

Recherche hybride vs recherche par mots-clés et recherche sémantique

• La recherche par mots-clés fait correspondre les termes exacts et excelle avec les chaînes précises telles que les codes, les noms et les mots techniques rares, mais passe à côté des synonymes et des paraphrases ; la recherche hybride conserve cette précision tout en ajoutant le rappel sémantique.
• La recherche sémantique fait correspondre le sens et gère bien les paraphrases, mais peut sous-estimer (ou « sous-pondérer ») les correspondances exactes de termes rares ; la recherche hybride conserve cette compréhension tout en rétablissant la fiabilité des correspondances exactes.
• Le reclassement réordonne une liste de candidats existante pour gagner en précision ; la recherche hybride, elle, consiste à générer cette liste de candidats à partir de deux méthodes de récupération, et les deux sont souvent utilisées ensemble.

Où la recherche hybride est-elle utilisée

• Pipelines RAG : la récupération des bons fragments pour un LLM bénéficie à la fois de la correspondance exacte et de la correspondance sémantique, si bien que la récupération hybride est couramment utilisée.
• Recherche en entreprise et recherche de produits : les catalogues mélangent des identifiants exacts tels que des SKU et des numéros de modèle avec des requêtes en langage naturel, ce que la recherche hybride gère en une seule passe.
• Documentation et réponse aux questions : les utilisateurs formulent leurs questions de manière vague mais ont parfois besoin d’un terme précis, et la récupération hybride répond aux deux besoins.
• Charges de travail à requêtes mixtes : tout système où certaines requêtes ressemblent à des mots-clés et d’autres sont conversationnelles, puisqu’aucune méthode ne l’emporte sur chaque requête.

La recherche hybride est particulièrement importante lorsqu’un corpus et ses requêtes sont suffisamment variés pour qu’aucune méthode de récupération unique ne soit systématiquement la meilleure, ce qui décrit bon nombre de charges de travail de recherche réelles.

Termes associés

Recherche sémantique, recherche par mots-clés, base de données vectorielle, plongements, BM25, fusion réciproque des rangs (RRF), reclassement, génération augmentée par récupération (RAG), fractionnement.