Reclassement

Le reclassement est un processus de seconde étape qui réordonne une liste initiale de résultats de recherche afin de placer les plus pertinents en premier. Un système de récupération rapide de première étape extrait un large ensemble de résultats candidats, puis le système de reclassement évalue chaque candidat plus attentivement par rapport à la requête (à l’aide d’un modèle plus lent mais plus précis) et les trie selon ce score. Le reclassement est l’étape de précision qui vient après l’étape de rappel.

En résumé : le reclassement prend un premier ensemble approximatif de résultats et les réordonne à l’aide d’un modèle plus précis, de sorte que les meilleures correspondances d’une requête remontent en tête.

Comment fonctionne le reclassement

Le reclassement constitue la seconde moitié d’un pipeline de récupération en deux étapes :

1. Récupération de première étape : une méthode rapide telle que la recherche par mots-clés, la recherche vectorielle ou la recherche hybride renvoie un large ensemble de candidats, souvent les 50 ou 100 premiers, en privilégiant le rappel plutôt que la précision.
2. Attribution des scores : un modèle de reclassement, souvent un cross-encoder, lit ensemble la requête et chaque document candidat, puis produit un score de pertinence. Parce qu’il évalue la paire conjointement au moment de la requête, un système de reclassement peut souvent juger la pertinence des meilleurs candidats plus précisément que la récupération de première étape seule, même si les gains dépendent de la qualité du modèle, de son adéquation au domaine et du rappel de l’ensemble des candidats.
3. Réordonnancement : les candidats sont triés selon leurs nouveaux scores, et seuls les tout premiers sont conservés.
4. Utilisation : les résultats réordonnés sont renvoyés à l’utilisateur ou transmis à l’étape suivante, comme le contexte fourni à un LLM.

Le compromis déterminant oppose la précision au coût : les outils de reclassement sont souvent plus précis que les systèmes de récupération de première étape sur les résultats présélectionnés, mais ils peuvent aussi être plus lents, raison pour laquelle ils ne s’exécutent que sur un petit ensemble de candidats plutôt que sur l’index entier.

Reclassement, récupération et classement

• La récupération de première étape ratisse large et rapidement pour trouver des résultats candidats ; le reclassement affine ce petit ensemble à l’aide d’un modèle plus coûteux. La récupération privilégie le rappel, le reclassement privilégie la précision.
• Un bi-encoder (utilisé pour la récupération) encode la requête et les documents séparément et à l’avance ; un cross-encoder (utilisé pour le reclassement) encode chaque paire requête-document ensemble au moment de la requête, sacrifiant la rapidité au profit de la précision.
• Le classement initial est l’ordre qu’un système de recherche renvoie par défaut ; le reclassement est une passe supplémentaire qui réordonne ces résultats, souvent adaptée à une application ou à une requête spécifique.

Où le reclassement est-il utilisé

• Moteurs de recherche : le reclassement fait depuis longtemps partie de la construction d’un moteur de recherche : l’index et la récupération de première étape sont optimisés pour la rapidité et le rappel, tandis qu’une étape de reclassement affine la précision des meilleurs résultats avant leur affichage.
• Pipelines RAG : reclasser les fragments récupérés avant qu’ils n’atteignent le modèle signifie que des passages moins nombreux et de meilleure qualité remplissent la fenêtre de contexte, ce qui améliore les réponses et réduit le bruit.
• API de recherche : les résultats d’une API de recherche peuvent être reclassés pour un cas d’usage spécifique avant d’être utilisés, et le reclassement lui-même peut être proposé sous forme d’API conçue pour s’intégrer au-dessus de nombreux systèmes de récupération de première étape, sous réserve de contraintes telles que le format d’entrée, l’adéquation à la langue ou au domaine, les limites de longueur, la prise en charge des modalités et les objectifs de latence et de coût.
• Systèmes sensibles à la latence : parce que le reclassement ajoute de la latence, les équipes ajustent le nombre de candidats à reclasser, ou le contournent lorsque la précision de la première étape est déjà élevée.

Le reclassement importe surtout lorsque le premier ensemble de résultats est bon mais pas parfaitement ordonné, et lorsqu’amener la toute meilleure correspondance en tête vaut la peine d’un second examen, plus attentif.

Termes associés

Recherche hybride, recherche sémantique, cross-encoder, bi-encoder, récupération en deux étapes, génération augmentée par récupération (RAG), latence, fractionnement, fenêtre de contexte.