Reclasificación

La reclasificación es un proceso de segunda etapa que reordena una lista inicial de resultados de búsqueda para colocar primero los más relevantes. Un recuperador rápido de primera etapa extrae un conjunto amplio de resultados candidatos, y luego el reclasificador puntúa cada candidato con mayor cuidado en función de la consulta (usando un modelo más lento pero más preciso) y los ordena según esa puntuación. La reclasificación es el paso de precisión que viene después del paso de exhaustividad.

En resumen: la reclasificación toma un primer conjunto aproximado de resultados y los reordena con un modelo más preciso, de modo que las mejores coincidencias para una consulta suban a los primeros lugares.

Cómo funciona la reclasificación

La reclasificación es la segunda mitad de una canalización de recuperación en dos etapas:

1. Recuperación de primera etapa: Un método rápido como la búsqueda por palabras clave, la búsqueda vectorial o la búsqueda híbrida devuelve un conjunto amplio de candidatos, a menudo los 50 o 100 primeros, favoreciendo la exhaustividad sobre la precisión.
2. Puntuación: Un modelo de reclasificación, a menudo un codificador cruzado, lee la consulta y cada documento candidato juntos y genera una puntuación de relevancia. Debido a que evalúa el par de manera conjunta en el momento de la consulta, un reclasificador a menudo puede juzgar la relevancia con mayor precisión en los mejores candidatos que la recuperación de primera etapa por sí sola, aunque las mejoras dependen de la calidad del modelo, la adecuación al dominio y la exhaustividad del conjunto de candidatos.
3. Reordenamiento: Los candidatos se ordenan según sus nuevas puntuaciones, y solo se conservan los primeros.
4. Uso: Los resultados reordenados se devuelven al usuario o se pasan al siguiente paso, como el contexto entregado a un LLM.

El equilibrio determinante es precisión frente a costo: las herramientas de reclasificación suelen ser más precisas que los recuperadores de primera etapa en los resultados preseleccionados, pero también pueden ser más lentas, por lo que solo se ejecutan sobre un pequeño conjunto de candidatos en lugar de todo el índice.

Reclasificación frente a recuperación y clasificación

• La recuperación de primera etapa lanza rápidamente una red amplia para encontrar resultados candidatos; la reclasificación refina ese pequeño conjunto con un modelo más costoso. La recuperación favorece la exhaustividad, la reclasificación favorece la precisión.
• Un bicodificador (usado en la recuperación) codifica la consulta y los documentos por separado y con antelación; un codificador cruzado (usado en la reclasificación) codifica cada par consulta-documento juntos en el momento de la consulta, sacrificando velocidad por precisión.
• La clasificación inicial es el orden que un sistema de búsqueda devuelve de forma predeterminada; la reclasificación es un paso adicional que reordena esos resultados, a menudo adaptado a una aplicación o consulta específica.

Dónde se usa la reclasificación

• Motores de búsqueda: La reclasificación es una parte de larga data en la construcción de un motor de búsqueda: el índice y la recuperación de primera etapa se optimizan para la velocidad y la exhaustividad, mientras que una etapa de reclasificación afina la precisión de los mejores resultados antes de mostrarlos.
• Canalizaciones RAG: Reclasificar los fragmentos recuperados antes de que lleguen al modelo significa que menos pasajes de mayor calidad llenan la ventana de contexto, lo que mejora las respuestas y reduce el ruido.
• API de búsqueda: Los resultados de una API de búsqueda pueden reclasificarse para un caso de uso específico antes de usarse, y la propia reclasificación puede ofrecerse como una API diseñada para situarse sobre muchos sistemas de recuperación de primera etapa, sujeta a restricciones como el formato de entrada, la adecuación al idioma/dominio, los límites de longitud, la compatibilidad de modalidad y los objetivos de latencia/costo.
• Sistemas sensibles a la latencia: Debido a que la reclasificación agrega latencia, los equipos ajustan cuántos candidatos reclasificar, o la omiten cuando la precisión de la primera etapa ya es alta.

La reclasificación importa más cuando el primer conjunto de resultados es bueno pero no está perfectamente ordenado, y donde lograr que la mejor coincidencia llegue al primer lugar vale la pena una segunda mirada más cuidadosa.

Términos relacionados

Búsqueda híbrida, búsqueda semántica, codificador cruzado, bicodificador, recuperación en dos etapas, generación aumentada por recuperación (RAG), latencia, fragmentación, ventana de contexto.