Búsqueda híbrida

La búsqueda híbrida es un enfoque de recuperación que combina la búsqueda por palabras clave (léxica) y la búsqueda semántica (vectorial) como dos métodos complementarios, cuyos resultados se fusionan en una única lista clasificada. Al ejecutar ambas a la vez, la búsqueda híbrida combina las coincidencias de términos exactos (en las que destaca la búsqueda por palabras clave) con las coincidencias basadas en el significado (en las que destaca la búsqueda semántica). En cargas de trabajo con consultas mixtas, esto suele mejorar la robustez de la recuperación en comparación con el uso de cualquiera de los métodos por separado.

En resumen: la búsqueda híbrida ejecuta la búsqueda por palabras clave y la búsqueda semántica de forma conjunta y fusiona los resultados, ofreciéndote la precisión de las coincidencias exactas y la comprensión semántica en una sola clasificación.

Cómo funciona la búsqueda híbrida

Para ayudar a explicar la búsqueda híbrida, considera el ejemplo real de buscar en línea una nueva guitarra. La búsqueda léxica puede funcionar bien con palabras clave exactas, por ejemplo, si ya sabes que quieres una “guitarra acústica J45”. En cambio, la búsqueda semántica resulta más útil si tienes una idea de lo que quieres que la guitarra haga o cómo quieres que suene (por ejemplo, con una consulta como “guitarra folk con tono cálido”). En la búsqueda híbrida, estos dos métodos de recuperación se ejecutan en paralelo y luego se combinan:

1. Recuperación por palabras clave (dispersa): Un método léxico como BM25 encuentra documentos que contienen los términos reales de la consulta, clasificados según qué tan bien coinciden esos términos.
2. Recuperación semántica (densa): Un modelo de incrustación convierte la consulta y los documentos en vectores y encuentra las coincidencias más cercanas por significado, incluso cuando no hay palabras en común.
3. Ejecución en paralelo: Ambos métodos de recuperación analizan el mismo contenido, y cada uno devuelve su propia lista clasificada de candidatos.
4. Fusión: Un paso de fusión combina las dos listas en una sola. Un método común es la Fusión Recíproca de Rangos (RRF), que combina los documentos según su posición en la clasificación en lugar de sus puntuaciones brutas, evitando así el hecho de que los dos métodos puntúan en escalas diferentes.
5. Reclasificación: Opcionalmente, la lista fusionada se pasa a un modelo de reclasificación para lograr un orden final más preciso antes de devolver los resultados.

La idea clave es que la búsqueda por palabras clave y la búsqueda semántica tienen diferentes puntos ciegos: una puede pasar por alto sinónimos y paráfrasis, mientras que la otra puede pasar por alto términos exactos como códigos o nombres de productos. Fusionar resultados con la búsqueda híbrida puede reducir las omisiones causadas por cualquiera de estas debilidades.

Búsqueda híbrida frente a la búsqueda por palabras clave y la búsqueda semántica

• La búsqueda por palabras clave coincide con términos exactos y destaca en cadenas precisas como códigos, nombres y palabras técnicas poco comunes, pero pasa por alto sinónimos y paráfrasis; la búsqueda híbrida mantiene esa precisión al tiempo que agrega recuperación semántica.
• La búsqueda semántica coincide con el significado y maneja bien la paráfrasis, pero puede subvalorar (o “ponderar por debajo”) las coincidencias exactas de términos poco comunes; la búsqueda híbrida mantiene esa comprensión al tiempo que restaura la fiabilidad de las coincidencias exactas.
• La reclasificación reordena una lista de candidatos existente para lograr precisión; la búsqueda híbrida se ocupa de generar esa lista de candidatos a partir de dos métodos de recuperación en primer lugar, y ambas suelen usarse juntas.

Dónde se usa la búsqueda híbrida

• Canalizaciones de RAG: Recuperar los fragmentos correctos para un LLM se beneficia tanto de la coincidencia exacta como de la semántica, por lo que la recuperación híbrida se usa comúnmente.
• Búsqueda empresarial y de productos: Los catálogos combinan identificadores exactos como SKU y números de modelo con consultas en lenguaje natural, algo que la búsqueda híbrida maneja en una sola pasada.
• Documentación y respuesta a preguntas: Los usuarios formulan preguntas de forma imprecisa, pero a veces necesitan un término específico, y la recuperación híbrida atiende ambos casos.
• Cargas de trabajo con consultas mixtas: Cualquier sistema en el que algunas consultas se parezcan a palabras clave y otras sean conversacionales, ya que ningún método gana en todas las consultas.

La búsqueda híbrida cobra mayor importancia cuando un corpus y sus consultas son lo suficientemente variados como para que ningún método de recuperación por sí solo sea de forma fiable el mejor, lo cual describe muchas cargas de trabajo de búsqueda del mundo real.

Términos relacionados

Búsqueda semántica, búsqueda por palabras clave, base de datos vectorial, incrustaciones, BM25, fusión recíproca de rangos (RRF), reclasificación, generación aumentada por recuperación (RAG), fragmentación.