Búsqueda semántica

La búsqueda semántica es un enfoque de búsqueda que hace coincidir los resultados por significado e intención, no solo por la coincidencia exacta de palabras clave. En los sistemas modernos, esto se implementa comúnmente representando las consultas y el contenido como incrustaciones (vectores numéricos que capturan relaciones semánticas), y luego recuperando los elementos con los vectores más similares. Eso permite que una consulta como “mejor vino para mariscos” coincida con contenido como “bueno con pescado”, incluso cuando los términos exactos difieren.

En resumen: la búsqueda semántica se centra en el significado, por lo que puede devolver resultados relevantes incluso cuando los usuarios y los documentos utilizan diferentes términos.

Cómo funciona la búsqueda semántica

Una implementación común convierte el significado en geometría, donde se puede medir la similitud:

1. Incrustar el contenido: Cada documento o pasaje se convierte en una incrustación y se almacena (por lo general con anticipación), a menudo en una base de datos vectorial.
2. Incrustar la consulta: Al momento de la búsqueda, la consulta se codifica con la misma familia de modelos.
3. Comparar por similitud: El sistema encuentra los vectores almacenados más cercanos al vector de la consulta (por ejemplo, con similitud del coseno) y calcula una puntuación de recuperación.
4. Devolver las mejores coincidencias: Los elementos con puntuaciones más altas se devuelven como los resultados más relevantes semánticamente.

La idea clave es que los elementos semánticamente similares tienden a estar cerca en el espacio de representación, por lo que la distancia puede actuar como un indicador de relevancia.

Búsqueda semántica vs. búsqueda por palabras clave e híbrida

• La búsqueda por palabras clave (léxica) hace coincidir términos literales y es sólida para nombres, códigos y cadenas exactas poco comunes, pero puede pasar por alto paráfrasis y sinónimos. La búsqueda semántica mejora la exhaustividad para las consultas reformuladas, aunque puede dar menos peso a la coincidencia literal estricta.
• La búsqueda híbrida combina señales léxicas y semánticas, generalmente fusionando ambos conjuntos de resultados. En relación con la búsqueda híbrida, la búsqueda semántica por sí sola se refiere al componente centrado en el significado.
• La búsqueda vectorial es un mecanismo de recuperación común para la búsqueda semántica (búsqueda del vecino más cercano sobre incrustaciones). En la práctica, los términos suelen usarse indistintamente, pero la “búsqueda semántica” es el objetivo más amplio: relevancia por significado.

Dónde se utiliza la búsqueda semántica

• Búsqueda del usuario final: Experiencias de búsqueda para consumidores y sitios que manejan mejor la formulación y la intención en lenguaje natural.
• RAG y motores de respuestas con IA: La recuperación semántica selecciona los pasajes que mejor coinciden con el significado de una pregunta y luego proporciona ese contexto a un LLM.
• Recomendaciones y descubrimiento: Encontrar productos, artículos o elementos relacionados por similitud semántica en lugar de solo por etiquetas compartidas.
• API de búsqueda web: Una API de búsqueda puede exponer una clasificación semántica o neuronal para que los desarrolladores puedan crear capas de recuperación conscientes del significado para RAG y flujos de trabajo de IA relacionados sin operar su propia pila de incrustaciones y vectores.

La búsqueda semántica es especialmente útil cuando la formulación de los usuarios y la redacción de la fuente difieren, lo cual suele ser cierto en las consultas en lenguaje natural.

Términos relacionados

Incrustaciones, base de datos vectorial, búsqueda híbrida, búsqueda por palabras clave, similitud del coseno, puntuación de recuperación, reclasificación, generación aumentada por recuperación (RAG), modelo de lenguaje grande (LLM).