Límite de conocimiento

Un límite de conocimiento es el momento a partir del cual un modelo de lenguaje no tiene datos de entrenamiento y, por lo tanto, no tiene conciencia incorporada de eventos, hechos o cambios que ocurrieron después. Debido a que el conocimiento de un modelo está efectivamente congelado en el momento del entrenamiento, cualquier cosa que haya ocurrido después de su límite no forma parte de su conocimiento incorporado, a menos que se proporcione información más reciente en tiempo de ejecución a través de contexto externo, recuperación o herramientas.

En resumen: un límite de conocimiento es la fecha en la que se detiene el conocimiento incorporado de un modelo; el modelo no puede depender del conocimiento incorporado para eventos posteriores a ese punto, a menos que se proporcione información posterior al límite durante la inferencia.

Cómo funciona un límite de conocimiento

El conocimiento interno de un modelo es una instantánea fija, determinada por cómo y cuándo fue entrenado:

1. Datos de entrenamiento congelados: Un modelo aprende de un conjunto de datos grande pero fijo, recopilado hasta cierta fecha, y después de eso su conocimiento interno no se actualiza por sí solo.
2. La brecha entre el límite y el lanzamiento: El entrenamiento, el ajuste fino y las pruebas de seguridad toman meses, por lo que un modelo normalmente se lanza bastante después de su límite y ya está algo desactualizado desde su primer día.
3. Límite de conocimiento confiable vs. límite de datos de entrenamiento: Algunos proveedores distinguen entre un “límite de datos de entrenamiento” (el rango completo de datos utilizados) y un “límite de conocimiento confiable” (la fecha hasta la cual el conocimiento es más completo y preciso), que suele ser un poco anterior.
4. Conectar con el presente: Un modelo puede abordar eventos más recientes solo si recibe información posterior al límite en el momento de la consulta, a través de la búsqueda web, la generación aumentada por recuperación, almacenes de conocimiento internos, fuentes de datos curadas u otras herramientas que inyectan contexto actual.
5. Obsolescencia silenciosa: Sin recuperación, un modelo aún puede responder con confianza una pregunta posterior al límite a partir de información desactualizada, sin ninguna señal explícita de que está desactualizado.

El punto definitorio es que el conocimiento incorporado de un modelo es una instantánea del mundo en un momento fijo, no un registro en vivo que se actualiza continuamente.

Límite de conocimiento vs. ventana de contexto y alucinación

• Una ventana de contexto es la cantidad de texto que un modelo puede considerar en una sola solicitud en este momento; a diferencia de una ventana de contexto, un límite de conocimiento es cuando se detiene el conocimiento incorporado del modelo. Una tiene que ver con la capacidad, la otra con la actualidad.
• La alucinación y la obsolescencia pueden superponerse, pero no son idénticas: una respuesta desactualizada causada por el límite es una limitación de actualidad; si esa respuesta obsoleta es falsa en el contexto actual, puede categorizarse como una alucinación en algunas taxonomías.
• Los datos de entrenamiento son todo aquello de lo que el modelo aprendió; el límite de conocimiento es simplemente la fecha más reciente que esos datos alcanzan.

Dónde importa el límite de conocimiento

• Preguntas sensibles al tiempo: Las noticias, los precios, los liderazgos y las versiones de software pueden ser incorrectas si se responden solo a partir de los datos de entrenamiento.
• Frescura del contenido y AEO: El contenido nuevo no puede aparecer en el conocimiento incorporado de un modelo hasta una futura ejecución de entrenamiento, por lo que la visibilidad del material reciente depende de una capa de recuperación externa que pueda proporcionar fuentes actualizadas en el momento de la inferencia (incluidas las API de búsqueda web como la API del Buscador de Brave.
• Elegir un modelo o modo: Las fechas de límite varían según el modelo, y algunos sistemas agregan recuperación en vivo para compensar, por lo que la elección correcta depende de qué tan actual deba ser la respuesta.
• Diseñar productos de IA: El fundamentar las respuestas en fuentes recuperadas es la forma estándar de sortear el límite para cualquier cosa reciente.

Debido a que las fechas de límite difieren según el modelo y cambian con cada lanzamiento, tratar el conocimiento incorporado de cualquier modelo como actual es arriesgado; para hechos recientes, la recuperación externa es el camino confiable.

Términos relacionados

Ventana de contexto, alucinación, generación aumentada por recuperación (RAG), datos de entrenamiento, modelo de lenguaje grande (LLM), búsqueda web, fundamentación, motor de respuestas con IA.