Modelo de lenguaje grande (LLM)

Un modelo de lenguaje grande (LLM) es un modelo de inteligencia artificial entrenado con grandes cantidades de texto para comprender y generar lenguaje humano. Aprende los patrones estadísticos del lenguaje para poder predecir y producir la siguiente parte del texto en una secuencia, lo que (a una escala suficiente) le permite responder preguntas, resumir, traducir, escribir código y mantener una conversación.

En resumen: un LLM es un modelo entrenado con enormes volúmenes de texto, capaz de generar lenguaje al predecir las siguientes palabras probables. Un LLM es potente y flexible, pero está limitado por aquello con lo que fue entrenado y es propenso a la alucinación sin una capa de recuperación.

Cómo funciona un modelo de lenguaje grande

El modelo convierte el texto en un problema de predicción y lo resuelve a una escala enorme:

1. Tokenización: El texto de entrada se divide en tokens (fragmentos que normalmente son más cortos que una palabra; por ejemplo, “running” podría convertirse en “run” y “ning”), lo que le da al modelo un vocabulario manejable que abarca palabras raras y novedosas.
2. Arquitectura de transformador: La mayoría de los LLM se basan en el transformador, un diseño de red neuronal que usa la atención (un mecanismo para ponderar qué tan relevante es cada token respecto a todos los demás) para capturar el contexto de un pasaje completo en lugar de leer de izquierda a derecha una palabra a la vez.
3. Preentrenamiento: El modelo aprende de un corpus de texto enorme (o de múltiples corpus) al predecir repetidamente el siguiente token, ajustando miles de millones de parámetros internos para codificar patrones del lenguaje y hechos.
4. Ajuste fino y alineación: El entrenamiento adicional con ejemplos curados, incluido el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF), le enseña al modelo a seguir instrucciones, rechazar solicitudes dañinas y producir respuestas más confiables y útiles.
5. Inferencia: Dado un prompt, el modelo genera una respuesta token por token, cada uno condicionado por todo lo que hay en su contexto hasta ese momento.

El rasgo distintivo es que un LLM no busca hechos. En cambio, genera texto estadísticamente probable a partir de patrones aprendidos durante el entrenamiento, lo que lo hace potente y flexible, pero no inherentemente fundamentado en ninguna fuente.

Modelo de lenguaje grande frente a chatbots y motores de búsqueda

• Un chatbot o asistente de IA es un producto construido en torno a un LLM, que a menudo agrega memoria, herramientas y una interfaz conversacional; el LLM en sí es el modelo subyacente que genera las respuestas.
• Un motor de búsqueda recupera y clasifica documentos existentes; un LLM genera texto nuevo y puede inventar detalles a menos que esté conectado a la recuperación (un problema llamado alucinación).
• El software tradicional sigue reglas explícitas y deterministas; un LLM produce salidas probabilísticas aprendidas de los datos, por lo que el mismo prompt podría generar respuestas diferentes.

Dónde se usan los modelos de lenguaje grande

• IA conversacional: Asistentes de chat y atención al cliente que responden en lenguaje natural.
• Buscadores y motores de respuesta: Generan respuestas directas, normalmente fundamentadas en la recuperación para mantenerse actualizadas y precisas.
• Contenido y código: Redactar, resumir y traducir texto, y escribir o explicar código.
• Agentes y uso de herramientas: Sirven como núcleo de razonamiento que decide cuándo actuar mediante la llamada a funciones.

Un LLM está limitado por su ventana de contexto y su límite de conocimiento, y puede alucinar sin fundamentación, razón por la cual la recuperación suele combinarse con él para mantener las salidas actualizadas y precisas.

Términos relacionados

Ventana de contexto, límite de conocimiento, alucinación, llamada a funciones, generación aumentada por recuperación (RAG), embeddings, transformador, ingeniería de prompts, tokenización.