Grand modèle de langage (LLM)

Un grand modèle de langage (LLM) est un modèle d’intelligence artificielle entraîné sur de vastes quantités de texte afin de comprendre et de générer le langage humain. Il apprend les schémas statistiques du langage, ce qui lui permet de prédire et de produire l’élément de texte suivant dans une séquence. À une échelle suffisante, cela lui permet de répondre à des questions, de résumer, de traduire, d’écrire du code et de tenir une conversation.

En bref : un LLM est un modèle entraîné sur d’énormes volumes de texte, capable de générer du langage en prédisant les mots susceptibles de suivre. Un LLM est puissant et flexible, mais il est limité par les données sur lesquelles il a été entraîné et sujet à l’hallucination sans couche de récupération.

Comment fonctionne un grand modèle de langage

Le modèle transforme le texte en un problème de prédiction et le résout à une échelle considérable :

1. Tokenisation : le texte d’entrée est découpé en tokens (des fragments généralement plus courts qu’un mot ; par exemple, « running » pourrait devenir « run » et « ning »), ce qui donne au modèle un vocabulaire gérable couvrant les mots rares et nouveaux.
2. Architecture transformeur : la plupart des LLM reposent sur le transformeur, une conception de réseau neuronal qui utilise l’attention (un mécanisme permettant de pondérer la pertinence de chaque token par rapport à tous les autres) afin de capturer le contexte d’un passage entier, plutôt que de lire de gauche à droite un mot à la fois.
3. Pré-entraînement : le modèle apprend à partir d’un immense corpus de texte (ou de plusieurs corpus) en prédisant de manière répétée le token suivant, en ajustant des milliards de paramètres internes pour encoder les schémas du langage et les faits.
4. Ajustement fin et alignement : un entraînement supplémentaire sur des exemples soigneusement sélectionnés, y compris l’apprentissage par renforcement à partir de retours humains (RLHF), apprend au modèle à suivre des instructions, à refuser les requêtes nuisibles et à produire des réponses plus fiables et plus utiles.
5. Inférence : à partir d’une invite, le modèle génère une réponse token par token, chacun étant conditionné par tout ce qui figure dans son contexte jusque-là.

La caractéristique déterminante est qu’un LLM ne recherche pas de faits. Au lieu de cela, il génère un texte statistiquement probable à partir des schémas appris lors de l’entraînement, ce qui le rend puissant et flexible, mais non intrinsèquement ancré dans une source.

Grand modèle de langage face aux chatbots et aux moteurs de recherche

• Un chatbot ou assistant IA est un produit conçu autour d’un LLM, qui ajoute souvent de la mémoire, des outils et une interface conversationnelle ; le LLM lui-même est le modèle sous-jacent qui génère les réponses.
• Un moteur de recherche récupère et classe des documents existants ; un LLM génère un nouveau texte et peut inventer des détails, sauf s’il est connecté à la récupération (un problème appelé hallucination).
• Les logiciels traditionnels suivent des règles explicites et déterministes ; un LLM produit des sorties probabilistes apprises à partir de données, de sorte qu’une même invite peut donner des réponses différentes.

Où les grands modèles de langage sont-ils utilisés

• IA conversationnelle : assistants de discussion et support client qui répondent en langage naturel.
• Moteurs de recherche et de réponse : génération de réponses directes, généralement ancrées dans la récupération afin de rester à jour et exactes.
• Contenu et code : rédaction, résumé et traduction de texte, ainsi qu’écriture ou explication de code.
• Agents et utilisation d’outils : servir de noyau de raisonnement qui décide quand agir via l’appel de fonctions.

Un LLM est limité par sa fenêtre de contexte et sa date limite de connaissances, et il peut halluciner sans ancrage, ce qui explique pourquoi la récupération lui est si souvent associée afin de maintenir des sorties à jour et exactes.

Termes associés

Fenêtre de contexte, date limite de connaissances, hallucination, appel de fonctions, génération augmentée par récupération (RAG), embeddings, transformeur, ingénierie des invites, tokenisation.