Tokenisation

La tokenisation est le processus qui consiste à découper un texte en unités plus petites appelées tokens, les éléments qu’un système traite réellement. Pour un modèle de langage, les tokens sont généralement des fragments de sous-mots que le modèle lit sous forme de nombres plutôt que sous forme de mots entiers. Dans la recherche classique, la tokenisation découpe plutôt le texte en termes utilisés pour construire et interroger un index. Dans les deux cas, il s’agit de l’étape qui transforme un texte brut en unités exploitables par un système.

En résumé : la tokenisation découpe le texte en tokens, qui sont les fragments de sous-mots traités par un LLM, ou les termes sur lesquels un index de recherche établit des correspondances.

Comment fonctionne la tokenisation

Pour les modèles de langage, les approches courantes reposent sur une tokenisation en sous-mots :

1. Choisir un tokeniseur : un modèle utilise un schéma de tokenisation spécifique. Les approches courantes incluent le byte pair encoding (BPE), WordPiece et les variantes de SentencePiece, qui construisent toutes un vocabulaire fixe à partir d’unités de sous-mots.
2. Découper le texte : l’entrée est décomposée en tokens issus de ce vocabulaire, ce qui permet aux mots courants de devenir des tokens uniques, tandis que les mots rares, le code et les emojis sont découpés en plusieurs tokens.
3. Associer à des identifiants : chaque token est converti en un identifiant numérique, car le modèle traite des nombres et ne voit pas directement les lettres.
4. Compter : le nombre de tokens détermine la part de la fenêtre de contexte utilisée par le texte et, sur la plupart des API, le coût d’une requête.

Dans l’indexation de recherche, la tokenisation est plus simple et différente : le texte est découpé en termes, souvent autour des espaces et de la ponctuation, afin que les documents et les requêtes puissent être mis en correspondance. Les analyseurs de recherche peuvent ensuite appliquer des étapes de normalisation (par exemple la mise en minuscules, la racinisation ou la lemmatisation), qui sont distinctes du découpage des limites de tokens.

Le point essentiel est que la tokenisation dépend du modèle et de la méthode : un même texte peut produire un nombre de tokens différent selon le modèle, le fournisseur et selon qu’il est traité par un LLM ou par un index de recherche. Ne supposez jamais que les nombres de tokens sont transposables d’un système à l’autre.

Tokenisation, fractionnement et embeddings

• La tokenisation découpe le texte en unités les plus petites utilisées par un modèle ou un index ; le fractionnement divise un document en passages plus longs destinés à la récupération. Les tokens sont de petits fragments ; les fractionnements sont des passages entiers.
• La tokenisation produit des identifiants de tokens discrets ; les embeddings transforment les tokens ou les fractionnements en vecteurs continus qui capturent le sens. L’une est une recherche par correspondance, l’autre une représentation apprise.
• La tokenisation en sous-mots (pour les LLM) est optimisée pour un vocabulaire de modèle fixe ; la tokenisation de recherche (pour l’indexation) est optimisée pour la mise en correspondance des termes entre les requêtes et les documents.

Pourquoi la tokenisation compte pour les développeurs

• Coût et limites : les requêtes API sont généralement facturées par token et plafonnées par la fenêtre de contexte, si bien que le nombre de tokens détermine directement le prix et ce qui peut être traité.
• Latence et gestion du budget : plus il y a de tokens, plus il y a d’éléments à traiter, ce qui augmente la latence ; réduire les prompts et le contexte récupéré est donc un moyen d’optimiser les temps de réponse.
• Recherche par mots-clés : construire ou interroger un index lexical dépend d’une tokenisation cohérente des documents et des requêtes, ce qui constitue la base de la correspondance par mots-clés dans la recherche hybride.
• API de recherche dans les pipelines de LLM : le contenu renvoyé par une API de recherche à des fins d’ancrage consomme des tokens dès qu’il entre dans le contexte du modèle ; des résultats économes en tokens et pré-extraits aident donc un pipeline de réponse à respecter son budget et à coûter moins cher à l’exécution.

La tokenisation est invisible jusqu’à ce qu’elle ne le soit plus : elle détermine discrètement ce qu’un modèle peut lire, ce qu’un index de recherche peut mettre en correspondance et le coût de chaque requête.

Termes associés

Token, fenêtre de contexte, fractionnement, embeddings, grand modèle de langage (LLM), byte pair encoding (BPE), recherche par mots-clés, recherche hybride, latence, API de recherche.