Fractionnement

Le fractionnement est le processus qui consiste à diviser un document volumineux ou un ensemble de texte en segments plus petits et autonomes (appelés « chunks ») afin qu’ils puissent être plongés, indexés et récupérés individuellement. Dans la génération augmentée par récupération (RAG) et la recherche sémantique, le fractionnement détermine l’unité de texte qu’un système stocke, puis récupère comme contexte. Cela façonne à son tour directement la pertinence et l’exhaustivité des résultats récupérés.

En bref : le fractionnement décide de la manière dont un long document est découpé en morceaux récupérables, et bien réaliser ce découpage est ce qui rend la récupération à la fois précise et concise (c’est-à-dire capable de se référer à des sous-ensembles du « bon » document selon ses besoins).

Comment fonctionne le fractionnement

Le fractionnement existe en raison de deux limites : les modèles de plongement et les fenêtres de contexte des LLM ne peuvent traiter qu’une quantité limitée de texte à la fois, et la récupération est plus précise lorsque chaque unité stockée est centrée sur un sujet. Le processus se déroule généralement comme suit :

1. Analyse : le texte propre est extrait de la source (HTML, PDF, etc.), en préservant idéalement la structure telle que les titres, les paragraphes et les listes.
2. Segmentation : le texte est divisé en fragments selon une stratégie choisie (voir ci-dessous).
3. Chevauchement : une petite quantité de texte est souvent répétée entre des fragments adjacents afin que le sens ne soit pas perdu aux frontières.
4. Enrichissement : chaque fragment peut être étiqueté avec des métadonnées ou un contexte environnant (comme la source, le titre de la section et un court résumé) afin de le rendre plus explicite en lui-même.
5. Plongement et indexation : chaque fragment est converti en un plongement vectoriel et stocké dans une base de données vectorielle, indexé pour une consultation rapide.
6. Récupération : au moment de la requête, le système trouve les fragments dont les plongements sont les plus similaires à la requête et les transmet au modèle comme contexte.

La tension déterminante concerne la taille : des fragments trop grands diluent la pertinence et gaspillent le contexte, tandis que des fragments trop petits perdent le sens environnant. Un bon fractionnement est l’art d’équilibrer les deux pour un type de contenu donné.

Fractionnement, tokenisation et plongement

• La tokenisation divise le texte en tokens (unités de sous-mots) afin qu’un modèle puisse le traiter ; le fractionnement divise les documents en passages afin qu’un système puisse les stocker et les récupérer. Granularité différente, objectif différent.
• Le plongement transforme un chunk en un vecteur numérique ; le fractionnement est l’étape préalable qui décide de ce qu’est réellement chaque unité de texte. On fractionne d’abord, puis on plonge.
• Le fractionnement à taille fixe découpe le texte selon une longueur définie (par exemple un nombre de tokens ou de caractères) ; le fractionnement sémantique découpe aux frontières du sens afin que chaque chunk reste cohérent sur le plan thématique. Le premier est plus simple et plus rapide ; le second tend à récupérer plus proprement.

Où le fractionnement est-il utilisé

• Pipelines de génération augmentée par récupération (RAG) : le fractionnement prépare les documents sources afin que les passages les plus pertinents puissent être récupérés et fournis au modèle au moment de la réponse.
• Recherche sémantique et vectorielle : la recherche portant sur des fragments plutôt que sur des documents entiers renvoie des passages ciblés et pertinents plutôt que des pages foisonnantes.
• Chatbots documentaires et bases de connaissances : la réponse aux questions à partir de manuels, de wikis et de documents d’assistance dépend de fragments bien formés pour faire remonter la bonne réponse.
• Résumé et analyse de longs documents : un modèle ne peut absorber qu’une quantité limitée de texte à la fois (c’est ce que l’on appelle la fenêtre de contexte du modèle), de sorte qu’un long livre ou rapport ne tiendra pas en une seule passe. Le fractionnement permet au modèle de parcourir le livre ou le rapport un morceau à la fois, puis de fusionner ces résultats partiels en une seule vue d’ensemble.

La stratégie de fractionnement est généralement adaptée au type de contenu (par exemple, la prose dense, le code, les tableaux et les transcriptions se fractionnent différemment) et elle importe surtout lorsque le contenu est trop long pour être fourni en entier. Dans ce cas, la qualité de la récupération dépend du fait de renvoyer des passages ciblés et autonomes.

Termes associés

Génération augmentée par récupération (RAG), recherche sémantique, plongements, base de données vectorielle, tokenisation, fenêtre de contexte, chevauchement des fragments, reclassement, indexation.