« On peut tout lui donner maintenant »
C'est l'objection qu'on nous fait le plus souvent, et elle est sérieuse. Les modèles récents acceptent des contextes énormes. Des centaines de pages, parfois des milliers. Si la machine peut tout lire d'un coup, à quoi bon passer du temps à trier, à classer, à identifier ?
La réponse tient en une phrase, et elle est mesurée : un modèle qui peut lire un très long texte ne s'en sert pas de la même façon partout. Ce qui se trouve au début et à la fin est bien exploité. Ce qui se trouve au milieu l'est beaucoup moins.
Cet article explique ce résultat, ce qu'il implique concrètement, et ce qu'il ne dit pas.
Ce que la recherche a mesuré
Une équipe de Stanford a conduit une expérience simple à comprendre. Elle donne à un modèle une question et une série de documents, dont un seul contient la réponse. Puis elle recommence en déplaçant ce document : en première position, au milieu, en dernière position. Rien d'autre ne change.
Si un modèle lisait uniformément tout ce qu'on lui donne, la position ne devrait rien changer.
Ce n'est pas ce qui se passe. Les résultats dessinent une courbe en U. La performance est la plus élevée quand l'information utile se trouve au début, elle est bonne quand elle se trouve à la fin, et elle se dégrade nettement quand elle est au milieu.
Le point qui compte pour vous est celui-ci : les auteurs observent cette dégradation y compris sur les modèles conçus spécialement pour les longs contextes. Ce n'est donc pas un défaut que la génération suivante corrige simplement en agrandissant la fenêtre.
L'article a été publié en 2024 dans une revue à comité de lecture, et il est consultable librement. Nous le lions plus bas.
Le second résultat, plus embêtant encore
La même équipe a testé une chaîne complète, du type de celles qu'on branche sur les documents d'une entreprise : un moteur cherche les documents pertinents, puis un modèle rédige la réponse à partir d'eux.
Ils ont fait varier le nombre de documents transmis. Le moteur, lui, continue de trouver des documents utiles quand on lui en demande plus. Mais la qualité de la réponse, elle, cesse de progresser bien avant.
Passé une vingtaine de documents, en ajouter davantage n'améliore pratiquement plus rien.
Autrement dit, ce n'est pas la quantité d'information transmise qui décide de la qualité de la réponse. C'est la qualité de la sélection. C'est exactement le mécanisme que nous décrivions à propos des fragments que le système retient, vu depuis l'autre bout de la chaîne.
La réserve, parce qu'elle compte. Cette étude date de 2024 et porte sur des modèles de la génération précédente, avec des documents issus de Wikipédia. Ce n'est pas un fonds d'entreprise français, et les modèles ont progressé depuis. Nous ne reprenons donc aucun de ses chiffres et nous ne prétendons pas que l'effet a aujourd'hui la même ampleur. Ce qu'elle établit, et qui ne dépend pas d'une génération de modèles, c'est que la position d'une information dans ce qu'on donne à lire change ce qui en est fait.
Pourquoi c'est si contre-intuitif
Nous imaginons spontanément qu'un modèle lit comme nous lisons, ligne après ligne, avec la même attention du début à la fin.
Ce n'est pas ce qu'il fait. Il traite tout le texte en même temps, et il répartit son attention. Cette répartition n'est pas égale : certaines positions pèsent plus que d'autres. Ce n'est pas un choix, c'est une propriété de la manière dont ces systèmes sont construits.
Il y a d'ailleurs un équivalent humain, et il aide à comprendre. Donnez à quelqu'un une liste de trente noms à retenir. Il se souviendra des premiers et des derniers, et beaucoup moins de ceux du milieu. Personne n'y voit un défaut d'attention : c'est ainsi que la mémoire fonctionne.
La différence est que nous savons que nous oublions. Un modèle, lui, répond avec le même aplomb, qu'il ait bien exploité le document ou non.
Ce que ça change pour vous
Trois conséquences pratiques, et elles valent quel que soit l'outil que vous utilisez.
Déverser n'est pas préparer. Donner l'accès à un serveur entier ne produit pas une meilleure réponse qu'une sélection propre. Cela produit une réponse qui repose sur ce que le système a réussi à isoler dans la masse.
Le tri n'est pas une étape préalable qu'on pourra sauter plus tard. C'est lui qui décide de ce qui arrive au modèle, et donc de ce qu'il peut utiliser. Une fenêtre plus grande déplace la limite, elle ne la supprime pas.
Ce qui distingue vos documents compte plus que leur nombre. Si quatre versions d'un contrat se ressemblent au point d'être indépartageables, en fournir quatre au lieu d'une n'aide pas le modèle. Cela lui donne trois chances de plus de se tromper. C'est le même raisonnement que ce que le chemin d'un dossier porte et que le fichier, lui, ne porte pas.
Ce que nous faisons de tout ça
Tout ce qui précède mène au même endroit. La qualité d'une réponse se joue avant la réponse, dans ce qu'on a été capable de sélectionner. Et pour sélectionner, il faut que les documents portent de quoi les distinguer.
C'est le travail que fait MIKURA, et il commence au moment où le document arrive.
Chaque pièce qui entre est lue, puis identifiée : sa famille, sa date de référence, son statut, ce qu'elle remplace. Ce sont ces informations qui permettent de ne transmettre au modèle que la bonne version, plutôt que les quatre qui se ressemblent.
Ce qui ne se départage pas tout seul n'est pas deviné. La pièce part en bannette, une personne tranche, et sa décision est tracée. Le cas ne se repose plus.
Et le fonds devient interrogeable en langage naturel. Vos équipes posent leurs questions comme elles les poseraient à un collègue, et les réponses citent les documents sur lesquels elles s'appuient. Vous pouvez vérifier au lieu de faire confiance.
C'est la raison pour laquelle nous ne branchons pas une IA sur un fonds en désordre : nous mettons le fonds en ordre, puis nous le branchons. Un outil qui cherche dans un fonds identifié n'a pas besoin de tout lire. Il a besoin de trouver les trois bons documents, et de savoir lequel des trois fait foi.
Si vous voulez voir ce que ça donne sur vos propres documents, écrivez-nous à contact@mikura.fr. Nous regardons une famille de votre choix, et nous vous laissons le constat.
Sources
Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang, Lost in the Middle: How Language Models Use Long Contexts, Transactions of the Association for Computational Linguistics, vol. 12, 2024, p. 157-173. DOI 10.1162/tacl_a_00638.
Éléments cités : la performance dessine une courbe en U selon la position de l'information pertinente dans le contexte, avec une dégradation nette au milieu, y compris pour les modèles conçus pour les longs contextes ; dans une chaîne complète, la qualité de la réponse sature bien avant le rappel du moteur de recherche, et au-delà d'une vingtaine de documents transmis le gain devient négligeable. Étude conduite sur des documents issus de Wikipédia et une tâche de récupération de paires clé-valeur, sur des modèles disponibles en 2023.
Aucun chiffre de cette étude n'est repris dans cet article, les modèles ayant évolué depuis.