Une phrase que vous n'avez jamais lue
« Je ne trouve pas d'information fiable sur ce point dans vos documents. »
Vous ne l'avez jamais lue. Ni vous, ni personne dans votre entreprise.
Posez à un système branché sur vos fichiers une question dont la réponse ne se trouve nulle part chez vous. Il répondra quand même, avec le même aplomb qu'aux autres. La raison est simple : rien, dans son fonctionnement, ne fabrique un « je ne sais pas ». Ce n'est pas un défaut de réglage, c'est une conséquence de la manière dont il est construit.
Cet article part de cette absence et remonte, question après question, jusqu'à ce qui la produit.
Pourquoi ne le dit-il jamais ?
Revenez à la manière dont une réponse se fabrique. Le système découpe vos documents en fragments, les transforme en positions dans un espace, puis retient ceux qui sont les plus proches de votre question. Une dizaine, en général.
Regardez cette étape de près. Elle retient toujours les plus proches. Même quand aucun fragment ne parle du sujet, il en existe de moins éloignés que d'autres, et ce sont eux qui remontent. Le calcul mesure des distances. Il ne juge pas si la distance est raisonnable.
Le modèle qui rédige reçoit donc, dans tous les cas, une poignée d'extraits présentés comme pertinents. Rien ne lui indique qu'ils sont les moins mauvais d'un ensemble sans rapport avec la question.
L'absence d'information ne se présente donc jamais comme une absence. Elle se présente comme une information faible, impossible à distinguer d'une information solide.
Alors pourquoi ne pas fixer un seuil ?
C'est l'objection immédiate, elle est juste, et elle se pratique déjà : en dessous d'une certaine proximité, le système se tait.
Elle règle le cas où votre fonds ne contient rien sur le sujet. Elle ne règle pas l'autre, qui est le plus fréquent en entreprise : celui où le fonds contient deux réponses excellentes qui se contredisent. Celles-là passent tous les seuils, justement parce qu'elles sont pertinentes. Le système n'a pas trop peu d'information, il en a trop.
Alors pourquoi ne voit-il pas la contradiction ?
Prenez le bail de 2019 et le bail de 2023.
Un système bien conçu devrait s'arrêter en trouvant les deux : ils répondent tous les deux, ils ne disent pas la même chose, il faut trancher.
Mais pour voir une contradiction, encore faut-il que quelque chose relie les deux documents. Or le système trouve deux textes presque identiques, tous deux plausibles, dont aucun ne porte l'information « ceci remplace cela ». Pour le calcul, ce ne sont pas deux versions concurrentes : ce sont deux documents qui parlent du même sujet.
Il n'y a aucune contradiction à détecter, parce que rien n'a été écrit qui permettrait de la voir. C'est le même silence que celui des documents qu'il n'a pas pu lire : ce qui manque ne se manifeste jamais.
Alors faut-il un meilleur modèle ?
C'est ici que le raisonnement s'inverse, et c'est le point de l'article.
On demande au modèle de mieux douter. Mais un système ne peut douter que de ce qu'il peut voir. Si vos documents ne portent ni date de référence, ni version, ni statut, ni lien vers ce qu'ils remplacent, le doute n'a pas de matière pour se former.
Le système n'est pas trop sûr de lui. Il n'a aucune raison de ne pas l'être.
Un banc d'essai récent le confirme du côté des modèles. Des chercheurs ont posé plus de 35 000 questions sans réponse possible à vingt modèles parmi les plus avancés. Trois résultats méritent d'être connus.
Savoir se taire reste un problème non résolu, et augmenter la taille des modèles n'y change presque rien.
Ensuite, les modèles spécialisés dans le raisonnement se taisent moins bien que les autres, avec une dégradation de 24 % en moyenne. On les a rendus meilleurs pour résoudre des problèmes, et moins bons pour reconnaître qu'un problème n'a pas de solution.
Le troisième résultat est le plus parlant. Ces modèles expriment de l'incertitude à l'intérieur de leur raisonnement, puis donnent quand même une réponse définitive. Le doute existe. Il ne sort pas.
La réserve, parce qu'elle compte. Ces travaux évaluent des modèles interrogés seuls, sur des questions construites pour l'exercice. Ce n'est pas un système branché sur les documents d'une entreprise, et personne n'a publié de mesure sur ce second cas. Ce qu'ils établissent, c'est que la difficulté est structurelle et non accidentelle.
La question qu'il faut poser à un fournisseur
Tout ce qui précède rend inutile la question que tout le monde pose.
« Est-ce que votre outil hallucine ? » n'a pas de réponse utile. Elle porte sur un comportement qui dépend d'un fonds que le fournisseur n'a jamais vu. Il répondra « non », ou « rarement », et cela n'engagera personne.
Deux autres questions ont une réponse.
« Sur quelles informations vous appuyez-vous pour repérer qu'une réponse est douteuse ? » Un fournisseur qui répond « le score de proximité » vient de vous dire qu'il traite l'absence, pas la contradiction. Un fournisseur qui parle de dates, de statuts et de liens entre versions vous dit qu'il regarde le fonds.
« Et que faites-vous quand vous l'avez repéré ? » C'est la moitié qu'on oublie de poser. Un doute qui reste affiché à l'écran est une gêne, pas une protection. Pour qu'il serve, il lui faut une destination : une personne, un moment, une décision.
Vous pouvez poser ces deux questions à n'importe qui, y compris à nous.
Ce que nous faisons de tout ça
Il y a, dans toute organisation, une pression constante contre les outils qui hésitent. Un outil qui pose des questions ralentit ; un outil qui répond toujours paraît performant. Au bout de quelques mois, la case qui envoyait les cas douteux vers une personne est décochée pour fluidifier, et plus personne ne se souvient qu'elle existait.
C'est pourquoi nous traitons le doute comme une fonction, et non comme un défaut à réduire.
L'assistant doute, l'humain tranche. Quand deux pièces se valent, rien n'est deviné : la pièce part en bannette, et une personne décide.
Et cette décision est tracée. Qui a tranché, quand, sur quelle base. Le cas ne se repose plus, et ce qu'une personne savait cesse d'être dans sa tête. Le fonds s'améliore par l'usage au lieu de se dégrader.
Ce qui rend tout cela possible tient à une seule chose : la pièce est identifiée au moment où elle entre, avec sa famille, sa date de référence, son statut et ce qu'elle remplace. Sans ces informations, il n'y a pas de contradiction à voir, donc pas de doute possible. Avec elles, le système sait quand il doit s'arrêter.
Nous n'affirmons pas qu'un système ainsi conçu ne se trompe jamais. Nous disons ce qu'il fait quand il ne sait pas, et cela se vérifie.
Sources
Polina Kirichenko et al., AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions, arXiv:2506.09038, 2025.
Éléments cités : banc d'essai de plus de 35 000 questions réparties sur 20 jeux de données ; 20 modèles évalués ; l'abstention demeure un problème non résolu et la taille des modèles n'y change presque rien ; la spécialisation au raisonnement dégrade l'abstention de 24 % en moyenne ; les modèles expriment de l'incertitude dans leur chaîne de raisonnement tout en fournissant une réponse définitive.
Aucun taux d'erreur sur un fonds d'entreprise réel n'est avancé dans cet article, faute de source primaire consultable.