L'IA sans hallucination : une réponse qu'on peut vérifier

Pourquoi un modèle de langage invente-t-il ?

C'est la première objection, et elle est juste. Un modèle de langage ne consulte rien : il produit la suite de mots la plus vraisemblable après la question. Sur un sujet qu'il a beaucoup vu, cette suite se trouve être exacte. Sur le nom de votre responsable achats ou la date d'échéance de votre contrat de maintenance, elle est fabriquée.

Le vrai danger n'est pas l'erreur, c'est son aspect. Une réponse inventée a exactement le même ton assuré qu'une réponse exacte. Rien, dans le texte, ne signale la différence. C'est ce qui rend le phénomène coûteux en entreprise : une information fausse formulée avec assurance circule, et elle est reprise dans une note, dans un courriel, dans une décision.

Comment éviter les hallucinations en pratique ?

Une hallucination naît d'une réponse produite de mémoire. Un assistant d'entreprise n'a pas à répondre de mémoire, parce qu'il a les documents sous la main.

Le principe tient en trois temps. La question déclenche d'abord une recherche dans vos données, documents et objets du graphe de connaissances ensemble. Les passages retrouvés sont ensuite remis au modèle comme matière première. La rédaction, enfin, se fait à partir de cette matière et pas d'autre chose.

La différence est de nature, pas de degré. Un modèle interrogé seul cherche dans ce qu'il a retenu du monde. Ici, il rédige à partir de ce qu'on vient de lui mettre sous les yeux, et ce qu'on lui met sous les yeux vient de chez vous.

C'est aussi ce qui explique qu'une réponse puisse porter sur un contrat signé la semaine dernière. Aucun modèle ne l'a jamais vu, et il n'a pas besoin de l'avoir vu.

Comment vérifier une réponse en quelques secondes ?

Ancrer la réponse ne suffit pas. Encore faut-il pouvoir le contrôler sans relire la source entière.

Chaque affirmation de la réponse porte donc son renvoi. La citation est cliquable et ouvre ce qui la justifie, l'objet concerné ou le document d'origine à l'endroit utile. Les étapes de la recherche s'affichent par ailleurs pendant qu'elle se déroule, si bien qu'on voit ce qui a été consulté avant même de lire le résultat.

La conséquence pratique est celle qui compte. Une réponse dont on doute se contrôle au lieu d'être écartée par prudence, et c'est ce qui décide de l'adoption réelle d'un outil de ce genre, bien plus que la qualité de sa rédaction. Un assistant qu'on ne peut pas vérifier finit par n'être utilisé que pour des questions dont on connaît déjà la réponse.

Que peut-on réellement contrôler ?

Une promesse de fiabilité qui ne se vérifie pas est un argument commercial. Voici ce qui se contrôle, élément par élément.

Aucune de ces lignes n'est une estimation. Ce sont des éléments qu'un lecteur ou un administrateur constate lui-même, ce qui est exactement ce qu'on doit demander à un fournisseur sur ce sujet.

Les droits d'accès font partie de la fiabilité

On range d'ordinaire la question des droits du côté de la sécurité. Elle relève aussi de la justesse des réponses.

Le filtrage s'applique pendant la recherche, pas après. Un document qu'un lecteur n'a pas le droit de voir n'entre jamais dans le périmètre consulté, donc aucune réponse ne peut s'appuyer dessus. Deux personnes qui posent la même question reçoivent chacune une réponse fondée sur ce qu'elle a le droit de lire.

Un filtrage appliqué après coup produirait l'inverse : une réponse construite sur tout, puis expurgée de ses citations gênantes. Le texte resterait, privé de ce qui permet de le contrôler, et le lecteur se retrouverait devant une affirmation sans source, c'est-à-dire devant une hallucination du point de vue de ce qu'il peut vérifier.

Pourquoi le graphe réduit-il encore la marge d'erreur ?

Certaines questions n'ont de réponse dans aucun document pris isolément.

Quels clients ont un contrat qui expire ce trimestre et un incident non résolu ?

Un système qui ne dispose que de passages de documents fait alors ce qu'il sait faire : il rapproche des extraits qui se ressemblent, et il produit une réponse qui a l'allure d'un recoupement sans en être un. C'est le cas où l'invention est la plus difficile à repérer, parce que chaque morceau pris séparément est exact.

Le graphe de connaissances répond autrement. Les clients, les contrats et les incidents y sont des objets reliés, et le croisement devient un parcours de relations, dont le résultat est une liste d'objets réels. Il n'y a plus de rapprochement à deviner. Le même principe vaut pour la recherche dans vos documents, qui s'appuie sur les deux à la fois.

Ce que cette page ne promet pas

Un éditeur qui annonce l'absence totale d'erreur décrit un produit qui n'existe pas, et un lecteur averti le sait.

Un modèle de langage peut mal résumer un passage exact. Il peut manquer une nuance, ou rapprocher deux faits corrects d'une manière qui ne l'est pas. Ce qui est en cause alors n'est plus la source, c'est la rédaction, et cela se corrige en ouvrant la citation.

La différence tient au temps qu'il faut pour s'en apercevoir. Sans source attachée, une erreur de ce genre se découvre des semaines plus tard, quand la décision est prise. Avec la source attachée, elle se découvre à la lecture. Ce n'est pas une garantie, c'est un changement de régime, et c'est le seul qu'on puisse honnêtement promettre aujourd'hui.

Par où commencer pour juger de la fiabilité ?

La bonne épreuve tient en une question : prenez celle dont vous connaissez déjà la réponse et dont la vérification vous prend d'ordinaire une demi-journée. Posez-la, puis ouvrez les citations.

Ce que vous mesurez alors n'est pas la qualité de la prose, c'est le temps qu'il vous faut pour établir que la réponse est juste. C'est ce chiffre qui décide de l'usage d'un assistant d'entreprise sur la durée.