Détecter les intentions alternatives : quand quelque chose d'autre est optimisé: Le dérive de ce que nous avons demandé et le remplacement par quelque chose que nous n'avons pas demandé sont deux échecs différents. Seul l'un d'eux ressemble à une erreur

Le dérive par rapport à ce que nous avons demandé et le remplacement par quelque chose que nous n'avons jamais demandé sont deux échecs différents, et seul l'un d'eux ressemble à une erreur.

Deux échecs différents

Un modèle peut échouer à notre instruction de deux manières, et nous avons principalement un langage pour l'une d'entre elles.

La première est la dérive. Nous avons demandé un résumé de moins de 200 mots sans recommandations, et nous avons obtenu 340 mots se terminant par trois recommandations. Il est en deçà d'une norme que nous avions établie, et nous le remarquons parce que la déficience est lisible.

La seconde est la substitution. Nous avons demandé les risques dans un contrat fournisseur, et nous avons obtenu les risques couramment discutés dans les contrats fournisseurs. Fluide, précis, optimisé pour un objectif différent du nôtre. Rien n'est faux dedans. C'est une bonne réponse à une question que nous n'avons pas posée, et plus elle est bonne, moins il est probable que quelqu'un détecte l'échange.

La dérive produit un travail qui semble déficient. La substitution produit un travail qui semble correct. Les processus de révision sont conçus pour détecter le premier cas.

Le déviation est déjà mesurée, d'un côté

Considérez l'effort consacré à quantifier ce premier échec. En juillet 2025, Distyl AI a publié IFScale, qui demande aux modèles de satisfaire jusqu'à 500 instructions simultanées et observe la chute de la précision à mesure que le compte augmente. Un an plus tard, Arize a signalé que les modèles perdaient le fil autour de 200 à 300 contraintes, alors qu'ils étaient plus proches de 2 000. Nous avons des classements pour savoir si la machine a suivi l'instruction et rien pour savoir si la personne a remarqué quand elle n'a pas suivi. Cette asymétrie n'est pas une négligence : d'un côté, c'est une propriété de l'artefact et elle est notée automatiquement ; de l'autre, c'est une propriété d'une personne dans des conditions spécifiques et cela doit être observé.

Trois endroits où l'intention alternative entre en jeu

Le modèle porte les préférences pour lesquelles il a été entraîné. Entraîné à être serviable et conciliant, il complète plutôt que de refuser, lisse plutôt que de signaler, et offre une réponse assurée plutôt qu'une réserve précise. Ces dispositions ont été installées intentionnellement et elles ne sont pas les nôtres. Lorsqu'un modèle résout une ambiguïté sans nous dire qu'il en a trouvé une, une intention alternative est à l'œuvre. Ce n'est juste pas la nôtre.

Les incitations du fournisseur sont dans le produit. Les valeurs par défaut, les invites suggérées, ce que l'outil rend facile et ce qui le rend fastidieux, le tout encode ce que le fournisseur souhaite que nous fassions davantage. Cela correspond parfois à notre résultat et jamais par construction.

La personne qui recadre la demande. L'intention alternative la plus courante dans toute organisation est humaine. Une demande passe par trois personnes et arrive subtilement différente, car chacun l'a comprise à travers son propre prisme. C'était vrai avant que tout modèle ne soit livré, c'est pourquoi cette compétence est généralisable.

L'enregistrement est l'instrument

Détecter une intention alternative nécessite quelque chose contre quoi la détecter, et l'attente seule ne suffit pas. L'attente est reconstituée après coup pour correspondre à ce que nous avons obtenu. Toute personne qui a lu un résultat, s'est sentie satisfaite, puis a redécouvert le cahier des charges initial une heure plus tard sait comment cela fonctionne.

Donc, la pratique est mécanique : enregistrez l'intention en premier, suffisamment spécifique pour pouvoir être violée. Pas "revoyez ce contrat", mais "identifiez les clauses d'indemnisation et de limitation de responsabilité qui diffèrent de notre position standard, et signalez rien d'autre." Ensuite, lisez le résultat par rapport à l'enregistrement plutôt que par rapport au sentiment d'une bonne réponse.

C'est pourquoi nous continuons à écrire sur les pistes d'audit pour les décisions assistées par IA. Un enregistrement de ce qui a été demandé n'est pas de la bureaucratie. C'est le seul instrument qui rend la substitution visible, car la substitution est définie entièrement par le fossé entre l'intention enregistrée et l'intention servie.

La compétence n'est pas nouvelle, et les limites sont réelles

Détecter l'intention est ainsi que la confiance se construit entre les personnes. Nous l'inférons du comportement, nous remarquons lorsque les actions cessent de correspondre aux mots, et nous révisons. Chaque relation professionnelle qu'entretenez un praticien réglementé repose sur cette boucle. Ce qui a changé, c'est que nous avons ajouté des participants dont l'intention n'est ni visible ni stable, à un volume où la boucle cesse de fonctionner par défaut.

Cela fonctionne dans les deux sens, ce qui est souvent omis. Un système reflétant fidèlement notre intention gagne davantage confiance, et devrait le faire. La détection n'est pas la suspicion ; c'est le mécanisme sur lequel repose la confiance.

Deux limites, car ce sujet attire les excès. Nous ne prétendons pas avoir accès aux états mentaux cachés, que ce soit dans un modèle ou une personne. Un fossé entre l'intention enregistrée et le comportement observable est la preuve qu'un autre objectif est en fonctionnement, pas la preuve de ce qu'il est, et traiter une inférence sur le mécanisme comme un constat sur le motif est ce qui transforme cela en paranoïa. Nous n'avons pas non plus de base de référence. Personne n'a publié de taux indiquant la fréquence à laquelle les professionnels détectent la substitution dans des conditions de travail, nous y compris, ce qui est le sujet d'un article à part.

Les deux échecs sont différents, nos processus de révision en détectent un, et la différence apparaît au moment où quelqu'un demande ce que nous avons réellement demandé.

Vous souhaitez savoir si vos professionnels détectent la substitution ou l'approuvent ? Découvrez PAICE pour les organisations ou faites une évaluation individuelle pour le constater par vous-même.

Lectures recommandées

Pistes d'audit pour les décisions assistées par IA - Enregistrer ce qui a été demandé, pas seulement ce qui a été produit
Quand l'IA Collaboration échoue - Les modes de défaillance qui ressemblent à du succès
La fatigue liée à l'IA est réelle - Ce qui arrive à la détection en volume
L'éthique de l'IA Collaboration - À qui sert l'arrangement ?