Nous n'avons pas encore la référence: Personne n'a mesuré la fréquence à laquelle les professionnels détectent un résultat qui dévie de l'instruction. Voici comment la construire

Personne n'a publié de taux indiquant la fréquence à laquelle les professionnels détectent un écart entre la sortie de l'IA et ce qu'ils avaient demandé.

La Mesure

Voici la quantité qui compte le plus et qui manque à tout le monde : le taux des écarts matériels non détectés par rapport à l'intention enregistrée, dans une classe de tâches définie, dans des conditions de travail réelles.

Chaque clause est essentielle. Non détecté signifie que nous comptabilisons ce qui est passé, pas ce qui a été signalé. Matériel signifie que l'écart a modifié quelque chose en aval ; un résumé passant de 200 à 340 mots ne suffit pas, à moins que les 140 mots supplémentaires n'aient intégré une recommandation dans une décision. Intention enregistrée signifie que l'instruction était écrite au préalable, car sans enregistrement, il n'y a pas de dénominateur, seulement un souvenir, et le souvenir se module pour correspondre au résultat. Classe de tâches définie signifie un type de travail reproductible, pas un simple « usage de l'IA ». Conditions de travail signifie que la contrainte de délai, le volume et la fatigue sont présents, car c'est là que la détection échoue.

Ce que le domaine a mesuré à la place

Il existe beaucoup de mesures, presque toutes centrées sur les machines. Les bancs d'essai sur le suivi des instructions sont matures et s'améliorent rapidement : IFEval, InfoBench, FollowBench et les nouveaux comme IFScale évaluent si un modèle a satisfait ses contraintes. Ils nous indiquent la fréquence à laquelle le modèle dévie, mais rien sur la fréquence à laquelle une personne en prend connaissance.

La chose la plus proche vient d'un banc d'essai conçu à une autre fin. LLMBar demande aux évaluateurs de choisir quel des deux résultats suit mieux une instruction, y compris un ensemble contradictoire où l'un dévie tout en semblant superficiellement meilleur. Les chiffres d'accord humain sont encourageants : environ 94 % parmi les annotateurs experts, environ 90 % sur l'ensemble naturel et 95 % sur l'ensemble contradictoire.

Lisez cela attentivement avant de vous féliciter. Ces annotateurs avaient deux résultats côte à côte et une tâche conçue pour la comparaison. La condition qui nous intéresse est un seul résultat, sans comparaison, avec une échéance et une instruction rédigées il y a quatre-vingt-dix minutes. LLMBar établit que le jugement est étiquetable lorsqu'une personne est en mesure de le rendre. C'est ce dont nécessite l'étape zéro, et ce n'est pas la base.

L'étape zéro est l'étiquetage, pas la mesure

L'instinct est de mener un pilote et de produire un pourcentage. La première question est plus restreinte et moins coûteuse.

Deux évaluateurs qualifiés peuvent-ils être d'accord sur le fait qu'un écart matériel est survenu, étant donné la même intention enregistrée et le même résultat ?

S'ils ne peuvent pas, rien en aval n'est réel, car chaque taux hérite du bruit présent dans cette étiquette. De nombreux programmes sautent cette étape pour aller directement aux tableaux de bord, ce qui amène une organisation à suivre un chiffre à trois décimales que deux experts classeraient différemment la moitié du temps.

Une étape zéro viable :

Choisir une classe de tâches et recueillir 40 à 60 éléments de travail réels où une instruction enregistrée et un résultat existent tous deux.
Rédiger la règle d'étiquetage avant de voir les données : ce qui constitue un écart, ce qui le rend matériel, comment les égalités sont résolues.
Faire évaluer les données indépendamment par deux évaluateurs, sans qu'ils soient au courant du travail de l'autre.
Présenter l'accord comme une statistique corrigée pour le hasard, et non comme un pourcentage brut, ce qui flatterait une base de taux déséquilibrée.
Analyser les désaccords. Ils indiquent où la règle est ambiguë, et c'est le livrable de cette étape.

Si l'accord est faible, le résultat est une meilleure règle et une nouvelle tentative. Ce n'est pas un échec ; c'est la seule chose honnête à publier tant que ce n'est pas corrigé.

La forme bayésienne

Une fois que l'étiquette est établie, la mesure exige une forme qui admet ce qu'elle ignore. Énoncez le préalable : avant toute donnée, quel est notre avis sur le taux, et dans quelle mesure sommes-nous confiants ? L'écrire à l'avance est inconfortable, et c'est le but. Cela rend la mise à jour inspectable au lieu de rétrospective.

Rassemblez les preuves comparatives. Pas « avec IA contre sans », ce qu'aucune organisation réelle ne peut exécuter proprement, mais les comparaisons réellement disponibles : selon les classes de tâches, selon le niveau de séniorité, avec ou sans instruction enregistrée.

Mettez à jour et rapportez l'incertitude. Un intervalle allant de 4 % à 31 % est une conclusion honnête ; un chiffre unique sans intervalle est une décoration. Ensuite, testez la sensibilité : si la règle était resserrée, la conclusion survivrait-elle ? Un résultat qui tient uniquement sous un ensemble de choix est un résultat sur ces choix.

Pourquoi publier l'absence

Le marché regorge de chiffres assurés sur les résultats de la collaboration avec l'IA, la plupart produits par des parties qui vendent le remède, donc dire que la base n'existe pas renonce à une affirmation facile. C'est quand même le bon choix. Une mesure dont les fondements ne sont pas publiés ne peut être vérifiée que par le fournisseur, et dans un travail réglementé, un chiffre invérifiable est pire que rien, car il sera utilisé. Nous avons soutenu que les métriques de gouvernance doivent aller au-delà de l'adoption et de la formation. Cette norme s'applique aux métriques que nous proposons nous-mêmes.

PAICE (People + AI Collaboration Effectiveness) produit une preuve comportementale de la manière dont les gens gèrent une sortie confiante mais erronée. Cette preuve est réelle et mesurable. Ce n'est pas la base décrite ici, et y parvenir signifie d'abord une étude d'étiquetage, ouverte, avec la règle publiée avant les données.

Le chiffre n'existe pas encore. Construisons-le pour que quelqu'un d'autre puisse le déconstruire.

Vous souhaitez voir à quoi ressemble cette preuve comportementale avant que la base n'existe pas ? Découvrez PAICE pour les organisations ou faites une évaluation individuelle pour le voir par vous-même.

Lectures recommandées

La mesure comportementale de l'IA Collaboration - Ce qui est observé et comment
Présentation de AI Capability Baseline - Le cadre de mesure que cela étend
Les métriques de gouvernance de l'IA au-delà de l'adoption et de la formation - Pourquoi le catalogue standard est insuffisant
Mesurer le retour sur investissement de l'IA Collaboration, partie 1 - D'où viennent les chiffres et ce qu'ils représentent