Le piège de la capacité : un résultat plus intelligent, la même décision
Chaque déploiement mesure ce que produit l'outil. Presque aucun ne mesure si l'appel a été différent
Si nous ne pouvons pas nommer une décision qui aurait pu être différente, nous avons acheté de la vitesse, pas du jugement.
Les Dix-neuf Pourcent
En juillet 2025, METR a mené un essai contrôlé randomisé qui vieillit mieux que la plupart des écrits sur la productivité de l'IA. Seize développeurs expérimentés ont travaillé sur 246 tâches réelles dans des dépôts qu'ils entretenaient déjà, randomisés de sorte que certaines tâches autorisaient les outils d'IA et d'autres non. Le résultat : avec l'IA autorisée, ils ont mis 19 % de plus de temps, l'intervalle de confiance à 95 % allant de 2 % à 39 % de ralentissement.
Le second chiffre est plus important. Au départ, ces développeurs s'attendaient à ce que l'IA les rende 24 % plus rapides. Au terme de l'expérience, après avoir vécu les tâches, ils croyaient toujours qu'elle les avait rendus 20 % plus rapides. Ils étaient en erreur d'environ quarante points de pourcentage concernant leur propre performance, dans le sens de la flatterie, sur un travail qu'ils connaissaient intimement.
METR a revu le protocole en février 2026 et a obtenu une accélération de 18 % pour les développeurs de retour et de 4 % pour les nouveaux inscrits, avec des intervalles suffisamment larges pour inclure zéro. Ils ont qualifié ce résultat de signal peu fiable plutôt que de publier le chiffre plus favorable. Après deux tentatives sérieuses, nous ne pouvons toujours pas dire clairement si les outils ont aidé. Ce que nous pouvons dire, c'est que les personnes qui les utilisaient ne pouvaient pas le savoir.
Pourquoi le tableau de bord se confirme lui-même
Remarquez ce dont METR avait besoin pour obtenir une réponse : la randomisation, une condition témoin, des enregistrements d'écran, des tâches réelles. Presque aucun déploiement en entreprise n'a tout cela. Ce qu'un déploiement a, c'est un tableau de bord, et chaque chiffre dessus mesure l'outil.
Sièges provisionnés. Invites par semaine. Adoption par département. Temps jusqu'au premier brouillon. Tous ces indicateurs augmentent lorsque l'outil fonctionne et augmentent lorsque l'outil est fermement en erreur, car aucun d'eux n'observe la décision de l'autre bout. Un modèle qui fabrique une citation produit cette citation rapidement, et le tableau de bord enregistre un brouillon rapide.
Ces métriques ne mentent pas. Elles répondent à une question différente de celle que le leadership pense avoir posée, et elles y répondent correctement.
L'asymétrie est structurelle plutôt que négligente. La capacité se manifeste dans les artefacts, et les artefacts sont comptables. Le jugement se manifeste dans les décisions qui n'ont pas échoué, et celles-ci ne laissent aucun trace. Un responsable de la conformité qui détecte et corrige discrètement une clause de cadre fabriquée produit exactement la même télémétrie que celui qui ne le fait pas : un récit de contrôle complété, à temps. L'organisation voit deux lignes identiques.
Trois questions qui les séparent
Il existe un test simple pour savoir si un déploiement a déplacé le jugement ou seulement le résultat. Il n'a besoin d'aucun groupe témoin, juste de quelqu'un prêt à répondre honnêtement à trois questions sur le dernier trimestre.
Une erreur de jugement a-t-elle été détectée plus tôt qu'elle ne l'aurait été ? Pas « avons-nous revu plus ». Quelque chose de faux a-t-il été arrêté, et pouvons-nous le prouver ? Si rien n'a été détecté parce que rien n'allait mal, c'est une affirmation sur le taux d'erreur du modèle, et elle est presque certainement fausse.
Quelqu'un a-t-il changé d'avis sur la base des preuves ? Une collaboration qui ne jamais réviser la position de quiconque est une partie qui dicte et l'autre qui transcrit. Quelle partie dicte ne change pas le diagnostic.
Le désaccord est-il apparu avant ou après l'engagement ? Un désaccord survenu après le dépôt ou un appel client n'est pas un désaccord. C'est une analyse post-mortem.
| Ce que nous mesurons | Ce que cela prouve | Ce que cela ne peut pas nous dire |
|---|---|---|
| Sièges, invites, taux d'adoption | L'outil est utilisé | Si quelqu'un lit le résultat de manière critique |
| Temps jusqu'au premier brouillon | L'outil produit plus vite | Si le brouillon était correct |
| Achèvement de la formation | La politique a été diffusée | Si quelqu'un l'applique dans les délais |
| Confiance auto-évaluée | Les gens se sentent compétents | Voir le fossé de quarante points ci-dessus |
Ce dont l'autre moitié a besoin
Si le jugement ne laisse aucune trace dans le travail ordinaire, la seule façon de le voir est de créer les conditions délibérément. Placez une personne face à un résultat faux, mais confiant et plausible, sous une pression temporelle réelle et observez. Est-ce qu'il détecte l'erreur, vérifie l'affirmation qui porte la décision, fait escalader lorsqu'une source ne peut être confirmée, et corrige plutôt que de défendre ?
C'est ce que mesure PAICE (People + AI Collaboration Effectiveness). L'évaluation ensemence les erreurs qui atteignent les dépôts, les récits de contrôle et les rapports clients, puis évalue le comportement lorsque le modèle est en erreur. Une personne fluide qui manque l'erreur ensemencée obtient un score inférieur à une personne concise qui tout attrape. La conversation est le médium ; elle n'est pas la mesure.
Je veux être prudent quant à ce que cela achète. Cela fournit un profil de fiabilité comportementale au niveau de la cohorte, explicable et mesurable. Cela ne donne pas une estimation causale de savoir si un déploiement a amélioré les décisions, ce que METR a passé deux études à ne pas parvient à déterminer pour une classe de tâches bien définie. Toute personne qui vous vend ce chiffre, nous y compris, devrait être interrogée sur la manière dont elle l'a obtenu.
La confidentialité est architecturale plutôt que promise : identifiants hachés, aucun texte de conversation conservé, résultats individuels structurellement inaccessibles à l'organisation. La distribution est visible. Un nom jamais.
Le déploiement du prochain trimestre produira un chiffre. Demandez quelle décision il a changée.
Prêt à voir si le jugement de votre équipe a bougé, pas seulement son résultat ? Découvrez PAICE pour les organisations ou faites une évaluation individuelle pour le voir par vous-même.
Lecture recommandée
- Collaboration Bats la capacité - Le même argument au niveau organisationnel
- L'illusion de l'adoption de l'IA - Ce que cachent les taux d'adoption
- Métriques de gouvernance de l'IA au-delà de l'adoption et de la formation - Pourquoi le catalogue standard mesure les systèmes et pas les opérateurs
- La mesure comportementale de l'IA Collaboration - Comment les preuves comportementales sont recueillies
Curieux mais pressé ?
Faites le PAICE Pulse en 3 minutes — une vérification rapide qui cartographie votre perception de votre posture de collaboration IA. Aucune connexion requise.