Du comportement à la violation : relier les évaluations aux obligations légales

PAICE (People + AI Collaboration Effectiveness) mesure le comportement d'un professionnel agréé lorsqu'il travaille avec l'IA sur une tâche réelle. La mesure est comportementale. Il ne s'agit pas d'un test de connaissances sur l'IA, ni d'un questionnaire d'attitudes, ni d'une évaluation de la fluidité d'expression. Les questions auxquelles répond PAICE sont opérationnelles : le professionnel a-t-il détecté l'erreur injectée, a-t-il exercé un jugement indépendant lorsque le modèle était dans l'erreur, a-t-il su se rétablir lorsque le flux de travail s'est interrompu.

ObligationFirst annoncé le mois dernier représente les obligations légales sous une forme structurée que les agents peuvent exploiter par raisonnement. Acteur, action, condition, échéance, autorité, exception.

Ces deux couches produisent quelque chose d'intéressant lorsqu'elles se combinent. Elles permettent d'établir, pour un comportement précis dans une évaluation précise, quelle obligation découlant de quel texte législatif ce comportement engage. Non pas au niveau de « cette profession est réglementée, donc l'utilisation de l'IA est risquée », mais au niveau de « dans ce tour de cette évaluation, le professionnel a accompli un acte qui aurait constitué un manquement à une obligation nommée prévue par une loi nommée ».

Il s'agit là d'une affirmation différente et plus solide que ce que les outils d'évaluation de l'IA proposent actuellement. Cet article en présente le mécanisme, de bout en bout.

PAICE.work PBC n'est pas un cabinet d'avocats et ne fournit pas de conseils, d'avis ou de recommandations juridiques. Les services fournis sont fournis à des fins d'information ou d'administration uniquement.

Les Deux Couches, Reformulées

PAICE mesure le comportement selon cinq dimensions : Performance, Accountability, Integrity, Collaboration et Evolution. Chaque dimension est opérationnalisée sous forme de conduite observable au cours d'une évaluation, et non comme une attitude déclarée. La notation est délibérément conservatrice : l'absence de preuve se traduit par un score faible, et non par un bénéfice du doute. Le postulat architectural est que la conversation constitue le medium, non la mesure. Ce qui est noté, c'est ce qui se produit, et non ce que la personne dit de ce qui se produit.

ObligationFirst représente les obligations légales auxquelles un acteur réglementé doit satisfaire. Chaque obligation fait l'objet d'un enregistrement structuré comprenant des identifiants stables, des relations de supersession, des chaînes d'autorité et des pointeurs de provenance vers des artefacts PubLedge. Le schéma est conçu nativement pour les agents, pour la requête et l'exécution plutôt que pour la consultation humaine.

Les deux couches existent indépendamment. PAICE fonctionne sans ObligationFirst — il indique à un professionnel, ainsi qu'à la fonction formation de son employeur, comment ce professionnel collabore avec l'IA sur les dimensions qui comptent. ObligationFirst fonctionne sans PAICE — il indique à un outil de conformité quelles obligations s'appliquent à quel acteur dans quelles conditions. Le lien entre les deux est ce qui est nouveau.

Un Exemple Concret

Prenons l'exemple d'un avocat contractuel agréé dans l'Utah qui utilise un outil d'IA générative pour rédiger une clause dans un contrat commercial. L'avocat passe l'évaluation PAICE pour le secteur juridique. Dans le cadre de l'évaluation, l'outil d'IA génère une clause contenant une erreur subtile mais importante : une disposition relative au délai de remédiation fait référence à un texte législatif abrogé il y a deux ans et remplacé par un texte successeur prévoyant des délais différents.

Trois choses peuvent se produire au tour suivant.

L'avocat peut remarquer la citation, reconnaître que le texte cité a été abrogé, puis corriger ou remplacer la référence. PAICE enregistre cela comme une détection sur la dimension Integrity et un signal fort sur Performance — le professionnel a effectué l'étape de vérification que la situation exigeait.

L'avocat peut ne pas remarquer, accepter la clause telle que rédigée et l'utiliser. PAICE enregistre la défaillance. Le score reflète l'absence de vérification d'une autorité citée sur un point substantiel.

L'avocat peut remarquer, hésiter, poser une question de clarification à l'IA, obtenir une réponse erronée exprimée avec assurance, et procéder néanmoins. PAICE enregistre la détection partielle suivie d'une sur-correction — un schéma d'échec connu.

Dans les trois cas, PAICE produit un score comportemental qui indique au professionnel et à son employeur comment celui-ci a collaboré avec l'IA à ce moment précis. C'est ce que fait PAICE aujourd'hui.

Ajoutons maintenant la couche obligation.

Ce qu'Apporte la Couche Obligation

Le comportement du deuxième cas — accepter une clause générée par l'IA contenant une référence à un texte abrogé, sur un point substantiel, sans vérification — ne se traduit pas seulement par un score faible sur Integrity. Dans l'Utah, il s'agit d'un acte qui engage plusieurs obligations nommées.

Il engage le devoir de compétence de l'avocat au titre de la règle 1.1 des Règles de conduite professionnelle de l'Utah, qui exige les connaissances et compétences juridiques raisonnablement nécessaires à la représentation, notamment l'obligation de se tenir informé des évolutions technologiques pertinentes. Il engage le devoir de supervision au titre de la règle 5.3, dans la mesure où l'outil d'IA est traité comme un assistant non juriste. Selon les circonstances, il peut également engager des obligations d'information envers le client au titre de la règle 1.4. Et si l'utilisation de l'IA s'inscrit dans un contexte juridique orienté grand public, il peut engager les obligations de divulgation prévues par le SB 149 de l'Utah.

Chacune de ces obligations fait l'objet d'un enregistrement structuré dans ObligationFirst. Chaque enregistrement identifie l'acteur (avocat agréé dans l'Utah), l'action (vérifier l'autorité citée, superviser les résultats de l'IA, divulguer l'utilisation de l'IA), la condition (utilisation de l'IA générative dans le cadre d'une mission client), la chaîne d'autorité (règles du barreau de l'État, SB 149, directives du Bureau de la politique sur l'IA de l'Utah) et les exceptions (aucune particulièrement pertinente ici).

Le lien est un mappage entre le comportement qu'observe PAICE et l'enregistrement d'obligation que ce comportement engage. Ce mappage n'est pas un verdict. Il ne dit pas que l'avocat a manqué à une obligation devant un tribunal. Il dit : ce comportement, accompli dans ce contexte, par un acteur occupant ce rôle, est le type de comportement qu'un régulateur ou un plaignant évaluerait au regard de cette obligation nommée. Le lien est précis quant à l'obligation concernée.

Pourquoi la Précision Est Déterminante Ici

Les secteurs réglementés entendent la version générale de cette affirmation depuis des années. « L'IA dans le domaine juridique est risquée. » « L'IA dans le secteur de la santé requiert de la prudence. » « Votre équipe a besoin de formation. » Ces affirmations sont vraies et inutiles. L'action qu'elles impliquent est ouverte. La responsabilité qu'elles créent est diffuse.

Un mappage précis du comportement vers l'obligation modifie le tableau opérationnel. Un associé directeur examinant un rapport de cohorte PAICE à l'échelle du cabinet ne peut voir aucun score individuel — c'est structurel, l'architecture de confidentialité l'interdit — mais il peut constater, au niveau de la cohorte, qu'une fraction mesurable des comportements engage des obligations de vérification au titre de la règle 1.1. C'est un signal actionnable. Il oriente vers une formation qui cible le schéma de comportement spécifique.

Un régulateur, saisi d'une procédure d'exécution, peut s'interroger sur l'existence d'un programme de mesure au sein du cabinet, qui aurait permis de détecter le comportement en cause. La présence de PAICE et d'ObligationFirst dans le dispositif de gouvernance de l'IA d'un cabinet ne constitue pas une défense. C'est un fait documenté sur la capacité du cabinet à avoir été informé. Les faits documentés sont la monnaie des secteurs réglementés.

Un plaignant, construisant un dossier, peut mettre en correspondance la violation alléguée avec le graphe d'obligations et les éléments comportementaux du cabinet d'une manière qui résiste au contre-interrogatoire. Le mappage est structuré, non narratif. Cela change le déroulement du litige.

Pourquoi Personne d'Autre Ne Peut Établir Ce Lien

Le mappage requiert les deux couches, et aucune n'est triviale.

Une couche de mesure comportementale qui a du sens requiert une architecture de notation délibérée qui traite l'observation comme primaire et la fluidité comme secondaire. La plupart des outils d'évaluation de l'IA présents sur le marché notent ce que la personne déclare qu'elle ferait, et non ce qu'elle a fait. PAICE repose sur le postulat inverse. Toujours des tests sur conversation. L'architecture est le fossé défensif.

Un graphe d'obligations natif pour les agents requiert une représentation qu'un agent peut interroger et sur laquelle il peut raisonner. Les précédents efforts de représentation machine-readable de la loi ont produit d'excellentes représentations pour les logiciels à opération humaine. Le cadre natif pour les agents est ce qu'apporte ObligationFirst.

Détenir les deux couches et les relier par des identifiants stables n'est pas une fonctionnalité que des concurrents peuvent livrer en un trimestre. C'est structurel. C'est aussi pourquoi ce travail a pris la forme d'un portefeuille plutôt que d'un produit.

Ce Qui Est Disponible Aujourd'hui et Ce Qui Est en Feuille de Route

La couche de mesure comportementale est disponible. Les évaluations PAICE s'exécutent aujourd'hui sur les cinq dimensions, avec une notation conservatrice, un reporting de cohorte respectueux de la confidentialité par architecture, et des seuils de niveau calibrés en fonction des enjeux des secteurs réglementés.

Le graphe d'obligations est disponible en version bêta. ObligationFirst est publié. L'exemple concret du Colorado AI Act a également été publié le mois dernier. Le SB 149 de l'Utah est modélisé. D'autres juridictions sont en attente.

Le lien explicite entre les deux couches — des résultats d'évaluation qui font apparaître les obligations mappées — constitue la prochaine surface produit. La logique de mappage et les identifiants d'obligation sont en place. Le reporting orienté utilisateur qui fait apparaître « ce comportement engage l'obligation X au titre du texte Y » est en cours de conception. Restez attentif.

Ce Que Cela Signifie pour Vous

Si vous êtes un professionnel réglementé, voici ce que PAICE vous dira sur votre propre collaboration avec l'IA. Non pas seulement comment vous avez été noté sur Integrity, mais quelles obligations étaient en jeu lorsque vous avez détecté ou non l'erreur.

Si vous pilotez un programme de gouvernance de l'IA au sein d'un cabinet réglementé, voici la forme des éléments de preuve opérationnels que vous pourrez présenter aux régulateurs, aux auditeurs et à votre propre conseil d'administration. Structurés. Précis. Défendables.

Si vous développez des outils de conformité pour les secteurs réglementés, la couche de mappage est publique. Vous pouvez construire dessus sans nous impliquer.

Le comportement et la loi figurent désormais dans le même graphe. C'est le lien qui rend le reste tractable.

Vous souhaitez évaluer la maturité de votre équipe en matière de collaboration avec l'IA ? En savoir plus sur PAICE pour les organisations ou passer une évaluation individuelle pour en avoir un aperçu concret.