Indicateurs de gouvernance de l'IA au-delà de l'adoption et de la formation: Ce qu'il faut mesurer lorsque l'activité n'est pas une preuve

Chaque métrique du catalogue de gouvernance de l'IA mesure le système ou le processus. Presque aucune ne mesure la personne.

Deux chiffres dans la plupart des rapports de gouvernance de l'IA

Si vous demandez à un responsable de la gouvernance où en est le programme d'IA, deux chiffres arrivent en premier. Combien de personnes ont accès. Combien ont terminé la formation.

Les deux sont des données d'entrée. Aucun ne dit à qui que ce soit si le travail assisté par l'IA qui quitte les locaux est fiable.

Ce n'est pas une critique des personnes qui produisent ces rapports. Ces deux chiffres sont faciles à collecter, et la pression de devoir rendre compte chaque mois est réelle. Le problème survient lorsqu'ils sont les seuls chiffres sur la page pendant deux ans et qu'un incident survient.

Douglas Hubbard a un terme pour ce réflexe. Lorsqu'on lui demande de mesurer la collaboration, les gens se tournent vers le volume des messages, le premier élément observable, plutôt que vers la qualité et la rapidité de ce que le groupe produit réellement. Il a soulevé ce point dans Signals & Subtractions épisode 7, au même titre que la définition de travail qui compte réellement : une mesure est une réduction de l'incertitude concernant quelque chose sur quoi repose une décision. Les sièges provisionnés réduisent l'incertitude concernant l'approvisionnement. Ils ne réduisent aucune incertitude quant à la fiabilité du travail qui quitte les locaux.

Ce que les normes vous demandent réellement de mesurer

Les principaux cadres sont plus exigeants que ce que suggère le tableau de bord d'adoption.

La fonction MEASURE du cadre de gestion des risques liés à l'IA NIST demande aux organisations d'identifier et d'appliquer des méthodes et des métriques appropriées pour les risques énumérés plus tôt dans le cycle de vie, d'évaluer régulièrement si ces métriques sont toujours appropriées et si les contrôles existants restent efficaces, et de documenter les jeux de tests, les métriques et les outils utilisés pour les essais et l'évaluation. Les risques qui ne peuvent pas être mesurés sont censés être documentés comme tels, avec la raison. Le Cahier des charges compagnon transforme chaque sous-catégorie en actions suggérées et en documentation.

La clause 9 de l'ISO/IEC 42001 exige qu'une organisation détermine ce qui doit être surveillé et mesuré, par quelle méthode, quand, par qui, et comment les résultats seront évalués. Elle applique la même exigence au système de management lui-même, pas seulement aux systèmes d'IA qu'il contient.

Aucun des deux cadres n'est satisfait par le simple décompte des sièges.

Les deux sont également volontaires. Le côté contraignant pose une version plus restreinte de la même question, avec moins de marge d'interprétation. La surveillance humaine apparaît comme un devoir dans plus de deux douzaines de réglementations sur l'IA suivies, et l'indice de ce qui satisfait ce devoir est explicite sur ce qui n'y est pas : une approbation de façade sans véritable examen, et une implication humaine sans l'autorité de contrecarrer. Ces deux exclusions ne sont détectables dans aucune métrique qui compte les approbations. EveryAILaw est un index libre des réglementations sur l'IA et fait partie du Portefeuille PAICE.

Le catalogue est presque entièrement côté système

Si vous analysez ce que les organisations construisent réellement lorsqu'elles prennent ces exigences au sérieux, un ensemble cohérent apparaît.

Couverture en matière d'inventaire et de propriété. La part des utilisations de l'IA avec un propriétaire désigné et un niveau de risque attribué. Couverture des essais et de l'évaluation par rapport aux caractéristiques de fiabilité. Dérive du modèle et alertes d'anomalie, avec délai de réponse. Articles à risque ouverts et leur vieillissement. Couverture de l'approbation du risque résiduel. Couverture de l'évaluation de l'équité. Nombre d'incidents par catégorie, avec achèvement de la cause première. Non-conformités trouvées lors de l'audit et part clôturé à temps. Délai du cycle de gouvernance, de la proposition à la décision.

Chacun de ces éléments est précieux. Plusieurs sont porteurs de preuves réglementaires. Et chacun mesure un système, un artefact ou un flux de travail.

Relisez cette liste à la recherche d'une mesure de ce qu'une personne a fait lorsque le modèle était erroné. Elle n'y est pas.

Le catalogue standard s'en approche le plus par le taux de remplacement : la part des sorties de l'IA qui ont été modifiées ou rejetées par un réviseur humain. Ce chiffre est véritablement utile et est couramment mal interprété. Un taux de remplacement élevé peut signifier un réviseur vigilant détectant de véritables erreurs, ou un réviseur qui réécrit tout par habitude et ne remarquerait pas une subtilité. Un faible taux de remplacement peut indiquer un système précis, ou un réviseur qui a arrêté de lire en mars. Le décompte seul ne distingue pas ces cas, et les cas présentent des profils de risque opposés.

Sept mesures qui examinent l'opérateur

Ce sont les questions auxquelles répond une couche de mesure axée sur les personnes. Chacune est énoncée avec ce qu'elle observe et ce qu'elle ne peut pas dire à elle seule.

Détection des erreurs sous pression. Si l'opérateur identifie une erreur plausible et bien formée dans la sortie de l'IA lorsqu'il travaille à un rythme réaliste. C'est la mesure unique sur laquelle reposent les autres. Elle ne dit pas à quelle fréquence les erreurs surviennent en production.

Rejet contextualisé. Si les rejets correspondent à la qualité de la sortie spécifique, plutôt qu'à une habitude générale dans un sens ou dans l'autre. Il distingue la vigilance du réflexe. Cela nécessite de savoir ce qui était réellement faux dans la sortie jugée.

Exhaustivité de la vérification. Si l'opérateur vérifie les affirmations qui portent la décision, plutôt que celles qui sont faciles à vérifier. Cela ne dit rien sur la qualité des sources de vérification.

Latence de l'escalade. Temps entre la reconnaissance d'un problème et l'information de quelqu'un ayant l'autorité d'agir. Une faible latence sans aucune escalade n'est pas un bon signal ; c'est un signal absent.

Motifs de défaillance répétés. Si la même catégorie de manquement se reproduit pour le même opérateur ou le même rôle après le retour d'information. Il distingue une mauvaise journée d'une lacune non adressée. Cela nécessite suffisamment d'observations pour être significatif.

Fréquence des exceptions à la politique. À quelle fréquence le flux de travail documenté est-il contourné, et si ce contournement était justifié. Les exceptions fréquentes indiquent généralement un problème de flux de travail plutôt qu'un problème d'opérateur.

Le fossé de confiance. La distance entre la fiabilité que croit avoir l'opérateur dans son travail assisté par l'IA et la fiabilité démontrée. Les recherches de Hubbard sur l'étalonnage ont montré que les personnes qui déclarent une confiance de quatre-vingt-dix pour cent sont bien moins souvent justes, et que cette mauvaise calibration est enseignable une fois mesurée. C'est là que se concentre le risque organisationnel lié à l'IA, car un opérateur confiant avec un fossé non mesuré est celui que personne ne révise deux fois.

Ce que fournit et ce que ne fournit pas cette couche

PAICE (People + AI Collaboration Effectiveness) mesure le vecteur "Personnes". Il observe ce qu'une personne fait lorsque la sortie de l'IA est incertaine, incomplète ou erronée, et renvoie des scores plutôt que des transcriptions ou des journaux d'activité.

Il ne remplace pas la télémétrie du système. Il ne produit pas d'alertes de dérive, de décomptes d'incidents, de résultats d'évaluation des modèles ou de couverture d'inventaire. Il ne surveille pas le travail en production, et il ne sait pas quels outils un employé a ouverts. Une organisation qui adopte la mesure comportementale et abandonne sa mesure système échange un angle mort contre un autre.

Le cadrage honnête est que le catalogue standard et la couche comportementale répondent à des questions différentes. Si le système se comporte correctement est une question de système avec une pratique de mesure mature derrière elle. Si les personnes le détectent lorsque le système est en erreur a été la moitié non mesurée, et c'est cette moitié qui apparaît dans le rapport d'incident.

Les tableaux de bord montrent l'activité. Ils ne montrent pas la fiabilité.

Prêt à voir à quoi ressemble la mesure du côté humain ? Effectuez l'évaluation PAICE ou établissez la base de votre organisation.

Lecture recommandée

La mesure comportementale de l'IA Collaboration - Pourquoi la preuve comportementale est devenue la base
Le fossé de mesure - La différence entre utiliser l'IA et bien l'utiliser
Mesurer les deux côtés de la confiance dans l'IA - Les références système et l'évaluation comportementale ensemble
De la confiance aveugle à la confiance vérifiée - Les trois étapes de la confiance organisationnelle dans l'IA