Les premiers principes de Merrill et l'évaluation PAICE

Pourquoi l'enseignement centré sur les problèmes fait fonctionner la mesure comportementale

par Sam Rogers
15 min de lecture
framework
assessment
measurement
skills
collaboration
Les premiers principes de Merrill et l'évaluation PAICE

La plupart des organisations considèrent la formation à l'IA et l'évaluation de l'IA comme des activités séparées. Vous formez les gens, puis vous les testez. La formation est l'instruction. L'évaluation est la mesure. Deux budgets, deux calendriers, deux prestataires.

Les Principes Fondamentaux de l'Instruction de David Merrill suggèrent que cette séparation est le problème. Une instruction efficace n'est pas une séquence de diffusion de contenu suivie d'une évaluation. C'est une expérience structurée où l'apprenant résout de vrais problèmes, active ses connaissances préalables, observe des démonstrations, applique des compétences avec retour d'information et intègre ce qu'il a appris dans la pratique. L'évaluation n'est pas une étape séparée. Elle est tissée dans l'expérience même de l'instruction.

L'évaluation PAICE (People + AI Collaboration Effectiveness) n'a pas été conçue en appliquant consciemment les principes de Merrill. Mais lorsque vous examinez ce qui se passe lors d'une évaluation PAICE au regard de son cadre, l'alignement est frappant. PAICE fonctionne à la fois comme mesure et comme instruction parce que son architecture satisfait simultanément aux cinq principes. Comprendre cet alignement explique pourquoi l'évaluation produit un changement comportemental d'une manière que les approches formation-puis-test n'apportent pas.

Les Cinq Principes

En 2002, M. David Merrill a publié "First Principles of Instruction", une synthèse de décennies de recherche sur le design pédagogique. Plutôt que de préconiser une théorie pédagogique unique, Merrill a identifié les principes qui se répètent dans toute instruction efficace, quelle que soit la méthodologie utilisée. Il en a trouvé cinq :

  1. Centré sur le problème. L'apprentissage se produit lorsque les apprenants sont engagés dans la résolution de problèmes réels et globaux.
  2. Activation. L'apprentissage est basé sur ce que l'apprenant sait déjà.
  3. Démonstration. Les apprenants observent de nouvelles connaissances et compétences appliquées, pas seulement décrites.
  4. Application. Les apprenants pratiquent avec retour d'information et coaching décroissant.
  5. Intégration. Les apprenants transposent les nouvelles connaissances dans leur travail quotidien par la réflexion, la discussion et la défense.

Ce ne sont pas des idéaux à atteindre. Ce sont des conditions observées empiriquement. Une instruction qui satisfait ces cinq principes de manière constante surpasse celle qui en satisfait moins. Les principes sont prescriptifs, pas descriptifs : ils vous indiquent ce qu'il faut concevoir, pas seulement ce que vous espérez.

Ce qui rend le cadre de Merrill particulièrement utile pour évaluer la formation à l'IA, c'est son pouvoir diagnostique. Lorsqu'un programme de formation ne parvient pas à produire de changement comportemental, les principes vous indiquent où il a échoué. La plupart des programmes de formation à l'IA échouent sur les cinq points.

Centré sur le problème

Le premier et plus fondamental principe de Merrill : l'apprentissage est favorisé lorsque les apprenants sont engagés dans la résolution de problèmes du monde réel.

Pas des études de cas sur les problèmes. Pas des scénarios hypothétiques. Pas des questions à choix multiples sur ce que vous feriez dans une situation. De vrais problèmes, avec des enjeux réels, où la réponse de l'apprenant compte.

La plupart des programmes de formation à l'IA violent ce principe immédiatement. Ils présentent un contenu décontextualisé : des diapositives sur les principes de l'IA responsable, des définitions d'hallucination, des documents politiques sur l'utilisation acceptable. L'apprenant absorbe des informations sur les problèmes rencontrés par d'autres personnes. Il ne rencontre pas ces problèmes lui-même.

L'évaluation PAICE est un problème réel. Lorsque vous commencez l'évaluation, vous choisissez un sujet de votre propre domaine professionnel. Vous collaborez ensuite avec un assistant IA sur ce sujet pendant environ 25 minutes. L'IA est serviable, compétente et conversationnelle. Elle est également, à des moments stratégiques, erronée.

Les erreurs ne sont pas signalées. Elles ne sont précédées ni suivies d'un débriefing. Elles sont intégrées à la conversation de la même manière qu'elles le seraient dans toute interaction IA réelle : énoncées avec confiance, formatées de manière plausible, faciles à accepter. Votre travail est de faire ce que vous feriez dans un travail réel : collaborer efficacement, vérifier lorsque quelque chose compte, et attraper ce qui doit l'être.

Ce n'est pas une simulation d'un problème. C'est le problème. Le même défi cognitif auquel sont confrontés les professionnels au quotidien lorsqu'ils utilisent des outils d'IA est recréé sous observation. La différence entre accepter une statistique hallucinée lors d'une évaluation PAICE et en accepter une lors d'une livraison client est le contexte, pas la charge cognitive.

Activation

Le deuxième principe de Merrill : l'apprentissage est favorisé lorsque les connaissances existantes sont activées comme fondement pour les nouvelles connaissances.

Une instruction efficace ne part pas de zéro. Elle se connecte à ce que l'apprenant sait déjà, utilise cette connaissance comme échafaudage et construit à partir de là. Lorsque l'instruction ignore les connaissances préalables, les apprenants soit décrochent (parce que le contenu semble sans rapport), soit échouent à intégrer (parce qu'il n'y a rien auquel attacher la nouvelle connaissance).

La plupart des formations à l'IA traitent chaque apprenant de la même manière, quel que soit son expertise dans le domaine. Un responsable de la conformité avec 15 ans d'expérience réglementaire reçoit le même module "Introduction à l'IA" qu'un nouvel employé. La formation ne tire pas parti de la connaissance approfondie du responsable de la conformité sur ce à quoi ressemble une analyse réglementaire correcte. Elle enseigne des concepts génériques sur l'IA et espère que l'apprenant en déduit les implications spécifiques au domaine par lui-même.

PAICE active les connaissances préalables par conception. Parce que vous choisissez votre propre sujet professionnel, l'évaluation est menée dans le domaine où votre expertise est la plus solide. Lorsque l'IA fait une erreur concernant le droit des contrats, seul un avocat ayant une expérience en contrats pourra la détecter naturellement. Lorsqu'elle exagère une conclusion clinique, seul un clinicien familier avec cette littérature remarquera cette inflation.

Ce n'est pas une commodité de conception. C'est le mécanisme qui fait fonctionner l'injection d'erreurs. PAICE ne teste pas si vous pouvez identifier les erreurs sur des sujets que vous ne connaissez pas. Il teste si vous appliquez les habitudes de vérification que votre expertise professionnelle rend possibles. L'évaluation active vos connaissances existantes, puis observe si vous les utilisez.

La dimension Accountability (A, pondérée à 30 % de votre score total) mesure spécifiquement cette activation. Apportez-vous votre jugement professionnel au résultat de l'IA, ou faites-vous appel à la présentation confiante de l'IA ? L'évaluation ne peut répondre à cette question qu'en opérant dans le domaine où votre jugement est le plus fort.

Démonstration

Le troisième principe de Merrill : l'apprentissage est favorisé lorsque les nouvelles connaissances sont démontrées à l'apprenant.

Démontrer, ce n'est pas dire. C'est montrer. Une conférence sur la façon dont l'IA peut halluciner, c'est dire. Regarder une IA halluciner dans une conversation sur votre propre travail, c'est démontrer. La différence n'est pas subtile, et les résultats d'apprentissage ne sont pas équivalents.

La plupart des formations à l'IA sont entièrement déclaratives. "Les systèmes d'IA peuvent produire des résultats confiants mais incorrects." "Vérifiez toujours le contenu généré par l'IA avant de l'utiliser." "Soyez conscient des biais potentiels dans les données d'entraînement de l'IA." Ces déclarations sont exactes. Elles sont également inertes. Savoir que l'IA peut halluciner et faire l'expérience d'une hallucination de l'IA dans une conversation où vous avez fait confiance au résultat sont deux événements cognitifs fondamentalement différents.

Lors d'une évaluation PAICE, l'IA démontre les comportements qui comptent. Elle démontre l'excès de confiance en présentant des informations incertaines avec un ton faisant autorité. Elle démontre l'hallucination en générant des détails plausibles mais fabriqués. Elle démontre l'erreur subtile en obtenant la plupart d'une analyse correctement tout en intégrant une erreur critique au milieu. Elle démontre le schéma de Dunning-Kruger en produisant un résultat soigné et bien structuré qui semble plus fiable qu'il n'est.

Le professionnel ne lit pas sur ces schémas. Il les rencontre. Dans de nombreux cas, cette rencontre est la première fois qu'un professionnel fait l'expérience d'un mode de défaillance spécifique dans un contexte où il était très attentif à la qualité du résultat de l'IA. C'est instructive quel que soit le score. L'expérience de se retrouver à accepter quelque chose qu'on aurait dû attraper est un professeur plus puissant que n'importe quel support visuel.

Application

Le quatrième principe de Merrill : l'apprentissage est favorisé lorsque les apprenants sont tenus d'utiliser leurs nouvelles connaissances pour résoudre des problèmes, avec un retour d'information approprié.

C'est là que la plupart des formations à l'IA échouent de manière catastrophique. Un programme de formation peut expliquer les stratégies de vérification, montrer des exemples, même parcourir des scénarios. Mais ensuite l'apprenant retourne à son bureau et la formation est terminée. Il n'y a pas d'application structurée. Il n'y a pas de boucle de rétroaction. L'apprenant applique ce qu'il a appris spontanément ou, plus couramment, revient à ses habitudes antérieures en quelques jours.

L'évaluation PAICE est entièrement une application. Pendant 25 minutes, le professionnel applique ses compétences en collaboration en temps réel. Chaque réponse est un acte d'application : vérifiez-vous cette affirmation, contestez-vous cette recommandation, attrapez-vous cette erreur, ou la laissez-vous passer ? Il n'y a pas de phase passive. L'évaluation ne fait pas une leçon puis un test. Elle vous place dans l'environnement de performance et observe ce que vous faites.

Le retour d'information arrive dans le rapport de score. Votre score de 0 à 1000 sur cinq dimensions (Performance, Accountability, Integrity, Collaboration, Evolution) vous indique non seulement comment vous avez globalement réussi, mais spécifiquement où votre application était forte et où elle a échoué. La dimension Integrity (I, 25 %) capture si vous avez détecté les erreurs injectées. La dimension Accountability (A, 30 %) capture si vous avez maintenu la discipline de vérification tout au long. La dimension Collaboration (C, 20 %) capture si vos modèles d'interaction avec l'IA étaient efficaces.

Pour les professionnels qui passent à PAICE Pro, le retour d'information est approfondi. Les ventilations dimensionnelles détaillées, les observations comportementales spécifiques et les recommandations de développement personnalisées fournissent la couche de coaching que Merrill juge essentielle pendant la phase d'application. Le retour n'est pas générique. Il est lié à votre performance réelle pendant l'évaluation.

C'est cette boucle application-rétroaction qui manque totalement à la plupart des programmes de formation à l'IA. Vous avez appliqué vos compétences. Voici ce qui s'est passé. Voici sur quoi travailler. Voici comment s'améliorer.

Intégration

Le cinquième principe de Merrill : l'apprentissage est favorisé lorsque les apprenants sont encouragés à intégrer les nouvelles connaissances dans leur monde quotidien.

L'intégration est le principe le plus difficile à satisfaire car il dépasse l'événement instructionnel. Il exige de la réflexion, de la discussion, la défense de nouvelles idées et une transposition à des contextes inédits. Une seule session de formation atteint rarement l'intégration. Une seule évaluation rarement non plus.

PAICE aborde l'intégration par trois mécanismes.

Réflexion individuelle. Le rapport de score incite à une réflexion immédiate. Un professionnel obtenant 580 (niveau Compétent) avec une forte dimension Performance mais une faible dimension Integrity dispose désormais d'une connaissance spécifique d'une lacune spécifique. La perspicacité est concrète : "J'utilise l'IA efficacement, mais je ne détecte pas ses erreurs de manière constante." Cette spécificité permet un changement comportemental ciblé d'une manière qu'un vague conseil de "faire plus attention" ne peut pas offrir.

Discussion organisationnelle. Lorsque les organisations utilisent AI Capability Baselines, les résultats au niveau de la cohorte créent un cadre de référence commun. Une équipe de formation qui constate que son département obtient le 55e percentile en Accountability mais le 80e percentile en Performance a une conversation concrète et basée sur les données à avoir. La discussion n'est pas abstraite ("devrions-nous faire plus de formation sur l'IA ?") mais spécifique ("nos gens sont productifs avec l'IA, mais ils ne vérifient pas les résultats au rythme dont nous avons besoin").

Réévaluation longitudinale. Les évaluations PAICE peuvent être répétées dans le temps. Un professionnel qui obtient 580 en avril, se concentre sur les habitudes de vérification et obtient 680 en juillet dispose de preuves mesurables d'un changement comportemental. Les organisations qui exécutent des évaluations de base trimestrielles peuvent suivre les données de tendance au niveau de la cohorte. Ce cycle de réévaluation est le mécanisme d'intégration : les nouvelles connaissances sont appliquées, mesurées, affinées et réappliquées.

L'intégration est là où la distinction entre évaluation comme mesure et évaluation comme instruction devient la plus visible. Un programme de formation qui se termine par un test de connaissances fournit un seul point de données. Une évaluation qui produit une perspicacité comportementale, une discussion organisationnelle et un suivi longitudinal fournit une voie de développement.

Pourquoi cela est important pour les programmes de formation à l'IA

La semaine dernière, nous avons publié "Pourquoi les programmes de formation à l'IA ne fonctionnent pas", examinant le fossé entre les taux d'achèvement de la formation et le changement comportemental réel. Les principes de Merrill expliquent pourquoi ce fossé existe.

La plupart des programmes de formation à l'IA violent les cinq principes simultanément :

  • Non centré sur le problème. Les apprenants étudient des diapositives, pas des problèmes. Le contenu de la formation est décontextualisé de leur travail réel.
  • Pas d'activation. Les modules génériques ignorent l'expertise du domaine de l'apprenant. Un avocat et un comptable reçoivent le même contenu.
  • Pas de démonstration. Les modes de défaillance de l'IA sont décrits, pas expérimentés. Les apprenants entendent que l'hallucination est un risque. Ils ne la voient pas se produire.
  • Pas d'application. Il n'y a pas de pratique structurée avec retour d'information. Les apprenants absorbent l'information et sont censés l'appliquer par eux-mêmes.
  • Pas d'intégration. La formation se termine. Il n'y a pas de mécanisme de réflexion, pas de cadre de discussion organisationnelle, pas de cycle de réévaluation.

PAICE satisfait aux cinq principes, non pas parce qu'il a été conçu pour mettre en œuvre le cadre de Merrill, mais parce que l'évaluation comportementale de la collaboration People+AI nécessite naturellement les conditions requises pour une instruction efficace. Vous ne pouvez pas mesurer le comportement collaboratif sans créer un vrai problème (centré sur le problème), dans le domaine de l'apprenant (activation), où les comportements de l'IA sont observables (démonstration), et les réponses de l'apprenant sont capturées (application) et analysées (intégration).

L'évaluation est une instruction parce que les conditions pour une mesure valide et les conditions pour une instruction efficace sont les mêmes conditions.

Implications pour les responsables de la formation et du développement (L&D)

Si vous évaluez des programmes de formation à l'IA pour votre organisation, les principes de Merrill offrent un diagnostic pratique :

Posez cinq questions sur tout programme que vous envisagez :

  1. Engage-t-il les apprenants dans la résolution de problèmes réels avec l'IA, ou présente-t-il des informations sur l'IA ?
  2. Tire-t-il parti de l'expertise du domaine de l'apprenant, ou traite-t-il tous les apprenants de la même manière ?
  3. Démontre-t-il les comportements de l'IA en personne, ou les décrit-il ?
  4. Exige-t-il des apprenants qu'ils appliquent des compétences avec retour d'information, ou se termine-t-il après la diffusion du contenu ?
  5. Soutient-il l'intégration par la réflexion, la discussion et la réévaluation, ou est-ce un événement unique ?

Les programmes qui satisfont ces cinq principes produiront un changement comportemental. Les programmes qui en satisfont moins produiront des certificats d'achèvement.

Si vous créez un programme de gouvernance de l'IA, considérez que la mesure qui est aussi instruction est plus efficace que la mesure suivie de l'instruction. L'évaluation PAICE peut servir de première expérience instructionnelle dans un programme mixte : les participants passent l'évaluation, reçoivent leur ventilation dimensionnelle, puis s'engagent dans une formation ciblée qui répond aux lacunes spécifiques révélées par l'évaluation. La formation n'est plus générique parce que la mesure vous a dit ce dont chaque personne a besoin.

Pour les organisations exécutant AI Capability Baselines, la lentille de Merrill recadre ce qu'est réellement une évaluation de cohorte. Ce n'est pas seulement un diagnostic. C'est l'événement le plus pédagogiquement efficace de votre programme complet de préparation à l'IA, car c'est le seul qui satisfait simultanément aux cinq principes.

Vous souhaitez comprendre votre propre profil de préparation ? Effectuez l'évaluation PAICE pour découvrir vos forces et vos opportunités.

Impliquez-vous :

Lecture recommandée

📖 Comprendre PAICE :

📖 Formation et mesure :

📖 Préparation organisationnelle :

Curious but short on time?

Take the 3-minute PAICE Pulse — a quick confidence check that maps how you see your own AI collaboration posture. No login required.