Métricas de Governança de IA Além da Adoção e Treinamento
O que Medir Quando a Atividade Não é Evidência
Todo indicador no catálogo padrão de governança de IA mede o sistema ou o processo. Quase nenhum deles mede a pessoa.
Dois Números Dominam a Maioria dos Relatórios de Governança de IA
Ao perguntar a um líder de governança sobre o andamento do programa de IA, dois números são apresentados primeiro. Quantas pessoas têm acesso. Quantos completaram o treinamento.
Ambos são entradas. Nenhum diz a ninguém se o trabalho auxiliado por IA que está saindo da empresa é confiável.
Isso não é uma crítica às pessoas que produzem esses relatórios. Esses dois números são os mais fáceis de coletar, e a pressão para relatar algo mensalmente é real. O problema é o que acontece quando eles são os únicos números na página por dois anos e um incidente ocorre.
Douglas Hubbard tem um nome para esse reflexo. Ao ser solicitado a medir a colaboração, as pessoas recorrem ao volume de mensagens, o primeiro aspecto observável, em vez da qualidade e velocidade do que o grupo realmente produz. Ele fez esse ponto no Signals & Subtractions episódio 7, juntamente com a definição prática que realmente funciona: uma medição é uma redução da incerteza sobre algo em que uma decisão depende. A alocação de assentos reduz a incerteza sobre a aquisição. Ela não reduz nenhuma incerteza sobre se o trabalho que sai da empresa é confiável.
O Que os Padrões Realmente Pedem Para Você Medir
As principais estruturas são mais exigentes do que o painel de adoção sugere.
A função MEASURE do NIST AI Risk Management Framework pede que as organizações identifiquem e apliquem métodos e métricas apropriados para os riscos enumerados anteriormente no ciclo de vida, avaliem regularmente se essas métricas ainda são adequadas e se os controles existentes permanecem eficazes, e documentem os conjuntos de teste, métricas e ferramentas usados nos testes e avaliações. Os riscos que não podem ser medidos devem ser documentados como tais, com a justificativa. O Playbook complementar transforma cada subcategoria em ações e documentação sugeridas.
A Cláusula 9 da ISO/IEC 42001 exige que uma organização determine o que precisa ser monitorado e medido, por qual método, quando, por quem e como os resultados serão avaliados. Ela exige o mesmo do próprio sistema de gestão, e não apenas dos sistemas de IA contidos nele.
Nenhuma das duas estruturas é satisfeita apenas contando assentos.
Ambas também são voluntárias. O lado vinculante apresenta uma versão mais restrita da mesma questão, com menos margem para interpretação. A supervisão humana aparece como um dever em mais de duas dúzias de regulamentações de IA rastreadas, e o índice do que satisfaz esse dever é explícito sobre o que não satisfaz: aprovação de saída sem revisão genuína e envolvimento humano sem autoridade para anular. Nenhuma dessas exclusões é detectável em uma métrica que conta aprovações. EveryAILaw é um índice gratuito de regulamentações de IA e faz parte do Portfólio PAICE.
O Catálogo É Quase Inteiramente do Lado do Sistema
Ao analisar o que as organizações realmente constroem quando levam esses requisitos a sério, um conjunto consistente aparece.
Inventário e cobertura de propriedade. A fatia dos usos de IA com um proprietário nomeado e um nível de risco atribuído. Cobertura de teste e avaliação em relação às características de confiabilidade. Derivação do modelo e alertas de anomalia, com tempo de resposta. Itens de risco abertos e seu envelhecimento. Cobertura de aceite de risco residual. Cobertura de avaliação de justiça. Contagem de incidentes por categoria, com conclusão da causa raiz. Não conformidades encontradas em auditoria e a fatia resolvida no prazo. Tempo do ciclo de governança, da proposta à decisão.
Cada um desses é valioso. Vários são estruturais para evidência regulatória. E cada um deles mede um sistema, um artefato ou um fluxo de trabalho.
Leia a lista novamente procurando uma medida do que uma pessoa fez quando o modelo estava errado. Ela não está lá.
O mais próximo que o catálogo padrão chega é a taxa de anulação: a fatia dos resultados de IA que um revisor humano alterou ou rejeitou. Esse número é genuinamente útil e rotineiramente mal interpretado. Uma alta taxa de anulação pode significar um revisor vigilante pegando erros reais, ou um revisor que reescreve tudo por hábito e não notaria um sutil. Uma baixa taxa de anulação pode significar um sistema preciso, ou um revisor que parou de ler em março. A contagem por si só não separa esses casos, e os casos têm perfis de risco opostos.
Sete Medidas Que Analisam o Operador
Estas são as perguntas que uma camada de medição de Vetor Pessoa responde. Cada uma é apresentada com o que observa e o que não consegue dizer por conta própria.
Detecção de erros sob pressão. Se o operador identifica um erro plausível e bem formado na saída da IA ao trabalhar em um ritmo realista. Esta é a única medida da qual as outras dependem. Ela não diz com que frequência ocorrem erros na produção.
Rejeição contextualizada. Se as rejeições acompanham a qualidade da saída específica, em vez de um hábito geral em qualquer direção. Distingue vigilância de reflexo. Exige saber o que estava realmente errado com a saída sendo julgada.
Integridade da verificação. Se o operador verifica as alegações que carregam a decisão, em vez das que são fáceis de verificar. Não diz nada sobre se as fontes de verificação eram boas.
Latência de escalonamento. Tempo entre reconhecer um problema e informar alguém com autoridade para agir. Latência curta sem escalonamentos é um sinal ruim; é um sinal ausente.
Padrões de falha repetidos. Se a mesma categoria de erro se repete para o mesmo operador ou função após o feedback. Distingue um dia ruim de uma lacuna não abordada. Precisa de observações suficientes para ser significativo.
Frequência de exceção de política. Com que frequência o fluxo de trabalho documentado é contornado e se o contorno foi fundamentado. Exceções de alta frequência geralmente indicam um problema no fluxo de trabalho, e não no operador.
A lacuna de confiança. A distância entre o quão confiável um operador acredita que seu trabalho auxiliado por IA é e quão confiável ele é comprovadamente. A pesquisa de calibração de Hubbard descobriu que as pessoas que relatam noventa por cento de confiança estão certas substancialmente menos vezes do que isso, e que essa descalibração é treinável quando medida. É aqui que o risco de IA organizacional se concentra, porque um operador confiante com uma lacuna não medida é aquele que ninguém revisa duas vezes.
O Que Esta Camada Fornece e O Que Não Fornece
PAICE (People + AI Collaboration Effectiveness) mede o vetor Pessoa. Ele observa o que um operador faz quando a saída da IA é incerta, incompleta ou errada, e retorna pontuações em vez de transcrições ou registros de atividade.
Ele não substitui a telemetria do sistema. Ele não produz alertas de deriva, contagens de incidentes, resultados de avaliação do modelo ou cobertura de inventário. Ele não monitora o trabalho em produção e não sabe quais ferramentas um funcionário abriu. Uma organização que adota a medição comportamental e abandona a medição do sistema trocou um ponto cego por outro.
O enquadramento honesto é que o catálogo padrão e a camada comportamental respondem a perguntas diferentes. Se o sistema está se comportando corretamente é uma questão de sistemas com uma prática de medição madura por trás. Se as pessoas percebem isso quando o sistema está errado tem sido a metade não medida, e é essa metade que aparece no relatório de incidente.
Os painéis mostram atividade. Eles não mostram confiabilidade.
Pronto para ver como é a medição do lado das pessoas? Faça a avaliação PAICE ou estabeleça a linha de base da sua organização.
Leitura Recomendada
- A Medição Comportamental de IA Collaboration - Por que a evidência comportamental se tornou a linha de base
- A Lacuna da Medição - A diferença entre usar IA e usá-la bem
- Medindo os Dois Lados da Confiança em IA - Benchmarks de sistema e avaliação comportamental juntos
- De Confiança Cega a Confiança Verificada - As três fases da confiança organizacional em IA
Curioso, mas sem muito tempo?
Faça o PAICE Pulse de 3 minutos — uma verificação rápida de confiança que mapeia como você enxerga sua própria postura de colaboração com IA. Sem necessidade de login.