Ainda Não Temos a Linha de Base

Ninguém publicou uma taxa de quão frequentemente os profissionais detectam saídas de IA que se desviam do que foi solicitado.

A Medida

Aqui está a quantidade que mais importa e que ninguém possui: a taxa de desvios materiais não detectados da intenção registrada, em uma classe de tarefa definida, sob condições de trabalho.

Cada cláusula é fundamental. Não detectado significa que contamos o que passou, e não o que foi sinalizado. Material significa que o desvio mudou algo a jusante; um resumo com 340 palavras em vez de 200 não se qualifica, a menos que as 140 palavras extras tenham levado a uma recomendação que influenciou uma decisão. Intenção registrada significa que a instrução existia por escrito previamente, porque sem um registro não há denominador, apenas uma lembrança, e a lembrança tende a se ajustar ao resultado. Classe de tarefa definida significa um tipo de trabalho repetível, e não "uso de IA". Sob condições de trabalho significa que prazo, volume e fadiga estão presentes, porque é quando a detecção falha.

O Que o Campo Mediu em Vez Disso

Há muita medição aqui, quase todas voltadas para as máquinas. Os benchmarks de seguimento de instruções são maduros e melhoram rapidamente: IFEval, InfoBench, FollowBench e os mais novos como IFScale avaliam se um modelo atendeu às suas restrições. Eles nos dizem com que frequência o modelo se desvia, e nada sobre com que frequência uma pessoa percebe.

A coisa mais próxima vem de um benchmark construído para outro propósito. LLMBar pede aos avaliadores que escolham qual dos dois resultados segue melhor uma instrução, incluindo um conjunto adversário onde um se desvia enquanto parece superficialmente melhor. Os números de concordância humana são encorajadores: cerca de 94% entre os anotadores especialistas, aproximadamente 90% no conjunto natural e 95% no adversário.

Leia isso com atenção antes de se confortar. Esses anotadores tinham dois resultados lado a lado e uma tarefa criada para comparação. A condição que nos interessa é um único resultado, sem comparação, com um prazo e uma instrução escrita noventa minutos antes. O LLMBar estabelece que o julgamento é rotulável quando alguém está preparado para fazê-lo. É isso que o passo zero precisa, e não é a linha de base.

Passo Zero É Rotulagem, Não Medição

O instinto é executar um piloto e produzir uma porcentagem. A primeira pergunta é mais restrita e mais barata.

Dois revisores qualificados, dados o mesmo registro da intenção e o mesmo resultado, conseguem concordar se houve um desvio material?

Se não conseguirem, nada a jusante é real, porque toda taxa herda o ruído desse rótulo. Muitos programas pulam isso e vão direto para os painéis, e é assim que uma organização acaba rastreando um número com três casas decimais que dois especialistas classificariam diferente metade das vezes.

Um passo zero viável:

1. Escolha uma classe de tarefa e colete 40 a 60 itens de trabalho reais onde uma instrução registrada e um resultado existem.
2. Escreva a regra de rotulagem antes de ver os dados: o que conta como desvio, o que o torna material, como os empates são resolvidos.
3. Faça dois revisores rotularem independentemente, cegos um ao outro.
4. Relate o acordo como uma estatística corrigida por chance, não como porcentagem bruta, o que agrada a qualquer taxa base desigual.
5. Leia os desacordos. Eles mostram onde a regra é ambígua, e esse é o entregável desta fase.

Se o acordo for baixo, o resultado é uma regra melhor e mais uma rodada. Isso não é fracasso; é a única coisa honesta para publicar até que seja corrigido.

A Forma Bayesiana

Uma vez que o rótulo se mantém, a medição exige uma forma que admita o que ela não sabe. Declare o prior: antes de qualquer dado, qual achamos que é a taxa e quão confiantes estamos? Escrever isso com antecedência é desconfortável, e é aí que está o ponto. Torna a atualização inspecionável em vez de retrospectiva.

Reúna evidências comparativas. Não "com IA versus sem IA", que nenhuma organização ativa pode executar de forma limpa, mas as comparações realmente disponíveis: entre classes de tarefa, entre níveis de senioridade, com e sem uma instrução registrada.

Atualize e relate a incerteza. Um intervalo variando de 4% a 31% é um achado honesto; um único número sem intervalo é uma decoração. Depois teste a sensibilidade: se a regra apertasse, a conclusão sobreviveria? Um resultado que se mantém sob apenas um conjunto de escolhas é um resultado sobre essas escolhas.

Por Que Publicar a Ausência

O mercado está cheio de números confiantes sobre os resultados da colaboração com IA, a maioria produzida por partes que vendem o remédio, então dizer que a linha de base não existe é abrir mão de uma alegação fácil. Ainda é a atitude correta. Uma medida cujas fundações não são publicadas não pode ser verificada fora do fornecedor, e em um trabalho regulamentado, um número não verificável é pior do que nenhum, porque será usado. Argumentamos que as métricas de governança precisam ir além da adoção e do treinamento. Esse padrão se aplica às métricas que nós mesmos propomos.

PAICE (People + AI Collaboration Effectiveness) produz evidências comportamentais de como as pessoas lidam com saídas confiantes e incorretas. Essa evidência é real e remensurável. Não é a linha de base descrita aqui, e chegar lá significa um estudo de rotulagem primeiro, aberto, com a regra publicada antes dos dados.

O número ainda não existe. Vamos construí-lo para que outra pessoa possa desmontá-lo.

---

Quer ver como é a evidência comportamental antes da linha de base existir? Saiba mais sobre PAICE para organizações ou faça uma avaliação individual para ver isso em primeira mão.

---

Leitura Recomendada

• A Medição Comportamental da IA Collaboration - O que é observado e como
• Apresentando o AI Capability Baseline - A estrutura de medição que isso estende
• Métricas de Governança de IA Além da Adoção e do Treinamento - Por que o catálogo padrão é insuficiente
• Medindo o ROI da IA Collaboration, Parte 1 - De onde vêm os números e o que eles carregam