A Armadilha da Capacidade: Saída Mais Inteligente, Decisão Igual

Se não conseguirmos nomear uma decisão que tenha sido diferente, compramos velocidade, não julgamento.

Os Dezenove Por Cento

Em julho de 2025, a METR conduziu um ensaio controlado randomizado que envelheceu melhor do que a maioria das coisas escritas sobre produtividade com IA. Dezoito desenvolvedores experientes trabalharam em 246 tarefas reais em repositórios que já gerenciavam, sendo que as tarefas foram randomizadas para que algumas permitissem ferramentas de IA e outras não. O resultado: com a IA liberada, eles levaram 19% mais tempo, com intervalo de confiança de 95% variando de 2% a 39% mais lentos.

O segundo número é mais importante. Inicialmente, esses desenvolvedores esperavam que a IA os tornasse 24% mais rápidos. Ao final, após vivenciarem as tarefas, eles ainda acreditavam que a IA os tornara 20% mais rápidos. Eles estavam errados em cerca de quarenta pontos percentuais sobre o próprio desempenho, na direção do elogio, em um trabalho que conheciam intimamente.

A METR revisitou o projeto em fevereiro de 2026 e obteve 18% mais rapidez dos desenvolvedores que retornaram e 4% dos novos recrutas, com intervalos amplos o suficiente para incluir o zero. Eles chamaram isso de um sinal não confiável em vez de publicar a cifra mais amigável. Após duas tentativas sérias, ainda não podemos dizer claramente se as ferramentas ajudaram. O que podemos dizer é que as pessoas que as utilizaram não conseguiam distinguir.

Por Que o Painel se Confirma

Note o que a METR precisou para obter uma resposta: randomização, uma condição de controle, gravações de tela, tarefas reais. Quase nenhum lançamento empresarial possui tudo isso. O que um lançamento possui é um painel, e cada número nele mede a ferramenta.

Assentos provisionados. Prompts por semana. Adoção por departamento. Tempo para o primeiro rascunho. Todos eles aumentam quando a ferramenta funciona e aumentam quando a ferramenta está erroneamente confiante, porque nenhum deles observa a decisão da outra ponta. Um modelo que fabrica uma citação produz essa citação rapidamente, e o painel registra um rascunho rápido.

Essas métricas não estão mentindo. Elas estão respondendo a uma pergunta diferente daquela que a liderança pensa ter feito, e estão respondendo corretamente.

A assimetria é estrutural, não descuidada. A capacidade aparece nos artefatos, e os artefatos são contáveis. O julgamento aparece nas decisões que não deram errado, e essas não deixam nenhum rastro. Um líder de conformidade que detecta uma cláusula de arcabouço fabricada e a corrige silenciosamente produz exatamente a mesma telemetria de um que não detecta: uma narrativa de controle concluída, no prazo. A organização vê duas linhas idênticas.

Três Perguntas Que os Separam

Existe um teste barato para saber se uma implementação moveu o julgamento ou apenas a saída. Ele não precisa de grupo de controle, apenas de alguém disposto a responder honestamente a três perguntas sobre o último trimestre.

Um erro foi detectado mais cedo do que teria sido? Não "revisamos mais". Algo falso foi parado, e podemos apontar para isso. Se nada foi detectado porque nada estava errado, isso é uma alegação sobre a taxa de erro do modelo, e é quase certamente falso.

Alguém mudou de ideia com base em evidências? Uma colaboração que nunca revisa a posição de ninguém é uma parte ditando e a outra transcrevendo. Qual parte está ditando não muda o diagnóstico.

O desacordo surgiu antes ou depois do compromisso? Um desacordo que surge após um protocolo ou uma ligação com o cliente não é desacordo. É uma autópsia.

O que medimos	O que prova	O que não consegue nos dizer
Assentos, prompts, taxa de adoção	A ferramenta está em uso	Se alguém lê a saída criticamente
Tempo para o primeiro rascunho	A ferramenta produz mais rápido	Se o rascunho estava certo
Conclusão do treinamento	A política foi distribuída	Se alguém a aplica dentro do prazo
Confiança autorrelatada	As pessoas se sentem capazes	Ver a lacuna de quarenta pontos acima

O Que a Outra Parte Precisa

Se o julgamento não deixa rastro no trabalho comum, a única maneira de vê-lo é criando as condições deliberadamente. Coloque uma pessoa diante de uma saída confiante, plausível e errada sob pressão de tempo real e observe. Ela pega o erro, verifica a alegação que carrega a decisão, escala quando uma fonte não pode ser confirmada e corrige em vez de defender?

É isso que PAICE (People + AI Collaboration Effectiveness) mede. A avaliação semeia erros do tipo que chegam a protocolos, narrativas de controle e relatórios ao cliente, e depois pontua o comportamento quando o modelo está errado. Uma pessoa fluente que perde o erro semeado pontua menos do que uma pessoa concisa que pega tudo. A conversa é o meio; não é a medição.

Quero ser cauteloso sobre o que isso compra. Isso fornece um perfil de confiabilidade comportamental no nível da coorte, explicável e remensurável. Não fornece uma estimativa causal de que um lançamento melhorou as decisões, que é o que a METR gastou dois estudos tentando definir para uma classe de tarefas bem definida. Qualquer um que lhe venda esse número, incluindo nós, deve ser questionado sobre como ele chegou lá.

A privacidade é arquitetural, não prometida: identificadores criptografados, nenhum texto de conversa retido, resultados individuais estruturalmente indisponíveis para a organização. A distribuição é visível. Um nome nunca é.

O lançamento do próximo trimestre produzirá um número. Pergunte qual decisão ele mudou.

---

Pronto para ver se o julgamento da sua equipe avançou, e não apenas a saída? Saiba mais sobre PAICE para organizações ou faça uma avaliação individual para ver por si mesmo.

---

Leitura Recomendada

• Collaboration Vence a Capacidade - O mesmo argumento no nível organizacional
• A Ilusão da Adoção de IA - O que as taxas de adoção escondem
• Métricas de Governança de IA Além da Adoção e Treinamento - Por que o catálogo padrão mede sistemas e não operadores
• Medição Comportamental da IA Collaboration - Como a evidência comportamental é coletada