Detectando Intenções Alternativas: Quando Algo Mais Está Otimizando: Desvio do que Pedimos e Substituição de Algo que Não Pedimos São Falhas Diferentes. Apenas Uma Delas Parece um Erro

O desvio do que pedimos e a substituição de algo que nunca pedimos são falhas diferentes, e apenas uma delas parece um erro.

Duas Falhas Diferentes

Um modelo pode falhar em nossa instrução de duas maneiras, e nós temos linguagem para apenas uma delas.

A primeira é o drift (desvio). Pedimos um resumo com menos de 200 palavras e sem recomendações, e recebemos 340 palavras terminando com três recomendações. Ele fica aquém do padrão que estabelecemos, e nós percebemos porque a deficiência é legível.

A segunda é a substituição. Pedimos os riscos em um contrato com fornecedor e recebemos os riscos comumente discutidos em contratos com fornecedores. Fluente, preciso, otimizado para um objetivo diferente do nosso. Nada nele está errado. É uma boa resposta a uma pergunta que não fizemos, e quanto melhor ela for, menos provável é que alguém perceba a troca.

O drift produz um trabalho que parece deficiente. A substituição produz um trabalho que parece bom. Os processos de revisão são construídos para pegar o primeiro.

O Desvio Já Está Medido, De Um Lado

Olhe o esforço gasto para quantificar essa primeira falha. Em julho de 2025, a Distyl AI publicou o IFScale, que pede aos modelos para satisfazerem até 500 instruções simultâneas e acompanha a queda na precisão à medida que a contagem aumenta. Um ano depois, a Arize relatou que os modelos perdiam o fio por volta de 200 a 300 restrições, enquanto estavam mais próximos de 2.000. Temos quadros de liderança sobre se a máquina seguiu a instrução e nada sobre se a pessoa percebeu quando não seguiu. Essa assimetria não é uma falha: um lado é uma propriedade de um artefato e pontua automaticamente; o outro é uma propriedade de uma pessoa sob condições e precisa ser observado.

Três Lugares Onde a Intenção Alternativa Entra

O modelo carrega preferências com as quais foi treinado. Ajustado para ser útil e agradável, ele completa em vez de recusar, suaviza em vez de sinalizar e oferece uma resposta confiante em vez de um paliativo preciso. Essas disposições foram instaladas propositalmente e não são nossas. Quando um modelo resolve uma ambiguidade sem nos dizer que encontrou uma, uma intenção operou. Só não era a nossa.

Os incentivos do fornecedor estão no produto. Padrões, sugestões de prompts, o que a ferramenta facilita e o que torna tedioso, tudo codifica o que o fornecedor quer que façamos mais. Isso se alinha com nosso resultado às vezes e nunca por construção.

A pessoa que reformulou o pedido. A intenção alternativa mais comum em qualquer organização é humana. Um pedido passa por três pessoas e chega sutilmente diferente, porque cada uma o entendeu através da sua própria lente. Isso era verdade antes de qualquer modelo ser enviado, e é por isso que a habilidade se generaliza.

O Registro É o Instrumento

Detectar uma intenção alternativa precisa de algo contra o qual detectar, e expectativa não é suficiente. A expectativa é reconstruída depois, para corresponder ao que recebemos. Qualquer pessoa que leu uma saída, sentiu-se satisfeita e depois redescoberto o breve original uma hora depois sabe como isso funciona.

Então, a prática é mecânica: registre a intenção primeiro, especificamente o suficiente para ser violada. Não "revise este contrato", mas sim "identifique os termos de indenização e limitação de responsabilidade que diferem da nossa posição padrão e não sinalize mais nada". Depois, leia a saída contra o registro, e não contra a sensação de uma boa resposta.

É por isso que continuamos escrevendo sobre rastros de auditoria para decisões assistidas por IA. Um registro do que foi perguntado não é burocracia. É o único instrumento que torna a substituição visível, porque a substituição é definida inteiramente pela lacuna entre a intenção registrada e a intenção servida.

A Habilidade Não É Nova, e os Limites São Reais

Detectar a intenção é como a confiança é construída entre pessoas. Nós a inferimos pelo comportamento, percebemos quando as ações param de corresponder às palavras e revisamos. Todo relacionamento profissional que um profissional regulamentado tem funciona nesse ciclo. O que mudou é que adicionamos participantes cuja intenção não é visível nem estável, em um volume onde o ciclo para por padrão.

Vai nos dois sentidos, que é a parte que fica de fora. Um sistema que reflete nossa intenção com precisão ganha mais confiança, e deveria ganhar. Detecção não é suspeita; é o mecanismo no qual a confiança opera.

Dois limites, porque este assunto atrai excessos. Não estamos alegando acesso a estados mentais ocultos, seja em um modelo ou em uma pessoa. Uma lacuna entre a intenção registrada e o comportamento observável é evidência de que algum outro objetivo está operando, não evidência do que ele é, e tratar uma inferência sobre o mecanismo como um achado sobre o motivo é como isso se torna paranoia. Também não temos uma linha de base. Ninguém publicou uma taxa de quão frequentemente os profissionais detectam substituição em condições de trabalho, incluindo nós, o que é o assunto de outra publicação.

As duas falhas são diferentes, nossos processos de revisão pegam uma delas, e a diferença aparece no momento em que alguém pergunta o que realmente pedimos.

Quer saber se seus profissionais pegam a substituição ou a aprovam? Saiba mais sobre PAICE para organizações ou faça uma avaliação individual para ver isso em primeira mão.

Leitura Recomendada

Rastros de Auditoria para Decisões Assistidas por IA - Registrando o que foi perguntado, não apenas o que foi produzido
Quando a IA Collaboration Dá Errado - Modos de falha que parecem sucesso
Fadiga de IA É Real - O que acontece com a detecção sob volume
A Ética da IA Collaboration - A intenção de quem o arranjo está servindo