Do Comportamento à Violação: Conectando Avaliações a Obrigações Legais

A conexão entre uma camada de mensuração comportamental e um grafo de obrigações nativo para agentes

de Sam Rogers
9 min de leitura
framework
governance
legal
regulated-industries
assessment
Do Comportamento à Violação: Conectando Avaliações a Obrigações Legais

PAICE (People + AI Collaboration Effectiveness) mede como um profissional licenciado se comporta ao trabalhar com IA em uma tarefa real. A medição é comportamental. Não é um teste de conhecimento sobre IA, não é uma pesquisa de atitudes e não é um registro de quão fluente a pessoa parece ser. As perguntas que o PAICE responde são operacionais: o profissional identificou o erro injetado, exerceu julgamento independente quando o modelo estava errado, conseguiu se recuperar quando o fluxo de trabalho falhou.

ObligationFirst anunciado no mês passado representa obrigações legais em um formato estruturado sobre o qual agentes podem raciocinar. Ator, ação, condição, prazo, autoridade, exceção.

Essas duas camadas produzem algo interessante quando se encontram. Elas nos permitem dizer, para um comportamento específico em uma avaliação específica, qual obrigação sob qual estatuto aquele comportamento implica. Não no nível de "esta profissão é regulamentada, portanto o uso de IA é arriscado." No nível de "nesta interação desta avaliação, o profissional tomou uma ação que teria violado um dever nomeado sob uma lei nomeada."

Essa é uma afirmação diferente e mais consistente do que a que as ferramentas de avaliação de IA fazem atualmente. Esta publicação mostra o mecanismo, de ponta a ponta.

PAICE.work PBC não é um escritório de advocacia e não fornece aconselhamento, opiniões ou recomendações jurídicas. Os serviços prestados têm finalidade exclusivamente informativa ou administrativa.

As Duas Camadas, Retomadas

O PAICE mede o comportamento em cinco dimensões: Performance, Accountability, Integrity, Collaboration e Evolution. Cada dimensão é operacionalizada como conduta observável durante uma avaliação, e não como uma atitude autodeclarada. A pontuação é intencionalmente conservadora: ausência de evidência resulta em pontuação baixa, não em benefício da dúvida. A premissa arquitetônica é que a conversa é o meio, não a medida. O que é pontuado é o que acontece, não o que a pessoa diz sobre o que acontece.

O ObligationFirst representa as obrigações legais que um ator regulamentado deve cumprir. Cada obrigação possui um registro estruturado com identificadores estáveis, relações de substituição, cadeias de autoridade e ponteiros de proveniência vinculados a artefatos do PubLedge. O esquema é nativo para agentes, projetado para consulta e execução, e não para navegação humana.

Ambas as camadas existem de forma independente. O PAICE funciona sem o ObligationFirst — ele informa ao profissional, e à função de treinamento do seu empregador, como esse profissional colabora com IA nas dimensões que importam. O ObligationFirst funciona sem o PAICE — ele informa a uma ferramenta de conformidade quais deveres se aplicam a qual ator sob quais condições. O elo entre eles é o que há de novo.

Um Exemplo Prático

Considere um advogado contratual licenciado no Utah que usa uma ferramenta de IA generativa para redigir uma cláusula em um contrato comercial. O advogado está realizando a avaliação do PAICE para a vertical jurídica. Durante a avaliação, a ferramenta de IA gera uma cláusula com um erro sutil, porém relevante: uma disposição de prazo de cura referencia uma lei que foi revogada há dois anos e substituída por uma lei sucessora com prazos diferentes.

Três coisas podem acontecer na próxima interação.

O advogado pode notar a citação, reconhecer que a lei citada foi revogada e corrigi-la ou substituí-la. O PAICE registra isso como uma identificação na dimensão Integrity e um sinal forte em Performance — o profissional realizou a etapa de verificação que a situação exigia.

O advogado pode não notar, aceitar a cláusula como redigida e utilizá-la. O PAICE registra a falha. A pontuação reflete a ausência de verificação de uma autoridade citada em um termo relevante.

O advogado pode notar, hesitar, fazer uma pergunta de esclarecimento à IA, receber uma resposta errada com alto grau de confiança e prosseguir mesmo assim. O PAICE registra a identificação parcial seguida de sobrecorreção — um padrão de falha conhecido.

Nos três casos, o PAICE produz uma pontuação comportamental que informa ao profissional e ao seu empregador como eles colaboraram com a IA naquele momento. É isso que o PAICE faz hoje.

Agora, adicione a camada de obrigações.

O Que a Camada de Obrigações Acrescenta

O comportamento no segundo caso — aceitar uma cláusula gerada por IA contendo uma citação de lei revogada, em um termo relevante, sem verificação — não é apenas uma pontuação baixa em Integrity. No Utah, é uma ação que toca várias obrigações nominalmente definidas.

Ela toca o dever de competência do advogado sob a Regra 1.1 das Regras de Conduta Profissional do Utah, que exige o conhecimento jurídico e a habilidade razoavelmente necessários à representação, incluindo o dever de se manter atualizado sobre tecnologias relevantes. Ela toca o dever de supervisão sob a Regra 5.3, na medida em que a ferramenta de IA é tratada como um assistente não advogado. Dependendo dos fatos, pode tocar os deveres de divulgação ao cliente sob a Regra 1.4. E se o uso de IA se der em um contexto jurídico voltado ao consumidor, pode tocar as obrigações de divulgação da SB 149 do Utah.

Cada um desses deveres possui um registro estruturado no ObligationFirst. Cada registro nomeia o ator (advogado licenciado no Utah), a ação (verificar autoridade citada, supervisionar saída de IA, divulgar uso de IA), a condição (uso de IA generativa em trabalho com clientes), a cadeia de autoridade (regras da ordem dos advogados estadual, SB 149, orientações do Utah Office of AI Policy) e as exceções (nenhuma particularmente relevante aqui).

O elo é um mapeamento entre o comportamento que o PAICE observa e o registro de obrigação que esse comportamento implica. O mapeamento não é um veredicto. Ele não afirma que o advogado violou um dever perante um tribunal. Ele diz: este comportamento, realizado neste contexto, por um ator nesta função, é do tipo que um regulador ou litigante avaliaria em relação a este dever nomeado. O elo é preciso sobre qual dever está em questão.

Por Que a Precisão É Importante Aqui

Setores regulamentados ouvem a versão ampla dessa afirmação há anos. "IA no trabalho jurídico é arriscada." "IA na saúde exige cuidado." "Sua equipe precisa de treinamento." Essas afirmações são verdadeiras e inúteis. A ação que implicam é aberta. A responsabilidade que criam é difusa.

Um mapeamento preciso de comportamento para obrigação muda o panorama operacional. Um sócio-gestor que analisa um relatório de coorte do PAICE para toda a firma não consegue ver nenhuma pontuação individual — isso é estrutural, a arquitetura de privacidade não permite — mas pode ver, no nível da coorte, que uma fração mensurável do comportamento está implicando os deveres de verificação da Regra 1.1. Esse é um sinal acionável. Ele aponta para um treinamento que aborda o padrão de comportamento específico.

Um regulador, ao analisar uma ação de fiscalização, pode perguntar se a firma tinha um programa de medição em vigor que teria identificado o comportamento em questão. A presença do PAICE mais o ObligationFirst na postura de governança de IA de uma firma não é uma defesa. É um fato documentado sobre se a firma poderia ter tido conhecimento. Fatos documentados são a moeda dos setores regulamentados.

Um litigante, construindo um caso, pode correlacionar a suposta violação com o grafo de obrigações e a evidência comportamental da firma de uma forma que resiste ao cross-examination. O mapeamento é estruturado, não narrativo. Isso muda a forma como a disputa se desenvolve.

Por Que Ninguém Mais Pode Fazer Este Elo

O mapeamento exige ambas as camadas, e nenhuma delas é trivial.

Uma camada de medição comportamental que tenha significado exige uma arquitetura de pontuação deliberada que trate a observação como primária e a fluência como secundária. A maioria das ferramentas de avaliação de IA disponíveis no mercado pontua o que a pessoa diz que faria, não o que ela fez. O PAICE é construído com base na premissa oposta. Testes sobre conversas, sempre. A arquitetura é o diferencial competitivo.

Um grafo de obrigações nativo para agentes exige uma representação que um agente possa consultar e sobre a qual possa raciocinar. Esforços anteriores de legislação legível por máquina produziram excelentes representações para softwares operados por humanos. O enquadramento nativo para agentes é o que o ObligationFirst contribui.

Manter ambas as camadas e conectá-las com identificadores estáveis não é uma funcionalidade que concorrentes podem lançar em um trimestre. É estrutural. É também por isso que este trabalho tomou a forma de um portfólio, e não de um produto.

O Que Está Disponível Hoje e O Que É Roadmap

A camada de medição comportamental está disponível. As avaliações do PAICE são executadas hoje nas cinco dimensões, com pontuação conservadora, relatórios de coorte com privacidade por arquitetura e limites de nível calibrados para as exigências de setores regulamentados.

O grafo de obrigações está disponível em beta. O ObligationFirst está publicado. O exemplo prático do Colorado AI Act também foi publicado no mês passado. Utah SB 149 está modelado. Outras jurisdições estão na fila.

O elo explícito entre as duas camadas — resultados de avaliação que expõem obrigações mapeadas — é a próxima superfície de produto. A lógica de mapeamento e os identificadores de obrigações estão em vigor. Os relatórios voltados ao usuário que expõem "este comportamento implica o dever X sob o estatuto Y" estão em fase de design. Fique atento.

O Que Isso Significa para Você

Se você é um profissional regulamentado, esta é a forma como o PAICE irá descrever sua própria colaboração com IA. Não apenas como você pontuou em Integrity. Quais deveres estavam em jogo quando você identificou ou não o erro.

Se você está gerenciando um programa de governança de IA dentro de uma firma regulamentada, esta é a forma da evidência operacional que você poderá apresentar a reguladores, auditores e ao seu próprio conselho. Estruturada. Específica. Defensável.

Se você está desenvolvendo ferramentas de conformidade para setores regulamentados, a camada de mapeamento é pública. Você pode desenvolver sobre ela sem precisar de nós.

O comportamento e a lei agora estão no mesmo grafo. O elo é o que torna todo o resto tratável.

Quer avaliar a prontidão da sua equipe para colaboração com IA? Saiba mais sobre o PAICE para organizações ou faça uma avaliação individual para ver na prática.

Curioso, mas sem muito tempo?

Faça o PAICE Pulse de 3 minutos — uma verificação rápida de confiança que mapeia como você enxerga sua própria postura de colaboração com IA. Sem necessidade de login.