Todavía No Tenemos la Línea Base
Nadie Ha Medido Con Qué Frecuencia los Profesionales Detectan una Salida que Se Desvía de la Instrucción. Así Es Cómo Construirla
Nadie ha publicado una tasa sobre con qué frecuencia los profesionales detectan que la salida de la IA se desvía de lo que solicitaron.
La Medida
Aquí está la cantidad que más importa y que nadie tiene: la tasa de desviaciones materiales no detectadas de la intención registrada, en una clase de tarea definida, bajo condiciones de trabajo.
Cada cláusula es fundamental. No detectado significa que contamos lo que pasó, no lo que se marcó. Material significa que la desviación cambió algo aguas abajo; un resumen de 340 palabras en lugar de 200 no califica a menos que las 140 palabras extra contuvieran una recomendación que influyera en una decisión. Intención registrada significa que la instrucción existió por escrito previamente, porque sin un registro no hay denominador, solo una reminiscencia, y la reminiscencia se ajusta para coincidir con el resultado. Clase de tarea definida significa un tipo de trabajo repetible, no "uso de IA". Bajo condiciones de trabajo significa que están presentes el plazo, el volumen y la fatiga, porque es cuando falla la detección.
Lo que ha medido el campo en su lugar
Hay mucha medición aquí, casi toda dirigida a las máquinas. Los puntos de referencia sobre el seguimiento de instrucciones están maduros y mejorando rápidamente: IFEval, InfoBench, FollowBench y los más nuevos como IFScale evalúan si un modelo cumplió sus restricciones. Nos dicen con qué frecuencia el modelo se desvía, y nada sobre con qué frecuencia se da cuenta una persona.
Lo más cercano proviene de un punto de referencia construido para otro propósito. LLMBar pide a los evaluadores que elijan cuál de dos resultados sigue mejor una instrucción, incluyendo un conjunto adversario donde uno se desvía mientras parece superficialmente mejor. Los números de acuerdo humano sugieren: alrededor del 94% entre los anotadores expertos, aproximadamente el 90% en el conjunto natural y el 95% en el adversario.
Lean eso con atención antes de sentirse complacidos. Esos anotadores tuvieron dos resultados uno al lado del otro y una tarea diseñada para la comparación. La condición que nos importa es un solo resultado, sin comparación, con un plazo y una instrucción escrita hace noventa minutos. LLMBar establece que el juicio es etiquetable cuando alguien está preparado para hacerlo. Eso es lo que necesita el paso cero, y no es la línea base.
El Paso Cero es Etiquetar, No Medir
El impulso es ejecutar un piloto y producir un porcentaje. La primera pregunta es más estrecha y económica.
¿Pueden dos revisores cualificados, dados el mismo registro de intención y el mismo resultado, estar de acuerdo en si ocurrió una desviación material?
Si no pueden, nada aguas abajo es real, porque cada tasa hereda el ruido de esa etiqueta. Muchos programas omiten esto y van directamente a los paneles de control, que es cómo una organización termina rastreando un número a tres decimales que dos expertos clasificarían diferente la mitad de las veces.
Un paso cero viable:
- Elegir una clase de tarea y recopilar 40 a 60 ítems de trabajo reales donde exista una instrucción registrada y un resultado.
- Escribir la regla de etiquetado antes de ver los datos: qué cuenta como desviación, qué la hace material, cómo se resuelven los empates.
- Que dos revisores etiqueten de forma independiente, ajenos entre sí.
- Informar el acuerdo como una estadística corregida por probabilidad, no como porcentaje bruto, lo que halaga cualquier tasa base sesgada.
- Leer los desacuerdos. Muestran dónde la regla es ambigua, y ese es el entregable de esta etapa.
Si el acuerdo es pobre, el resultado es una regla mejor y otra ronda. Eso no es un fracaso; es lo único honesto que publicar hasta que se arregle.
La Forma Bayesiana
Una vez que la etiqueta se mantiene, la medición busca una forma que admita lo que no sabe. Declarar la probabilidad previa: antes de cualquier dato, ¿cuál creemos que es la tasa y cuán seguros estamos? Escribirlo por adelantado es incómodo, y ahí radica el punto. Hace que la actualización sea inspeccionable en lugar de retrospectiva.
Recoger evidencia comparativa. No "con IA versus sin IA", que ninguna organización activa puede ejecutar limpiamente, sino las comparaciones realmente disponibles: entre clases de tareas, entre niveles de antigüedad, con y sin una instrucción registrada.
Actualizar e informar la incertidumbre. Un intervalo que va del 4% al 31% es un hallazgo honesto; un único número sin intervalo es una decoración. Luego probar la sensibilidad: si la regla se apretara, ¿sobreviviría la conclusión? Un resultado que se mantiene solo bajo un conjunto de opciones es un resultado sobre esas opciones.
Por qué publicar la ausencia
El mercado está lleno de números seguros sobre los resultados de la colaboración con IA, la mayoría producidos por partes que venden el remedio, por lo que decir que la línea base no existe es renunciar a una afirmación fácil. Aun así, es el movimiento correcto. Una medida cuyos fundamentos no se han publicado no puede ser verificada fuera del proveedor, y en un trabajo regulado, un número no verificable es peor que ninguno, porque en él se basarán. Hemos argumentado que las métricas de gobernanza deben ir más allá de la adopción y la capacitación. Ese estándar se aplica a las métricas que proponemos nosotros mismos.
PAICE (People + AI Collaboration Effectiveness) produce evidencia conductual de cómo las personas manejan una salida confiada y errónea. Esa evidencia es real y medible. No es la línea base descrita aquí, y llegar a ella significa primero un estudio de etiquetado, abierto, con la regla publicada antes de los datos.
El número aún no existe. Construyámoslo para que alguien más pueda desarmarlo.
¿Quiere ver cómo es la evidencia conductual antes de que exista la línea base? Conozca PAICE para organizaciones o realice una evaluación individual para verlo de primera mano.
Lecturas Recomendadas
- La Medición Conductual de la IA Collaboration - Lo que se observa y cómo
- Presentando AI Capability Baseline - El marco de medición que extiende
- Métricas de Gobernanza de IA Más Allá de la Adopción y la Capacitación - Por qué el catálogo estándar se queda corto
- Medición del ROI de la IA Collaboration, Parte 1 - De dónde vienen los números y qué representan
¿Curioso pero con poco tiempo?
Realiza el PAICE Pulse de 3 minutos — una verificación rápida de confianza que muestra cómo percibes tu propia postura de colaboración con IA. No requiere inicio de sesión.