La Trampa de la Capacidad: Salida Más Inteligente, Misma Decisión
Cada Implementación Mide lo que Produce la Herramienta. Casi Ninguna Mide si una Llamada Fue Diferente
Si no podemos nombrar una decisión que haya sido diferente, compramos velocidad, no juicio.
El Diecinueve Por Ciento
En julio de 2025, METR llevó a cabo un ensayo controlado aleatorizado que ha envejecido mejor que la mayoría de los escritos sobre la productividad de la IA. Dieciséis desarrolladores con experiencia trabajaron en 246 tareas reales en repositorios que ya mantenían, aleatorizados para que algunas tareas permitieran herramientas de IA y otras no. El resultado: con la IA permitida, tardaron un 19% más, con un intervalo de confianza del 95% que iba del 2% al 39% más lento.
El segundo número es más importante. Al principio, esos desarrolladores esperaban que la IA los hiciera un 24% más rápidos. Al final, tras vivir las tareas, todavía creían que los había hecho un 20% más rápidos. Estaban equivocados por casi cuarenta puntos porcentuales sobre su propio rendimiento, en la dirección del halago, en un trabajo que conocían íntimamente.
METR revisó el diseño en febrero de 2026 y obtuvo un aumento de velocidad del 18% para los desarrolladores que regresaron y del 4% para los nuevos reclutas, con intervalos lo suficientemente amplios como para incluir el cero. Lo llamaron una señal poco fiable en lugar de publicar la cifra más amable. Después de dos intentos serios, todavía no podemos decir claramente si las herramientas ayudaron. Lo que sí podemos decir es que las personas que las usaron no podían saberlo.
Por Qué el Panel de Control se Autocorrige
Observen lo que METR necesitó para obtener una respuesta: aleatorización, una condición de control, grabaciones de pantalla, tareas reales. Casi ningún despliegue empresarial tiene algo de eso. Lo que tiene un despliegue es un panel de control, y cada número en él mide la herramienta.
Asientos provistos. Indicaciones por semana. Adopción por departamento. Tiempo para el primer borrador. Todos aumentan cuando la herramienta funciona y aumentan cuando la herramienta está equivocada con confianza, porque ninguno de ellos observa la decisión al otro extremo. Un modelo que fabrica una cita produce esa cita rápidamente, y el panel de control registra un borrador rápido.
Estas métricas no mienten. Están respondiendo a una pregunta diferente a la que cree que hizo el liderazgo, y la están respondiendo correctamente.
La asimetría es estructural, no descuidada. La capacidad se manifiesta en artefactos, y los artefactos son contables. El juicio se manifiesta en las decisiones que no salieron mal, y esas no dejan rastro alguno. Un líder de cumplimiento que detecta una cláusula de marco fabricada y la corrige en silencio produce exactamente la misma telemetría que uno que no lo hace: una narrativa de control completada, a tiempo. La organización ve dos filas idénticas.
Tres Preguntas que los Separan
Hay una prueba barata para saber si un despliegue movió el juicio o solo el resultado. No necesita grupo de control, solo alguien dispuesto a responder honestamente tres preguntas sobre el último trimestre.
¿Se detectó un error antes de lo que habría sido posible? No "¿revisamos más?". ¿Se detuvo algo falso y podemos señalarlo? Si no se detectó nada porque no había nada malo, eso es una afirmación sobre la tasa de error del modelo, y es casi seguramente falso.
¿Alguien cambió de opinión basándose en evidencia? Una colaboración que nunca revisa la postura de nadie es una parte dictando y la otra transcribiendo. Quién está dictando no cambia el diagnóstico.
¿El desacuerdo surgió antes o después del compromiso? El desacuerdo que aparece después de una presentación o una llamada con el cliente no es desacuerdo. Es una autopsia.
| Lo que medimos | Lo que demuestra | Lo que no puede decirnos |
|---|---|---|
| Asientos, indicaciones, tasa de adopción | La herramienta está en uso | Si alguien lee el resultado críticamente |
| Tiempo para el primer borrador | La herramienta produce más rápido | Si el borrador era correcto |
| Finalización de la capacitación | La política fue distribuida | Si alguien la aplica dentro del plazo |
| Confianza autoinformada | La gente se siente capaz | Ver la brecha de cuarenta puntos de arriba |
Lo que Necesita la Otra Parte
Si el juicio no deja rastro en el trabajo ordinario, la única forma de verlo es creando las condiciones deliberadamente. Coloca a una persona frente a un resultado erróneo, plausible y seguro bajo presión de tiempo real y observa. ¿Detectan el error, verifican la afirmación que conlleva la decisión, escalan cuando no se puede confirmar una fuente y corrigen en lugar de defender?
Eso es lo que mide PAICE (People + AI Collaboration Effectiveness). La evaluación siembra errores del tipo que llegan a presentaciones, narrativas de control e informes para clientes, y luego puntúa el comportamiento cuando el modelo está equivocado. Una persona fluida que pasa por alto el error sembrado puntúa menos que una persona concisa que detecta todo. La conversación es el medio; no es la medición.
Quiero ser cuidadoso con lo que eso compra. Proporciona un perfil de fiabilidad conductual a nivel de cohorte, explicable y medible. No proporciona una estimación causal de si un despliegue mejoró las decisiones, que es lo que METR pasó dos estudios tratando de precisar para una clase de tareas bien definida. Cualquiera que te venda ese número, incluyéndonos nosotros, debe explicar cómo lo obtuvo.
La privacidad es arquitectónica, no prometida: identificadores hasheados, ningún texto de conversación retenido, resultados individuales estructuralmente no disponibles para la organización. La distribución es visible. Un nombre nunca lo es.
El despliegue del próximo trimestre producirá un número. Pregunta qué decisión cambió.
¿Listo para ver si el juicio de tu equipo avanzó, no solo su resultado? Conoce PAICE para organizaciones o haz una evaluación individual para verlo por ti mismo.
Lecturas Recomendadas
- Collaboration Supera la Capacidad - El mismo argumento a nivel organizacional
- La Ilusión de la Adopción de IA - Lo que ocultan las tasas de adopción
- Métricas de Gobernanza de IA Más Allá de la Adopción y la Capacitación - Por qué el catálogo estándar mide sistemas y no operadores
- La Medición Conductual de la IA Collaboration - Cómo se recopila la evidencia conductual
¿Curioso pero con poco tiempo?
Realiza el PAICE Pulse de 3 minutos — una verificación rápida de confianza que muestra cómo percibes tu propia postura de colaboración con IA. No requiere inicio de sesión.