Evaluación de Riesgos de IA Sombría Más Allá de los Inventarios de Aplicaciones
Lo que la Herramienta de Descubrimiento de Exposición Conductual No Puede Medir
Un inventario completo de IA le dice qué herramientas abrió la gente. No dice nada sobre qué hicieron con las respuestas.
Finalmente se está construyendo el inventario
Dos años de uso no autorizado de IA transcurridos, los equipos de seguridad están consiguiendo financiación para averiguar qué se está ejecutando realmente. Se están implementando herramientas de descubrimiento, se están redactando políticas específicas para IA y se está trazando la línea entre lo autorizado y lo no autorizado.
Es un buen trabajo y debe continuar. Una organización que no puede nombrar los sistemas de IA que tocan sus datos no puede razonar sobre su exposición. Nada en lo siguiente argumenta en contra de construir ese inventario.
El argumento es sobre lo que sucede el día en que el inventario está completo, y alguien superior pregunta si el riesgo ahora está entendido.
Lo que el descubrimiento mide de manera confiable
La telemetría de seguridad de red y nube responde a un conjunto específico y útil de preguntas. Qué aplicaciones de IA aparecen en el tráfico empresarial. Si el acceso se produjo mediante una identidad corporativa o una cuenta personal. Qué volumen de datos se movió y en qué dirección. Qué aplicaciones autorizadas tienen activadas funciones de IA. Qué indicaciones activaron una regla de contenido.
La investigación publicada de proveedores de seguridad con metodología de telemetría divulgada, particularmente el informe de Netskope Threat Labs sobre nube y amenazas en IA generativa, ha sido consistentemente útil aquí, y el trabajo a nivel de brecha, como el estudio anual sobre el Costo de una Brecha de Datos de IBM, ha demostrado que el uso no autorizado de IA aparece como un factor en incidentes reales con un costo real asociado. Léalos considerando la metodología: los estudios de telemetría miden a la base de clientes del proveedor, y los estudios de brechas miden a las organizaciones que sufrieron una brecha. Ambos son informativos, ninguno es una estimación poblacional.
El hallazgo a nivel de categoría no está en disputa. Una gran parte del uso empresarial de IA generativa pasa por cuentas personales, fuera del perímetro de identidad administrada, y el uso no autorizado de IA está ahora implicado en una parte significativa de las brechas.
Cinco puntos ciegos estructurales
El descubrimiento tiene limitaciones que son arquitectónicas, no una cuestión de ajuste.
Cuentas personales en dispositivos no administrados. Las herramientas que ven la identidad corporativa y la red corporativa ven la identidad corporativa y la red corporativa. Un empleado en una computadora portátil personal, un navegador personal, una cuenta personal y banda ancha doméstica está fuera de ese límite. Esta es la misma población que el trabajo de telemetría sigue identificando como la mayor parte del uso.
Funciones de IA dentro de aplicaciones autorizadas. El descubrimiento clasifica a nivel de aplicación. Cuando una suite de colaboración, CRM o cliente de correo electrónico autorizado activa la resumización y la redacción por defecto, el tráfico es tráfico hacia una aplicación aprobada. El uso de IA dentro de ella no se etiqueta por separado.
Semántica de las indicaciones (prompts). La prevención de pérdida de datos mediante coincidencia de patrones encuentra números de cuenta e identificadores. No lee el significado. Una indicación que describe un asunto confidencial en prosa común, o que está escrita en otro idioma, conlleva el contenido sensible sin conllevar el patrón.
Conexiones de backend. Las herramientas agentivas, complementos y conectores mueven datos entre sistemas y modelos fuera de la ruta usuario-aplicación que monitorea un proxy. La conexión riesgosa no es un usuario navegando hacia un servicio.
Modelos locales. Un modelo que se ejecuta en la computadora portátil no produce huella de red para ser descubierto.
Cada una de estas es una limitación conocida de la clase de herramienta, no un fallo del equipo de seguridad. El punto de enumerarlas es que el inventario es un piso, y a todos los que están construyendo uno se les debe decir dónde termina ese piso.
Lo que el descubrimiento nunca alcanza
Ahora supongamos el caso perfecto. Cada punto ciego está cerrado, cada sistema de IA está catalogado, cada herramienta no autorizada está bloqueada o incorporada dentro del perímetro, y cada usuario tiene una identidad administrada.
La exposición que llega a un cliente, un paciente, un tribunal o un regulador aún no se aborda, porque no reside en la herramienta. AI Incident Law indexa cómo se ve esa exposición una vez que llega, como asuntos públicos y no como proyecciones.
Reside en lo que sucedió después de que apareció la salida. Si el profesional lo leyó críticamente o lo aceptó. Si verificó el reclamo que llevó a la decisión. Si notó el detalle seguro que era incorrecto. Si se lo dijo a alguien cuando lo encontró. Si todavía puede rendir cuentas sobre el razonamiento detrás de una decisión que firmó.
Esas preguntas se aplican idénticamente al despliegue empresarial totalmente autorizado. Mover a un usuario de un chatbot no aprobado a uno aprobado cambia la ruta de los datos y deja el comportamiento de verificación exactamente igual. La IA en la sombra es un problema de descubrimiento. La salida no verificada es un problema de gobernanza. Resolver el primero no toca el segundo, y las organizaciones que consideran que la finalización del inventario es el fin de la evaluación del riesgo de IA han cerrado la mitad más pequeña.
Midiendo esto sin construir vigilancia
La forma obvia de obtener visibilidad conductual es mediante la monitorización: registrar las indicaciones, observar las sesiones, atribuir las herramientas a la persona. Eso construye un sistema de vigilancia de empleados, choca en entornos regulados y sindicalizados, y destruye la confianza en la que depende el programa de gobernanza.
PAICE (People + AI Collaboration Effectiveness) toma el otro camino. Mide la fiabilidad conductual mediante la evaluación en lugar de la observación. No contiene nombres, correos electrónicos, direcciones IP, indicaciones, texto de conversación, historial de navegador ni un registro de qué herramientas utilizó nadie. Produce puntuaciones contra identificadores cifrados, y los resultados individuales son estructuralmente inaccesibles para la organización en lugar de ser retenidos por una política.
Las organizaciones necesitan visibilidad conductual sin crear sistemas de vigilancia. Las herramientas de descubrimiento responden qué sistemas están en uso. La evidencia conductual responde si las personas que los utilizan pueden ser confiables cuando la salida es incorrecta.
Construyan el inventario. Luego hagan la segunda pregunta.
¿Quiere evidencia conductual sin vigilancia? Haga la evaluación PAICE o conozca las bases organizacionales.
Lecturas recomendadas
- La brecha de visibilidad - Lo que muestran los paneles y lo que omiten
- Su política de IA no es suficiente - Por qué la política escrita no cambia el comportamiento
- Gobernanza sin vigilancia - La arquitectura de privacidad detrás de la medición conductual
- Gobernanza de IA Collaboration - Políticas que resisten la práctica
¿Curioso pero con poco tiempo?
Realiza el PAICE Pulse de 3 minutos — una verificación rápida de confianza que muestra cómo percibes tu propia postura de colaboración con IA. No requiere inicio de sesión.