Évaluation des risques de l'IA sans les inventaires d'applications: L'outil de découverte de l'exposition comportementale ne peut pas mesurer

Un inventaire complet de l'IA vous indique quels outils vos collaborateurs ont ouverts. Il ne vous dit rien sur ce qu'ils en ont fait avec les réponses.

L'Inventaire Est Enfin en Construction

Deux ans après une utilisation non autorisée de l'IA, les équipes de sécurité obtiennent enfin les moyens de savoir ce qui fonctionne réellement. Les outils de découverte sont déployés, les politiques spécifiques à l'IA sont rédigées et la ligne entre l'utilisation autorisée et non autorisée est tracée.

C'est un travail louable qui doit se poursuivre. Une organisation qui ne peut nommer les systèmes d'IA touchant ses données ne peut pas appréhender sa propre exposition. Rien dans le texte ci-dessous ne plaide contre la construction de cet inventaire.

Le débat porte sur ce qui se passe le jour où l'inventaire est complet, et qu'un cadre supérieur demande si le risque est désormais compris.

Ce Que Mesure Fiablement la Découverte

La télémétrie de sécurité réseau et cloud répond à un ensemble spécifique et utile de questions. Quelles applications d'IA apparaissent dans le trafic de l'entreprise ? L'accès provient-il d'une identité professionnelle ou d'un compte personnel ? Quel volume de données a été transféré et dans quelle direction ? Quelles applications autorisées ont activé des fonctionnalités d'IA ? Quels invites ont déclenché une règle de contenu ?

Les recherches publiées par les fournisseurs de sécurité, avec une méthodologie télémétrique divulguée, notamment le cloud et les rapports de menace sur l'IA générative de Netskope Threat Labs, ont été constamment utiles. Un travail au niveau des incidents, tel que l'étude annuelle sur le coût d'une violation de données d'IBM, a établi que l'utilisation non autorisée de l'IA apparaît comme un facteur dans des incidents réels avec un coût réel associé. Consultez ces études en gardant la méthodologie à l'esprit : les études télémétriques mesurent la clientèle du fournisseur, et les études sur les violations mesurent les organisations qui ont été compromises. Les deux sont informatives ; aucune n'est une estimation de la population.

Le constat au niveau de la catégorie ne fait pas débat. Une grande partie de l'utilisation de l'IA générative en entreprise passe par des comptes personnels, en dehors du périmètre de l'identité gérée, et l'utilisation non autorisée de l'IA est désormais impliquée dans une part significative des violations.

Cinq Angles Morts Structurels

La découverte a des limites qui sont architecturales plutôt qu'une question de réglage.

Comptes personnels sur appareils non gérés. Les outils qui voient l'identité et le réseau de l'entreprise voient l'identité et le réseau de l'entreprise. Un employé sur un ordinateur portable personnel, un navigateur personnel, un compte personnel et une connexion Internet domestique est en dehors de cette limite. C'est cette même population que le travail télémétrique continue d'identifier comme la plus grande part d'utilisation.

Fonctionnalités d'IA dans les applications autorisées. La découverte classe au niveau de l'application. Lorsqu'une suite collaborative, un CRM ou un client de messagerie autorisés activent la synthèse et la rédaction par défaut, le trafic est un trafic vers une application approuvée. L'utilisation de l'IA à l'intérieur n'est pas étiquetée séparément.

Sémantique des invites. La prévention des pertes de données par correspondance de modèles trouve les numéros de compte et les identifiants. Elle ne lit pas le sens. Une invite qui décrit une affaire confidentielle en prose ordinaire, ou qui est rédigée dans une autre langue, contient le contenu sensible sans contenir le modèle.

Connexions en arrière-plan. Les outils agents, les plugins et les connecteurs déplacent des données entre des systèmes et des modèles en dehors du chemin utilisateur-application surveillé par un proxy. La connexion risquée n'est pas un utilisateur naviguant vers un service.

Modèles locaux. Un modèle fonctionnant sur l'ordinateur portable ne produit aucune empreinte réseau pour être découvert.

Chacun de ces points est une limitation connue de cette classe d'outils, pas un échec de l'équipe de sécurité. Le but de les énumérer est que l'inventaire est un plancher, et que chacun qui en construit un doit savoir où ce plancher s'arrête.

Ce Que la Découverte Ne Touche Jamais

Supposons maintenant le cas parfait. Chaque angle mort est fermé, chaque système d'IA est catalogué, chaque outil non autorisé est soit bloqué, soit intégré au périmètre, et chaque utilisateur dispose d'une identité gérée.

L'exposition qui parvient à un client, un patient, un tribunal ou un régulateur n'est toujours pas adressée, car elle ne réside pas dans l'outil. AI Incident Law indexe à quoi ressemble cette exposition une fois qu'elle arrive, en tant que matière publique plutôt qu'en tant que projection.

Elle réside dans ce qui s'est passé après que le résultat soit apparu. Si le professionnel l'a lu de manière critique ou l'a accepté. S'il a vérifié l'affirmation qui accompagnait la décision. S'il a remarqué le détail confiant qui était erroné. S'il en a parlé à quelqu'un lorsqu'il l'a découvert. S'il peut encore rendre compte du raisonnement derrière une décision qu'il a signée.

Ces questions s'appliquent de manière identique au déploiement d'entreprise entièrement autorisé. Déplacer un utilisateur d'un chatbot non approuvé à un chatbot approuvé modifie le chemin des données et laisse le comportement de vérification exactement au même endroit. L'IA fantôme est un problème de découverte. Le résultat non vérifié est un problème de gouvernance. Résoudre le premier n'affecte pas le second, et les organisations qui considèrent l'achèvement de l'inventaire comme la fin de l'évaluation des risques liés à l'IA ont bouclé la moitié la plus petite.

Mesurer Cela Sans Mener une Surveillance

Le moyen évident d'obtenir une visibilité comportementale est la surveillance : enregistrer les invites, surveiller les sessions, attribuer les outils à la personne. Cela crée un système de surveillance des employés, ce qui est inacceptable dans les environnements réglementés et syndicaux, et détruit la confiance sur laquelle repose le programme de gouvernance.

PAICE (People + AI Collaboration Effectiveness) prend l'autre voie. Il mesure la fiabilité comportementale par l'évaluation plutôt que par l'observation. Il ne contient ni noms, ni e-mails, ni adresses IP, ni invites, ni texte de conversation, ni historique de navigateur, ni enregistrement des outils utilisés. Il produit des scores basés sur des identifiants hachés, et les résultats individuels sont structurellement inaccessibles à l'organisation plutôt que retenus par une politique.

Les organisations ont besoin de visibilité comportementale sans créer de systèmes de surveillance. Les outils de découverte répondent à quels systèmes sont utilisés. Les preuves comportementales répondent si les personnes qui les utilisent peuvent être considérées comme fiables lorsque le résultat est erroné.

Construisez l'inventaire. Puis posez la seconde question.

Vous souhaitez des preuves comportementales sans surveillance ? Effectuez l'évaluation PAICE ou apprenez les bases organisationnelles.

Lectures Recommandées

The Visibility Gap - Ce que montrent les tableaux de bord et ce qu'ils omettent
Your AI Policy Is Not Enough - Pourquoi une politique écrite ne change pas le comportement
Governance Without Surveillance - L'architecture de confidentialité derrière la mesure comportementale
AI Collaboration Governance - Des politiques qui tiennent dans la pratique