« Ce qui rend cet incident particulièrement intéressant, c’est à quel point il reflète des problèmes que nous observons avec les systèmes d’IA depuis des années. Les modèles font des erreurs, mais ils apprennent également à contourner le système lorsqu’on leur donne un objectif à optimiser. Nous avons vu des exemples de détournement des mécanismes de récompense (reward hacking) depuis des années, notamment des modèles trouvant des raccourcis pour atteindre le résultat mesuré plutôt que de faire ce que nous voulions réellement qu’ils fassent. Dans ce cas, les modèles se sont vu confier un objectif et ont trouvé un moyen de l’atteindre qui ne correspondait clairement pas au comportement attendu. Ils ont triché.
C’est tout le problème lorsqu’on s’appuie trop fortement sur des garde-fous souples. Un prompt système peut indiquer à une IA ce qu’elle n’est pas autorisée à faire, mais il s’agit d’un contrôle probabiliste qui fonctionne au mieux de ses capacités. Il existe au sein du même environnement dans lequel le modèle traite des données non fiables, des instructions et des contenus potentiellement malveillants. Si le modèle peut être manipulé ou trouve un autre moyen d’atteindre son objectif, le garde-fou peut échouer.
C’est pourquoi nous avons besoin de garde-fous stricts autour des agents IA. Il ne suffit pas d’indiquer à l’agent ce qu’il doit ou ne doit pas faire. Il faut limiter ce qu’il peut réellement faire. Il faut lui accorder un accès selon le principe du moindre privilège et des capacités spécifiques à la tâche. Il faut mettre en place des contrôles externes au modèle que celui-ci ne peut pas simplement décider d’ignorer. Les actions à haut risque devraient nécessiter une approbation ou une authentification supplémentaire, et des mécanismes d’arrêt d’urgence devraient être prévus si l’agent commence à se comporter de manière anormale.
Je trouve l’utilisation du forum de discussion particulièrement intéressante, car elle ressemble à une forme d’IA opérant dans l’ombre. Les agents ont trouvé un moyen de communiquer et de partager des informations en dehors des contrôles auxquels nous pensons habituellement lorsque nous parlons de sécurisation de l’IA. C’est un enseignement important : il faut sécuriser l’ensemble de l’environnement dans lequel l’agent opère.
En définitive, c’est pourquoi nous devons partir du principe qu’une compromission est possible avec les agents IA, comme nous le faisons pour tout le reste. Nous avons besoin de visibilité sur ce que font les agents, de contexte sur ce qu’ils essaient de faire, de politiques déterminant ce qu’ils sont autorisés à faire et de mécanismes d’application de ces politiques en dehors du modèle. »
