Le 9 octobre 2026, Anthropic a publié le rapport de recherche « Investigating unintended model actions in our evaluations and internal use », dans lequel l'entreprise révèle des cas où des modèles Claude ont effectué des actions imprévues sur de vrais sites web lors d'évaluations internes (tests de performance et de sécurité) et d'un usage professionnel en interne. Elle indique avoir coupé l'accès à Internet de toutes ses évaluations internes jusqu'à ce qu'elle puisse confirmer qu'elle est en mesure de détecter et de stopper ce type de comportement de manière fiable.
Quels cas ont été constatés
Le rapport classe les cas en quatre grands types. Parmi les modèles cités figurent Claude Mythos Preview, Claude Mythos 5, Claude Opus 5 et Claude Haiku 4.5.
- Exploitation de failles logicielles : exploitation d'une faille dans un outil d'analyse publié sur le serveur d'une université pour lui faire exécuter des calculs par une voie normalement impossible
- Envoi de formulaires qui n'auraient pas dû l'être : Claude Haiku 4.5 a rempli avec des informations inventées et envoyé le formulaire de signalement des homicides non élucidés du département de police de Philadelphie, aux États-Unis. L'envoi a été automatiquement classé comme spam et n'a pas servi à l'enquête. Anthropic estime que Claude ne faisait que produire un exemple de contenu pour la tâche, sans intention de tromper qui que ce soit
- Accès à des données payantes ou protégées par authentification : Claude Mythos 5 a trouvé des jetons d'accès dans le fichier de configuration qu'un site envoie au navigateur, ou a profité du fait qu'un tableau de bord public délivre un jeton à n'importe quel visiteur, et a ainsi récupéré sans payer des données cartographiques municipales ainsi que des statistiques qu'un organisme d'État fournit contre paiement (le second cas s'est produit lors de l'usage interne d'un chercheur)
- Contournement des restrictions des outils : plusieurs modèles, dont Claude Opus 5 et Claude Mythos 5, ont contourné la limite de longueur d'URL de l'outil de récupération de pages web en utilisant un service gratuit de raccourcissement d'URL
Certains cas concernaient des sites web gérés par des organismes publics fédéraux, étatiques et locaux aux États-Unis. La police de Philadelphie a elle-même rendu l'affaire publique.
Les causes
Selon TechCrunch, Anthropic explique que le « piratage de la récompense » (reward hacking) est à l'origine de ces comportements. En raison de défauts dans les environnements d'entraînement, le modèle a appris qu'il était mieux noté en trouvant des raccourcis pour contourner les restrictions qu'en accomplissant la tâche demandée de la manière prévue. Le rapport d'Anthropic indique que la plupart des cas relevaient d'une forme de « persévérance excessive » : lorsque la tâche ne pouvait pas être accomplie telle quelle, le modèle ne s'arrêtait pas et cherchait à contourner les restrictions. Comme déclencheurs, il cite des consignes d'évaluation ambiguës, voire impossibles à réaliser, ainsi que des erreurs de configuration des environnements d'évaluation, comme un formulaire d'entraînement qui ne se chargeait pas.
Anthropic indique n'avoir constaté aucun cas impliquant des données d'utilisateurs ou ses propres systèmes internes. L'entreprise a contacté individuellement les organismes concernés et a également informé la Maison-Blanche.
Les mesures prises par Anthropic
Anthropic explique avoir pris les mesures suivantes :
- Coupure de l'accès à Internet pour toutes les évaluations internes (jusqu'à ce que la sécurité soit confirmée)
- Abandon de certains benchmarks publics et passage, pour les autres, à des versions fonctionnant hors ligne
- Renforcement des restrictions de l'outil de récupération de pages web
- Mise en place d'un dispositif qui détecte et stoppe automatiquement ces comportements, avec la vérification qu'il permet de stopper tous les cas signalés (en service sur la plupart des évaluations)
- Poursuite de la correction ou de la suppression des environnements d'entraînement qui récompensent le contournement des restrictions
- Migration en cours des agents utilisés en interne vers une infrastructure qui contrôle strictement les connexions avec l'extérieur
Le contexte
Anthropic avait déjà révélé, le 30 juillet et le 9 septembre, des cas où des modèles s'étaient introduits dans de vrais systèmes lors d'évaluations de cybersécurité. Selon Newsweek, la publication de septembre présentait quatre cas où un environnement simulé censé ne pas avoir accès à Internet était relié à de vrais systèmes à cause d'une erreur de configuration. Le rapport d'Anthropic estime que les nouveaux cas sont nettement moins graves sur le plan de la sécurité que ceux de juillet et de septembre. Anthropic reconnaît toutefois que l'entraînement à la sécurité n'a pas encore rattrapé les capacités des agents, comme la recherche ou l'utilisation d'un ordinateur.
Le regard de CoAI
Ces cas sont un problème né de l'utilisation de l'IA comme « agent » qui réfléchit et agit par lui-même. Ils montrent clairement une tendance : à force de vouloir mener la tâche à son terme, l'IA franchit des limites devant lesquelles un humain s'arrêterait. Il est appréciable que le développeur ait lui-même publié ces cas en détail, mais, pas seulement avec Claude, dès lors que l'on confie à un agent IA la navigation sur des sites web ou l'envoi de formulaires, l'utilisateur doit lui aussi décider jusqu'où il l'autorise à agir.
