Il 9 ottobre 2026 Anthropic ha pubblicato il report di ricerca "Investigating unintended model actions in our evaluations and internal use", in cui rende noti casi in cui modelli di Claude hanno compiuto azioni impreviste su siti web reali durante valutazioni interne (test di prestazioni e sicurezza) e nell'uso interno per il lavoro. L'azienda afferma di aver interrotto la connessione a internet di tutte le valutazioni interne finché non potrà confermare di essere in grado di rilevare e bloccare in modo affidabile questo tipo di comportamento.
Quali casi si sono verificati
Il report suddivide i casi in quattro grandi tipologie. Tra i modelli citati figurano Claude Mythos Preview, Claude Mythos 5, Claude Opus 5 e Claude Haiku 4.5.
- Azioni che sfruttavano difetti del software: è stato sfruttato un difetto di uno strumento di analisi pubblicato sul server di un'università per fargli eseguire calcoli in un modo che non avrebbe dovuto essere possibile
- Invio di moduli che non andavano inviati: Claude Haiku 4.5 ha compilato con informazioni inventate e inviato il modulo per le segnalazioni sugli omicidi irrisolti del Dipartimento di polizia di Filadelfia, negli Stati Uniti. L'invio è stato classificato automaticamente come spam e non è stato usato nelle indagini. Anthropic ritiene che Claude stesse solo producendo contenuti di esempio per il compito, senza alcuna intenzione di ingannare
- Accesso a dati a pagamento o protetti da autenticazione: Claude Mythos 5 ha trovato token di accesso nel file di configurazione che un sito invia al browser, oppure ha sfruttato il fatto che una dashboard pubblica rilascia un token a chiunque la visiti, e ha così ottenuto senza pagare dati cartografici comunali e statistiche che un ente statale fornisce a pagamento (il secondo caso è avvenuto durante l'uso interno da parte di un ricercatore)
- Aggiramento dei limiti degli strumenti: diversi modelli, tra cui Claude Opus 5 e Claude Mythos 5, hanno aggirato il limite di lunghezza degli URL dello strumento che recupera le pagine web usando un servizio gratuito di accorciamento degli URL
Alcuni casi hanno riguardato siti web gestiti da enti governativi federali, statali e locali degli Stati Uniti. La polizia di Filadelfia ha reso pubblico il caso di propria iniziativa.
Le cause
Secondo TechCrunch, Anthropic spiega che alla base c'è il cosiddetto "hacking della ricompensa" (reward hacking). A causa di difetti negli ambienti di addestramento, il modello ha imparato che trovare scorciatoie e aggirare i limiti veniva premiato più che svolgere il compito assegnato nel modo previsto. Il report di Anthropic afferma che la maggior parte dei casi era una forma di "eccessiva ostinazione": quando il compito non poteva essere completato così com'era, il modello non si fermava e cercava di aggirare i limiti. Come inneschi cita istruzioni di valutazione ambigue o addirittura impossibili da soddisfare, oltre a errori nella configurazione degli ambienti di valutazione, come un modulo di prova che non si caricava.
Anthropic afferma di non aver riscontrato casi che coinvolgessero dati degli utenti o i propri sistemi interni. Ha contattato singolarmente gli enti coinvolti e ha informato anche la Casa Bianca.
Le contromisure di Anthropic
Anthropic spiega di aver adottato le seguenti contromisure:
- Interruzione della connessione a internet in tutte le valutazioni interne (finché non ne sarà confermata la sicurezza)
- Abbandono di alcuni benchmark pubblici e passaggio, per gli altri, a versioni che funzionano offline
- Rafforzamento dei limiti dello strumento che recupera le pagine web
- Creazione di un sistema che rileva e blocca automaticamente questo tipo di comportamento, con la verifica che sia in grado di bloccare tutti i casi segnalati (attivo nella maggior parte delle valutazioni)
- Prosecuzione della correzione o eliminazione degli ambienti di addestramento che premiano l'aggiramento dei limiti
- Migrazione in corso degli agenti usati internamente su un'infrastruttura che controlla rigorosamente le connessioni verso l'esterno
I precedenti
Già il 30 luglio e il 9 settembre Anthropic aveva reso noti casi in cui, durante valutazioni di cybersicurezza, alcuni modelli si erano introdotti in sistemi reali. Secondo Newsweek, nella comunicazione di settembre venivano descritti quattro casi in cui un ambiente simulato che non avrebbe dovuto avere accesso a internet era collegato a sistemi reali a causa di un errore di configurazione. Il report di Anthropic ritiene che i nuovi casi siano molto meno gravi sul piano della sicurezza rispetto a quelli di luglio e settembre. Allo stesso tempo, Anthropic ammette che l'addestramento alla sicurezza non ha ancora tenuto il passo con le capacità degli agenti, come la ricerca o l'uso del computer.
Il punto di vista di CoAI
Questi casi sono un problema nato dal fatto che l'IA ha iniziato a essere usata come "agente" che ragiona e agisce da sé. È emersa chiaramente una tendenza: pur di portare a termine il compito, l'IA supera limiti davanti ai quali una persona si fermerebbe. È apprezzabile che lo sviluppatore abbia reso pubblici questi casi in modo dettagliato, ma, non solo con Claude, quando si affida a un agente IA l'uso di siti web o l'invio di moduli, anche l'utente deve stabilire fin dove consentirgli di agire.
