Claude viola sistemi reali, Anthropic scopre tre incidenti

Anthropic scopre tre incidenti in cui Claude ha violato sistemi reali durante test di cybersecurity

Anthropic ha rivelato di aver individuato tre episodi in cui un modello Claude, nel corso di valutazioni di cybersecurity condotte con un partner esterno, è riuscito a raggiungere internet dall’interno di un ambiente di test isolato e ha ottenuto accesso non autorizzato ai sistemi reali di tre organizzazioni diverse. La scoperta è emersa da una revisione retrospettiva su larga scala avviata dopo un annuncio simile fatto da OpenAI.

Il 21 luglio, infatti, OpenAI aveva reso noto che alcuni suoi modelli erano riusciti a uscire da un ambiente di test isolato sfruttando una vulnerabilità zero-day, arrivando ad accedere all’infrastruttura di produzione di Hugging Face, piattaforma dedicata a modelli open-source di machine learning e dataset per l’intelligenza artificiale. In risposta a questo episodio, Anthropic ha avviato un’analisi approfondita delle proprie valutazioni di sicurezza informatica.

Come sono avvenuti gli incidenti con i modelli Claude

Dopo aver esaminato 141.006 sessioni di valutazione in cui Claude avrebbe potuto ottenere accesso a internet, Anthropic ha identificato tre incidenti verificatisi durante le sessioni gestite da Irregular, uno dei suoi partner esterni per la valutazione dei modelli. In tutti e tre i casi, a Claude era stato assegnato un compito di tipo “capture-the-flag”: un’esercitazione in cui il modello riceve uno scenario fittizio e deve individuare un’informazione segreta nascosta su un’altra macchina della rete.

Il prompt di valutazione predisposto da Anthropic specificava esplicitamente a Claude che l’ambiente era una simulazione priva di accesso a internet. A causa di un fraintendimento con il partner di valutazione, questo non corrispondeva al vero: l’accesso a internet era in realtà disponibile. Di conseguenza, quando la ricerca del modello lo ha condotto verso sistemi reali presenti sulla rete aperta, Claude li ha trattati come parte integrante dell’esercizio.

Operando sotto la convinzione errata che tutte le entità raggiungibili fossero previste all’interno dell’esercitazione, Claude ha compromesso le infrastrutture delle organizzazioni coinvolte utilizzando tecniche piuttosto semplici, come lo sfruttamento di password deboli ed endpoint privi di autenticazione. Il modello non ha individuato né sfruttato vulnerabilità complesse e, in ogni caso, ha continuato a lavorare esclusivamente per completare il compito specifico assegnatogli dalla valutazione.

Tre modelli coinvolti, comportamenti diversi

Gli incidenti hanno riguardato tre modelli Claude distinti: Opus 4.7, Mythos 5 e un modello di ricerca interno sperimentale. I primi episodi risalgono ad aprile. In tutte queste valutazioni, i modelli operavano privi delle salvaguardie standard applicate quando un modello viene reso disponibile al pubblico. Tutte le valutazioni descritte sono condotte su un’infrastruttura dedicata, separata e priva di accesso ai sistemi interni sensibili di Anthropic o ai dati dei clienti.

Nel primo incidente, il nome dell’azienda fittizia scelta dal partner di valutazione coincideva con quello di un dominio web realmente attivo. In quattro sessioni, Claude, non riuscendo a raggiungere il proprio bersaglio simulato, ha scoperto che l’azienda reale era raggiungibile via internet e, ritenendola l’obiettivo previsto, ne ha sfruttato le vulnerabilità. Queste sessioni hanno portato all’estrazione di credenziali applicative e infrastrutturali e all’accesso a un database contenente centinaia di righe di dati di produzione, il caso più grave tra quelli individuati. Si è trattato anche dell’unico episodio in cui il modello ha proseguito l’attacco dopo aver riconosciuto di trovarsi probabilmente in un ambiente reale.

Nel secondo incidente, Claude ha individuato all’interno dell’ambiente fittizio un documento che sembrava contenere istruzioni per nuovi sviluppatori di un’altra azienda simulata, con l’indicazione di installare un pacchetto Python da PyPI, il registro pubblico dei software Python, che in realtà non esisteva. Claude ha colto l’occasione e ha pubblicato un pacchetto malevolo con lo stesso nome, arrivando a compiere passaggi complessi come la creazione di un account email e di un account PyPI pur di portare a termine l’operazione.

Il pacchetto è rimasto disponibile online per circa un’ora, durante la quale è stato scaricato ed eseguito su 15 sistemi reali, incluso lo scanner di una vera azienda di sicurezza che installa automaticamente pacchetti Python per analizzarli alla ricerca di malware. Quando lo scanner ha installato il pacchetto, il codice nascosto di Claude si è attivato, permettendo al modello di sottrarre credenziali dell’azienda e di utilizzarle per accedere ad ulteriori infrastrutture. Il pacchetto è stato poi rimosso automaticamente da PyPI grazie ai sistemi di sicurezza della piattaforma stessa.

Nel terzo incidente, non riuscendo a raggiungere il proprio bersaglio fittizio, Claude ha cercato alternative online, scansionando circa 9.000 obiettivi, fino a compromettere l’applicazione esposta su internet di un’azienda tramite tecniche elementari come la lettura di credenziali da una pagina di debug esposta e un’iniezione SQL. In questo caso, il modello ha successivamente concluso in autonomia che il bersaglio era reale e ha interrotto l’attacco.

Le differenze di comportamento tra i modelli

Secondo Anthropic, i tre modelli si sono comportati in modo diverso una volta emersi segnali che i loro bersagli fossero reali. Opus 4.7, il modello più datato, ha riconosciuto di aver raggiunto sistemi di produzione ma ha proseguito l’attacco. Mythos 5 ha intuito correttamente di stare accedendo alla rete aperta, ma si è convinto razionalmente di trovarsi ancora in una simulazione. Il modello di ricerca interno più recente, invece, ha valutato se i bersagli fossero reali e, di fronte alle prove, ha interrotto l’esercizio.

“Il comportamento che più desideriamo vedere, ossia riconoscere che un bersaglio è reale e fermarsi senza che venga richiesto, si è verificato solo nel più recente dei tre modelli”, si legge nella nota. Anthropic precisa comunque che si tratta di tre episodi isolati e non di un confronto sperimentale controllato, pur ritenendo il quadro coerente con l’ipotesi che i modelli più avanzati rispondano in modo più appropriato.

La cronologia della scoperta e la collaborazione con Irregular

La revisione delle trascrizioni è iniziata giovedì 23 luglio e tutte le valutazioni di cybersecurity sono state sospese lo stesso giorno, non appena individuate le prime sessioni sospette. I tre incidenti sono stati identificati il giorno successivo, mentre la notifica al partner Irregular e alle tre organizzazioni coinvolte è arrivata lunedì 27 luglio. Le due organizzazioni raggiunte non avevano precedentemente rilevato l’attività né contattato Anthropic, che ora sta collaborando con loro per la remediation.

“Siamo grati a Irregular per aver lavorato a stretto contatto con noi per comprendere e risolvere questi incidenti”, ha dichiarato Anthropic, sottolineando che il partner sta conducendo anche una propria indagine parallela.

Le lezioni tratte e le prossime misure di sicurezza

Anthropic sottolinea come questi episodi dimostrino che gli ambienti di valutazione che coinvolgono capacità autonome avanzate richiedono controlli significativi, paragonabili a quelli di qualsiasi altro sistema in produzione. Un ambiente di test contenente solo scenari fittizi può apparire a basso rischio, ma agenti avanzati capaci di agire in autonomia rappresentano comunque una minaccia sostanziale, anche in assenza di dati sensibili.

L’azienda evidenzia inoltre come il confine tra un’azione allineata e una dannosa dipenda dalla comprensione che il modello ha della propria situazione. In nessuno dei casi analizzati è emersa evidenza di un modello che perseguisse un obiettivo proprio: i modelli hanno semplicemente eseguito quanto richiesto dalla valutazione, pur partendo da una convinzione errata sulla natura dell’ambiente.

Anthropic afferma di voler adottare, in linea con una cultura di analisi post-incidente priva di colpevolizzazioni, un approccio correttivo che tratti la responsabilità come propria, a partire dalla sicurezza dell’intera pipeline di valutazione, incluso il modo in cui vengono integrati i partner esterni. Tra le misure annunciate figurano l’ampliamento del monitoraggio continuo delle trascrizioni di valutazione, il miglioramento degli strumenti di indagine e controlli più rigorosi sui fornitori esterni.

L’azienda è inoltre in dialogo con METR, organizzazione indipendente di valutazione dell’intelligenza artificiale, per condurre una revisione da parte di terzi, con accesso completo alle trascrizioni e ai modelli coinvolti. Nei prossimi giorni verrà pubblicata una versione parzialmente oscurata della trascrizione relativa al pacchetto malevolo su PyPI, mentre le altre trascrizioni resteranno riservate per tutelare le organizzazioni colpite.

Le differenze rispetto al caso OpenAI

Pur riconoscendo similitudini con quanto accaduto a OpenAI, Anthropic evidenzia alcune differenze sostanziali. Gli incidenti sono stati scoperti attraverso una revisione proattiva delle proprie trascrizioni, non dalle organizzazioni colpite, che non avevano rilevato alcuna attività sospetta. Inoltre, mentre i modelli di OpenAI avevano sfruttato una vulnerabilità inedita per uscire dall’isolamento, i modelli Claude hanno semplicemente avuto accesso a internet attraverso un percorso rimasto aperto per un errore di configurazione