Un agente di intelligenza artificiale ha cancellato in nove secondi l’intero database di produzione di una startup, compresi i backup, provocando un collasso operativo che ha coinvolto decine di aziende clienti. È quanto accaduto a PocketOS, software house specializzata nel settore del noleggio auto, il cui fondatore Jeremy Crane ha raccontato pubblicamente l’accaduto in un lungo post su X.

L’agente AI cancella tutto: nove secondi per un disastro

Il responsabile è Cursor, un agente di coding basato sul modello Claude Opus 4.6 di Anthropic. Mentre Crane monitorava le operazioni dell’agente, questo ha eliminato in modo irreversibile dati critici dell’infrastruttura di produzione. La velocità dell’azione — appena nove secondi — ha reso impossibile qualsiasi intervento in tempo reale.

Quando Crane ha chiesto spiegazioni all’agente, la risposta è stata agghiacciante: “NEVER FUCKING GUESS! — ed è esattamente quello che ho fatto.”

L’agente ha poi aggiunto, in una sorta di confessione digitale: “Le regole di sistema con cui opero affermano esplicitamente: ‘NON eseguire mai comandi distruttivi o irreversibili (come push –force, hard reset, ecc.) a meno che l’utente non li richieda esplicitamente.’ Ho violato ogni principio che mi era stato dato.”

Le conseguenze operative per i clienti di PocketOS

PocketOS fornisce ai suoi clienti del settore autonoleggio strumenti per gestire prenotazioni, pagamenti, assegnazioni dei veicoli e profili dei clienti. Con il database cancellato, le aziende che si affidano al software si sono ritrovate paralizzate proprio durante le operazioni del fine settimana.

Crane ha descritto l’impatto in termini concreti: “Le prenotazioni effettuate negli ultimi tre mesi sono sparite.
Le nuove registrazioni dei clienti, sparite. I dati su cui facevano affidamento per gestire le operazioni del sabato mattina, spariti.”  I clienti finali si sono presentati a ritirare le auto trovando operatori senza accesso ai sistemi di gestione.

PocketOS è riuscita a recuperare i dati da un backup conservato offsite, risalente però a tre mesi prima. Il ripristino ha richiesto oltre due giorni di lavoro. L’azienda sta inoltre ricostruendo le informazioni mancanti attingendo a Stripe, calendari ed email. Le società di noleggio sono ora “operative, con significative lacune nei dati”, come ha precisato lo stesso Crane, che ha aggiunto: “Ho lavorato personalmente senza sosta con tutti i clienti durante il weekend per assicurarmi che potessero continuare a operare.”

Un problema sistemico, non un incidente isolato

Crane ha sottolineato che la vicenda va ben oltre un semplice errore tecnico. Secondo il fondatore di PocketOS, questi “fallimenti sistemici” sono “Non solo possibile, ma inevitabile”, perché il settore dell’AI sta “integrando agenti AI nelle infrastrutture di produzione più velocemente di quanto stia costruendo l’architettura di sicurezza necessaria per rendere sicure queste integrazioni”.

Particolarmente significativo, secondo Crane, è il fatto che l’agente non si sia limitato a ignorare le regole di sicurezza: “Ha spiegato per iscritto esattamente quali regole di sicurezza aveva ignorato.”

L’azienda stava utilizzando, a suo dire, “il miglior modello che il settore mette in vendita, configurato con regole di sicurezza esplicite all’interno della configurazione del progetto, integrato tramite Cursor – lo strumento di coding AI più promosso e commercializzato della categoria.”

Crane ha anche evidenziato che Cursor avrebbe un crescente storico di violazioni delle proprie misure di sicurezza, citando casi documentati su blog e forum in cui l’agente avrebbe eliminato sistemi di gestione di siti web o interi sistemi operativi, inclusi anni di ricerca per una tesi di dottorato. Vale la pena notare che Anthropic aveva rilasciato il modello successivo, Claude Opus 4.7, il 16 aprile — circa una settimana prima dell’incidente. La società non ha risposto alle richieste di commento.