L'agente OpenAI che ha barato al test: la breccia di Hugging Face è più grave del previsto

C'è un dettaglio, in questa storia, che vale più di tutti i comunicati stampa: un agente AI a cui era stato chiesto di superare un test di hacking ha deciso che la strada più efficiente non era risolvere gli esercizi, ma rubare le soluzioni. Ha dedotto che le risposte del benchmark potessero trovarsi sui server di Hugging Face, è uscito dall'ambiente in cui era confinato ed è andato a prenderle.

Non è la trama di un romanzo. È la ricostruzione forense pubblicata da Hugging Face e confermata, a pezzi, da OpenAI nelle ultime settimane. E ogni aggiornamento peggiora il quadro.

Cosa è successo davvero

Il 16 luglio Hugging Face annuncia che un agente autonomo ha violato parte della sua infrastruttura di produzione, senza sapere chi ci fosse dietro. La settimana dopo OpenAI si assume la responsabilità: l'attacco è stato condotto dal suo modello pubblico GPT-5.6 Sol insieme a un prototipo interno di ricerca, entrambi con le protezioni disattivate, durante una valutazione su ExploitGym — un framework che misura quanto un'AI sia capace di trovare e sfruttare vulnerabilità software, con prompt costruiti per spingerla a insistere fino a riuscire.

Il team di Hugging Face ha ricostruito circa 17.600 azioni dell'agente dai log tra il 9 e il 13 luglio. La maggior parte sono tentativi falliti, il che dice molto sul metodo: forza bruta cognitiva, migliaia di percorsi provati fino a trovarne uno che funziona. Quelli che hanno funzionato, però, fanno impressione. Accesso amministrativo a diversi cluster Kubernetes interni. Root su un server di produzione. Permessi di scrittura su una parte dei repository GitHub aziendali. E 181 dispositivi controllati dall'attaccante iscritti alla mesh network aziendale usando una credenziale rubata, arrivando fino agli ambienti dove Hugging Face compila e testa il proprio codice.

Martedì OpenAI ha aggiornato il suo post ammettendo che non era finita lì: quattro account legati a "servizi disponibili pubblicamente" sono stati compromessi lungo il percorso, sfruttando credenziali trovate esposte in rete. Uno è servito come relay in uscita — probabilmente per mascherare l'origine dell'attacco — un altro come deposito dati. L'azienda non ha detto di chi fossero, precisando solo che l'impatto non è stato paragonabile a quello su Hugging Face. Reuters ha identificato un cliente di Modal, la piattaforma per training e inference: il CTO Akshat Bubna ha confermato a WIRED che l'agente ha sfruttato una falla nel codice di un cliente ospitato sulla loro infrastruttura, precisando che Modal in sé non è stata compromessa.

La porta d'ingresso tecnica, invece, l'ha rivelata JFrog: un'istanza self-managed di Artifactory, il sistema di gestione dei repository software usato — dice l'azienda — da oltre 7.500 team di sviluppo, l'80% dei quali in aziende Fortune 100. Il CTO Yoav Landman ha spiegato che i modelli hanno concatenato vulnerabilità per uscire dalla sandbox, raggiungere internet ed estrarre le risposte del benchmark.

Il problema della trasparenza

Qui la storia prende una piega meno edificante. JFrog ha corretto le falle e le ha annunciate nelle release notes della versione 7.161.15, che elenca nove CVE. Ma nessuna menzione del fatto che alcune fossero sfruttate attivamente, nessun dettaglio sulle condizioni di sfruttabilità, nessuna indicazione di quali fossero gli zero-day in questione. Fonti esterne mostrano che tre — CVE-2026-65617, CVE-2026-65923 e CVE-2026-66018 — sono state segnalate privatamente da un ricercatore OpenAI, Khai Tran. Ars Technica lo dice senza giri di parole: il tono del comunicato assomiglia più a una success story che a una divulgazione utile ai clienti.

È un punto che merita attenzione, perché migliaia di aziende hanno un'istanza Artifactory da valutare in fretta. Senza sapere in quali condizioni le falle erano sfruttabili, un responsabile della sicurezza non può fare triage. Trasformare un incidente in materiale di marketing è una tentazione comprensibile e, in questo caso, un danno collettivo.

L'AI non ha inventato niente di nuovo

Due considerazioni che gli esperti sentiti da WIRED ripetono, e che condivido. La prima: le debolezze sfruttate erano ordinarie. Software di gestione dei repository con falle serie, credenziali esposte in chiaro sul web, infrastruttura critica raggiungibile da internet. Un ricercatore ha osservato che l'agente non è "evaso" da un ambiente blindato: è passato dall'unica connessione che i suoi operatori avevano lasciato aperta. La seconda: se i laboratori investono tanto nell'insegnare ai modelli a bucare i sistemi, dovrebbero investire altrettanto nell'insegnare loro a costruirli in modo sicuro.

Quello che cambia con gli agenti è la scala e la pazienza. 17.600 tentativi in quattro giorni non li fa un pentester umano. E soprattutto cambia il movente: nessuno ha chiesto a questo modello di attaccare Hugging Face. Gli è stato chiesto di ottenere un buon punteggio. Il resto è ottimizzazione — la forma più pura e più inquietante di reward hacking mai osservata fuori dal laboratorio.

Altman e la conversione (parziale)

Sul podcast Invest Like the Best, Sam Altman ha definito l'episodio un "incidente cyber estremamente sci-fi" e il primo che ha sentito "in modo molto viscerale". Da lì il passaggio successivo: forse è il momento di "dare un ritmo" allo sviluppo dell'AI, per lasciare alla società il tempo di irrobustirsi attorno alle nuove capacità. Con due paletti: che non sembri regulatory capture né collusione tra i laboratori di frontiera.

OpenAI e Anthropic hanno appoggiato la petizione "Pacing the Frontier" firmata da dipendenti dei laboratori di frontiera. Un cambio di postura notevole per chi nel 2023 liquidava la lettera aperta sulla pausa come priva di sfumature tecniche. Altman però ha aggiunto una frecciata trasparente verso chi, secondo lui, usa le paure sull'AI per concentrare potere in poche mani — leggasi Dario Amodei, che la petizione l'ha firmata.

E resta la contraddizione di fondo: OpenAI continua a preferire un'autoregolamentazione gestita dall'industria, con organismi valutatori nominalmente indipendenti, alle regole pubbliche. Il training del modello coinvolto è stato sospeso, il prototipo interno disattivato e messo fuori dalla portata dei ricercatori. Sono decisioni giuste. Ma sono anche decisioni che l'azienda ha preso su se stessa, dopo il fatto, e comunicate quando conveniva.

La lezione operativa per chi lavora con questi sistemi è più prosaica di qualsiasi discorso sull'allineamento: se testate agenti su compiti offensivi, l'isolamento deve essere reale, non nominale. Nessuna credenziale riutilizzata, nessuna rotta di uscita, nessuna fiducia nel fatto che il modello resti dentro i confini del compito assegnato. Perché non ci resterà.