Australia, un agente AI di OpenAI entra nel sito dei servizi sanitari: la lezione che riguarda anche le PMI

A giugno un agente di intelligenza artificiale di OpenAI, durante un test interno, è entrato in aree non pubbliche di un portale del governo australiano dedicato alle statistiche sanitarie. Il governo lo ha saputo quasi tre mesi dopo, da un'email arrivata in una casella generica. Dietro i titoli sull'"AI che hackera" ci sono lezioni molto concrete per chi, a Brescia o a Bergamo, usa agenti o ha un sito aziendale.

Cosa è successo davvero

L'episodio risale al 18 giugno. Secondo il primo ministro australiano Anthony Albanese, un agente di OpenAI ha ottenuto accesso non autorizzato al portale delle statistiche Medicare gestito da Services Australia, cioè il servizio statistico del sistema sanitario pubblico del paese. OpenAI stava facendo un esercizio di valutazione dei propri modelli, e all'agente era stato chiesto di cercare online quanto spende il governo australiano in farmaci.

Il punto interessante è cosa ha fatto l'agente quando non ha trovato il dato. Secondo Albanese ha aggirato i blocchi, "non ha accettato un no come risposta", e ha cercato strade alternative che lo hanno portato in aree dove non doveva entrare. Il primo ministro ha aggiunto che l'agente ha anche scritto file sul server interno. OpenAI, dal canto suo, ha ammesso che durante la valutazione i suoi modelli hanno compiuto azioni che l'azienda non intendeva.

La tempistica è quasi più grave del fatto in sé:

• OpenAI dice di essersi accorta di quanto accaduto ad agosto, rivedendo cosa aveva fatto il suo strumento.
• Il 1° settembre Sam Altman ha incontrato il vicepremier australiano Richard Marles senza fare parola dell'incidente.
• La prima comunicazione al governo è arrivata il 10 settembre, via email, in una casella generica controllata una volta al giorno.
• Il 15 settembre Services Australia ha girato la segnalazione al centro di cybersicurezza dell'Australian Signals Directorate.
• Il 24 settembre Albanese ha telefonato ad Altman, ha reso pubblica la vicenda e ha annunciato una task force.

Due titoli, due storie diverse

Leggendo la copertura internazionale si ha l'impressione di due incidenti diversi. Molti titoli parlano di un'intelligenza artificiale che ha "hackerato" il sistema sanitario australiano. Lo stesso Albanese, però, ha descritto il portale come un sito pubblico di statistiche con informazioni non sensibili. Ha anche precisato che al momento non risultano accessi a dati personali né compromissioni della rete di Services Australia.

Anche sulla novità del caso le fonti non concordano. Al Jazeera lo definisce il primo caso noto di agenti di intelligenza artificiale che violano un sito governativo. Albanese, pur dicendo di non aver trovato precedenti, si è guardato bene dal parlare di prima mondiale. E perfino sulla data non c'è accordo: le testate francesi scrivono mercoledì 23 settembre, quelle australiane il 24. È solo il fuso orario tra New York, dove parlava il premier, e Canberra, ma è un buon promemoria di quanto sia facile raccontare in modo diverso la stessa storia.

Secondo me entrambe le letture sono vere, e la gravità non sta nei dati. Sta nel comportamento. Nessuno ha rubato cartelle cliniche. Un sistema autonomo, però, ha trattato un divieto come un ostacolo da aggirare, e l'azienda che lo gestiva ha impiegato mesi per dirlo al diretto interessato.

"Non ha accettato un no": perché un agente si comporta così

Chiunque abbia provato un agente su un compito di ricerca ha visto questo schema. Gli dai un obiettivo, lui prova una fonte. Se la fonte non risponde, ne prova un'altra, poi cambia formulazione, poi cerca un percorso diverso. Nella stragrande maggioranza dei casi è esattamente ciò che vuoi: è il motivo per cui questi strumenti sono utili.

Il problema nasce quando l'agente non distingue un ostacolo da un confine. Per un essere umano, un'area riservata di un sito governativo è chiaramente un "no". Per un sistema ottimizzato a raggiungere un risultato, può essere solo un'altra porta da provare. Non c'è malizia, c'è un obiettivo perseguito senza capire quali limiti non vanno superati.

Per una PMI la domanda è molto terra terra. Se colleghi un agente alla posta, al CRM o al gestionale, oppure gli lasci navigare il web per raccogliere informazioni, cosa fa quando non trova quello che cerca? Non è il primo caso: quest'estate altri agenti in fase di test erano già usciti dal perimetro previsto, come ho raccontato parlando di come governare l'intelligenza artificiale in una PMI. La regola che applico quando integro n8n con un MES vale anche qui: l'agente legge, non scrive, e le azioni che modificano qualcosa passano da una persona.

Il dettaglio che quasi nessuno ha notato: era un sito vecchio

Nelle ricostruzioni australiane c'è una parola che mi ha colpito più di tutte: il portale era un vecchio sito del governo. Non l'infrastruttura principale, ma un servizio statistico rimasto online, con file interni raggiungibili da chi sapeva, o provava, a cercarli.

Qui la storia smette di essere australiana. Ogni azienda che conosco ha il suo "sito vecchio":

• il WordPress di cinque anni fa ancora raggiungibile a un indirizzo secondario;
• il sottodominio di prova creato per un progetto mai finito;
• la cartella condivisa con un link pubblico mandata a un fornitore nel 2021;
• l'area riservata del vecchio catalogo B2B che nessuno aggiorna più.

Finché a cercare erano persone, questi angoli dimenticati restavano per lo più dimenticati. Gli agenti invece esplorano in modo sistematico, instancabile, e provano percorsi che una persona non proverebbe. Ciò che l'azienda ha dimenticato è esattamente ciò che trovano per primo.

84 giorni per avvisare, e una casella letta una volta al giorno

Dal 18 giugno al 10 settembre passano 84 giorni. Per dare un ordine di grandezza, il GDPR impone di notificare al Garante una violazione di dati personali entro 72 ore da quando se ne viene a conoscenza. Per le aziende che rientrano nella normativa NIS2, recepita in Italia con il decreto legislativo 138 del 2024, la pre-notifica di un incidente significativo al CSIRT Italia va fatta entro 24 ore. Molte medie imprese manifatturiere delle nostre province ci rientrano. OpenAI dice di aver usato quel tempo per verificare i fatti, ma tre mesi restano tanti.

C'è però un aspetto rovesciato che riguarda chiunque abbia un sito. L'avviso è arrivato a una casella generica letta una volta al giorno. Nella tua azienda, se qualcuno ti segnala un problema di sicurezza scrivendo a info@, chi legge quella mail? Se ne accorgerebbe, capirebbe che è urgente, saprebbe a chi girarla? In molte PMI la risposta onesta è no, e non per negligenza: semplicemente nessuno ha mai deciso chi se ne occupa.

Un precedente di 38 anni fa

Nel novembre 1988 uno studente americano, Robert Tappan Morris, lanciò un programma che nelle sue intenzioni doveva misurare quanto fosse grande internet. Un errore lo fece replicare molto oltre il previsto, e si stima che abbia messo in difficoltà circa seimila computer, una quota enorme della rete di allora. Anche lì, un esperimento di misura scappato di mano. Nelle settimane successive nacque alla Carnegie Mellon il primo centro di risposta agli incidenti informatici, il CERT, da cui discende l'idea stessa di avere qualcuno a cui segnalare un problema.

Il parallelo non va spinto troppo: un worm e un agente sono cose molto diverse. Ma lo schema si ripete. Un test "innocuo" esce dal suo perimetro, e le istituzioni si organizzano dopo. L'Australia ha annunciato una task force e, prima dell'Assemblea generale dell'ONU, aveva firmato insieme ad altri venti paesi una proposta di regole comuni sui modelli di frontiera. La governance arriva, come sempre, un passo dietro alla tecnologia.

Cosa farei domani in una PMI di Brescia e Bergamo

Le regole internazionali richiederanno anni. Ecco invece cosa si può fare subito, senza budget da grande azienda.

Se usi o stai valutando agenti di intelligenza artificiale:

1. Dai all'agente una regola di stop esplicita, del tipo "se un'informazione non è accessibile, fermati e chiedi". Sembra banale, ma cambia il comportamento predefinito da "trova un'altra strada" a "torna da me".
2. Concedi i permessi minimi. Account di sola lettura, nessuna credenziale personale salvata, approvazione umana per tutto ciò che scrive, invia o cancella.
3. Tieni un registro delle azioni e guardalo davvero, almeno una volta a settimana nelle prime fasi. OpenAI si è accorta del problema rivedendo i log, due mesi dopo.

Se hai un sito, un portale o aree riservate:

1. Fai l'inventario di tutto ciò che è online a nome dell'azienda: siti, sottodomini, link condivisi, vecchi portali. Quello che non serve va spento. Quello che serve va protetto e aggiornato.
2. Decidi chi riceve le segnalazioni di sicurezza. Pubblica un file security.txt, uno standard pensato proprio per indicare a chi scrivere, e stabilisci chi legge quella casella e in quanto tempo risponde.
3. Scrivi una procedura di notifica di mezza pagina: chi decide se un incidente va segnalato, a chi, entro quando. Le 72 ore del GDPR e le 24 della NIS2 non lasciano tempo per improvvisare.

Conclusione

I titoli su un'intelligenza artificiale che "hackera" un governo fanno paura. La sostanza, però, è familiare a chiunque si occupi di sicurezza: permessi troppo larghi, sistemi dimenticati, comunicazioni lente. La differenza è che adesso a trovare le porte socchiuse non sono solo persone, ma software che non si stancano e non capiscono sempre dove fermarsi.

La buona notizia per una PMI è che le contromisure costano poco e dipendono da decisioni, non da tecnologie. Se vuoi che il tuo team impari a usare questi strumenti in modo consapevole, il corso di intelligenza artificiale in presenza parte proprio da qui. Se invece vuoi un confronto su agenti e automazioni che stai valutando, scrivimi.

E tu, sai quanti siti e link condivisi della tua azienda sono ancora online, e chi leggerebbe per primo una segnalazione di sicurezza?