The Thinking Game: Mossa 37 e l'Inganno dell'Intelligence

Ho terminato di guardare The Thinking Game l’altra sera, ed ho pensato che sarebbe stato carino mettere nero su bianco le sensazioni che mi ha suscitato.

Spoiler alert: nel corso dell’articolo farò inevitabilmente riferimento a pezzi del video, quindi se come me siete persone che odiano gli spoiler, siete pregati di tornare qui solamente dopo aver visto il documentario. Tutte le idee che troverete di seguito sono mie, non sono dei dogmi, e mi assumo tutte le responsabilità di ciò che sto per dire.

Propaganda o Visione?

Tornando a noi… Sono interdetto. Il documentario è sicuramente molto interessante, così come la figura di Demis che da bambino prodigio negli scacchi, a 12 anni si ritrova a perdere una partita in un torneo molto difficile, dove per stanchezza non capisce che la partita è destinata ad un pareggio, e quindi si arrende, scatenando l’ilarità del suo avversario che inizia a schernirlo, facendolo sentire male, e facendo emergere in lui la domanda che lo guiderà per il resto della vita: “Ma se tutti questi cervelli si potessero unire e focalizzare su un obiettivo, probabilmente si risolverebbero problemi importanti, come il cancro. Stiamo sprecando le nostre energie qui”.

Il tutto è stato palesemente impostato per dare un tono a Deepmind e conferirgli una sorta di aura di superiorità rispetto ai competitor, anche solo in considerazione della mission aziendale. Gli altri, i “cattivi”, ci hanno costretto a lavorare sugli LLM per interesse di privati e aziende, ma il nostro obiettivo vero non è assolutamente guadagnare il più possibile e incamerare più dati degli utenti di quanto sia mai stato possibile… Dopotutto Google non ha mai fatto cose sporche… Certo che no, il nostro sacro Graal è il raggiungimento della cosiddetta AGI.

Che poi, AGI… Ha davvero senso usare questo termine? Si fa riferimento ad una intelligenza generale, che sappia spaziare e alienare le capacità umane in ogni ambito. Realizzabile? Probabilmente sì, anche se quasi certamente non tramite l’architettura Transformer degli LLM attuali, indipendentemente da quanta scalabilità e computazione si continui a gettare nella fornace.

Desiderabile? Hmm, ni.

Il documentario, prevedibilmente, lustra il lato nobile della medaglia. Si parla di risolvere malattie incurabili, di mappature proteiche che avrebbero richiesto millenni svolte in poche ore. Ma, seppur in modo superficiale, emergono gli spettri. Parlando di AlphaFold, vengono citati - en passant - rischi come il data poisoning o i data breach. Ma la vera domanda, quella che ti lascia un retrogusto amaro, è un’altra: ora che questi database proteici sono open source, sicuramente ne riusciremo a trarre immensi benefici sfruttando il lato buono della medaglia, ma cosa impedisce ad esempio a un attore statale o malevolo di sintetizzare un agente patogeno su misura? Di realizzare una nuova pandemia in laboratorio?

In fondo Demis Hassabis ha veramente delle correlazioni con Oppenheimer. Creatore di una tecnologia che come al solito può essere interpretata sia come strumento di salvezza e speranza che come distruttore di massa. E che dire della domanda finale posta dal documentario? “Come si fa a controllare per sempre qualcosa di più potente e infinitamente più intelligente di noi?”.

La Sindrome della Mossa 37

Sembra una banalità, ma non lo è. Qualora venisse raggiunto veramente il livello di intelligenza sperato (da non confondere con i seppur ottimi risultati dei modelli odierni, che altro non sono se non “pappagalli stocastici”), cosa le impedirebbe di prendere il sopravvento su di noi?

In fondo il nostro modo di pensare è estremamente limitato in quanto esseri umani. Ci limitiamo ai nostri schemi, a dei pattern condivisi, raramente riusciamo veramente ad astrarre qualcosa di caratura superiore (chi ci riesce viene etichettato come genio).

Eppure guardiamo ad AlphaGo, e alla sua partita contro il campione coreano Lee Sedol, che viene mostrata nel documentario. Ad un certo punto del match, AlphaGo esegue la famosa “mossa 37”, ovvero esegue una giocata che lei stessa predice avere “una possibilità di 1 su 10000 di essere effettuata da un umano”. Il nulla statistico praticamente, quasi impossibile. E cosa succede infatti? I commentatori deridono la macchina per aver fatto una giocata “tanto stupida”, il campione invece inizia a sentire puzza di bruciato, tanto che esce dalla stanza per riprendersi dalla stranezza di quella mossa, che davvero non ha capito.

Esito finale? La mossa 37 risulta decisiva nello sviluppo dell’incontro, portando il campione coreano ad una clamorosa sconfitta.

NB: a questo punto il documentario asserisce che questo episodio con protagonista AlphaGo stabilisce un vero e proprio momento Sputnik per la Cina. Anche qui, parere comprensibile ma discutibile, in quanto nessuno sa veramente cosa circola in Cina e quale sia la loro attuale potenza di fuoco in ambito tech, ma prendiamolo per vero.

Il Red Teaming di un’entità aliena: Analisi Tecnica

Ma prendiamo adesso la logica della mossa 37 e applichiamola al nostro mondo, quello della Security. L’impatto è assolutamente devastante. Significa che l’intero castello difensivo che abbiamo eretto (NIST, Zero Trust, EDR, SIEM…) è basato su una ipotesi sbagliata e ingenua: ovvero che l’attaccante ragioni come un umano o utilizzi tool scritti da umani.

Una IA ha un pensiero laterale che noi umani semplicemente non possiamo comprendere, non abbiamo sufficiente “potenza di calcolo” per tenere traccia contemporaneamente di così tante combinazioni.

Il nostro errore fondamentale è che ci concentriamo sulle “Vulnerabilità” (CVE, Patching, Bug). Noi cerchiamo i pezzi rotti. L’IA, invece, cercherà i pezzi che funzionano perfettamente, ma che combinati insieme creano un disastro.

Pensiamo al classico Vulnerability Assessment. Noi umani passiamo le giornate a scansionare i server cercando la Critical Vulnerability (CVSS 9.0 o 10.0) per patcharla subito. Ci sentiamo sicuri perché “abbiamo chiuso i buchi”. La Mossa 37 della security ignora completamente le vulnerabilità. L’IA sa che sfruttare una vulnerabilità nota (un exploit) fa rumore, viene rilevata dagli EDR, lascia tracce nei log. Quella è una mossa “da umani”.

Ecco invece cosa farebbe:

1. Analisi del Grafo (non del codice): L’IA mappa le relazioni in Active Directory o Entra ID. Non cerca chi è Domain Admin, cerca chi ha permessi “strani”.
2. La concatenazione invisibile: Trova un utente Stagista che, per un errore di configurazione di tre anni fa, ha il permesso di resettare la password di un vecchio Service Account.
3. Il Pivot legittimo: Quel Service Account non è amministratore, ma ha il permesso di “scrivere” sulle Group Policy delle workstation degli sviluppatori.
4. L’attacco: L’IA usa lo stagista per prendere il Service Account, modifica una policy per aggiungere una “Scheduled Task” sui PC degli sviluppatori. Quando gli sviluppatori (che hanno accessi privilegiati al Cloud) fanno login, la task esegue il comando dell’IA.

Risultato?

• Vulnerability Scanner: Verde. Nessun software era non patchato.
• Antivirus/EDR: Muti. Resettare una password è un’azione legittima. Modificare una GPO è un’azione legittima (se hai i permessi). Creare una task è legittimo.
• SIEM: Vede una serie di eventi autorizzati.

L’IA non ha “hackerato” il sistema rompendo il codice. Ha usato la nostra stessa burocrazia informatica (i permessi, le policy, le ACL) contro di noi. Ha trovato una strada (Attack Path) che per noi era invisibile perché dispersa in milioni di log, ma che per lei era un’autostrada illuminata a giorno.

IAM: L’incubo dei permessi invisibili

Per capire veramente cosa ci aspetta, dobbiamo smettere di pensare all’IAM come a una lista di utenti e password. Quella è la visione umana, lineare, facile da capire e facile da attaccare. L’IAM moderno (Entra ID, AWS Cognito, Okta) è un Grafo. È una rete intricata di milioni di nodi dove la complessità non è additiva, è esponenziale.

Il problema è che noi umani siamo pessimi a gestire i grafi. Quando un amministratore assegna un permesso, pensa: “Do a Mario l’accesso alla cartella X”. Ma una AI vede quello che noi non vediamo: Mario è nel gruppo Y, che ha un permesso ereditato dal gruppo Z, che può resettare la password del Service Principal K, che ha diritti di scrittura sulla policy di sicurezza globale.

Queste si chiamano “Toxic Combinations”. Per un umano, trovare una toxic combination richiede strumenti avanzati e giorni di analisi. Per una AGI, è istantaneo. È come guardare la scacchiera e vedere il matto in 15 mosse prima ancora che l’avversario muova il pedone.

L’IA vedrà gli “Shadow Admins”: utenti che sulla carta non sono amministratori, ma che matematicamente possono diventarlo sfruttando una catena di 7 o 8 permessi oscuri. Noi costruiamo muri, l’IA cammina attraverso le crepe delle nostre definizioni. Se l’identità è il nuovo perimetro, allora il nostro perimetro è un colabrodo che nemmeno sappiamo di avere.

Il grande inganno dell’Intelligence: Uno sguardo “Floridiano”

Se ci togliamo le fette di prosciutto dagli occhi e ci sforziamo un attimo a pensare, ci rendiamo conto che il vero inganno sta proprio nel titolo: The Thinking Game. Ci stiamo ossessionando sul fatto che le macchine “pensino” (Thinking), ma il vero problema, quello che ci dovrebbe tenere svegli la notte, è che le macchine hanno iniziato ad agire con successo (Acting) senza aver alcun bisogno di essere intelligenti come lo intendiamo noi.

Il prof Luciano Floridi (guardatevi qualsiasi intervista abbia mai rilasciato, è sempre illuminante) lo chiama il “divorzio tra Agency e Intelligence”. Per millenni, se volevi fare qualcosa di intelligente (vincere a scacchi, diagnosticare una malattia, bucare una banca), dovevi essere intelligente. Dovevi avere coscienza, semantica, capire il “perché”.

La Mossa 37 ci sbatte in faccia la realtà: l’Agency (la capacità di agire e ottenere risultati) si è staccata dall’Intelligence. AlphaGo non “sa” di aver giocato a Go. Non gliene frega nulla del gioco, non prova gioia nella vittoria. Eppure ci ha stracciati.

Applicato alla Cybersecurity, questo è terrificante. Non stiamo combattendo contro un “hacker geniale” dall’altra parte dello schermo. Stiamo combattendo contro un’Agency pura, un’efficienza sintattica che non ha bisogno di capire il valore dei vostri dati per rubarveli meglio di chiunque altro.

E sapete perché vinceranno loro? Perché abbiamo passato gli ultimi trent’anni a fare quello che Floridi chiama Enveloping. Abbiamo “impacchettato” il mondo in dati. Abbiamo trasformato la realtà in una Infosfera fatta di API, log, protocolli e database. Abbiamo costruito il campo da gioco perfetto per loro. In un ambiente puramente digitale, chi domina la sintassi domina la realtà.

Noi umani siamo analogici, lenti, pieni di bias. Loro sono nativi di questo ambiente che noi stessi abbiamo costruito. Siamo come i dinosauri che hanno costruito il meteorite.

Conclusioni

Di fatto siamo tutti già sovraesposti. O forse, per riprendere la terminologia cara alla zero trust, dobbiamo dare per scontato che l’attaccante riuscirà ad entrare, e anzi che sia già dentro. Non serve a nulla nascondersi dietro ai firewall se l’IA è in grado di navigare la nostra burocrazia digitale meglio di noi.

Risulta quindi impossibile pensare di esistere come Enterprise sul web senza avere sofisticati progetti di identity e di governance implementati (e possibilmente conditi con una soluzione PAM per accessi JIT), audit continui… ma forse nemmeno questo basterà.

La domanda finale del documentario non è retorica, è una condanna: come controlli qualcosa che gioca un gioco diverso dal tuo, su una scacchiera che tu hai costruito ma che lei vede in 4D?

Benvenuti nel vero Thinking Game. Spoiler: non siamo noi i giocatori. Siamo la scacchiera.

Vittorio