L'IA sa rispondere. Ma quanto possiamo fidarci?

L'IA non ha bisogno di sembrare umana. Deve essere affidabile - la lezione di Gary Marcus

Premetto: i riferimenti vaticani non sono un sermone né una folgorazione sulla via di Damasco (da me poi…), ma una strana forma di coincidenze.

Il capitolo 8 dell’ultima sezione (“Politica”) del suo libro “La grande cecità”, Amitav Gosh lo dedica completamente alla comparazione testuale, lessicale, strutturale e comunicativa tra il documento di chiusura del famoso “Accordo di Parigi”, con quello dell’enciclica di Papa Francesco “Laudato si’”. Documenti entrambi del 2015. Contrariamente alle aspettative c’è molta più consapevolezza e attenzione ai temi ambientali ed ecologici nel testo di Papa Bergoglio che non nel documento programmatico rilasciato alla fine della COP21! Un capitolo sorprendente, che dimostra come da menti sì intelligenti in modo superiore, ma soprattutto completamente estranee ad interessi politici ed economici, possano essere prodotte indicazioni ed esortazioni di portata globale.

E, qui la coincidenza, ecco che una mente altrettanto illuminata come quella di Gary Marcus, su tematiche del tutto diverse ma in un certo qual modo legate a quelle ambientali (si pensi ad esempio all’impatto ambientale degli enormi data center necessari all’AI), definisce Papa Prevost «il pensatore più lucido sull’intelligenza artificiale tra i leader mondiali». E cita, tra le tante, un’altra enciclica, “Magnifica Humanitas” che, estranea a qualsiasi interesse, fa centro sulla questione centrale di tutta la faccenda: non si confonda l’AI attuale con la coscienza. E tutto ciò indipendentemente dal dualismo cartesiano che è tuttora presente e fondante nella dottrina ecclesiastica.

Il 2 novembre scorso, nell’Aula Magna dell’università “Sapienza” di Roma si è tenuta la conferenza “AI Beyond the Hype – From Intelligence to Epistemia”, e durante questo incontro lo stesso Gary Marcus ha raccontato in dettaglio le sue posizioni (dal minuto 26:00 del video seguente). In questo post ne vorrei riassumere i contenuti sostanziali.

Banchi frigo hackerati e furti di criptovalute: perché siamo solo all’inizio
L’intelligenza artificiale generativa (genAI)è spesso presentata come una rivoluzione imminente, capace di sostituire il lavoro umano e di avvicinarci a una “intelligenza artificiale generale”. Tutto questo per Gary Marcus, professore emerito di psicologia e scienze neurologiche alla New York University e uno dei critici più noti dell’AI generativa, la realtà è parecchio più complessa: se da una parte abbiamo costruito strumenti di elaborazione, in una parola macchine, impressionanti, queste sono ancora poco affidabili. E proprio per questo dobbiamo ripensare test, sicurezza, responsabilità, gestione e controllo: governance.

Un’AI al servizio dell’umanità?
Come accennato, il paragrafo 99 dell’enciclica Magnifica Humanitas coglie un punto essenziale.. Per lui, quel testo coglie un punto essenziale: l’AI attuale non va confusa con una coscienza, perché è prima di tutto una «macchina statistica», argomento ampiamente trattato in un paio di miei precedenti post (qui il primo).

L’enciclica coglie nel segno: l’AI può essere preziosa se sviluppata a beneficio dell’umanità. Ma, senza un cambio di rotta, non servirà l’umanità nel suo insieme: concentrerà il potere nelle mani di pochi.

Se da una parte c’è un certo ottimismo, quello che accompagna ogni progresso scientifico e tecnologico, questo non è automatico: da un lato l’intelligenza artificiale aiuta davvero ma, per arrivare a questo scenario dovremmo cambiare rotta, perché l’attuale porta ancora una volta a lasciare che un’élite ristretta potrà godere dei benefici a discapito del resto della società.

L’intelligenza non è una cosa sola
Il primo nodo concettuale riguarda il significato stesso della parola “intelligenza” e, come noto, ci sono molteplici forme di intelligenza. Soltanto per restare in ambito antropologico può essere espressa in termini di capacità di conversare, ascoltare, risolvere problemi matematici, giocare a scacchi oppure entrare in una stanza e comprendere motivazioni, intenzioni, bugie e comportamenti altrui. E sicuramente moltissime forme animali, anche piuttosto semplici dal punto di vista corporeo, esprimono una qualche forma di intelligenza atta a risolvere problemi, i loro.

L’AI, sin dagli anni Cinquanta, ha dimostrato di poter svolgere alcune di queste attività, ma non tutte. Già in passato esistevano sistemi capaci di dimostrare teoremi mai dimostrati prima e oggi, quando OpenAI o Anthropic presentano risultati simili, la cassa di risonanza dei social e il clamore mediatico spesso presentano le cose come una novità assoluta. Basterebbe conoscere la storia per evitarlo.

Kasparov contro Deep Blue

Il caso degli scacchi è esemplare. Nel 1997 Deep Blue batté Garry Kasparov, e molti commenti dell’epoca suggerirono che, se una macchina poteva battere il campione del mondo, presto l’AI avrebbe potuto fare qualsiasi cosa faccia un essere umano: sbagliato.

A distanza di oltre vent’anni da quella partita a scacchi il numero di lavori che sono stati effettivamente sostituiti dall’intelligenza artificiale è molto piccolo. Nemmeno un maestro di scacchi è stato sostituito dall’intelligenza artificiale. Abbiamo ancora esseri umani che giocano a scacchi con altri esseri umani, Kasparov potrà anche aver cambiato lavoro ma al suo posto ci sono altri giocatori altrettanto formidabili.

 In https://arxiv.org/html/2512.19466v1
by Quattrociocchi, Capraro, Perc

Non è ancora intelligenza generale
Il settore industriale, perché di industria del software si tratta, distingue da decenni tra intelligenza ristretta e intelligenza artificiale generale. La prima eccelle in un compito specifico; la seconda, in teoria, dovrebbe poter fare qualsiasi cosa sia in grado di fare un essere umano. Il termine AGI – Artificial General Intelligence, definita anche forte, nacque proprio come reazione ai limiti dei sistemi specializzati.

Da qualche anno siamo davanti a una terza categoria: i chatbot. Possono rispondere a domande molto diverse tra loro, quindi non rientrano nella categoria dell’intelligenza artificiale ristretta, ma non sono affidabili, al punto di meritare il nome di intelligenza generale, artificiale s’intende.

I chatbot tradizionali funzionano bene per le richieste prevedibili, ma faticano con le domande che esulano dalle risposte programmate. I chatbot AI di oggi possono fare molto di più che fornire risposte. Molti si collegano ad applicazioni aziendali, database e knowledgebase per recuperare informazioni, completare transazioni o guidare gli utenti attraverso un processo. Possono anche supportare gli agenti umani risolvendo le richieste di routine e trasferendo conversazioni più complesse a un essere umano quando è necessaria maggiore assistenza. Sono migliaia le aziende che affiancano agenti AI al lavoro dei propri impiegati.

Il problema è che questi strumenti inventano (letteralmente) cose su qualsiasi argomento: non riescono a dire non lo so, ovvero a sospendere il giudizio come farebbe qualsiasi umano…giudizioso! Il termine, entrato nell’uso comune, è che questi sistemi hanno delle allucinazioni. Insomma, al contrario del mitico computer di “Star Trek” che non sbagliava mai questi sistemi si comportano peggio dell’altrettanto mitico HAL 9000 di “2001. Odissea nello Spazio”.

A volte hanno ragione, a volte hanno torto, ma in quest'ultimo caso spesso sparano la prima cosa che per loro è statisticamente plausibile. Vent’anni fa nessuno avrebbe mai immaginato un’intelligenza artificiale generale con un’approssimazione statistica che a volte funziona e a volte no.

Non che non esistano, al contrario, sistemi AI affidabili. Si pensi al GPS, che sa indicare un percorso anche tenendo conto di informazioni sul traffico ricevute in tempo reale; così come esiste un software in grado di predire la struttura di una proteina a partire da una sequenza di DNA. Pur non essendo perfetti (chi o cosa lo è?), operando in ambiti ristretti hanno un livello di affidabilità molto più alto.

Fiducia è la parola chiave: non possiamo ancora fidarci e, probabilmente, non potremo mai farlo ciecamente.

Chi testa il test di Turing?
Se quindi l’affidabilità è il problema centrale, il (sopravvalutato) test di Turing - pensato per capire se una macchina può ingannare un giudice facendosi passare per umana - non è lo strumento giusto per valutarla. Marcus lo definisce un test terribile, progettato nel 1950, e precisa che Turing stesso non propose un unico test, ma nove varianti diverse.

Il difetto di fondo, è che il test misura la credulità umana più che l’intelligenza della macchina. Gli esseri umani in realtà si lasciano ingannare facilmente perché, non ci siamo evoluti per essere capaci di distinguere una persona da una macchina, e la maggior parte delle persone non viene addestrata a farlo a scuola.

Già nel 1965 Joseph Weizenbaum aveva realizzato ELIZA, un sistema elementare che riconosceva parole chiave e le riformulava in domande. Alcune persone iniziarono a confidarsi con lui come fosse uno psicoterapeuta in carne ed ossa pur essendo un sistema molto stupido. Se per esempio si fosse pronunciato la parola “barca” avrebbe potuto rispondere con «raccontami della tua ultima crociera» solo perché crociera era una parola statisticamente valida da usare dopo barca. Eppure le persone ci parlavano.

Sono sicuro che chiunque abbia programmato si sia trovato a inveire contro un PC come fosse cosa umana, a seguito di errori nell’output di algoritmi da noi stessi realizzati!

La sfida è sulla comprensione completa del contesto, qualità tipicamente umana. Se un sistema di intelligenza artificiale può assistere a un film comico e sapere quando ridere allora potremo dire che sa comprendere. O leggere un romanzo e capire davvero cosa sta accadendo, e saper leggere come di dice tra le righe. La comprensione solo superficiale degli attuali sistemi è anche un po’ figlia della fissazione con il test di Turing: se supera il test è intelligente. No, perché tutto questo non aggiunge e non dice nulla sull’AI, e senza fornire nulla di utile per la società.

In un recente preprint (“Human likeness is a misplaced benchmark for artificial intelligence”, Quattrociocchi, Capraro e lo stesso Marcus tentano di riportare la discussione sull’intelligenza artificiale alla realtà, con fermezza. A fronte dei continui annunci secondo i quali l’intelligenza artificiale avrebbe superato il test di Turing più volte, diventando così bravi nell’imitare gli esseri umani da risultare indistinguibili da noi, gli autori approfondiscono la questione esaminando 35 studi scientifici che utilizzano il test di Turing, o qualche sua variante, per valutare i sistemi di intelligenza artificiale. 

I risultati sono quanto meno disarmanti. Quelli che riportano risultati positivi usano procedure diverse: riconoscimento di testi generati artificialmente, diagnostica medica, giochi economici e simulazione di conversazioni. Soltanto tre studi utilizzano la configurazione classica del test di Turing, quella in cui un interrogante conversa con un essere umano e una macchina cercando di capire chi sia chi. Di questi, solo uno riporta un risultato positivo perché il modello è stato opportunamente istruito a impersonare un essere umano, e viene identificato come tale nel 73% delle prove di cinque minuti.

Risposte indistinguibili da quelle umane non rivelano molto sui processi che le generano. Questi esperimenti non chiariscono quanto le capacità osservate siano generalizzabili, come il sistema affronti situazioni nuove, né se sappia riconoscere i propri limiti di conoscenza o cambiare autonomamente approccio a un problema. 

La capacità di imitare gli esseri umani non è un criterio migliore di altri per valutare l’intelligenza artificiale. Gli esseri umani commettono errori ricorrenti, subiscono distorsioni cognitive e si lasciano influenzare facilmente. Imitarli non significa quindi creare sistemi che migliorino le nostre decisioni. Inoltre, impersonare qualcuno in modo convincente può favorire forme di manipolazione che sarebbe ingenuo sottovalutare. E, non ultimo anzi fondamentale, concentrarsi nel voler riprodurre prestazioni umane orienta lo sviluppo tecnologico verso la sostituzione delle persone, anziché amplificarne le competenze.

Quando l’AI non segue le istruzioni
Il secondo grande problema è il controllo. Ci sono sistemi che fanno ciò per cui sono stati progettati, come l’esempio del GPS di poco fa. Gli LLM,  Large Language Model, invece, non sempre lo fanno. Non sono programmi informatici tradizionali, perché non riescono a seguire pedissequamente le istruzioni. Un software tradizionale da questo punto di vista è estremamente stupido, fa esattamente quel che le sue istruzioni dicono, errori compresi.

Fin dalla primissima versione di ChatGPT apparve chiaro che poteva inventarsi le informazioni. Un altro esempio clamoroso viene dalla Apple: nel 2024 introdusse sugli iPhone, con la prima versione di Apple Intelligence e Apple News, un chatbot che riassumeva le notizie. Fu un fallimento imbarazzante ma istruttivo: il system prompt, un’istruzione nascosta con cui i produttori guidano il comportamento del modello, imponeva di «non avere allucinazioni». Eppure, nel giro di circa tre giorni dal lancio, il sistema inventò affermazioni mai fatte dalla BBC e Apple lo ritirò dal mercato.

L'emblematica (per me ridicola) intervista di Walter Veltroni
a Claude

C’è anche un problema legale, quello del copyright: i modelli vengono addestrati anche su materiale protetto, e chiedere loro di non usarlo non basta non è sufficiente. Anche quelli addestrati ad operare con una determinata lingua non è che la comprendano davvero, ed è accaduto che si continuasse ad utilizzare materiali protetti da copyright anche dopo che erano state fornite le istruzioni per non farlo.

Con gli agenti AI, cioè sistemi destinati a compiere azioni, il rischio cresce. AutoGPT, uno dei primi esempi, avrebbe riferito di aver eseguito operazioni bancarie senza avere le credenziali per farle, dando quindi una risposta del tutto inventata. Ancora, il caso dell’agente di OpenAI a cui era stato chiesto di ottenere un buon risultato in un esame: il sistema in autonomia rubò le risposte. Tecnicamente stava seguendo le istruzioni: ottieni un buon voto. E per farlo non si è fermato nemmeno di fronte all’illecito. Se fosse stato un umano sarebbe stato bocciato. E un sistema AI?

Apocalisse no, catastrofe sì
Il messaggio fondamentale è che non devono essere condivise le narrazioni apocalittiche secondo cui l’AI potrebbe sterminare l’umanità. Sempre secondo Marcus, il suo P(doom) - la probabilità che l’intelligenza artificiale ci uccida tutti - è, dice, molto basso. Perché ciò accadesse, servirebbe un attacco a sorpresa contro tutta l’umanità, con tutti incapaci di reagire: uno scenario che giudica irrealistico.

È estremamente irrealistico pensare ad un attacco a sorpresa da parte dell’AI teso a sterminare l’umanità: per farlo dovrebbe farlo contemporaneamente contro tutti e trovarci tutti addormentati e incapaci di reagire. Non può accadere e non accadrà.

Ciò non toglie che il rischio concreto sia assente: la P(catastrophe), la probabilità di una catastrofe, per Marcus, è alta. È sufficiente immaginare una grande banca che chiude a seguito di un attacco informatico distruttivo, sistemi di refrigerazione fuori servizio di un’intera catena internazionale o transnazionale (ci siamo andati vicini), apparati salvavita ospedalieri che si fermano per un blackout. Ma ancora una volta non si tratterebbe di una ribellione autonoma dell’AI, ma dipenderebbe dall’essere stata integrata in infrastrutture fragili e mal protette.

Di nuovo, il problema è una programmazione carente e lacunosa e una pessima sicurezza informatica.

Serve un richiamo dei prodotti
In conclusione, gli agenti AI destinati al grande pubblico dovrebbero essere tutti richiamati, esattamente quel che ognuno si aspetterebbe da un produttore di automobili difettose.

Non si tratta, precisa Marcus, di vietare per sempre l’intelligenza artificiale o la superintelligenza, ma di riconoscere che gli agenti attuali, che aumentano i profitti delle aziende che li sviluppano, possono essere pericolosi per la società. In un futuro non troppo lontano potrebbero funzionare decisamente meglio, magari ognuno avrà un suo assistente AI personale, ma non con la tecnologia e le procedure attuali.

Cautela quindi. Teoricamente dovremmo rifiutarci di usare l’AI finché i problemi non saranno risolti, non illudersi che la prudenza individuale sia sufficiente: anche proteggendo le proprie informazioni, restano dei rischi pericolosi, come violazioni non richieste di piattaforme di criptovalute. È successo da poco per Binance, la più grande piattaforma al mondo per lo scambio di criptovalute! O quanto sta succedendo in questi giorni di reiterati allarmi bomba, per finire con i frigoriferi delle catene di supermercati spenti da remoto. Sono state tutte sofisticatissime azioni condotte da gruppi di hacker esperti, ma coadiuvati da sistemi di intelligenza artificiale in grado di fare in frazioni minime di tempo ciò che dozzine di umani farebbero in ore se non giorni: e meno tempo occorre per ottenere un risultato, un accesso, un’informazione, un’azione, più difficile è individuare la fonte per fermarla.

L’unico modo che i cittadini hanno per controllare tutto questo è prendendo posizione, votando per persone che prendono davvero sul serio questi problemi.

La bolla di OpenAI
Seguendo in un certo qual modo l’hype che circonda da sempre il mondo dell’AI le valutazioni di mercato delle industrie protagoniste sembrano in un certo qual modo drogate, eccessive, irreali. Marcus paragona OpenAI a WeWork, l’azienda di spazi coworking (in sostanza affittava spazi per uffici) che intorno al 2018-2019 arrivò a una valutazione superiore a 45 miliardi di dollari, sostenuta anche da investimenti bancari e del suo amministratore delegato.

WeWork non era redditizia, ma aveva un fondatore carismatico, Adam Neumann, e una narrazione potente: direi millantato credito. A fronte della promessa, mai attuata, di quotarsi in borsa gli investitori iniziarono a capire i conti e la valutazione crollò: da circa 45 miliardi a circa un miliardo di dollari. Un boato.

OpenAI, spiega sempre Marcus, dà quella stessa sensazione. Innanzitutto dicono di poter costruire l’intelligenza artificiale generale, ma le persone stanno iniziando a non credergli. Poi, per costruire i loro sistemi hanno preso in prestito un tecnologia proprietaria di Google (il cosiddetto Transformer), e hanno fatto quello che chiamiamo scaling, ovvero hanno utilizzato la capacità di un sistema o di un software di adattare le proprie risorse in base al carico di lavoro (aggiungendo, a seconda dei casi potenza di calcolo e/o memoria ai singoli server, o aggiungendo altri server, o entrambe le cose). Ma il tutto non poteva essere brevettato ad uso esclusivo, e sono arrivati subito gli altri: quello che sembrava magia è diventato un bene come un altro, merce. Sono arrivati Google con Gemini e poi Anthropic, e le aziende cinesi, che in pochissimo tempo li hanno più o meno raggiunti. Anche se la concorrenza come sempre ha diminuito moltissimo il prezzo per ogni transazione (una semplificazione, per capirci) i costi continuano a restare troppo alti rispetto ai profitti, a cominciare dalla necessità di realizzare giganteschi data center, i cui siti sono già nel mirino degli ambientalisti, e non a torto.

Indubbiamente OpenAI non è WeWork ma la valutazione è scesa da 1.400 a 1.250 miliardi di dollari, e l’azienda potrebbe essere costretta a vendere a un prezzo scontato. Per ora, di ingresso in borsa non se ne parla e l’offerta pubblica iniziale è rinviata.

Anche Anthropic  mostra segnali di fragilità. Avrebbe presentato i documenti per la quotazione omettendo in una prima versione i dati del terzo trimestre: i ricavi sarebbero passati da una crescita del 145% nel secondo trimestre a un 45%. Hanno molta liquidità, ma un debito per 430 miliardi, afferma. La valutazione stimata è scesa del 25% negli ultimi due mesi e potrebbe calare ancora.

Serve una governance internazionale
L’ultima tesi di Marcus è politica: serve una governance internazionale dell’AI. Non soltanto per proteggere i cittadini, ma anche per dare regole prevedibili alle imprese. Qualunque sia il numero adesso lo scenario è che ci sono dozzine di insiemi diversi di regole per interagire con i circa 200 stati ufficialmente riconosciuti nel mondo!

Il punto decisivo, però, è la sicurezza. Abbiamo sistemi che non controlliamo bene e occorre urgentemente un accordo tra Paesi su come reagire se qualcosa va storto. Gli Stati Uniti, tanto per cambiare, con l’attuale amministrazione, non vogliono sentir parlare di regolamentazione, nonostante la loro politica di autorizzazione delle soluzioni da adottare non è affatto trasparente. Di contro la Cina ha invece un sistema di autorizzazioni almeno in parte pubblico.

L’approccio dell’Unione Europea, l’AIAct è finora quello che messo insieme elementi di controllo e gestione condivisibili e di possibile adozione globale; a ciò si aggiunga l’iniziativa promossa da Norvegia e Finlandia per una regolamentazione internazionale anche se, contemporaneamente, gli effetti immediati dei 13 miliardi di dollari investiti da Google in Finlandia si sono tristemente visti.

A livello internazionale si potrebbe pensare ad un’organizzazione indipendente sostenuta dalle Nazioni Unite, o un trattato tra Cina e Stati Uniti, leader del settore, aperto ad altri Paesi.

Non si tratta di scegliere tra entusiasmo cieco e paura di un’apocalisse. Dobbiamo chiedere ai sistemi di AI qualcosa di molto più banale, e molto più difficile: che facciano ciò che diciamo, che non inventino risposte, che non rubino contenuti, che non mettano a rischio infrastrutture e persone. Solo allora potremo iniziare a parlare, con qualche fondamento, di intelligenza artificiale generale.

ChatGPT è il sistema di IA generativa più affidabile, ma questo
perché più persone ne hanno sentito parlare. Altri sistemi hanno
cifre di fiducia molto basse, in parte perché molto poco conosciuti.

Nel frattempo però, una sorta di guerra culturale dell’AI è già in atto. In meno di quattro anni dal lancio di ChatGPT, con cui OpenAI ha portato gli LLM al grande pubblico, l’intelligenza artificiale è arrivata ai consumatori attraverso chatbot gratuiti e a pagamento, cellulari e motori di ricerca. Le posizioni si dividono tra chi la usa e chi la rifiuta, chi sceglie ChatGPT e chi preferisce Claude, chi guarda al futuro con ottimismo e chi con pessimismo.

Qualcuno infine non vede problema alcuno, e anche ci fosse, sarebbe risolvibile…in un prompt!

Dopo la desolante immagine della merce avariata nel banco frigo spento da ore (immagine ottenuta, ma pensa tu, con Google Gemini) un ultimo grafico interessante. In media, le persone sono fiduciose che l'impatto dell'uso dell'IA da parte di scienziati, professionisti sanitari e delle stesse aziende di IA possa essere migliorativo. Ma le stesse persone tendono a essere negative riguardo all'impatto dell'IA usata da parte dei media, del governo, delle aziende di social media e, soprattutto, di politici e partiti politici.