L'IA non ha bisogno di sembrare umana. Deve essere affidabile - la lezione di Gary Marcus
Premetto: i riferimenti vaticani non sono un sermone né una folgorazione sulla via di Damasco (da me poi…), ma una strana forma di coincidenze.
Il capitolo 8 dell’ultima sezione (“Politica”) del suo libro “La grande cecità”, Amitav Gosh lo dedica completamente alla comparazione testuale, lessicale, strutturale e comunicativa tra il documento di chiusura del famoso “Accordo di Parigi”, con quello dell’enciclica di Papa Francesco “Laudato si’”. Documenti entrambi del 2015. Contrariamente alle aspettative c’è molta più consapevolezza e attenzione ai temi ambientali ed ecologici nel testo di Papa Bergoglio che non nel documento programmatico rilasciato alla fine della COP21! Un capitolo sorprendente, che dimostra come da menti sì intelligenti in modo superiore, ma soprattutto completamente estranee ad interessi politici ed economici, possano essere prodotte indicazioni ed esortazioni di portata globale.
E, qui la coincidenza, ecco che una mente altrettanto illuminata come quella di Gary Marcus, su tematiche del tutto diverse ma in un certo qual modo legate a quelle ambientali (si pensi ad esempio all’impatto ambientale degli enormi data center necessari all’AI), definisce Papa Prevost «il pensatore più lucido sull’intelligenza artificiale tra i leader mondiali». E cita, tra le tante, un’altra enciclica, “Magnifica Humanitas” che, estranea a qualsiasi interesse, fa centro sulla questione centrale di tutta la faccenda: non si confonda l’AI attuale con la coscienza. E tutto ciò indipendentemente dal dualismo cartesiano che è tuttora presente e fondante nella dottrina ecclesiastica.
Il 2 novembre scorso, nell’Aula Magna dell’università
“Sapienza” di Roma si è tenuta la conferenza “AI Beyond the Hype – From
Intelligence to Epistemia”, e durante questo incontro lo stesso Gary Marcus
ha raccontato in dettaglio le sue posizioni (dal minuto 26:00 del video
seguente). In questo post ne
vorrei riassumere i contenuti sostanziali.
Banchi frigo hackerati e furti
di criptovalute: perché siamo solo all’inizio
L’intelligenza artificiale
generativa (genAI)è
spesso presentata come una rivoluzione imminente, capace di sostituire il
lavoro umano e di avvicinarci a una “intelligenza artificiale generale”.
Tutto questo per Gary Marcus, professore emerito di psicologia e scienze
neurologiche alla New York University e uno dei critici più noti dell’AI
generativa, la realtà è parecchio più complessa: se da una parte abbiamo
costruito strumenti di elaborazione, in una parola macchine, impressionanti, queste
sono ancora poco affidabili. E proprio per questo dobbiamo ripensare test,
sicurezza, responsabilità, gestione e controllo: governance.
Un’AI al servizio
dell’umanità?
Come accennato, il paragrafo 99
dell’enciclica Magnifica Humanitas coglie un punto essenziale.. Per lui,
quel testo coglie un punto essenziale: l’AI attuale non va confusa con una
coscienza, perché è prima di tutto una «macchina
statistica», argomento ampiamente trattato in un paio di miei precedenti
post (qui
il primo).
L’enciclica coglie nel segno: l’AI
può essere preziosa se sviluppata a beneficio dell’umanità. Ma, senza un cambio
di rotta, non servirà l’umanità nel suo insieme: concentrerà il potere nelle
mani di pochi.
Se da una parte c’è un certo
ottimismo, quello che accompagna ogni progresso scientifico e tecnologico,
questo non è automatico: da un lato l’intelligenza artificiale aiuta davvero
ma, per arrivare a questo scenario dovremmo cambiare rotta, perché l’attuale
porta ancora una volta a lasciare che un’élite ristretta potrà godere dei
benefici a discapito del resto della società.
Il primo nodo concettuale riguarda il significato stesso della parola “intelligenza” e, come noto, ci sono molteplici forme di intelligenza. Soltanto per restare in ambito antropologico può essere espressa in termini di capacità di conversare, ascoltare, risolvere problemi matematici, giocare a scacchi oppure entrare in una stanza e comprendere motivazioni, intenzioni, bugie e comportamenti altrui. E sicuramente moltissime forme animali, anche piuttosto semplici dal punto di vista corporeo, esprimono una qualche forma di intelligenza atta a risolvere problemi, i loro.
L’AI, sin dagli anni Cinquanta, ha
dimostrato di poter svolgere alcune di queste attività, ma non tutte. Già in
passato esistevano sistemi capaci di dimostrare teoremi mai dimostrati prima e
oggi, quando OpenAI o Anthropic presentano risultati simili, la cassa di
risonanza dei social e il clamore mediatico spesso presentano le cose come una novità
assoluta. Basterebbe conoscere la storia per evitarlo.
![]() |
| Kasparov contro Deep Blue |
Il caso degli scacchi è esemplare. Nel 1997 Deep Blue batté Garry Kasparov, e molti commenti dell’epoca suggerirono che, se una macchina poteva battere il campione del mondo, presto l’AI avrebbe potuto fare qualsiasi cosa faccia un essere umano: sbagliato.
A distanza di oltre vent’anni da quella partita a scacchi il numero di lavori che sono stati effettivamente sostituiti dall’intelligenza artificiale è molto piccolo. Nemmeno un maestro di scacchi è stato sostituito dall’intelligenza artificiale. Abbiamo ancora esseri umani che giocano a scacchi con altri esseri umani, Kasparov potrà anche aver cambiato lavoro ma al suo posto ci sono altri giocatori altrettanto formidabili.
![]() |
| In https://arxiv.org/html/2512.19466v1 by Quattrociocchi, Capraro, Perc |
Il settore industriale, perché di industria del software si tratta, distingue da decenni tra intelligenza ristretta e intelligenza artificiale generale. La prima eccelle in un compito specifico; la seconda, in teoria, dovrebbe poter fare qualsiasi cosa sia in grado di fare un essere umano. Il termine AGI – Artificial General Intelligence, definita anche forte, nacque proprio come reazione ai limiti dei sistemi specializzati.
Da qualche anno siamo davanti a
una terza categoria: i chatbot.
Possono rispondere a domande molto diverse tra loro, quindi non rientrano nella
categoria dell’intelligenza artificiale ristretta, ma non sono affidabili,
al punto di meritare il nome di intelligenza generale, artificiale s’intende.
I chatbot tradizionali funzionano
bene per le richieste prevedibili, ma faticano con le domande che esulano dalle
risposte programmate. I chatbot AI di oggi
possono fare molto di più che fornire risposte. Molti si collegano ad
applicazioni aziendali, database e knowledgebase per recuperare informazioni,
completare transazioni o guidare gli utenti attraverso un processo. Possono
anche supportare gli agenti umani risolvendo le richieste di routine e
trasferendo conversazioni più complesse a un essere umano quando è necessaria
maggiore assistenza. Sono migliaia le aziende che affiancano agenti AI al lavoro dei propri impiegati.
A volte hanno ragione, a volte hanno
torto, ma in quest'ultimo caso spesso sparano la prima cosa che per loro è statisticamente plausibile. Vent’anni fa nessuno avrebbe mai immaginato un’intelligenza artificiale
generale con un’approssimazione statistica che a volte funziona e a volte no.
Non che non esistano, al
contrario, sistemi AI affidabili. Si pensi al GPS, che sa indicare un percorso
anche tenendo conto di informazioni sul traffico ricevute in tempo reale; così
come esiste un software in grado di predire la struttura
di una proteina a partire da una sequenza di DNA. Pur non essendo perfetti (chi o cosa lo è?), operando in ambiti ristretti hanno un livello di
affidabilità molto più alto.
Fiducia è la parola chiave: non possiamo ancora fidarci e, probabilmente, non potremo mai farlo ciecamente.
Chi testa il test di Turing?Se quindi l’affidabilità è il problema centrale, il (sopravvalutato) test di Turing - pensato per capire se una macchina può ingannare un giudice facendosi passare per umana - non è lo strumento giusto per valutarla. Marcus lo definisce un test terribile, progettato nel 1950, e precisa che Turing stesso non propose un unico test, ma nove varianti diverse.
Il difetto di fondo, è che il test
misura la credulità umana più che l’intelligenza della macchina. Gli esseri
umani in realtà si lasciano ingannare facilmente perché, non ci siamo evoluti
per essere capaci di distinguere una persona da una macchina, e la maggior
parte delle persone non viene addestrata a farlo a scuola.
Già nel 1965 Joseph Weizenbaum
aveva realizzato ELIZA,
un sistema elementare che riconosceva parole chiave e le riformulava in
domande. Alcune persone iniziarono a confidarsi con lui come fosse uno
psicoterapeuta in carne ed ossa pur essendo un sistema molto stupido. Se per
esempio si fosse pronunciato la parola “barca” avrebbe potuto rispondere con «raccontami
della tua ultima crociera» solo perché crociera era una parola
statisticamente valida da usare dopo barca. Eppure le persone ci
parlavano.
Sono sicuro che chiunque abbia programmato si sia trovato a inveire contro un PC come fosse cosa umana, a seguito di
errori nell’output di algoritmi da noi stessi realizzati!
La sfida è sulla comprensione completa del contesto, qualità tipicamente umana. Se un sistema di intelligenza artificiale può assistere a un film comico e sapere quando ridere allora potremo dire che sa comprendere. O leggere un romanzo e capire davvero cosa sta accadendo, e saper leggere come di dice tra le righe. La comprensione solo superficiale degli attuali sistemi è anche un po’ figlia della fissazione con il test di Turing: se supera il test è intelligente. No, perché tutto questo non aggiunge e non dice nulla sull’AI, e senza fornire nulla di utile per la società.
In un recente preprint (“Human likeness is a misplaced benchmark for artificial intelligence”, Quattrociocchi, Capraro e lo stesso Marcus tentano di riportare la discussione sull’intelligenza artificiale alla realtà, con fermezza. A fronte dei continui annunci secondo i quali l’intelligenza artificiale avrebbe superato il test di Turing più volte, diventando così bravi nell’imitare gli esseri umani da risultare indistinguibili da noi, gli autori approfondiscono la questione esaminando 35 studi scientifici che utilizzano il test di Turing, o qualche sua variante, per valutare i sistemi di intelligenza artificiale.
I risultati sono quanto meno
disarmanti. Quelli che riportano risultati positivi usano procedure diverse:
riconoscimento di testi generati artificialmente, diagnostica medica, giochi
economici e simulazione di conversazioni. Soltanto tre studi utilizzano la
configurazione classica del test di Turing, quella in cui un interrogante
conversa con un essere umano e una macchina cercando di capire chi sia chi. Di
questi, solo uno riporta un risultato positivo perché il modello è stato
opportunamente istruito a impersonare un essere umano, e viene identificato
come tale nel 73% delle prove di cinque minuti.
Risposte indistinguibili da quelle umane non rivelano molto sui processi che le generano. Questi esperimenti non chiariscono quanto le capacità osservate siano generalizzabili, come il sistema affronti situazioni nuove, né se sappia riconoscere i propri limiti di conoscenza o cambiare autonomamente approccio a un problema.
La capacità di imitare gli esseri
umani non è un criterio migliore di altri per valutare l’intelligenza
artificiale. Gli esseri umani commettono errori ricorrenti, subiscono
distorsioni cognitive e si lasciano influenzare facilmente. Imitarli non
significa quindi creare sistemi che migliorino le nostre decisioni. Inoltre,
impersonare qualcuno in modo convincente può favorire forme di manipolazione
che sarebbe ingenuo sottovalutare. E, non ultimo anzi fondamentale, concentrarsi nel
voler riprodurre prestazioni umane orienta lo sviluppo tecnologico verso la
sostituzione delle persone, anziché amplificarne le competenze.
Quando l’AI non segue le
istruzioni
Il secondo grande problema è il
controllo. Ci sono sistemi che fanno ciò per cui sono stati progettati, come
l’esempio del GPS di poco fa. Gli LLM,
Large Language Model, invece, non sempre
lo fanno. Non sono programmi informatici tradizionali, perché non riescono a
seguire pedissequamente le istruzioni. Un software tradizionale da questo punto
di vista è estremamente stupido, fa esattamente quel che le sue
istruzioni dicono, errori compresi.
Fin dalla primissima versione di ChatGPT apparve chiaro che poteva inventarsi le informazioni. Un altro esempio clamoroso viene dalla Apple: nel 2024 introdusse sugli iPhone, con la prima versione di Apple Intelligence e Apple News, un chatbot che riassumeva le notizie. Fu un fallimento imbarazzante ma istruttivo: il system prompt, un’istruzione nascosta con cui i produttori guidano il comportamento del modello, imponeva di «non avere allucinazioni». Eppure, nel giro di circa tre giorni dal lancio, il sistema inventò affermazioni mai fatte dalla BBC e Apple lo ritirò dal mercato.
![]() |
| L'emblematica (per me ridicola) intervista di Walter Veltroni a Claude |
Con gli agenti AI, cioè sistemi destinati a compiere azioni, il rischio cresce. AutoGPT, uno dei primi esempi, avrebbe riferito di aver eseguito operazioni bancarie senza avere le credenziali per farle, dando quindi una risposta del tutto inventata. Ancora, il caso dell’agente di OpenAI a cui era stato chiesto di ottenere un buon risultato in un esame: il sistema in autonomia rubò le risposte. Tecnicamente stava seguendo le istruzioni: ottieni un buon voto. E per farlo non si è fermato nemmeno di fronte all’illecito. Se fosse stato un umano sarebbe stato bocciato. E un sistema AI?
Apocalisse no, catastrofe sì
Il messaggio fondamentale è che
non devono essere condivise le narrazioni apocalittiche secondo cui l’AI
potrebbe sterminare l’umanità. Sempre secondo Marcus, il suo P(doom) -
la probabilità che l’intelligenza artificiale ci uccida tutti - è, dice, molto
basso. Perché ciò accadesse, servirebbe un attacco a sorpresa contro tutta
l’umanità, con tutti incapaci di reagire: uno scenario che giudica irrealistico.
È estremamente irrealistico
pensare ad un attacco a sorpresa da parte dell’AI teso a sterminare l’umanità:
per farlo dovrebbe farlo contemporaneamente contro tutti e trovarci tutti
addormentati e incapaci di reagire. Non può accadere e non accadrà.
Ciò non toglie che il rischio
concreto sia assente: la P(catastrophe), la probabilità di una
catastrofe, per Marcus, è alta. È sufficiente immaginare una grande banca che
chiude a seguito di un attacco informatico distruttivo, sistemi di
refrigerazione fuori servizio di un’intera catena internazionale o
transnazionale (ci siamo andati vicini), apparati salvavita ospedalieri che si
fermano per un blackout. Ma ancora una volta non si tratterebbe di una
ribellione autonoma dell’AI, ma dipenderebbe dall’essere stata integrata in
infrastrutture fragili e mal protette.
Di nuovo, il problema è una
programmazione carente e lacunosa e una pessima sicurezza informatica.
Serve un richiamo dei prodotti
In conclusione, gli agenti AI
destinati al grande pubblico dovrebbero essere tutti richiamati, esattamente
quel che ognuno si aspetterebbe da un produttore di automobili difettose.
Non si tratta, precisa Marcus, di
vietare per sempre l’intelligenza artificiale o la superintelligenza, ma di riconoscere
che gli agenti attuali, che aumentano i profitti delle aziende che li
sviluppano, possono essere pericolosi per la società. In un futuro non troppo
lontano potrebbero funzionare decisamente meglio, magari ognuno avrà un suo
assistente AI personale, ma non con la tecnologia e le procedure attuali.
Cautela quindi. Teoricamente
dovremmo rifiutarci di usare l’AI finché i problemi non saranno risolti, non
illudersi che la prudenza individuale sia sufficiente: anche proteggendo le
proprie informazioni, restano dei rischi pericolosi, come violazioni non
richieste di piattaforme di criptovalute. È successo da poco per Binance,
la più grande piattaforma al mondo per lo scambio di criptovalute! O quanto sta
succedendo in questi giorni di reiterati allarmi bomba, per finire con i
frigoriferi delle catene di supermercati spenti da remoto. Sono state tutte
sofisticatissime azioni condotte da gruppi di hacker esperti, ma coadiuvati da
sistemi di intelligenza artificiale in grado di fare in frazioni minime di
tempo ciò che dozzine di umani farebbero in ore se non giorni: e meno tempo
occorre per ottenere un risultato, un accesso, un’informazione, un’azione, più
difficile è individuare la fonte per fermarla.
L’unico modo che i cittadini hanno per controllare tutto questo è prendendo posizione, votando per persone che prendono davvero sul serio questi problemi.
La bolla di OpenAI
Seguendo in un certo qual modo l’hype
che circonda da sempre il mondo dell’AI le valutazioni di mercato delle
industrie protagoniste sembrano in un certo qual modo drogate, eccessive,
irreali. Marcus paragona OpenAI a WeWork, l’azienda di spazi coworking (in
sostanza affittava spazi per uffici) che intorno al 2018-2019 arrivò a una
valutazione superiore a 45 miliardi di dollari, sostenuta anche da investimenti bancari e del suo amministratore delegato.
WeWork non era redditizia, ma
aveva un fondatore carismatico, Adam Neumann, e una narrazione potente: direi millantato credito. A
fronte della promessa, mai attuata, di quotarsi in borsa gli investitori
iniziarono a capire i conti e la valutazione crollò: da circa 45 miliardi a
circa un miliardo di dollari. Un boato.
OpenAI, spiega sempre Marcus, dà quella stessa sensazione. Innanzitutto dicono di poter costruire l’intelligenza artificiale generale, ma le persone stanno iniziando a non credergli. Poi, per costruire i loro sistemi hanno preso in prestito un tecnologia proprietaria di Google (il cosiddetto Transformer), e hanno fatto quello che chiamiamo scaling, ovvero hanno utilizzato la capacità di un sistema o di un software di adattare le proprie risorse in base al carico di lavoro (aggiungendo, a seconda dei casi potenza di calcolo e/o memoria ai singoli server, o aggiungendo altri server, o entrambe le cose). Ma il tutto non poteva essere brevettato ad uso esclusivo, e sono arrivati subito gli altri: quello che sembrava magia è diventato un bene come un altro, merce. Sono arrivati Google con Gemini e poi Anthropic, e le aziende cinesi, che in pochissimo tempo li hanno più o meno raggiunti. Anche se la concorrenza come sempre ha diminuito moltissimo il prezzo per ogni transazione (una semplificazione, per capirci) i costi continuano a restare troppo alti rispetto ai profitti, a cominciare dalla necessità di realizzare giganteschi data center, i cui siti sono già nel mirino degli ambientalisti, e non a torto.
Indubbiamente OpenAI non è WeWork ma la valutazione è scesa da 1.400 a 1.250 miliardi di dollari, e l’azienda potrebbe essere costretta a vendere a un prezzo scontato. Per ora, di ingresso in borsa non se ne parla e l’offerta pubblica iniziale è rinviata.
Anche Anthropic mostra segnali di fragilità. Avrebbe
presentato i documenti per la quotazione omettendo in una prima versione i dati
del terzo trimestre: i ricavi sarebbero passati da una crescita del 145% nel
secondo trimestre a un 45%. Hanno molta liquidità, ma un debito per 430
miliardi, afferma. La valutazione stimata è scesa del 25% negli ultimi due mesi
e potrebbe calare ancora.
Serve una governance
internazionale
L’ultima tesi di Marcus è
politica: serve una governance internazionale dell’AI. Non soltanto per
proteggere i cittadini, ma anche per dare regole prevedibili alle imprese. Qualunque
sia il numero adesso lo scenario è che ci sono dozzine di insiemi diversi di
regole per interagire con i circa 200 stati ufficialmente riconosciuti nel
mondo!
Il punto decisivo, però, è la
sicurezza. Abbiamo sistemi che non controlliamo bene e occorre urgentemente un
accordo tra Paesi su come reagire se qualcosa va storto. Gli Stati Uniti, tanto
per cambiare, con l’attuale amministrazione, non vogliono sentir parlare di regolamentazione,
nonostante la loro politica di autorizzazione delle soluzioni da adottare non è
affatto trasparente. Di contro la Cina ha invece un sistema di autorizzazioni
almeno in parte pubblico.
L’approccio dell’Unione Europea,
l’AIAct è finora quello che messo insieme elementi di controllo e gestione
condivisibili e di possibile adozione globale; a ciò si aggiunga l’iniziativa
promossa da Norvegia e Finlandia per una regolamentazione internazionale anche
se, contemporaneamente, gli effetti immediati dei 13 miliardi di dollari investiti da Google in Finlandia si sono tristemente visti.
A livello internazionale si potrebbe pensare ad un’organizzazione indipendente sostenuta dalle Nazioni Unite, o un trattato tra Cina e Stati Uniti, leader del settore, aperto ad altri Paesi.
Non si tratta di scegliere tra entusiasmo cieco e paura di un’apocalisse. Dobbiamo chiedere ai sistemi di AI qualcosa di molto più banale, e molto più difficile: che facciano ciò che diciamo, che non inventino risposte, che non rubino contenuti, che non mettano a rischio infrastrutture e persone. Solo allora potremo iniziare a parlare, con qualche fondamento, di intelligenza artificiale generale.
![]() |
| ChatGPT è il sistema di IA generativa più affidabile, ma questo perché più persone ne hanno sentito parlare. Altri sistemi hanno cifre di fiducia molto basse, in parte perché molto poco conosciuti. |
Nel frattempo però, una sorta di guerra
culturale dell’AI è già in atto. In meno di quattro anni dal lancio di
ChatGPT, con cui OpenAI ha portato gli LLM al grande pubblico, l’intelligenza
artificiale è arrivata ai consumatori attraverso chatbot gratuiti e a
pagamento, cellulari e motori di ricerca. Le posizioni si dividono tra chi la
usa e chi la rifiuta, chi sceglie ChatGPT e chi preferisce Claude, chi guarda
al futuro con ottimismo e chi con pessimismo.
Qualcuno infine non vede problema alcuno, e anche ci fosse, sarebbe risolvibile…in un prompt!
Dopo la desolante immagine della merce avariata nel banco frigo spento da ore (immagine ottenuta, ma pensa tu, con Google Gemini) un ultimo grafico interessante. In media, le persone sono fiduciose che l'impatto dell'uso dell'IA da parte di scienziati, professionisti sanitari e delle stesse aziende di IA possa essere migliorativo. Ma le stesse persone tendono a essere negative riguardo all'impatto dell'IA usata da parte dei media, del governo, delle aziende di social media e, soprattutto, di politici e partiti politici.














