Due riassunti sull'Intelligenza Artificiale - Seconda parte

 LLM, intelligenza artificiale e miti dell’emergenza

da "Le 17 equazioni che hanno
cambiato il mondo" di Ian Stewart, 2012

Premessa

Nel post precedente ho cercato di mettere in evidenza gli aspetti principali di una narrazione artificiosa, forzata e spesso del tutto priva di fondamento, al limite della ciarlataneria, che sta da parecchio tempo influenzando, in primo luogo, la categoria degli utonti, coloro i quali approcciano con saccenza e presunzione a qualsiasi argomento, dopo aver letto due righe di qualsiasi cosa e senza capirle; ma che, ahimé, sta condizionando anche la sfera d’influenza degli addetti ai lavori.

Gli LLM sono tecnologie straordinariamente potenti, ma la loro potenza non autorizza automaticamente ad attribuire loro comprensione, coscienza, intenzionalità o altre proprietà emergenti che non siano state dimostrate. Il punto decisivo diventa quindi la differenza fra generare e verificare.

Guarda caso, proprio in questi giorni, la quasi totalità dei roboanti annunci di soluzioni straordinarie di complicatissimi problemi matematici è stata clamorosamente ridimensionata se non del tutto smentita: in una parola, l’AI non ha risolto un tubo! A titolo di esempio, tra i più acclamati, ricordo la sicumera e la pomposità con cui OpenAI aveva annunciato, grazie al proprio software, la soluzione di uno dei cosiddetti “Problemi del Millennio” inerente alla famosa formula di Navier-Stokes.

A seguire, ovviamente, montature e fesserie, spesso a scopo pubblicitario a favore del mondo delle big AI come, parafrasando le industrie petrolifere o del tabacco: una pioggia di commenti, da parte di esperti o sedicenti tali, e non, e tutte tese ad evidenziare che ormai, l’AI fa cose che voi umani…

Nonostante riviste del calibro del "Le Scienze" abbiano seguito l'hype, c'era chi per fortuna e sottovoce, come si addice a ricercatori serio, che metteva in guardia dall’eccitarsi con manifestazioni di giubilo tipo tifoserie allo stadio. La secchiata d’acqua gelata avvisava che gli LLM possono trovare cose ragguardevoli ma che devono sempre essere verificate dall’esterno con imparzialità, che insomma mentono con la stessa indifferenza con cui affermano e generano cose. Le chiamano macchine euristiche, che non significa andare a casaccio, ma esplorare a velocità impensabili anche per il miglior gruppo di menti messe assieme, un mondo fatto di un numero altrettanto inimmaginabile di soluzioni. E una volta trovata LA soluzione non è nemmeno detto che sia corretta!

Come ripetuto più volte nel post precedente tutto dipende dal controllo e, a complicare il tutto, occorre essere certi che «il verificatore stia verificando davvero la cosa che pensate stia verificando».

Così è e così è stato. Un recentissimo lavoro mostrerebbe che il controllo effettuato usando Lean (ne abbiamo scritto nel post precedente) ha confermato la correttezza…ma di tutt’altro. Non una semplice risposta errata, ma un risultato che acquista grande credibilità grazie a una verifica formalmente impeccabile, la quale certifica però qualcosa di diverso da ciò che il pubblico crede. Siamo al limite della truffa se non fosse, per fortuna, che si sta operando in un mondo aperto e controllato (credo…).

Vi ricorda qualcosa vero? Risposta: Epistemia.

Provo a fare un esempio.

Un sistema di IA genera una dimostrazione matematica e la invia a Lean per il controllo. Lean certifica che la dimostrazione è formalmente corretta, ma il teorema verificato non corrisponde esattamente al problema originario: magari riguarda un caso semplificato o parte da ipotesi diverse.

Quindi Lean non ha sbagliato: ha controllato perfettamente ciò che gli è stato sottoposto. L’errore sta nel collegamento tra il verificatore e l’obiettivo reale.

In sintesi: è come usare una bilancia precisissima per controllare il peso di un pacco, quando il dato che serviva verificare era il suo contenuto: la misura è corretta, ma riguarda la cosa sbagliata.

Validità formale locale non significa affidabilità epistemica globale.

La notizia davvero clamorosa è che, oltre al caso Navier-Stokes, molti altri risultati attribuiti alle capacità matematiche aliene degli LLM, stanno cadendo: e tutto ciò dimostra che gli LLM non sono in grado di rendere l’affidabilità una loro caratteristica operativa. Loro operano, quel che producono non è certezza: soprattutto, e qui sta la preoccupazione intrinseca del loro uso incontrollato, nel caso in cui l’ambito in cui operano non sia formalizzabile in senso matematico. Un’analisi storica, una valutazione geopolitica, una ricerca sociologica o, più semplicemente, un compito a casa: le fesserie prodotte senza averle capite saranno deleterie per l’acquisizione delle capacità cognitive minime, che già sono assai scarse.

Generare non significa saper giudicare; verificare non garantisce affidabilità; essere plausibili non equivale ad avere ragione.

Perché OpenAI si è lanciata a testa bassa in ciò che poi è risultato una colossale brutta figura? Basta guardare questo grafico. E che ci metta in guardia da quanto segue.

LLM, intelligenza artificiale e miti dell’emergenza: quando la plausibilità diventa conoscenza
Come abbiamo visto nel post precedente la caratteristica, abbastanza curiosa, dello sviluppo tecnologico in corso è che, mentre gli strumenti di IA sono diventati straordinariamente potenti, contemporaneamente li descriviamo e ne parliamo in modo sempre più sbagliato e approssimativo.

Ogni nuovo risultato viene rapidamente tradotto in una nuova proprietà mentale: se un modello produce un testo convincente, allora comprende; se risolve un problema complesso, allora ragiona; se organizza una sequenza di azioni, allora pianifica; se utilizza strumenti esterni, diventa un agente; se riesce a fare qualcosa che prima non riusciva a fare, ecco comparire la parola magica: emergenza.
Stanno aumentando, in maniera preoccupante, le narrazioni che attribuiscono ai modelli semantici proprietà appartenenti al mondo, biologico o semplicemente filosofico, della coscienza.

Leggete ad esempio questo elenco (preso qui), esempio tipico di quella pop filosofia da fuffaguru che da più parti viene sostenuta. L’attacco finale a quel che sostiene un filosofo esperto della materia del calibro di Luciano Floridi è emblematico.

Il problema non è che queste macchine siano poco interessanti. Tutt’altro! Sono interessantissime, e proprio per questo sarebbe il caso di smettere di raccontarle attraverso metafore che trasformano ogni miglioramento ingegneristico in una rivoluzione ontologica, come nell’elenco in figura.

Un LLM resta un LLM
Richiamiamo e partiamo da una cosa apparentemente banale. Un LLM è un sistema addestrato a modellare le regolarità presenti nei dati e a generare sequenze sulla base del contesto disponibile. Nel caso degli LLM autoregressivi, il sistema produce progressivamente le occorrenze successive (i cosiddetti token, si veda qui per un approfondimento), utilizzando rappresentazioni interne estremamente ricche e una quantità enorme di parametri. Ciò non rende il modello semplice, tutt’altro: la computazione interna è sofisticata, le rappresentazioni possono essere astratte, le dipendenze possono essere molto lunghe e il comportamento può risultare sorprendentemente complesso (per approfondire suggerisco il libro di Anil Ananthaswamy citato nel primo post).

Complessità non significa automaticamente natura diversa.
Il fatto che una distribuzione statistica possa produrre combinazioni nuove non dimostra che quelle combinazioni siano state pensate. Un modello può generare un sonetto mai scritto prima senza che questo costituisca, da solo, una prova di comprensione poetica, intenzionalità o creatività nel senso umano del termine. Come abbiamo visto anche il termine “stocastico” viene spesso utilizzato in modo errato, spesso denigratorio: non significa casuale o privo di struttura. Descrive invece il fatto che il modello opera su distribuzioni di probabilità condizionate dal contesto e apprese attraverso procedure di ottimizzazione statistica.

Il punto è importante perché da qui nasce una delle principali confusioni del dibattito pubblico: si osserva un comportamento sofisticato e si deduce che debba esserci dietro una facoltà mentale equivalente a quella umana. Ma la prestazione e il meccanismo che la produce sono due cose diverse. Voglio ricordare che, quando i PC iniziavano ad essere a disposizione del grande pubblico, i non addetti ai lavori spesso sobbalzavano sorpresi, a volte anche spaventati, di fronte al risultato di un’elaborazione programmata prodotto da un PC.

Oggi, ancora una volta di fronte a simulazioni di umanità torna il grande equivoco dell’emergenza, parola diventata una specie di lasciapassare linguistico.

Ciò non toglie che quando un sistema, soprattutto se con fenomeni nuovi e persino inattesi, aumentando dimensioni, dati o capacità computazionale, manifesta prestazioni nuove o molto migliori, è perfettamente legittimo studiare il fenomeno e chiedersi perché accada. Il problema nasce quando da questo fatto si passa direttamente a un’altra affermazione: è comparsa una nuova proprietà mentale.

Non è la stessa cosa: ma soprattutto il problema non è soltanto capire come funziona, ma sapere se possiamo fidarci, vista la facilità con cui ci si trova di fronte a risultati ingannevoli.

Comprendere i meccanismi interni dei modelli di intelligenza artificiale è una delle sfide più importanti della ricerca contemporanea. Un filone di studi, noto come interpretabilità meccanicistica, cerca di individuare nelle reti neurali le strutture responsabili di determinati comportamenti, concetti o capacità. L'obiettivo è andare oltre l'osservazione delle risposte prodotte e capire quali processi interni le rendano possibili.

Questa ambizione, tuttavia, incontra una difficoltà fondamentale: trovare una struttura apparentemente significativa non dimostra automaticamente che essa corrisponda a un meccanismo realmente utilizzato dal modello.

Se i metodi statistici e i controlli sperimentali non sono sufficientemente rigorosi, anzi, più che rigorosi, si possono ottenere correlazioni apparentemente interessanti ma del tutto errate. Un esempio classico proviene dalle neuroscienze.

Alcuni studi hanno mostrato che strumenti utilizzati per individuare caratteristiche interpretabili possono produrre risultati convincenti anche su modelli con parametri casuali, che non hanno appreso le informazioni che si vorrebbero identificare. In queste condizioni, una valutazione positiva non garantisce che sia stato scoperto qualcosa di significativo.

Ulteriori ricerche hanno evidenziato un secondo limite: i risultati possono dipendere sensibilmente dal procedimento impiegato per ottenerli. Gli sparse autoencoder, per esempio, cercano di scomporre l'attività interna di una rete in caratteristiche più semplici da analizzare. Ma applicando lo stesso metodo allo stesso modello, con una diversa inizializzazione dello strumento, si possono ricavare insiemi di caratteristiche differenti. In uno degli esperimenti descritti, soltanto una parte minoritaria delle caratteristiche individuate trovava una corrispondenza tra esecuzioni indipendenti.

Un esempio

Si immagini di usare uno sparse autoencoder per analizzare un modello linguistico e di individuare una caratteristica che sembra rappresentare il concetto di “mezzo di trasporto”.

Nella prima esecuzione, la caratteristica si attiva con parole come automobile, treno, aereo e bicicletta.

Ripetendo però l’analisi sullo stesso identico modello, vengono cambiati soltanto i valori casuali iniziali dello sparse autoencoder.

Nella seconda esecuzione non compare più quella stessa caratteristica: automobile e treno finiscono in un gruppo, mentre aereo viene associato a volo, cielo e uccello.

Il modello linguistico non è cambiato; è cambiato soltanto lo strumento usato per interpretarlo. Questo suggerisce che la presunta caratteristica “mezzo di trasporto” potrebbe non essere una struttura stabile realmente presente nel modello, ma una delle diverse scomposizioni matematiche che lo sparse autoencoder riesce a costruire.

È un po’ come scomporre la stessa fotografia in gruppi di colori: un programma può distinguere colori chiari e scuri, un altro colori caldi e freddi. Entrambe le classificazioni sono possibili, ma non significa che la fotografia sia stata originariamente costruita secondo una di esse.

Anche l'identificazione di presunte strutture associate al ragionamento richiede cautela. Una caratteristica che si attiva durante una sequenza argomentativa potrebbe infatti reagire a determinate parole, anziché al ragionamento in quanto tale. Per verificare questa possibilità, i ricercatori possono costruire testi privi di autentici passaggi inferenziali, ma contenenti gli elementi linguistici sospettati di attivare quella caratteristica. Se l'attivazione persiste, l'interpretazione iniziale diventa meno convincente.

Questi risultati non dimostrano che l'interpretabilità sia inutile. Indicano, piuttosto, la necessità di distinguere tra una struttura matematicamente individuabile e un meccanismo del modello identificato in modo affidabile. Per sostenere una conclusione robusta occorrono controlli su modelli casuali, verifiche della stabilità dei risultati, prove capaci di escludere spiegazioni alternative e, quando possibile, esperimenti d'intervento che mostrino conseguenze causali coerenti con l'ipotesi formulata.

Il rischio più concreto dell'IA: produrre risultati senza garantirne l'affidabilità

La stessa esigenza di rigore riguarda l'intelligenza artificiale generativa nel suo complesso. Il dibattito pubblico si concentra spesso sulla crescita delle capacità dei modelli, sulla loro presunta intelligenza e sugli scenari estremi in cui potrebbero sfuggire al controllo umano. Un rischio più immediato, invece, riguarda la distanza tra la facilità con cui questi sistemi producono risultati e la difficoltà di stabilire se siano corretti.

I modelli generativi possono elaborare testi, programmi, analisi, spiegazioni e soluzioni matematiche in tempi molto brevi. Questa produttività offre opportunità importanti, ma non coincide necessariamente con la capacità di verificare ciò che viene prodotto. Una risposta ben scritta, coerente e tecnicamente sofisticata può contenere errori difficili da riconoscere, soprattutto quando chi la esamina non possiede competenze sufficienti per valutarla.

Il problema emerge con particolare chiarezza nei settori in cui la correttezza è essenziale. Un programma generato automaticamente può richiedere una revisione approfondita; una valutazione medica deve essere confrontata con le evidenze cliniche; un parere giuridico necessita di controlli sulle fonti e sull'interpretazione delle norme. Analogamente, una dimostrazione matematica deve essere verificata rispetto a ciò che intende dimostrare.

Abbiamo già visto come gli esempi più significativi vengono dalla formalizzazione delle dimostrazioni matematiche mediante strumenti di verifica automatica. Un sistema può controllare rigorosamente che una dimostrazione formalizzata rispetti le regole previste, ma questo non garantisce che la formalizzazione rappresenti fedelmente il problema iniziale. Il controllo può essere impeccabile e, nello stesso tempo, riguardare un enunciato diverso da quello che si voleva dimostrare. E, come abbiamo visto di recente, moltissimi lavori realizzati con IA in ambito matematico sono stati ritirati dopo una verifica accurata.

Quando l'automazione non riduce il lavoro di verifica

I sistemi generativi possono essere considerati strumenti euristici molto potenti: esplorano rapidamente un ampio insieme di possibilità e propongono ipotesi, soluzioni e strategie che una persona impiegherebbe molto più tempo a elaborare.

Il vantaggio, però, dipende dalla possibilità di selezionare le proposte valide. Se ogni risultato richiede un controllo completo da parte di uno specialista, una parte consistente del beneficio dell'automazione rischia di andare perduta. La produzione diventa più veloce, ma il lavoro necessario a distinguere le risposte affidabili da quelle errate rimane considerevole.

La difficoltà potrebbe persino aumentare con il miglioramento dei modelli. Gli errori grossolani sono relativamente facili da riconoscere; quelli inseriti in testi eleganti, argomentazioni plausibili e risultati corredati da apparenti garanzie tecniche sono molto più insidiosi. La qualità della presentazione può indurre a sovrastimare la solidità dei contenuti.

Esiste inoltre il rischio di indebolire progressivamente le competenze necessarie a valutare questi sistemi. Se le persone delegano sempre più attività cognitive all'intelligenza artificiale, potrebbero ridurre proprio l'esercizio delle capacità specialistiche indispensabili per controllarne i risultati. Si creerebbe così una dipendenza da strumenti la cui affidabilità non può essere data per scontata.

La vera rivoluzione: esplorare spazi enormi
Il ridimensionamento della narrazione tendente al mitologico non significa affatto negare la che ci sia una vera e propria rivoluzione tecnologica in atto: significa individuarla meglio.

Una delle capacità più interessanti degli attuali sistemi generativi è la possibilità di esplorare rapidamente spazi enormi di possibilità.

Un LLM può generare programmi, ipotesi, strategie, dimostrazioni candidate, configurazioni matematiche e molte altre soluzioni in quantità e velocità che un essere umano difficilmente potrebbe eguagliare. Quando a questa capacità vengono aggiunti memoria, ricerca, strumenti esterni, esecuzione del codice, sistemi di valutazione e verificatori, il risultato può diventare straordinariamente potente.

Soltanto così potrà essere utilizzato al meglio il valore LLM: un sistema capace di cercare in luoghi nei quali un essere umano non avrebbe materialmente il tempo di cercare.

Conclusione: sviluppare anche la capacità di giudicare

I problemi dell'interpretabilità delle reti neurali e dell'affidabilità dei contenuti generati dall'intelligenza artificiale appartengono a un'unica questione metodologica: non bisogna confondere ciò che appare convincente con ciò che è stato dimostrato.

Individuare una correlazione non significa aver scoperto una causa; estrarre una caratteristica da una rete non equivale ad aver identificato un concetto realmente utilizzato dal modello; ottenere una risposta formalmente corretta non garantisce che essa risponda alla domanda originaria.

La ricerca deve quindi accompagnare le nuove capacità generative con procedure di verifica altrettanto solide, controlli indipendenti e competenze umane adeguate. L'obiettivo non è negare l'utilità dell'intelligenza artificiale, ma definire con maggiore precisione quando e a quali condizioni i suoi risultati possono essere considerati affidabili.

La sfida decisiva non consiste soltanto nel produrre risposte sempre più rapidamente. Consiste nel disporre dei metodi, delle conoscenze e degli strumenti necessari per distinguere quelle fondate da quelle soltanto plausibili.