Due riassunti sull'Intelligenza Artificiale - Prima parte

L’Intelligenza Artificiale non è magia: il problema è ciò che non sappiamo verificare

Il famoso "falso d'autore" di Ciro Ascione - link

Premessa

Dopo aver iniziato a curiosare nel mondo della cosiddetta “Intelligenza Artificiale”, soprattutto perché, volenti o nolenti, ce la ritroviamo praticamente ovunque, a volte per scelta ma più spesso per forza, ho letto innanzi tutto due libri, diversi per contenuti e per approccio, ma entrambi molto utili.

I due testi sono recensiti nella rubrica “La Scienza e la Tecnica raccontate”, disponibile sul sito della Sigea, rubrica riassunta anche nel blog: si tratta di “Perché le macchine imparano” di Anil Ananthaswamy e “In che mondo vivi” di Matteo Cinelli e Walter Quattrociocchi.

Ed è proprio seguendo gli sviluppi sulle pagine Facebook di quest’ultimo che ho iniziato, da semplice cultore, ad appassionarmi alla cosa, anche perché, una delle tematiche a me più care è tutto ciò che riguarda l’evoluzione biologica della mente, della coscienza e altre amenità. In tal modo, post dopo post, ho iniziato ad assorbire una serie di concetti fondamentali, a togliermi di dosso le tentazioni sensazionalistiche (lo chiamano hype) e persino ad approcciare con un paio di post qualche mese fa. Uno sulla cosiddetta epistemia, neologismo ideato proprio da Walter Quattrociocchi, e un altro più generico sui supposti timori di sostituzione dell’umanità, che tanto piacciono alla ricerca continua di narrazioni catastrofistiche dell’umanità. Consiglio la rilettura del primo perché contiene alcune spiegazioni divulgative di aspetti tecnici.

Da allora hai voglia a novità, intese soprattutto come nuove pubblicazioni scientifiche, nuove prese di posizione sia da parte dei ricercatori seri che dei cosiddetti pop-filosofi, o dei ciarlatani in genere che, armati appunto di IA (o AI che dir si voglia), sentenziano fino al paradosso, fino a produrre, ad esempio «un falso fabbricato per metterci in guardia contro l'intelligenza artificiale [che] ha utilizzato l'intelligenza artificiale per produrre un testo che invita a diffidare dell'intelligenza artificiale». Tombola! Per non dire degli artefici, degli ideatori di software di e per l’IA, che in diverse occasioni piuttosto recenti hanno messo in guardia da pericoli, anche molto gravi, che comporterebbe l’utilizzo delle loro stesse creature: realtà o narrazione tendenziosa?

Ecco quindi una serie di due post. Che per alcuni aspetti si richiamano l’un l’altro ma allo stesso tempo offrono diversi punti di vista.

Verificare o non verificare, that is the question…
Negli ultimi anni abbiamo assistito a una curiosa trasformazione del linguaggio sull’intelligenza artificiale. Secondo parecchie persone, tra cui molte notoriamente ed a ragione "intelligenti", i modelli linguistici hanno iniziato a comprendere, poi a ragionare, pianificare, verificare, usare strumenti e infine a diventare agenti. Affermazioni non solo da parte di pensatori d'ogni genere, soprattutto filosofico, ma persino da neuroscienziati o addetti ai lavori. Ogni nuova funzione è stata raccontata come la prova dell’emergere di una mente artificiale.

Ma osservare una macchina produrre una prestazione non significa aver dimostrato che possieda la facoltà mentale che associamo a quella prestazione.

Un sistema può generare una risposta brillante senza comprenderla, trovare una soluzione senza sapere perché funzioni, utilizzare una fonte senza conoscere davvero l’informazione che contiene. Può perfino produrre qualcosa di nuovo senza averlo pensato nel senso umano del termine.

C’è un’espressione specifica per la nostra abitudine di attribuire emozioni umane al non-umano: la fallacia patetica, che è spesso usata per riflettere la vita interiore dei personaggi attraverso il mondo esteriore: e così come le nubi possono essere minacciose o piangere, i sistemi AI...pensano e varie altre cose legate alla mente, alla coscienza.

Il punto non è ridimensionare l’IA. È descriverla correttamente.

Un LLM è ancora un modello probabilistico

La formula pappagallo stocastico viene spesso respinta come una descrizione superata dei vecchi modelli. I sistemi attuali, si dice, ragionano, pianificano e verificano: quindi non sarebbero più semplici modelli probabilistici.

La conclusione non segue dalle premesse.

Il cuore di un LLM rimane un modello addestrato a prevedere sequenze sulla base delle regolarità statistiche apprese dai dati. E ancora, si fa una gran confusione – essenzialmente dovuta all’ignoranza in campo matematico e/o statistico - sul vero significato di stocastico: non significa casuale, disordinato o incapace di produrre strutture. Significa che, dato un contesto, il sistema assegna probabilità alle possibili concatenazioni che messe tutte insieme generano una definizione, una frase, un prodotto insomma, di senso compiuto, plausibile.

Questa procedura può produrre testi originali, programmi sofisticati, dimostrazioni candidate e soluzioni che nessuno ha mai formulato esattamente in quel modo. Persino soluzioni inedite di problemi matematici! Mai viste prima perché anche tutti insieme i migliori matematici del mondo non hanno né i mezzi né il tempo per esplorare i triliardi di combinazione possibili nello spazio delle possibilità.

Ma la novità della combinazione non dimostra che il modello abbia avuto un’intenzione o una comprensione del problema. Una distribuzione statistica può generare combinazioni nuove. Non deve averle pensate in precedenza.

I sistemi contemporanei sono certamente molto più potenti rispetto a quelli di qualche anno fa. Il punto, però, è capire da dove derivi questa potenza. Spesso non deriva da una trasformazione in sé del modello, ma dall’infrastruttura che gli viene costruita intorno:

• sistemi di ricerca e recupero delle informazioni
• memoria esterna
• esecuzione di codice
• calcolatrici e database
• agenti che organizzano sequenze di operazioni
• verificatori automatici
• altri modelli incaricati di valutare le risposte

Questi componenti possono rendere il sistema complessivo molto più utile. Non dimostrano però che tutte le proprietà del sistema siano emerse nel modello linguistico.

Se un LLM usa Python (un linguaggio di programmazione) per fare un calcolo, non diciamo che l’interprete Python sia comparso dentro la rete neurale. Se consulta un database, non diciamo che il database sia stato incorporato nei suoi parametri. Se una dimostrazione viene accettata da Lean (un software specifico che agisce da verificatore esterno), la correttezza formale è da questo garantita, non dalla fluidità con cui il modello ha prodotto la dimostrazione.

La distinzione è semplice, ma decisiva: bisogna separare ciò che fa il modello da ciò che fa l’architettura complessiva. Se un modello prende l'iniziativa e in qualche modo viola i parametri di sicurezza su cui era stato addestrato potete star certi che è solo perché era stato, da qualche parte e in qualche modo, addestrato a farlo.

Insomma un motore a scoppio resta un motore a scoppio anche quando ha un regolatore d’erogazione, iniezione elettronica, ABS e un sistema che controlla la guida.

Generare non significa verificare
Si è detto che un LLM (Large Language Model) produce la continuità della risposta compatibile con il contesto e con le regolarità apprese. La verità, ovvero che il risultato sia vero, però, è una proprietà diversa.

Una frase può essere molto plausibile e falsa, anche senza scomodare Kurt Gödel. Può essere coerente con il testo precedente ma incompatibile con il mondo. Può essere corretta per caso, oppure risultare sbagliata nonostante una forma impeccabile.

La probabilità che il modello assegna a una sequenza riguarda la sua compatibilità con ciò che il sistema ha appreso. Non rappresenta automaticamente la probabilità che l’affermazione sia vera.

Per questo la generazione e la verifica devono essere trattate come operazioni differenti.

Quando esiste un criterio esterno forte, il problema può essere affrontato in modo relativamente efficace: un programma può essere eseguito e sottoposto a test, una dimostrazione può essere controllata da un proof assistant, un risultato sperimentale può essere confrontato con una misura, un algoritmo può essere valutato rispetto a una funzione obiettivo. In questi casi il modello può esplorare rapidamente molte possibilità, mentre un sistema indipendente controlla quali soddisfino davvero i requisiti.

La matematica formalizzata è un esempio istruttivo. Un modello può proporre una strategia, generare voci, scrivere codice e correggersi dopo aver ricevuto un errore: ma la validità della dimostrazione arriva dal sistema formale che controlla ogni passaggio secondo regole esplicite. Il risultato nasce quindi dalla collaborazione fra una componente generativa e una componente di verifica. Non è una differenza terminologica ma la differenza tra produrre una soluzione candidata e stabilire che quella soluzione abbia una determinata proprietà.

Il problema diventa molto più difficile quando il verificatore non esiste, è troppo costoso oppure richiede proprio la competenza che abbiamo deciso di delegare alla macchina. Chiedere al modello se si è certi del risultato non risolve il problema perché si starebbe di nuovo interrogando un generatore che può produrre una seconda risposta plausibile, magari diversa dalla prima, senza aver acquisito per questo un criterio indipendente di verità. Anche usare un altro LLM non è automaticamente un verificatore affidabile. Due modelli possono condividere dati, addestramento, assunzioni e distorsioni, commettendo quindi gli stessi errori. Un giudice artificiale può lasciarsi influenzare dall’ordine delle risposte, dallo stile della formulazione o da richiami retorici all’autorità, anche quando il contenuto è sbagliato.

Se un sistema è definito come verificatore significa avergli assegnato una funzione: la sua affidabilità deve essere misurabile e misurata, mettendolo alla prova su casi di cui conosciamo l’esito, studiare i suoi errori, sottoporlo a esempi con i dati in ingresso volutamente sbagliati per spingere i sistemi a compiere errori di classificazione (lo chiamano Adversarial machine learning) e verificare se la sicurezza che esprime sia effettivamente calibrata. In altre parole, se un sistema di verifica afferma di aver ragione nel 70% dei casi, quelle circa 7 volte su 10 devono essere riscontrate.

Senza questo lavoro, il verificatore rischia di essere soltanto un’altra voce autorevole generata dalla stessa macchina.

È di questi giorni la notizia che OpenAI, una della aziende protagoniste, ha pubblicato 22 manoscritti matematici generati da un modello interno, relativi a 372 famiglie di risultati e ottenuti valutando circa 4.000 problemi aperti. I lavori riguardano matematica pura, informatica teorica e fisica matematica. Molti includono dimostrazioni verificabili automaticamente (con opportuni strumenti), mentre altri sono ancora in fasi preliminari e potrebbero contenere errori.

Il punto centrale è, ancora una volta, la distinzione tra generazione e verifica: un modello può produrre dimostrazioni nuove e plausibili, ma solo un controllo indipendente le rende affidabili. Nei campi in cui esistono verificatori automatici, economici e rigorosi, come nella matematica formalizzata, la combinazione tra modelli generativi e sistemi di verifica può diventare uno strumento di ricerca molto potente. Negli ambiti in cui il controllo richiede esperimenti, competenze umane o conoscenza del mondo, invece, il costo e la difficoltà della verifica restano elevati.

In sintesi: più diventa facile produrre contenuti plausibili, più diventa decisiva la capacità di verificarli. In tutti i settori, e sono la maggioranza, in cui non si sono sviluppati solidi criteri di controllo, gli LLM rischiano soprattutto di rendere più efficiente la produzione di contenuti infondati, di valore pari alla famosa montagna generata dalle scimmie dattilografe.

L’illusione delle capacità emergenti
La parola emergenza viene spesso usata per descrivere qualunque comportamento che non sappiamo spiegare bene. Ma non comprendere il meccanismo di tali comportamenti non significa che il sistema sta pensando, né tanto meno che ha acquisito coscienza.

Le coreografie di uno stormo di uccelli in volo, la vita, la coscienza sono proprietà emergenti. L’emergenza, in senso scientifico, dovrebbe indicare una proprietà osservabile che compare a un certo livello di organizzazione e che può essere studiata attraverso misure, condizioni e criteri di falsificazione, studiata insomma, con solito criterio: il metodo scientifico. Non è un lasciapassare per attribuire intenzioni, comprensione o desideri a un sistema soltanto perché produce un risultato sorprendente. Se scomponiamo il processo che non comprendiamo nel suo insieme e che desta meraviglia nel suo risultato ciò che definiamo apparentemente spettacolare diventa chiaro.

Un sistema che produca un risultato, che risolva un problema, in modo tale che assomigli ad agente competente, può averlo fatto perché: 

• genera molte soluzioni candidate
• cerca informazioni esterne
• scrive ed esegue codice
• conserva i risultati intermedi
• scarta i tentativi che falliscono
• ripete il ciclo
• sottopone l’output finale a un controllo formale 

La capacità osservata appartiene al ciclo complessivo e non è corretto attribuire automaticamente ogni sua proprietà al modello linguistico che ne costituisce una parte. Questo vale anche per i risultati matematici e scientifici più interessanti: un sistema può esplorare uno spazio di possibilità molto più vasto di quanto riuscirebbe a fare un essere umano, trovando controesempi, configurazioni, strategie e dimostrazioni candidate. Se il dominio offre un buon criterio di verifica, alcune di queste proposte possono trasformarsi in risultati autentici.

È una capacità straordinaria, ma non ha nulla a che fare né equivale necessariamente a una comprensione umana del problema.

La ricerca scientifica comprende almeno due attività diverse: esplorare uno spazio di possibilità e costruire una rappresentazione generale del fenomeno. Le macchine stanno diventando molto brave nella prima ma è ancora molto più difficile stabilire quanto siano capaci della seconda.

Un sistema può descrivere perfettamente molti casi particolari senza riuscire a individuare la legge generale che li spiega, così come può risolvere problemi già formulati senza riconoscere che la formulazione iniziale non rappresenta più adeguatamente la situazione.

Risolvere un problema dato da parte di un LLM è una cosa, riconoscere che quel problema non descrive più adeguatamente la realtà è tutt’altro. Questa capacità di rivedere la rappresentazione del problema, quando cambiano le evidenze o il contesto, è diversa dal semplice problem solving: è la capacità di capire che il problema iniziale non è più quello giusto.

Il costo della generazione crolla
La vera trasformazione prodotta dagli LLM non è necessariamente la comparsa di una mente, nemmeno fosse aliena, ma è la possibilità di generare a basso costo quantità enormi di contenuti, ipotesi, programmi, strategie e spiegazioni: un vantaggio enorme quando possiamo controllare ciò che viene prodotto.

Se un sistema genera cento programmi e possiamo testarli, l’esplorazione automatica è preziosa; se propone dimostrazioni che un proof assistant può verificare, possiamo sfruttare la sua capacità di ricerca senza affidarsi alla sola plausibilità; se formula ipotesi che possono essere sottoposte a esperimenti, la macchina può accelerare il lavoro scientifico.

Ma non tutti gli ambiti possiedono un verificatore esterno che, giudice imparziale, assegna valore di verità, un equivalente del linguaggio Lean per capirci.

È relativamente semplice controllare se un programma informatico supera una serie di test. Ma stabilire se una spiegazione storica sia corretta, se una relazione causale sia fondata, se una fonte sia attendibile o se un’interpretazione sociale descriva davvero il fenomeno, è tutt’altra cosa.

Qui emerge la questione centrale: il costo della generazione sta precipitando, mentre quello della verifica non segue la stessa curva, e tanto maggiore è la velocità con cui si producono i contenuti, tanto meno si è in grado di valutarli. La generazione di test, analisi, argomentazioni, critiche, teorie più o meno corrette o del tutto assurde, fino a triliardi di opinioni è stata accelerata molto più di quanto riusciamo a controllare.

Se una volta di parlava di infodemia la parola d’ordine adesso è epistemia: a scarseggiare non sarà necessariamente l’informazione, ma le competenze necessarie a capire quale informazione meriti fiducia e forse sarà proprio la fiducia che attribuiremo al risultato la discriminante del tutto irrazionale e fuorché che obiettiva. Fino a non molto tempo fa una ricerca Google ci dava un elenco di siti con le possibili risposte elencate con un ordine tutto sommato ragionevole; adesso abbiamo un interfaccia IA con la risposta pronta preconfezionata, nemmeno la fatica di andare a leggere le fonti che, per fortuna, continuano ad essere riportate. E il più delle volte si prende per buono ciò che si legge.

All’aumentare della necessità di verificare, paradossalmente potremmo delegare alle macchine proprio quei processi attraverso i quali le competenze si costruiscono: studiare, fare esercizio, commettere errori, risolvere problemi e imparare a giudicare.

Se siamo dotati di questa sorta di protesi che coadiuva i nostri processi cognitivi, non è affatto scontato che automaticamente si diventi più competenti usandola. Anzi, il più delle volte consente di produrre la forma esteriore della competenza senza possederne la sostanza: peggio che l’antico citare a memoria senza aver capito la citazione che, almeno, aveva avuto lo sforzo di impararla. Magari sfogliando le pagine d’un libro e soffermandosi su altre pillole di informazione che, sempre magari, si sarebbero potute annidare nella nostra memoria.

Avere una risposta non significa averla capita, avere un’argomentazione non significa averla costruita, avere una citazione non significa averla verificata.

Questo vale anche per l’università e per la ricerca: un testo può avere la struttura di un articolo scientifico, utilizzare la terminologia corretta e presentare conclusioni plausibili senza che chi lo firma sappia davvero spiegare le scelte metodologiche, i passaggi logici o i limiti del risultato.

In questi casi la domanda più utile non è soltanto se il testo sia stato scritto da un modello, ma chiedere all’autore di spiegare ciò che ha scritto.

La conoscenza, in fondo, non consiste soltanto nel produrre una traccia convincente, ma anche nel poter rispondere delle ragioni, delle fonti e delle conseguenze di quella traccia.

Ritorno alla realtà
Il clamore intorno all’IA alimenta due narrazioni opposte e ugualmente semplicistiche, quindi errate.

Da una parte c’è il culto della macchina che ci rende tutti geni: basta collegare un modello a qualche strumento e ogni limite umano sarebbe ormai superato. Dall’altra c’è il marketing dell’apocalisse: una mente artificiale sempre più intelligente svilupperebbe obiettivi propri, si migliorerebbe da sola e deciderebbe di sterminarci (quanto ci piace la narrazione catastrofista…).

Entrambe le storie trasformano prestazioni osservabili in facoltà mentali non dimostrate.

Un modello che genera una strategia non ha necessariamente un’intenzione. Un agente che esegue una sequenza di operazioni non possiede per questo desideri. Un sistema che migliora grazie a un ciclo di feedback non sta necessariamente volendo migliorarsi. Un risultato corretto non dimostra da solo comprensione.

Che sia un'attribuzione apocrifa o no, Niels Bohr ebbe a dire: «E’ difficile fare delle previsioni, soprattutto sul futuro». Neppure l’uso di percentuali rende scientifica una previsione: attribuire il 10%, il 15% o il 4% alla probabilità di un’estinzione futura può esprimere una convinzione personale, ma non equivale a una stima calibrata se non esistono dati, modelli e classi di riferimento adeguate. Queste percentuali non sono a caso, ma riferite a quanto hanno recentemente affermato guru delle principali aziende di IA a proposito della probabilità che questa possa rappresentare una seria minaccia per l'umanità. Rieccolo, il catastrofismo...

Il punto non è negare i rischi dell’IA, non così letali ma comunque esistenti, ma discuterli senza ricorrere a metafore che sostituiscano l’analisi.

Non serve immaginare una macchina cosciente e ostile per produrre problemi seri. È sufficiente costruire una società capace di generare molto più di quanto sappia verificare.

Per restare con i piedi per terra dobbiamo porci alcune domande concrete:

• quale componente del sistema ha prodotto questo risultato?
• quale informazione è stata recuperata dall’esterno?
• quale parte è stata verificata e da quale strumento?
• quanto è indipendente il verificatore dal generatore?
• su quali casi è stato validato?
• quali errori commette?
• quanto è calibrata la sua sicurezza?
• che cosa accade quando cambiano il contesto, le fonti o la formulazione del problema?

Queste domande sono meno spettacolari di «l’IA pensa?» o «l’IA ci distruggerà?» ma decisamente molto più utili.

L’intelligenza artificiale non ha bisogno di essere una mente aliena per trasformare profondamente la società: è già una tecnologia potentissima per esplorare possibilità, automatizzare processi e produrre coerenza. Ma la coerenza non è verità, la plausibilità non è conoscenza, la prestazione non dimostra da sola il processo che l’ha prodotta.

La sfida decisiva non sarà soltanto generare risposte sempre migliori. Sarà conservare, costruire e distribuire le competenze necessarie per capire quando quelle risposte meritano fiducia.

Perché a impacchettare il vuoto le macchine saranno sempre più efficienti. La parte difficile resterà metterci qualcosa di sensato dentro.

Quis custodiet ipsos custodes? Chi sorveglierà i sorveglianti stessi?
Il poeta latino Giovenale, 2000 anni fa, lo scriveva originariamente in un contesto ironico riguardo alla fedeltà coniugale e alla custodia delle donne da parte di eunuchi e guardie. In un contesto IA traete voi le conclusioni.