La mente del ricercatore «contagiato»,
pur accettando a priori le regole fondamentali del metodo scientifico
sperimentale, inconsapevolmente se ne allontana e comincia a interpretare i
dati in base ai propri desideri. Il bello è che, a prima vista, l'indagine
condotta ha una parvenza di ordinaria credibilità - cosa che di solito fa presa
non solo sul grande pubblico complottaro,
ma anche su vari addetti ai lavori che cadono vittime dell’esaltazione per, ciò
che ritengono essere, una grande scoperta. Ma un’indagine obiettiva mostra
subito che il fenomeno accade solo in una regione piuttosto limitata dello
spaziotempo, cioè sotto gli occhi di chi brama vederlo. Nonostante ci siano
prove più che sufficienti a dimostrare l'inconsistenza del tutto i ricercatori
colpiti dal male si ostineranno a difendere le proprie teorie iperboliche,
controbattendo alle critiche con congetture buttate lì seduta stante. Dopo un
po’, nella scienza sana prevale lo scoramento e si riprende il largo
abbandonando la fantasiosa scoperta al proprio destino. Ci penserà il tempo a
sommergerla nell'oblio o farle toccare terra in altre epoche, regalando
eventualmente alle teorie alla deriva una seconda opportunità. Personalmente,
ne ho conosciuto uno…
Insomma sembra un po’ il contrappasso del debunking che, stando ad
analisi recenti e affidabili, pare non serva a nulla. Il tentativo di smontare
le bufale nella speranza che si arresti la diffusione di informazioni false
online non funziona insomma. Ci sono evidenze scientifiche che hanno dimostrato
chiaramente che questa pratica è utile soltanto per chi già è predisposto a
cercare la versione smentita. Si predica ai convertiti.
Ma non attecchisce laddove dovrebbe
farlo, e a peggiorare le cose causa un effetto di maggiore polarizzazione
dovuto al fatto che chi si vede arrivare delle informazioni a smentita della
sua tesi si arrocca sempre più su posizioni difensive reagendo con veemenza.
C’è poi anche ciò che amo definire scienza
sovietica. Quanto accadeva nell'URSS decenni fa o dando ascolto a
scienziati di comprovata fede politica, tipo Lysenko (si veda qui per la vicenda e la tragica fine di
Vavilov), che prese una cantonata genetica clamorosa; o, al contrario, non
ascoltando scienziati e teorie valide perché non in linea con la linea
del partito. Un po’ come la cosiddetta identity politics condiziona
il pensiero politico qui potremmo parlare di identity science se
non fosse che parlarne in tal senso sia un evidente paradosso.
Ciò nonostante, ci sono ancora dozzine di casi di false scoperte e pseudoscienza che continuano a riaffiorare.
Il blog Retraction Watch contiene un database di oltre 40.000
articoli scientifici caduti in disgrazia e ritirati e ritrattati per i più
svariati motivi.
C'è inoltre una vergognosa top ten dei 10 articoli ritrattati, sbagliati, più citati. Articoli che dopo
essere stati ritrattati e ritirati hanno ricevuto ancora più like, persino
dalla comunità scientifica internazionale.
Ancora in lista all’ottavo posto, c'è il famigerato articolo di Andrew Wakefield che suggeriva un legame tra vaccino
trivalente e autismo. Quel lavoro venne pubblicato nel 1998 e fu ritirato nel
2010. Le sue conclusioni sono state più volte smentite, la condotta di
Wakefield giudicata scorretta e l'intera storia è stata raccontata allo
sfinimento. Ciò nonostante, l'articolo continua a galleggiare sull'oblio, anche
grazie ad alcuni scienziati forse superficiali, fosse distratti, forse chissà.
Ma se loro per primi non si chinano a seppellire i cadaveri, né li riconoscono,
non si capisce bene chi dovrebbe farlo.
Di clamorose cantonate prese da fior di scienziati ne è piena la storia,
tra le più famose quella della «memoria dell’acqua»
(si veda il paragrafo dedicato all’omeopatia in questo mio post) e quella della «fusione fredda»
(qui).
Publish or perish
Ma non tutti gli abbagli sono spiegabili in termini di scienza
patologica. Fatte salve le ipotesi di frode, si verificano talvolta errori
significativi da parte degli scienziati, spesso attribuibili alla pressione di
tempi ristretti in un contesto che normalmente richiederebbe pazienza,
chiarezza mentale e una riflessione approfondita. Contrariamente a tutto questo, ci si trova
immersi in un ambiente frenetico a causa della competitività sfrenata ed
esasperata dell'ambiente accademico, con implicazioni anche internazionali, con
la penuria di fondi puntata alla tempia e le incerte prospettive di carriera
strette al collo. Per non parlare degli interessi industriali legati a molti
programmi di ricerca che hanno resto il mondo accademico molto più restio alla
condivisione di quanto fosse un tempo. Gli avanzamenti sono inoltre legati al
numero di pubblicazioni scientifiche e al loro impatto, misurato in termini di
numero di citazioni, ovvero quanto i colleghi
hanno preso i tuoi lavori come riferimento, e col famigerato
impact factor, un altro numerino aggiornato di
anno in anno che quantifica il prestigio di ogni rivista. È chiaro che, se il motivo
conduttore diventa
publish or perish,
«
pubblica o muori», le
debolezze umane
possono saltar fuori, zone d'ombra incluse. Nella migliore delle ipotesi il
ricercatore in ansia da prestazione (o da precariato) può essere spinto a
pubblicare troppo e troppo presto i propri lavori,
trascurando di svolgere i dovuti controlli. Così, succede di sorvolare su quel che
appare un’inezia, un miserabile dato che non torna, senza coglierne tutto
l'aspetto inquisitorio e approfondire. Altrove, in particolare in ambito medico
biologico, la cantonata può arrivare da una inadeguata analisi statistica dei
dati, che conduce a conclusioni gravemente errate.
Durante la pandemia da Covid-19 ad esempio, la tendenza a pubblicare
rapidamente i risultati delle ricerche sul tema è aumentata parecchio e non
sono mancate le ritrattazioni eccellenti,
con annesse polemiche, critiche anche feroci da parte di improvvisati tuttologi
e cali generalizzati della fiducia da parte dell’opinione pubblica, già soggetta ad un bombardamento
continuo di fake news costruite a tavolino.
La ritrattazione avviene quando un articolo viene rimosso dall'archivio
della rivista su cui è stato pubblicato, e sostituito con una nota editoriale
in cui si spiegano le ragioni del dietro-front.
In genere si tratta di ricerche viziate da gravi errori plagio e frodi
accertate o sospette. Il ritiro dell'articolo può essere richiesto dall'autore
stesso o da altri ricercatori perché non riescono a riprodurre i risultati del
lavoro incriminato seguendone i protocolli. Occorre innanzitutto evitare che un
articolo sbagliato funga da base per ulteriori studi, inquinando la letteratura
di riferimento; questi dolorosi mea culpa sottolineano la natura auto correttiva e la
vocazione alla trasparenza della scienza, i cui risultati ricadono idealmente
sulle vite di tutti e ne diventano patrimonio ed eredità.
Peer review
La scienza è, soprattutto oggi, una grande impresa collettiva, e da ciò
derivano la sua forza e la capacità di isolare gli errori: lo strumento
collettivo utilizzato, in cui ogni ricercatore diventa giudice dei colleghi e
da essi viene giudicato si chiama peer review,
revisione tra pari. È Il sistema di controllo adottato dalla maggior parte
delle riviste scientifiche ed elimina la spazzatura macroscopica. La pratica
della peer review venne introdotta nel 1665 col
numero inaugurale della rivista «Phylosophical
Transactions» della «Royal Society for
Improving Natural Knowledge», la prima istituzione scientifica della
storia degna di questo nome, citata brevemente come Royal Society.
Una procedura ben consolidata quindi, ma è davvero efficace?
Ovviamente ci sono storie davvero tristi. Un biologo e giornalista
scientifico nel 2013 inventò di sana pianta
un articolo sulle proprietà antitumorali di una sostanza estratta dai licheni.
Infarcì l’articolo di errori così grossolani che anche uno studente delle
superiori se ne sarebbe accorto, spedì l’articolo a 304 riviste open-access (ad
accesso gratuito, ci sono poi quelle in abbonamento), inventandosi uno
pseudonimo davvero improbabile e il nome dell’istituto di ricerca,
localizzandolo, a caso, in Eritrea.
Ben 157 riviste pubblicarono quella spazzatura. I valutatori o avevano
lavorato coi piedi, meglio dire non lavorato, o proprio non esistevano. Più
della metà delle decisioni finali non avevano rapporti di approvazione.
In un altro caso la allora direttrice del British Medical Journal nel
1998 inviò a duecento revisori (referee) un articolo contenente,
apposta, ben otto errori di vario tipo. In media gli esperti ne trovarono due,
nessuno li scovò tutti, e per qualcuno l’articolo era perfetto.
Tornando alla domanda a monte va detto che l'obiettivo di fondo della
procedura di peer review non è garantire la correttezza dei dati riportati
facendo così emergere truffe e manipolazioni ma, piuttosto, assicurare la correttezza formale e metodologica del lavoro. Se un revisore
ha dubbi sui risultati, può richiedere altri esperimenti. Tuttavia, spesso non
è facile valutare la validità delle misure, quindi di solito i risultati
vengono accettati.
La procedura pur avendo numerosi limiti tecnici riesce comunque
abbastanza bene nel controllo della forma e del metodo del lavoro e nel caso
sbagli, il punto di forza della peer review e ancora una volta la capacità di autocorreggersi. Può accadere che un
articolo di buona qualità, rifiutato da una rivista prestigiosa, venga poi
accettato altrove e venga ampiamente citato, riconoscendone l'effettivo valore.
Inoltre, la peer review è solo il punto di partenza
di un percorso in cui il tempo giocherà un ruolo fondamentale. Se in un
certo lavoro c'è davvero del buono, altri verranno a replicarne i risultati, a
costruire sulle conclusioni della scoperta, ritagliandole il posto che merita.
Nota:
quanto guadagnano i revisori dalla loro attività? Zero.
Operano a titolo gratuito; e ancora, riviste prestigiose in abbonamento, non
sono per questo più autorevoli di quelle gratuite.
Concludo citando un
caso recente, nato sull’onda del progresso e della
potenza elaborativa, inarrestabile ed a crescita esponenziale, dei cosiddetti Large
Language Models (LLM), strumenti di AI.
La possibilità offerta da questi di realizzare in modalità pressoché
automatica lavori da sottoporre a pubblicazione e peer review è stata, già da
qualche anno, oggetto di una levata di scudi da parte della comunità
scientifica; ciò nonostante, non sono mancati episodi più o meno eclatanti di
ricercatori rivelatisi alla fine non meno peggio di tanti ciarlatani. Ma qui le
cose si invertono.
Ci sono ormai evidenze che l’AI sia utilizzata dai revisori, per
automatizzare il loro lavoro, generando spesso risultati completamente errati.
Ricordo che un LLM segue sempre la stessa metodologia, sia che fornisca
risposte corrette che sbagliate (sulla pagina Facebook di
Walter Quattrociocchi ci sono numerose informazioni utili).
Ed ecco che non è l'autore della pubblicazione da sottoporre a review
che sta barando, ma chi dovrebbe leggerlo, allora il primo non fa che
difendersi: questa scelta è stata difesa, con razionalità, sostenendo che i prompt
nascosti rappresentano una contromisura contro i revisori
pigri che usano l’AI. Secondo il professore, in assenza di regole
univoche sull’integrazione dell’AI nel processo di peer review, e sapendo che molte
riviste vietano esplicitamente l’uso dell’intelligenza artificiale per valutare
i lavori, l’aver inserito dei prompt leggibili solo dalle AI rappresenta
un modo per poter controllare questa pratica e smascherarla dove presente.
Ad ogni modo, e lo affermo in maniera asettica, appare probabile che in
un futuro non proprio lontano, il ruolo dell’AI nella revisione delle
pubblicazioni scientifiche sarà preponderante. La capacità di assorbimento
della necessaria letteratura che qualsiasi LLM potrà offrire, e spesso già
offre, supera di diversi ordini di grandezza le potenzialità di chiunque, con
buona pace di Borges e della sua biblioteca.
Spiccioli di matematica
[NdA] In questo paragrafo non sono stato preciso, me lo hanno fatto notare e ho corretto qui]
Fin
dalle scuola media abbiamo imparato che un
teorema matematico
va
dimostrato. Insomma non può arrivare un
Pitagora qualunque e affermare che «
In ogni triangolo rettangolo, l’area del
quadrato costruito sull’ipotenusa è uguale alla somma delle aree dei quadrati
costruiti sui cateti».
Tutti i triangoli
rettangoli? Pitagora non avrebbe mai averli potuti disegnare e misurare tutti
visto che sono infiniti. Ma veniamo al punto, dando per assodato che ci sono
diverse dimostrazioni del famoso teorema.
In ambito scientifico, la dimostrazione matematica
è lo strumento più infallibile e potente che si ha per produrre conoscenza. È
Verità con la V. Un enunciato di cui viene data dimostrazione matematica vale
in qualunque tempo e in qualunque angolo dell’Universo. Un teorema dimostrato è
per sempre, altro che diamanti (che tra l’altro non lo sono trattandosi della fase instabile del carbonio…ma non divaghiamo).
Una dimostrazione inizia da una serie di assiomi,
asserzioni vere perché evidenti a chiunque (tipo quelle di Euclide e dei suoi
fondamenti). Si prosegue poi con logica inoppugnabile passo dopo passo alla
necessaria validità della conclusione, che è poi l’enunciato
stesso del teorema. Solidità dei blocchi di partenza e correttezza formale del
ragionamento. Criteri così scrupolosi e condivisi non esistono in nessun altro
campo di indagine.
Quando i matematici dimostrano usano uno strumento molto più
affidabile di qualsiasi altra prova scientifica usata da chimici, fisici
e via discorrendo, men che mai da medici o psicologi. Nel loro procedere questi
ultimi non usano strumenti logici impeccabili ma si affidano ad osservazioni ed
esperimenti, che è comunque la base del metodo scientifico fin dal suo ideatore, Galileo Galilei. Studiano un
fenomeno, formulano una certa ipotesi e la vagliano alla luce di un esperimento
che ne esamina l’efficacia, sia nello spiegare il fenomeno sia nel suo saper
predire l’esito di altri fenomeni. Esperimenti non necessariamente fisici, ma
anche esclusivamente mentali, come quelli di Einstein. Quelli raccolti man mano
sono solo indizi, mai certezze, che costituiranno le fondamenta di una teoria
al massimo altamente probabile. Nonostante
le tante e solide prove scientifiche a disposizione, concettualmente almeno,
nulla che derivi da osservazione e percezione è mai inconfutabile né univoco.
Ogni esperimento, per quanto condotto a regola d’arte, è comunque fallibile,
parziale e diversamente interpretabile. E tutto ciò nonostante la rivoluzione
della Meccanica Quantistica, che ci ha insegnato ad accettare ad esempio
fenomeni assolutamente controintuitivi e al limite del paradosso, sui quali
però, innegabilmente si basa il funzionamento di tantissima tecnologia.
L’intrinseca debolezza della prova scientifica è comunque il nutriente del progresso
scientifico, dei cambiamenti di paradigma; ogni qual volta una teoria, fino ad
allora ritenuta valida, per lo meno la più corretta, è stata sostituita da
un’altra, con la consapevolezza che qualsiasi spiegazione o modello, anche se
decisamente migliore del precedente, rimarranno comunque viziati da qualche
elemento di incertezza.
La conoscenza che deriva dalla logica matematica, invece, è ben più
assoluta e definitiva di quella di ogni altra disciplina. Perderemo le nostre
città, l'ultima delle piramidi d'Egitto si sgretolerà a terra come accadde alle
altre meraviglie del mondo antico, dimenticheremo storie, poemi e le opere
d'arte verranno inghiottite nella marea dei secoli, ma le intuizioni di Euclide,
l'algebra o il calcolo infinitesimale no, quelli ci accompagneranno anche su un
altro pianeta.
Per evitare comunque interpretazioni scorrette sulla apparente mancanza
di validità (fino a prova contraria) di una teoria scientifica, suggerisco di
approfondire tra i miei post ogni qualvolta ho fatto, da profano, un po’ di filosofia della scienza, o quando ho citato e spiegato il falsificazionismo di
Popper.
Conclusioni
Sulla base di una sorta di generico principio democratico si assiste spesso
a dibattiti dove vengono messi a confronto scienziati con sedicenti esperti o
comunque personaggi influenti. Ma dare a tutti lo stesso tempo per esporre
opinioni diverse è una cosa che ha senso in un sistema politico bipartitico, ma
non funziona nel caso della scienza, perché la
scienza non è un’opinione: non è, appunto, democratica. Si basa invece
sulle evidenze, e progredisce attraverso affermazioni che possono e debbono
essere verificate sperimentalmente, mettendole a confronto con le
osservazioni. Le ricerche sono poi, come abbiamo visto, soggette a una
revisione critica da parte di una giuria di esperti scientifici. Le
affermazioni che non vengono vagliate con questa procedura – o che sono state
esaminate e sono state respinte – non possono dirsi scientifiche, e pertanto
non meritano lo stesso tempo in un dibattito scientifico.
Un’ipotesi scientifica è come l’accusa di un pubblico ministero: è
l’inizio di un processo che può essere molto lungo. La giuria deve
decidere non sull’eleganza dell’accusa, ma sull’entità, la forza e la coerenza
delle prove che la supportano. Giustamente si chiede che il pubblico
ministero fornisca le prove – numerose, solide e coerenti – e che le prove
resistano all’esame della giuria, che può prendersi tutto il tempo necessario
per portarlo a termine.
Nella scienza avviene all’incirca la stessa cosa. Un’affermazione non
viene accettata solo perché proviene da una persona intelligente, o perché un
gruppo di persone ne discute, ma quando una giuria di revisori – in
rappresentanza della comunità dei ricercatori – ha esaminato le evidenze a
sostegno di quell’affermazione e ha concluso che sono sufficienti perché la si
possa accettare.
Sappiamo anche che nella ricerca scientifica l'incertezza è costantemente presente, e se qualcuno ci dice che alcune cose sono incerte, tendiamo a pensare che la scienza sia incerta. È un errore. L’incertezza è sempre presente in ogni scienza, perché la scienza è un processo di continua scoperta: la scienza non si scrive, al massimo si riscrive. Gli scienziati non si fermano quando hanno trovato la spiegazione per qualcosa; cominciano subito a porsi nuove domande.
Il dubbio ha un’importanza cruciale per la scienza – quello che noi chiamiamo curiosità o scetticismo è ciò che spinge la scienza a progredire – ma nel contempo la rende vulnerabile alle rappresentazioni fuorvianti, in quanto è facile decontestualizzare le incertezze e creare l’impressione che ogni cosa sia ancora incerta. Molto negazionismo funziona così: non nega la scienza, non potrebbe perché non potrebbe dimostrarlo, ma usa la normale incertezza scientifica per minare la conoscenza scientifica.
E qui mi contraddico, senza se e senza ma!
Storie dal passato
Sperimentazione Clinica
Esemplare, in campo clinico ed epidemiologico, la storia della sperimentazione
legata alla streptomicina, uno dei primi antibiotici derivati da muffe, ovvero
da batteri, impiegato nel trattamento delSe qualcuno ci dice che alcune cose sono incerte, tendiamo a pensare che la scienza sia incerta. È un errore. L’incertezza è sempre presente in ogni scienza, perché la scienza è un processo di continua scoperta. Gli scienziati non si fermano quando hanno trovato la spiegazione per qualcosa; cominciano subito a porsi nuove domandela tubercolosi. Dopo averla estratta,
verso la metà degli anni Quaranta del XX secolo, negli Stati Uniti si avviò la
sperimentazione clinica che inizialmente sembrava fornire risultati mirabolanti. Ma la cosa non convinse
l’epidemiologo inglese Bradford Hill che non accettava l’approccio americano se guariscono funziona, sennò amen, non abbiamo perso
nulla. Hill voleva dei test specifici e progettò un metodo
sperimentale a tavolino, inventando lo «Studio
Controllato Randomizzato» (RCT). Lo studio si doveva basare quindi su due gruppi di pazienti,
confrontando i risultati statistici di chi ha preso il farmaco e di chi no, un
primo gruppo trattato ed un secondo, detto «di
controllo» a cui veniva somministrato un placebo. La scelta
dei pazienti da assegnare ai due gruppi deve essere assolutamente casuale e se
è possibile né i pazienti né i medici devono sapere chi è trattato e con che
cosa. Questo è il cosiddetto esperimento in «cieco»,
che può avere diversi livelli di mascheramento dove solo il paziente ignora o,
in «doppio cieco», anche lo sperimentatore;
per arrivare al «triplo cieco» dove anche
chi analizza statisticamente i dati non sa da quale gruppo provengano evitando
qualsiasi tipo di influenza. Gli RCT sono entrati nella ricerca clinica e
vengono tutt'ora ritenuti, pur con i loro limiti, la forma più attendibile di
evidenza scientifica con cui la medicina ha verificato e verifica regolarmente
l’efficacia o meno di un certo farmaco. Ai tempi questo approccio suscitò varie
obiezioni. Tra queste, il fatto che l’impressione soggettiva del medico,
soprattutto se di lunga esperienza clinica, non fosse poi così meno affidabile
della distaccata obiettività della statistica (…); che sarebbe come dire che un
novello Commissario Maigret negasse le evidenze molecolari derivanti da un test del DNA che inchioda l’assassino.
Inoltre, aspetto ben più importante, bisognava accettare in partenza l'ipotesi
che, se alla fine dello studio il farmaco si fosse rivelato efficace, i
pazienti casualmente assegnati al gruppo di controllo non ne avrebbero
beneficiato, almeno non durante la sperimentazione, e magari qualcuno di loro
sarebbe pure morto, mentre a posteriori lo si sarebbe potuto salvare.
Ciononostante, il metodo venne accettato, forse grazie anche al fatto che, in
quei tempi di magra post-bellica, non ci sarebbe stata abbastanza streptomicina
per tutti gli ammalati; quindi, non darla a qualcuno era inevitabile seppur
immorale. Se volete approfondire leggete questo intrigante e divertente libro.
Un Nobel sbagliato?
Si diceva all’inizio che capita che uno scienziato, anche di prim'ordine,
si convinca erroneamente di aver osservato un nuovo fenomeno.
Il 10 dicembre 1938 l’Accademia delle Scienze di Stoccolma conferiva il
premio Nobel a Enrico Fermi con la seguente
motivazione: «Per l’identificazione di nuovi elementi radioattivi prodotti
dal bombardamento di neutroni e per la scoperta, in relazione a questo studio,
delle reazioni nucleari causate dai neutroni lenti». In quegli stessi
giorni gli esperimenti di scienziati tedeschi di primordine capovolsero in
maniera inoppugnabile le conclusioni del grande fisico italiano: «Non avete
ingrossato il nucleo dell’uranio, ma l’avete spaccato in due». Addio ai fascistissimi
Ausonio ed Esperio!
Sbarcato sul suo americano, con le leggi razziali e il fascismo alle
spalle, Fermi si affrettò a modificare la sua Nobel lecture, ammettendo
l’errore e aggiungendo una nota di ritrattazione, il più grande della sua vita
ebbe poi a dire, ma andò avanti, grazie comunque all’apertura, con la fissione
nucleare, di nuovi campi di ricerca. Sbagliando s’impara, no?