Le ricerche della scienza sono affidabili? 2 parte

Epidemiologia: i limiti
La statistica è entrata pesantemente nella medicina grazie all'epidemiologia: originariamente si studiava statisticamente una popolazione per capire le correlazioni fra malattia e determinati fattori, risalendo poi alle cause. In genere si trattava di malattie infettive (non a caso uno dei pionieri dell'epidemiologia è John Snow che nel 1854 indagò statisticamente l'epidemia di colera a Soho). Purtroppo però oggi l'epidemiologia soffre da un lato di delirio di onnipotenza e dall'altro è diventata il terreno ideale per medici che non hanno nessuna intenzione di fare i medici: si ricevono i fondi per lanciare campagne di rilevazione statistica su qualunque cosa, si buttano i dati nella macchina (ricordiamolo, "incerta") della statistica e poi si fa una bella pubblicazione. Non c'è nessun rischio di fallimento perché tanto qualche dato esce, al più il problema è interpretarlo, anche se, lo si deve riconoscere, la fantasia dei ricercatori è bravissima nel farlo. Alcuni ricercatori poi sostengono che l'interpretazione dei dati sarebbe compito degli statistici, ma, se ciò fosse vero, il contributo del medico sarebbe privo di ogni "intelligenza"; è assurdo che un medico pensi di poter fare ricerca senza conoscere la statistica.
Il punto è che l'ambiguità di moltissime ricerche epidemiologiche è altissima. Tutti capiscono che se voglio indagare la relazione fra ricchezza e mortalità posso ottenere dei dati che il solo buon senso riuscirebbe a determinare. Si sa che la ricchezza non ha nessuna relazione diretta con le cause della morte, ma può averne molte indirette: per esempio chi è ricco si cura mediamente meglio; chi è povero (non ricco) può effettuare mediamente meno prevenzione ecc. Tutte cose che sono note. Che senso avrebbe spendere milioni di euro per scoprire per esempio che chi ha un reddito fra i 50.000 e i 100.000 euro annui vive in media un anno in più di chi lo ha compreso fra 25.000 e 50.000? Se si considera poi che la ricchezza influenza le cause di morte sia positivamente (alza la vita media) sia negativamente (la abbassa, per esempio favorendo un maggiore stress) è evidente che i dati ottenuti sono del tutto inutili a fini pratici, anzi possono essere fuorvianti se applicati al singolo individuo:

una correlazione non causale in una popolazione può generare decisioni negative quando applicata al singolo.
Nel nostro esempio pensiamo a chi, leggendo i risultati della ricerca, si ammazza di lavoro per anni per arrivare a 50.000 euro annui e vivere di più, schiattando poi poco più che cinquantenne al suo tavolo di lavoro.
Probabilmente tutti riconoscono che la ricerca di correlazione fra ricchezza e mortalità non ha molto senso, dal punto di vista pratico. Se consultate le prestigiose riviste di medicina si scopre che ce ne sono moltissime simili. Si prende un parametro e si cerca di correlarlo a questo o a quello senza capire se lo studio è ambiguo perché, di fatto, non si considerano tanti altre cause che il semplice buon senso suggerisce. Un esempio è offerto da quegli studi che cercano di correlare l'IMC (o BMI, all'inglese) alla mortalità; le più serie al massimo fanno distinzione fra insiemi di fumatori e insiemi di non fumatori, ma l'impegno a limitare l'ambiguità finisce qui. Si sa che esistono molti fattori (oltre al fumo) che limitano il peso di un soggetto e quindi solo una persona acritica potrebbe pensare che la correlazione IMC-mortalità possa avere qualche interesse causale (fra l'altro, i risultati dipendono dalla necessaria spaziatura categoriale, cioè dagli intervalli di IMC considerati).
Una o due code? - Quando una ricerca epidemiologica diventa ambigua? Spesso lo diventa quando è a due code. Statisticamente ciò vuol dire che il parametro studiato X può essere correlato nei due sensi con Y, cioè potrebbe avere un ruolo positivo o negativo (proprio come magrezza e mortalità: la magrezza potrebbe essere sintomo di ottima salute, ma anche di malattia). le ricerche epidemiologiche che possono funzionare sono quelle a una coda sola, per esempio la correlazione fra fumo e mortalità (è molto dura sostenere che il fumo possa allungare la vita!).

L'interpretazione: errore di partigianeria
L'ambiguità non è però l'unica fonte di mancanza di nesso causale. Spesso un fenomeno può avere diverse interpretazioni: se fra le possibili interpretazioni scelgo quella sbagliata, la ricerca sarà sicuramente leggera.
Fra il 1550 e il 1650 in svariate località dell'Europa si ebbe il culmine dei processi di stregoneria (furono diverse centinaia) tant'è che è difficile credere che il solo fanatismo religioso fosse alla base di tali assurdi eventi. Il processo in sé non è che la manifestazione più drammatica dell'errore di interpretazione (errore di partigianeria): non sapendo che pesci pigliare di fronte a una persona "indemoniata", si dava una spiegazione mistica perché si era stupidamente certi che fosse quella reale. In particolari condizioni climatiche, la segale può essere attaccata dalla Claviceps purpurea i cui sclerozi contengono alcaloidi a effetto allucinogeno. Alcuni di questi alcaloidi hanno soprattutto effetti psicotici, altri producono una patologia più devastante, basata sull'effetto vasocostrittore. L'ovvio risultato del consumo di segale contaminata è un'apparenza da indemoniato o, più modernamente, da allucinato. Poiché la contaminazione è tipica dei climi freddi e umidi, ecco spiegati i numerosi casi di streghe nel nord della Francia, della Svizzera e della Germania. Fu solo cento anni dopo i processi (e le relative condanne!) che medici inglesi scoprirono la relazione fra streghe e segale contaminata, partendo dalla constatazione che l'Irlanda (dove l'alimentazione era a base di orzo piuttosto che di segale) era immune dal fenomeno della stregoneria.
Quindi per capire l'importanza di una ricerca,

verificate che non ci siano altre interpretazioni ai dati forniti.
In un certo senso la valutazione di una ricerca è, come in un giallo, scoprire l'assassino senza fermarsi alle prime apparenze.
Purtroppo i ricercatori sono spesso troppo inclini a prendere per buona l'interpretazione che "sentono" maggiormente loro, risultando simili a quei poliziotti poco zelanti ridicolizzati dal Poirot di turno, uno scienziato molto più distaccato e oggettivo.

I trucchi
I due precedenti problemi rientrano, se vogliamo, nella logica delle cose. Purtroppo non è infrequente che la ricerca sia sponsorizzata da motivazioni commerciali e/o di carriera. Accade che

* si stiracchiano i risultati per arrivare alle conclusioni volute. Un mio professore mi diceva che ingrandendo sui grafici i punti sperimentali si dimostra qualunque cosa. Esempi classici sono il trucco delle percentuali relative o la lettura dei dati riguardanti le ricerche sul colesterolo.
* Si generalizza arbitrariamente il campo della ricerca dando ai risultati una valenza diversa da quella che hanno. Per esempio si utilizza un dato positivo ("i grassi trans possono essere utilizzati dall'organismo a fini energetici") per dedurre arbitrariamente altre conseguenze errate ("i grassi trans non fanno male").
* Si confondono tesi con ipotesi. Spesso si dà per vero ciò che è solo plausibile e si usa, mischiandolo al "vero" derivato da esperienze, per dedurre rapporti causali.

Di solito queste situazioni sono quasi sempre dovute a un utilizzo commerciale di ricerche scientifiche. Per scoprire questi trucchi è necessario porsi in posizione logicamente critica e farsi qualche domanda:

* qual è il riscontro pratico della ricerca?
* Le deduzioni sono arbitrarie?
* Nelle deduzioni c'è qualcosa di verosimile, ma di non provato? In particolare, non è che la ricerca venda per certo ciò che è solo probabile o addirittura solo possibile?

I danni delle ricerche leggere
Il danno maggiore che provoca la propagazione di un'informazione legata a ricerche leggere è la costituzione dei cosiddetti elenchi di ricerche a supporto di una tesi. Così facendo si pensa di dare credibilità definitiva, dimenticando che tutte le ricerche leggere dell'elenco sono solo un punto di partenza.
È abbastanza facile poi comporre elenchi di ricerche favorevoli, magari dimenticando quelle contrarie. Caso tipico è rappresentato dal gamma orizanolo. La ricerca di Fry ha evidenziato i limiti della sostanza, ma se ci si limitasse a stilare un elenco di ricerche precedenti sembrerebbe la panacea di tutti i mali. Per capire la limitazione degli elenchi di ricerche basta sapere che una ricerca leggera fa il giro del mondo: in breve tempo in decine di altri centri di ricerca si tenta di ripetere l'esperienza. Se il tutto funziona, in un anno escono centinaia di lavori concordi e la ricerca diventa scienza. Se non funziona tutto torna nel dimenticatoio (salvo l'uscita di qualche altra ricerca leggera che tenta di tenere in vita il tutto); purtroppo però la ricerca leggera continua a circolare e a mietere vittime fra quelle che non conoscono certi meccanismi. Vediamo un semplice esempio.
Studio la sostanza A e mi pongo come ipotesi che "la sostanza A assunta per dieci giorni sia in grado di modificare il lancio di una moneta effettuata dal soggetto che la assume". Eseguo l'esperimento con cura: a 50 pazienti somministro A e ad altri 50 somministro un placebo. Dopo dieci giorni effettuo la prova. Nel gruppo A ottengo 31 teste, mentre nel gruppo placebo ottengo 20 teste. Concludo che A influenza il lancio favorendo "testa".
"Conclusione assurda", direte voi, perché basta replicare la ricerca e si vedrebbe che non è affatto vero, anzi magari, concordemente con le leggi della statistica, A favorirebbe "croce". Certo, con un esempio così logicamente assurdo il trucco appare chiaro. Ma supponiamo che invece del lancio della moneta la tesi sia che "A favorisce il dimagramento". Se il secondo esperimento condotto in un altro laboratorio non dà nessun esito (A cioè non funziona), ma nel mio elenco continua a comparire solo il primo, ecco che circolerà, con immenso danno, una bufala.