Quando le metriche della scienza si trasformano in strumento di frode
La bibliometria pensata per garantire equità nella ricerca è diventata campo di manipolazione sistematica
Pubblicità
La misurazione quantitativa della produttività scientifica nasceva con intenti nobili: superare il favoritismo e garantire valutazioni obiettive. Tuttavia, il sistema delle citazioni e dei fattori di impatto si è rivelato vulnerabile a forme sofisticate di alterazione dei dati, dalle citazioni forzate alla creazione di articoli falsi costruiti per gonfiare artificialmente gli indicatori.
Le origini nobili di un sistema complesso
Eugene Garfield ha concepito gli indici citazionali come strumento per mappare la rete del sapere scientifico, permettendo ai bibliotecari di identificare quali riviste acquistare. Il Journal Impact Factor, da lui sviluppato, venne successivamente riproposto come parametro per misurare il valore dei ricercatori stessi. L’intuizione iniziale era solida: utilizzare i dati oggettivi per contrastare dinamiche soggettive e clientelari che caratterizzavano la valutazione accademica, particolarmente evidente nel contesto italiano dove la revisione tra pari rappresentava l’unico criterio di giudizio.
La legge di Goodhart e l’invenzione della manipolazione
Quello che inizialmente pareva un’innovazione sicura si è rivelato vulnerabile a una logica ben nota in economia: quando una misura diventa un obiettivo, smette di essere una buona misura. Le forme di alterazione sono progressivamente diventate più sofisticate. Dall’autocitazione eccessiva ai circoli di citazione reciproca, fino a fenomeni organizzati come le “review mills”: gruppi di ricercatori italiani hanno sfruttato il loro ruolo di revisori per imporre citazioni ai colleghi, artificialmente elevando gli indicatori del proprio lavoro. Un editor coinvolto aveva quasi 3000 revisioni verificate su Web of Science, ma solo un’infima parte era consultabile pubblicamente.
Pubblicità
Il pericolo ancora maggiore delle paper mills
Mentre le review mills rappresentano l’autoorganizzazione opportunistica di gruppi accademici, le paper mills costituiscono una minaccia assai più grave: aziende esterne che vendono articoli e citazioni come prodotto commerciale, tariffandoli in base all’Impact Factor della rivista. Identificate per la prima volta dodici anni fa, si sono moltiplicate sistematicamente, infettando database interi. Gli editori corrotti o incompetenti approvano manoscritti che violano chiaramente il metodo scientifico, confidando nella difficoltà di individuazione.
L’illusione dell’intelligenza artificiale
La prospettiva di ricorrere all’IA per filtrare articoli fraudolenti prima della pubblicazione appare insufficiente. I produttori di testi falsificati si sono dimostrati capaci di mutare per evitare i sistemi di rilevamento. Ancor più preoccupante: proprio nelle aree dove la ricerca AI e i big data promettono maggiori sviluppi—come i database genomici e biomolecolari—i database risultano già compromessi da contenuti di dubbia provenienza.
Il circolo vizioso della fiducia
«La bibliometria è per la valutazione della ricerca ciò che la diagnostica per immagini è per la medicina», secondo Giovanni Abramo. Ma quando i dati sono inquinati, la metafora si rovescia: diventa una diagnostica che confonde le informazioni di pazienti diversi, premiando chi manipola il sistema anziché chi produce ricerca autentica.
