Imposter factor, di Bernard Rentier

Bernard Rentier
Bernard Rentier, Rettore dell’Università di Liegi dal 2005 al 2014

Pochi giorni fa, Bernard Rentier ha denunciato sul suo blog la pratica di valutare gli articoli scientifici attraverso l’impact factor, che in realtà nasceva per valutare la qualità delle riviste.

Misurare i ricercatori in base all’impact factor, secondo Rentier, «sarebbe come misurare le qualità di qualcuno sulla base dei locali dove può andare a cena. Le stelle sono per i ristoranti, non per i loro clienti».

Il post di Rentier è stato ripreso anche da ROARS.

Rentier scrive che le analisi di un suo collaboratore, Paul Thirion, dimostrano ancora una volta ciò che gli addetti ai lavori già sapevano benissimo: una rivista ad alto impact factor pubblica alcuni articoli che ricevono molte citazioni e che fanno da traino per tutti gli altri, che ne ricevono poche, o pochissime (e a volte, nessuna).

Così, sul totale di  1.944 articoli pubblicati da Nature tra il 2012 e il 2013, solo 75 di essi (3.8%) hanno ricevuto nel 2014 il 25% di tutte le citazioni raccolte dalla rivista (che ha un IF di oltre 41,4); 280  (14,4%) hanno raccolto la metà di tutte le citazioni mentre altri 214 (11%) ne hanno ricevuta una sola o nessuna.

L'inganno dell'impact factor
L’inganno dell’impact factor

L’IF è infatti uno dei modi possibili per valutare la qualità di una rivista attraverso il numero di citazioni che questa complessivamente ha ricevuto nell’ultimo biennio. Tuttavia applicare questo parametro direttamente come misura dei singoli articoli, che come si è visto hanno un impatto fortemente diversificato tra di loro, è fortemente scorretto.

Il tema è strettamente connesso a quello delle article level metrics, delle quali ho scritto da poco.