La critica all’impact factor e DORA

Esiste una barriera all’open access publishing che viene demistificata quasi quotidianamente ma che nonostante questo ha ancora molto appeal: è il cosiddetto impact factor, o meglio Journal Impact Factor (JIF), poiché riferito alle riviste.

L’attenzione dei valutatori centrata sul prestigio sta rallentando cambiamenti necessari alla comunicazione scientifica.

Nonostante le critiche, purtroppo, il JIF continua ad essere utilizzato nella valutazione della ricerca (e dei ricercatori) da università in tutto il mondo, per selezionare, mantenere e gestire carriere, oltre che, come anche in Italia, per gestire processi di valutazione per la distribuzione di finanziamenti.

Si tratta di una barriera all’accesso aperto, nella maggior parte dei casi, perché le riviste più prestigiose (quelle con più alto JIF) spesso non hanno alcuna opzione di pubblicazione ad accesso aperto, o se le hanno sono molto costose. È una barriera anche perché molte riviste ad accesso aperto sono recenti e tendono quindi ad avere un JIF minore, se ne hanno uno (bisogna ricordare che una rivista deve esistere da almeno tre anni per poterne calcolare il fattore d’impatto.

L’impact factor è una metrica assai povera per la valutazione della ricerca e dei suoi prodotti.

Le motivazioni sono molte ed espresse da un’ampia letteratura, ne riportiamo qui alcune:

il JIF misura l’impatto delle riviste, non degli articoli: non è nato né è mai stato inteso per la valutazione della ricerca o dei ricercatori;
il JIF conta le citazioni ricevute da una rivista nel corso dell’anno precedente e le divide per il numero di articoli pubblicati nei due anni precedenti a questo, quindi non c’è assolutamente alcuna relazione tra il corrente JIF di una rivista e un articolo di recente pubblicazione. Ad esempio, il JIF 2016 di una rivista misura citazioni 2015 per gli articoli pubblicati nel 2014 e nel 2013;
la distribuzione delle citazioni degli articoli di una rivista è molto irregolare: un articolo può essere citato centinaia di volte e altri citati poco o per niente. Utilizzare la media come descrittore in una distribuzione talmente irregolare è un manifesto di analfabetismo statistico.
il JIF non è riproducibile. Si tratta di una misura di proprietà di Thomson Reuters (Journal Citation Reports o JCR) e i dettagli del suo calcolo sono completamente oscuri. In particolare, non si sa se vengano contati come articoli anche contenuti non sottoposti a revisione e/o se le citazioni da tale contenuti vengano conteggiate;
una citazione può essere stabilita per moltissime ragioni, compresa la critica: una citazione non è un indizio univoco di qualità
visto che vengono misurate le citazioni dell’ultimo biennio, vengono premiati articoli che hanno un rapito exploit citazionale, mentre ricerche solide, che accumulano citazioni nel tempo, sono svantaggiate;
visto che l’impact factor varia moltissimo tra le diverse discipline, questo tipo di misurazione scoraggia le ricerche interdisciplinari;
misurare le citazioni non dà conto del reale impatto della ricerca sulla società;
la rilevazione del JIF può essere ingannata dagli editor di riviste che caldeggino gli autori a citare altri articoli pubblicati in quella rivista. Inoltre, articoli metodologici e review sono privilegiati, dal momento che sono più frequentemente citati. Inoltre, le riviste sono spinte a non pubblicare i risultati negativi, anche se questi sono importanti per la scienza, poiché non attirano citazioni;
la misurazione del JIF copre solo circa un terzo delle riviste esistenti, ed è fortemente STM (e inglese)-centrico;
il prestigio di riviste ad alto impact factor può incoraggiare la pubblicazione di una cattiva scienza. Esistono studi che correlano IF e tasso di ritrattazione degli articoli

Impact Factor predicts retractions, not citations! http://t.co/EjE0K2XfcM , found via @brembs http://t.co/0LN7xiEGqg pic.twitter.com/R3bSTOZudO

— Janne Seppänen (@JanneSeppanen) January 12, 2015
il prestigio delle riviste è una delle cause dell’innalzamento del prezzo dei periodici. Se una rivista ha un forte prestigio nella sua disciplina, può chiedere di pagare tutto quello che le biblioteche possono permettersi, invece che quanto sia giusto rispetto ai costi di produzione della rivista stessa (anche se la gestione di una rivista ad alto impatto ha dei costi maggiori anche a causa del tempo impiegato a rifiutare paper che poi verranno pubblicati altrove). I prezzi dei periodici hanno superato l’indice dei prezzi al consumo per decenni, come aveva evidenziato un’indagine di Harvard nel 2012.
Incremento del costo dei periodici rispetto all’indice dei prezzi al consumo

Nonostante tutti questi elementi problematici, tuttavia, il JIF è ampiamente utilizzato per la valutazione della ricerca, probabilmente perché è semplice ottenerlo (basta acquistare il JCR, o controllare sul sito della rivista) e perché è un numero, e come tale appare scientifico e indiscutibile (molti di coloro che lo usano non conoscono neppure la formula che lo determina!).

Quali alternative al JIF come strumento di valutazione della ricerca? La risposta di DORA

Logo di DORA

Come risolvere la questione? Un tentativo di correggere l’uso scorretto del JIF viene dalla San Francisco Declaration on Research Assessment (DORA), che fornisce in proposito una raccomandazione generale:

Non utilizzare metriche basate sulle riviste, come il Journal Impact Factors, come misura surrogata della qualità di singoli articoli di ricerca o per valutare il valore del contributo di un singolo ricercatore in caso di assunzioni, promozioni o decisioni sui finanziamenti.

Per quanto riguarda le istituzioni, DORA ha due indicazioni:

Essere espliciti sui criteri utilizzati nelle selezioni, negli avanzamenti di carriera, mettendo bene in evidenza, in particolare ai ricercatori più giovani, che il contenuto scientifico di un paper è molto più rilevante delle metriche sulla pubblicazione o della rivista sulla quale è stato pubblicato.
Per scopi collegati alla valutazione della ricerca, considerare il valore e l’impatto di tutti i risultati della ricerca (compresi dataset e software), in aggiunta alle pubblicazioni, e considerare un ampio ventaglio di misure dell’impatto, inclusi indicatori qualitativi come l’influenza sulle politiche o sulle pratiche.

Tratto da Young, Philip. Removing the Journal Impact Factor from Faculty Evaluation. Open@VT (2015). https://blogs.lt.vt.edu/openvt/2015/01/29/removing-the-journal-impact-factor-from-faculty-evaluation