A margine di una discussione che si sta svolgendo in AIB-CUR, mi interessa fare alcune riflessioni sul tema della peer-review e della valutazione della qualità della ricerca, partendo da ciò che accade in JLIS.it.
L’ambito della comunicazione e dell’editoria scientifica è regolato da alcune leggi di tipo empirico, alcune delle quali sono sostanzialmente leggi di mercato.
Un autore scientifico, con la pubblicazione di un paper, persegue due obiettivi, l’uno di portata generale, cioè il progresso della scienza, l’altro di portata individuale, cioè la possibilità di avere avanzamenti di carriera, secondo la logica del “publish or perish” (su tutto ciò è un punto di riferimento interessante questo articolo).
La scelta della sede di pubblicazione più adatta per i risultati di una certa ricerca ha quindi a che fare con la “ricompensa” che l’autore riceve, ricompensa che in genere non ha un valore economico diretto (e qui andrebbe aperta l’enorme questione dei diritti degli autori scientifici) ma che certamente è differente a seconda della rivista che viene scelta. L’elemento differenziante è qualcosa di assolutamente indefinibile ma definito e potremmo chiamarlo “prestigio” e quindi sostenere senza tema di smentita che ciascun autore vuole pubblicare su riviste di prestigio. è anche per questo motivo che i ranking delle sedi di pubblicazione continuano ad essere fatti.
Senza essere un ranking, segnalo che esistono alcuni strumenti che aiutano gli autori a scegliere dove pubblicare, dando una serie di informazioni utili a capire quanto una certa rivista sia prestigiosa.
Per esempio, nell’ambito LIS, esiste la Cabell’s Directory of Publishing Opportunities in Educational Technology and Library Science.
Il tasso di rifiuto diventa un elemento di prestigio, anche perchè spesso -pure per motivi diversi- si accompagna ad alte metriche di impatto. Più una rivista scarta proposte, più significa che può permettersi di scegliere, più probabilmente sarà prestigiosa, più sarà ricercata dagli autori (geniale l’esempio del Journal of Universal Rejection!).
Porto per concretezza l’esempio di JLIS.it, sempre perchè è l’unico sul quale io possa dare testimonianza dall’interno.
Nel 2011 abbiamo ricevuto 36 submission (qui le statistiche 2011 di JLIS.it).
Di queste, 12 sono state scartate immediatamente dagli editor, perchè “not suitable” (fuori focus, non specifici e così via). Delle restanti 24 inviate ai revisori, 5 sono state scartate e le altre 19 pubblicate, in molti casi con richieste/proposte di modifica. Abbiamo rifiutato quindi poco più del 47% di proposte (non poco, per una rivista nascente).
Chiaramente, anche questi dati potrebbero essere inventati e anche l’evidenza delle registrazioni di questi fatti attraverso la piattaforma OJS (che la rivista potrebbe sempre portare, se richiesta, per esempio da valutatori esterni) potrebbe essere falsificata.
A mio avviso, tuttavia, l’idea di un sistema falsificante di questi aspetti non può trovare sostanziale accoglimento per due motivi principali.
Il primo è che, se scoperta, tale falsificazione porterebbe a un tale discredito per la rivista e il suo apparato redazionale che nessun editor ragionevolmente si dovrebbe prestare. Il secondo, ancora più forte, è che una qualche forma di controllo di qualità, quando ben fatta, permette di scegliere i migliori articoli da pubblicare e migliora la qualità di ciò che si pubblica.
Diversi autori hanno ringraziato i revisori di JLIS.it per la puntualità delle osservazioni, che in moltissimi casi sono state accolte e che altre hanno creato interessanti accenni di dibattito, pure se la rivista è agli inizi e il sistema viene applicato non senza fatica e non senza errori.
Per questo credo che nel corso del tempo, se una rivista fa seriamente peer review, il risultato emerga dalla qualità e dall’impatto di ciò che pubblica, non da un’autocertificazione che comunque immagino in moltissimi casi veritiera.
Alla stessa maniera, l’adesione a COPE, o comunque a standard editoriali ed etici. Non si tratta di avere un bollino, o comunque, non si tratta *solo* di avere un bollino, ma di tentare di applicare principi e metodi che, sul medio e lungo periodo, migliorano la qualità di ciò che si pubblica, per esempio chiedendo agli autori di rispettare certe regole nel loro lavoro e nel rapporto con la rivista e individuando chiaramente ruoli e responsabilità di tutti gli attori.
Non è una scienza esatta, ma una serie di tentativi e aggiustamenti di tiro, credo. In questo caso come in pochi altri, è tutto da imparare. Dico questo in particolare perchè credo molto nell’editoria scientifica prodotta e garantita dagli stessi soggetti che producono e garantiscono la ricerca stessa.
In Italia il sistema delle University press stenta ancora a decollare, ma il numero di riviste, spesso di buona qualità, nate e gestite nelle università è impressionante.
Su questo si potrebbe fare molto per migliorare il sistema e la qualità di ciò che si fa, anche senza inseguire il “sogno americano” (tutte le riviste in Scopus o nel Journal of Citation Report)…
CILEA da anni ormai qualche cosa fa da questo punto di vista e volentieri farebbe di più:
– Facciamo un corso su come creare e gestire al meglio una rivista scientifica, che nella sua ultima edizione è stato recensito da Tropico del Libro
– gestiamo una serie di installazioni di OJS che permettono a diversi enti di mantenere le loro riviste con costi relativamente bassi (utilizzare un software specializzato è fare un passo avanti molto deciso nella pubblicazione e superare di molto l’indicazione ANVUR di avere “un buon sito internet”; a tale proposito suggerisco la lettura delle acute riflessioni di Maria Chiara Pievatolo)
– per agevolare enti e gruppi che possiedano solo una rivista, ha creato e mantiene LEO, Letteratura Elettronica Online, un portale dove ospita, con un canone annuale piuttosto ragionevole, singole riviste mettendo loro a disposizione la qualità del software OJS
