Indici bibliometrici citazionali

Molto si è parlato in questi mesi di valutazione della produzione scientifica e di indici bilbliometrici. Spesso sono state avanzate proposte degne di nonna papera ma resta il fatto che, escludendo un giudizio tra pari, un metodo di valutazione estremamente diffuso ed abbastanza ragionevole, anche se con evidenti limiti.

Sono convinto che se applicati con moderazione gli indici basati sulle citazioni possano permettere di fare uno screening dei ricercatori più produttivi: ammesso che

  • la produzione scientifica consista essenzialmente in pubblicazioni ed
  • le citazioni ricevute rappresentino una misura di merito

In alcune discipline queste assunzioni non sono troppo errate, mi sentirei di affermare che l’ingegneria informatica (il SSD 09/H1 ovvero ING-INF/05) rientra tra queste. Un aspetto spesso lasciato al margine del dibattito è quello delle fonti di informazione sulle citazioni: quale database di pubblicazioni si utilizza?

Per capire quanto la base dati sia influente ho provato a raccogliere le informazioni relative ai docenti di ingegneria informatica in due importanti atenei (secondo la classifica MIUR) utilizzando due diverse basi di dati: Scopus e Google Scholar. Ho volutamente escluso ISI perché quest’ultimo esclude quasi tutte le conferenze, che nel nostro settore sono molto importanti e prevedono un processo di pere review comparabile a quello delle riviste.

Mi sono chiesto: quanto sono correlati gli indici calcolati sulla base delle informazioni presenti nelle due basi dati? Per rispondere ho messo in un diagramma i due indici per tutti i docenti e ho fatto una regressione lineare, ecco il risultato:

Se da un lato appare evidente un certo legame tra gli indici calcolati sulla base delle due basi di dati, dall’altro la correlazione tra i due è piuttosto bassa come indica il valore di R2: l’h-index Scopus è in grado di spiegare soltanto il 46% della variabilità dell’h-index Google. In pratica un ricercatore con indice nella media secondo Scopus risulta il secondo migliore secondo Google.

Uno dei due è sbagliato? Non credo: i criteri e l’insieme di pubblicazioni considerate è diverso. Google indicizza più pubblicazioni rispetto a Scopus ed infatti presenta valori circa il 40% più alti.

Personalmente traggo due conclusioni da questo semplice analisi:

  • parlare di classifica in base all’h-index senza specificare la base di dati nella migliore delle ipotesi non significa nulla, in quella peggiore può nascondere un imbroglio
  • questi indici possono servire per fare uno screening grossolano: chi ha valori molto bassi secondo una base dati tendenzialmente li avrà anche secondo l’altra.

Di conseguenza affermare che un docente può conseguire l’abilitazione solo se supera la mediana potenzialmente scarta docenti validi e ne fa passare altri meno validi, oltre ad altri problemi di cui avevo già parlato. Speriamo che l’ANVUR lasci perdere quella strada.

Annunci