Per la (mancata) precisione…

Ieri è uscita la delibera 50/2012 dell’ANVUR che specifica le “modalità di calcolo degli indicatori da utilizzare ai fini della selezione degli aspiranti commissari e della valutazione dei candidati per l’abilitazione scientifica nazionale.”

Le regole sono scritte in maniera non sufficientemente precisa e presentano alcuni problemi che provo a descrivere nel seguito di questo post.

Le regole

La porzione della delibera che parla degli indicatori per i settori “bibliometrici” recita:

Art.6, comma 2

Ai fini del calcolo delle mediane per i settori bibliometrici si prendono a riferimento i seguenti indicatori:

a) il numero di articoli su riviste contenute nelle banche dati e pubblicati nei dieci anni consecutivi precedenti la data del bando […]

b) il numero di citazioni ricevute dalla produzione scientifica complessiva rilevabili dalle banche dati entro la data del decreto di abilitazione;

c) l’indica h del singolo soggetto, come rilevabile dalle banche dati, alla data del decreto di abilitazione

Le due banche dati sono ISI Web of Knowledge e Scopus.

L’art.7 risolve alcune ambiguità dovute al fatto che i dati delle due basi di dati sono solitamente diversi. In pratica

  • la rivista viene contata (una sola volta) se appare in una o entrambe le basi di dati
  • per le citazioni, dei prodotti (tutti) si considera il valore maggiore se il prodotto compare in entrambe le basi di dati
  • per calcolo dell’indice h si prende il massimo tra i due calcolati (automaticamente) dalle due basi di dati

I problemi

Questa impostazione e la mancanza di precisione delle regole può comportare alcuni problemi.

Tempi di aggiornamento

Ora è importante sottolineare che prodotti delle basi di dati sono continuamente indicizzati e quindi i dati cambiano; è possibile che un prodotto pubblicato ufficialmente prima della data del bando venga indicizzato dopo la data di rilevazione.

A causa di questi ritardi le classifiche delle riviste (es. Journal Citation Report) relativi ad una anno solare vengono di solito pubblicate a metà dell’anno successivo, proprio per minimizzare (ma non azzerare) la possibilità di utilizzare informazioni incomplete.

La delibera non pare tenere conto di questi fattori temporali e di ritardo e questo può comportare delle alterazioni di tutti e tre gli indici. In particolare l’art.6, comma 2, lettera a può essere interpretato in due modi diversi:

  • si calcolano le citazioni ricevute entro la data del bando
  • si calcolano le citazioni rilevate entro la data del bando

Coerenza tra gli indici

Le modalità di calcolo degli indicatori b) e c), ovvero numero di citazioni ed indice H sono incoerenti tra di loro. Questo deriva dal fatto che l’indice H viene calcolato proprio sulla base del numero di citazioni:

Uno scienziato possiede un indice h se h dei suoi Np lavori hanno almeno h citazioni ciascuno e i rimanenti (Np – h) lavori hanno ognuno al più h citazioni.

Fonte: wikipedia

Se per le citazioni di ogni prodotto si prende il valore maggiore tra le due basi di dati e si considerano anche prodotti che compaiono in una sola delle basi di dati, l’indice H calcolato sulla base del numero di citazioni calcolate con il criterio stabilito per l’indicatore bibliometrico b) è potenzialmente diverso da quelli calcolati separatamente dalle due basi di dati.

Considerazioni

L’impressione mia è che criteri troppo precisi ed analitici che pretendono di essere universali sono impossibili da ottenere.

 

Annunci

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...