ASN: calcolo degli indici (semplificato)

L’Abilitazione Scientifica Nazionale (ASN) è quella procedura, introdotta dalla L.240/2010 (Gelmini), che rappresenta un passaggio necessario (ma non sufficiente) per accedere ai ruoli di Professore (Associato e Ordinario) nell’Università Italiana.

Il Decreto Ministeriale n. 76 del 7 giugno 2012 ha stabilito che l’abilitazione può essere attribuita esclusivamente ai candidati che (a) siano “giudicati positivamente secondo i criteri e i parametri” definiti nel DM e che (b) “i cui indicatori dell’impatto della produzione scientifica complessiva presentino i valori richiesti” (descritti nell’allegato A, numero 3, lettera b).

I criteri consistono nel superare la mediana di almeno due su tre degli indici, calcolati nella categoria a cui si aspira accedere. Il calcolo è abbastanza complesso, ma in alcuni casi (inizio attività di ricerca dopo il 1996) è possibile fare un calcolo semplificato utilizzando un solo database.

Update 13/9/2012: indici per gli aspiranti commissari.

Update 20/1/2014: corretti i link alle mediane.

Per la (mancata) precisione…

Ieri è uscita la delibera 50/2012 dell’ANVUR che specifica le “modalità di calcolo degli indicatori da utilizzare ai fini della selezione degli aspiranti commissari e della valutazione dei candidati per l’abilitazione scientifica nazionale.”

Le regole sono scritte in maniera non sufficientemente precisa e presentano alcuni problemi che provo a descrivere nel seguito di questo post.

Indici bibliometrici citazionali

Molto si è parlato in questi mesi di valutazione della produzione scientifica e di indici bilbliometrici. Spesso sono state avanzate proposte degne di nonna papera ma resta il fatto che, escludendo un giudizio tra pari, un metodo di valutazione estremamente diffuso ed abbastanza ragionevole, anche se con evidenti limiti.

Sono convinto che se applicati con moderazione gli indici basati sulle citazioni possano permettere di fare uno screening dei ricercatori più produttivi: ammesso che

• la produzione scientifica consista essenzialmente in pubblicazioni ed
• le citazioni ricevute rappresentino una misura di merito

In alcune discipline queste assunzioni non sono troppo errate, mi sentirei di affermare che l’ingegneria informatica (il SSD 09/H1 ovvero ING-INF/05) rientra tra queste. Un aspetto spesso lasciato al margine del dibattito è quello delle fonti di informazione sulle citazioni: quale database di pubblicazioni si utilizza?

Per capire quanto la base dati sia influente ho provato a raccogliere le informazioni relative ai docenti di ingegneria informatica in due importanti atenei (secondo la classifica MIUR) utilizzando due diverse basi di dati: Scopus e Google Scholar. Ho volutamente escluso ISI perché quest’ultimo esclude quasi tutte le conferenze, che nel nostro settore sono molto importanti e prevedono un processo di pere review comparabile a quello delle riviste.

Mi sono chiesto: quanto sono correlati gli indici calcolati sulla base delle informazioni presenti nelle due basi dati? Per rispondere ho messo in un diagramma i due indici per tutti i docenti e ho fatto una regressione lineare, ecco il risultato:

Se da un lato appare evidente un certo legame tra gli indici calcolati sulla base delle due basi di dati, dall’altro la correlazione tra i due è piuttosto bassa come indica il valore di R²: l’h-index Scopus è in grado di spiegare soltanto il 46% della variabilità dell’h-index Google. In pratica un ricercatore con indice nella media secondo Scopus risulta il secondo migliore secondo Google.

Uno dei due è sbagliato? Non credo: i criteri e l’insieme di pubblicazioni considerate è diverso. Google indicizza più pubblicazioni rispetto a Scopus ed infatti presenta valori circa il 40% più alti.

Personalmente traggo due conclusioni da questo semplice analisi:

• parlare di classifica in base all’h-index senza specificare la base di dati nella migliore delle ipotesi non significa nulla, in quella peggiore può nascondere un imbroglio
• questi indici possono servire per fare uno screening grossolano: chi ha valori molto bassi secondo una base dati tendenzialmente li avrà anche secondo l’altra.

Di conseguenza affermare che un docente può conseguire l’abilitazione solo se supera la mediana potenzialmente scarta docenti validi e ne fa passare altri meno validi, oltre ad altri problemi di cui avevo già parlato. Speriamo che l’ANVUR lasci perdere quella strada.

Finanziamenti all’università

Alcune considerazioni, prima puntuali sui recenti risvolti e poi più generali.

Decreto Gelmini

Con il decreto recentemente annunciato (mentre scrivo il testo non è ancora disponibile), il ministro Gelmini pare aver iniziato la strada che porta alla distribuzione del FFO delle università sempre più basata sul merito. La quota distribuita in base a parametri di merito passa circa dal 2% al 7% del totale, e inoltre dalle parole del ministro sembra destinta a crescere ancora in futuro.

Questo non significa come qualche giornalista “poco accurato” (che da i numeri) scrive:

E così, i 500 milioni di «incentivi per la ricerca» andranno solo agli atenei «più virtuosi». Nulla per quelli in rosso[…]

Il Giornale, 7/11/2008, p.13, firma: V.La Manna

Sulla base di quanto avvenuto in passato, ad esempio per la ripartizione dei fondi legati alla programmazione triennale, si può prevedere che il merito vada ad alterare leggermente le quote che si avrebbero secondo una ripartizione piatta (secondo il famoso Modello). Quindi gli atenei “viziosi” verosimilmente prenderanno leggermente meno di quanto gli spetterebbe se la quota fosse suddivisa nel modo usuale.

Indicatori di merito e ripartizione dei finanziamenti

La suddivisione dei finanziamenti in base al merito può essere scissa in due sotto-problemi:

• la definizione e misura di indicatori opportuni
• l’uso di tali indicatori per la ripartizione

Gli indicatori sono molto difficili da definire perchè, a parte i limiti teorici della misura, nella pratica qualunque indicatore rappresenta solo una delle facce che può assumere il merito. Inoltre, qualunque insieme di indicatori verrà scelto, si finirà inevitabilmente per penalizzare alcuni casi particolari, sicuramente meritevoli secondo il senso comune, ma non secondo i valori degli indicatori.

Un altra istanza da tenere presente quando si definiscono gli indicatori è quello che benigniamente potrei chiamare effetto Hawthorne o che malignamente potrei chiamare la “via italiana”. Mi riferisco a quell’effetto che in passato ha portato alla moltiplicazione dei corsi e delle sedi distaccate e a privilegiare la quantità sulla qualità perchè tali comportamenti portavano ad un aumento degli indici.

Il secondo e forse più importante problema sarà come gli indicatori verranno utilizzati per ripartire i finanziamenti tra gli atenei. Se non vengono utilizzati per introdurre una pesante discriminazione tra chi merita e chi no, allora si tratterà di molto rumore per nulla.

L’esempio della ripartizione dei fondi per la programmazione triennale che facevo prima è emblematico in quanto fallisce sia sul piano della definizione degli indicatori che sul loro uso:

• i criteri molto speciali che valutano alcuni aspetti quantomeno discutibili (es. il numero di studenti che si iscrivono al 2o anno avendo acquisito almeno 50 crediti)
• la valutazione viene fatta sulla derivata (la variazione) degli indici e non sul loro valore o sulla distanza da un obiettivo (si premia chi ha maggiori margini di miglioramento e li sfrutta rispetto a chi ha già raggiunto buoni livelli)
• per la ripartizione gli indicatori introducono una debole perturbazione sulla ripartizione effettuata secondo i criteri ordinari “a pioggia”.

Non resta che sperare in un rinsavimento dei “saggi” che lavorano al ministero.