ASN: calcolo degli indici (semplificato)

L’Abilitazione Scientifica Nazionale (ASN) è quella procedura, introdotta dalla L.240/2010 (Gelmini), che rappresenta un passaggio necessario (ma non sufficiente) per accedere ai ruoli di Professore (Associato e Ordinario) nell’Università Italiana.

Il Decreto Ministeriale n. 76 del 7 giugno 2012 ha stabilito che l’abilitazione può essere attribuita esclusivamente ai candidati che (a) siano “giudicati positivamente secondo i criteri e i parametri” definiti nel DM e che (b) “i cui indicatori dell’impatto della produzione scientifica complessiva presentino i valori richiesti” (descritti nell’allegato A, numero 3, lettera b).

I criteri consistono nel superare la mediana di almeno due su tre degli indici, calcolati nella categoria a cui si aspira accedere. Il calcolo è abbastanza complesso, ma in alcuni casi (inizio attività di ricerca dopo il 1996) è possibile fare un calcolo semplificato utilizzando un solo database.

Update 13/9/2012: indici per gli aspiranti commissari.

Update 20/1/2014: corretti i link alle mediane.

Le regole

L’allegato A del DM 76 prevede che ottengono una valutazione positiva dell’importanza e dell’impatto della produzione scientifica complessiva i candidati all’abilitazione i cui indicatori sono superiori alla mediana in almeno due degli indicatori.” Per i candidati all’abilitazione dei settori bibliometrici (definiti nell’allegato A, numero 1), sono definiti tre indicatori di base:

  • Numero di articoli su riviste presenti nelle banche dati internazionali nel periodo 2002-2012 normalizzato (nel caso di periodi inferiori ai 10 anni).
  • Numero di citazioni ricevute per la produzione scientifica complessiva normalizzato per l’età accademica.
  • Indice h contemporaneo.

Inoltre viene fatta una normalizzazione in base a:

  • età accademica

Gli indici sono calcolati a partire dai dati contenuti in tre differenti basi di dati:

  • Sito Docente Cineca, che contiene le informazioni (anagrafiche) sulle pubblicazioni, inserite (volontariamente) dai singoli docenti,
  • Web of Science (WoS) / Web of knowledge: database delle citazioni gestitito da ISI Thomson Reuters,
  • Scopus: database delle citazioni gestito da Elsevier.

Quanto sono importanti queste regole?

L’art.6, comma 5 dice che

Qualora la commissione intenda discostarsi dai suddetti principi è tenuta a darne motivazione preventivamente, con le modalità di cui all’articolo 3, comma 3, e nel giudizio finale.

Parrebbe quindi che le commissioni possano decidere di non tenere in conto le mediane, tuttavia la cosa mi pare poco probabile, almeno nei settori in cui le citazioni hanno un significato, per alcuni motivi

  • un atto di questo genere rappresenta “anche” una scelta politica contro il Ministro e l’ANVUR,
  • una non scelta permetterebbe di effettuare una scrematura iniziale dei candidati sostanzialmente senza colpo ferire,
  • la valutazione potrebbe anche essere l’unico (o quasi) parametro considerato riducendo in tal modo l’enorme lavoro che le commissioni dovrebbero fare in soli due mesi.
  • l’eliminare le mediane rappresenterebbe una scelta di criteri più laschi che non sarebbero in linea con quanto dice l’Art. 3, comma 3:

[…] l’eventuale utilizzo di ulteriori criteri e parametri più selettivi […] sono predeterminati dalla commissione, con atto motivato […].

Il calcolo

Le regole dettagliate per il calcolo sono riportate nel documento di accompagnamento dell’ANVUR, da un documento relativo alle normalizzazioni e dalle FAQ.

Per un calcolo semplificato è possibile partire dall’assunto che le informazioni su WoS siano un sottoinsieme di quelle contenute su Scopus.  Questo è generalmente vero (almeno nel mio settore) per chi non ha molte pubblicazioni prima del 1996; invece per chi ha una carriera accademica più lunga gli indici calcolati in questo modo saranno un’approssimazione per difetto.

Di seguito provo a calcolare tutti i valori prendendo un docente reale come esempio (non il sottoscritto e non del mio SSD).

Età accademica

Dalle FAQ si apprende che, essendo A l’anno delle prima pubblicazione presente in qualunque delle basi di dati (WoS, Scopus, sito docente Cineca) l’età accademica si calcola come

EA = (2012 – A) + 1

Esempio

Prima pubblicazione su Scopus 1991

Prima pubblicazione su sito docente Cineca 1990

EA = (2012 – 1990) + 1 = 23

Numero di articoli

Si ricerca l’autore su Scopus, si seleziona l’autore e poi il link “Citation Overview”, a questo punto (in fondo) si scegli di visualizzare il numero massimo di articoli che (per default) vengono presentati in ordine cronologico dal più recente al più vecchio.

Facendo scorrere il cursore sui titoli degli articoli viene visualizzato il tool-tip con la citazione della pubblicazione, è possibile in questo modo contare quanti articoli su conferenza sono presenti, negli ultimi 10 anni (a partire dal 2002).

Esempio:

Scorrendo gli articoli si contano 39 articoli su rivista dal 2002 al 2012

NA = 39

Se l’età accademica è inferiore a 10 (EA < 10) allora il numero di articoli viene normalizzato moltiplicandolo per 10 e dividendolo per l’età accademica:

NAn = NA * 10 / EA

Numero di citazioni

Per questo, un valore approssimato per difetto è quello che compare in alto nella citation overview.

Tale valore potrebbe essere un’approssimazione per difetto se si sono ricevuto citazioni “prima” del 1996 (anno da cui ha iniziato ad indicizzare Scopus). Invece gli articoli prima del 1996 compaiono purché abbiano ricevuto citazioni a partire dal 1996.

In numero di citazioni viene poi normalizzato in base all’età accademica (semplicemente dividendolo per essa)

NCn = NC / EA

Esempio:

Scopus ci segnala 960 citazioni

NC = 960

NCn = 960 / 23 = 41.74

Indice h

Invece di utilizzare l’indice di Hirsch puro e semplice, l’ANVUR ha deciso di utilizzare quello che si chiama l’indice h contemporaneo che viene calcolato non in base alle citazioni ma ad una loro normalizzazione legata all’età dell’articolo.

Invece della citazione C(i,t) di un dato articolo i pubblicato nell’anno t, viene utilizzato il valore normalizzato S(i,t) calcolato come segue:

Utilizzando Scopus, in pratica è facile fare il calcolo (utilizzando un foglio elettronico).

Si modifica l’ordinamento degli articoli delle Citation overview in “Citations descending” e si riportano due informazioni per ogni articolo:

  • l’anno di pubblicazione (t)
  • il numero totale di citazioni (C)

Basta poi aggiungere una terza colonna che calcola il valore S(i,t) con una semplice formula che ricalca quella di sopra.

Per trovare l’indice Hc si può ordinare per S(i,t) decrescente e contare quanti valori S(i,t) (arrotondati all’intero superiore) sono maggiori o uguali della loro posizione.

Ad esempio:

Ci sono 8 pubblicazioni che hanno un valore S(i,t) almeno pari ad 8

Hc = 8

Confronto con le mediante

Complessivamente l’ipotetico aspirante avrebbe i seguenti indici

  • 39 = Numero di articoli su riviste presenti nelle banche dati internazionali nel periodo 2002-2012
  • 41.74 = Numero di citazioni ricevute dalla produzione scientifica complessiva
  • 8 = Indice h.

Si tratta di confrontarli con le mediane pubblicate dall’ANVUR per gli aspiranti PO e gli aspiranti PA.

Se i valori del candidato sono strettamente maggiori, per almeno due dei tre indici, allora avrà una valutazione positiva dell’attività di ricerca.

I commissari

Per i commissari i vincoli sono analoghi ma gli indici leggermente diversi:

  • Numero di articoli su riviste presenti nelle banche dati internazionali nel periodo 2002-2012 (quasi uguale: per i fenomeni che, avendo iniziato la carriera dopo il 2002, sono già professori Ordinari non c’è la normalizzazione, per i comuni mortali è praticamente identico)
  • Numero di citazioni ricevute dalla produzione scientifica complessiva (diverso: non c’è normalizzazione per l’età accademica)
  • Indice h (diverso: si tratta dell’indice h originale, calcolato sul numero di citazioni effettive C(i,t) invece di quelle normalizzate S(i,t))

Se il docente dell’esempio fosse già Professore Ordinario ed aspirasse a fare il commissario i tre indici sarebbero:

  • 39 = Numero di articoli su riviste presenti nelle banche dati internazionali nel periodo 2002-2012
  • 960 = Numero di citazioni ricevute dalla produzione scientifica complessiva (non normalizzate)
  • 15 = Indice h (quello originale calcolato sui valori C(i,t) invece che sui S(i,t))

Questi indici devono poi essere confrontati con le mediane per gli aspiranti commissari pubblicate dall’ANVUR.

Per gli aspiranti commissari, tuttavia i calcoli (precisi utilizzando entrambe le banche dati) sono già svolti dall’ANVUR che ha pubblicato sulle rispettive pagine del Sito Docente CINECA l’esito del confronto.

Annunci

17 thoughts on “ASN: calcolo degli indici (semplificato)

  1. Io ho un dubbio sull’età accademica. Ad esempio chi ha cominciato a publlicare nel 2003, ha un’EA = 2012-2003+1 = 10, quindi non deve normalizzare il numero di articoli…ma allora non è svantaggiato rispetto a chi ha cominciato a pubblicare nel 2002??? Non cè un controsenso?

    • Sul senso generale dell’operazione abbiamo espresso riserve in tanti.

      Nel dettaglio, se è per questo anche chi ha iniziato a pubblicare nel 2002 (e a maggior ragione non usufruisce della normalizzazione) è svantaggiato rispetto a chi ha iniziato nel 2001. Di fatto hanno fissato una soglia e oltre quella non si normalizza.
      Non so quanto questo sia giusto, ma di fatto è la legge.

      • Poiché la mediana si riferisce al numero di lavori del decennio 2002-2012, contano solo i lavori dal 2002 compreso in poi! Comunque forse poco importa, tutto è affidato alla commissione e ai parametri aggiuntivi che considererà.

      • @Chiarac, è vero che contano quelli pubblicati dal 2002 ma, almeno nel mio settore, spesso il lavoro lo inizi uno o due anni prima di pubblicare sulla rivista.

        Hai ragione dipenderà molto dalle commissioni.

  2. Nel sito dell’anvur c’è la seguente domanda nelle faq degli indicatori: “Come si determina l’età accademica? Come evitare che possa essere manipolata eliminando dal sito docente pubblicazioni più antiche allo scopo di aumentare gli indicatori normalizzati?” La risposta non è pertinente e vorrei un chiarimento in merito. Riporto il mio caso particolare. Su WoS e Scopus la mia prima pubblicazione è datata 1996 (età accademica 17 anni), mentre su Cineca è 1993 (se includo un abstract di convegno) o 1994 (se includo una pubblicazione su rivista non recensita nè da WoS nè da Scopus). Ovviamente questo porta a cambiare in modo abbastanza significativo il numero delle citazioni normalizzato che passa da 114 a 102 a 97, rispettivamente.
    La domanda è: se io cancellassi le due pubblicazioni del 1993 e del 1994, ci sarebbe qualcuno che controlla e che avrebbe da ridire qualcosa? Ovviamente il tutto sarebbe tracciato da u-gov che è l’interfaccia che mi permetterebbe di fare questa operazione.
    Vostri commenti sono benvenuti.

    • Tralasciando ogni valutazione di natura etica, non ho idea se ANVUR abbia fatto una fotografia del database Cineca e quindi sia in grado di rilevare la sparizione di eventuali pubblicazioni.
      Di fatto un’operazione del genere potrebbe avere una motivazione se ci si trova sotto le mediane, al di sopra credo (o meglio spero) non ci siano grosse differenze.

  3. Marco, vorrei che non apparisse come una excusatio non petita, ma non avevo intenzione di mettere in pratica ciò che ho proposto. Rimane comunque la validità dell’osservazione: ci sono dei casi in cui è oggettivamente possibile la manipolazione dei parametri stabiliti, incluso l’h index.

  4. Grazie per la guida. Ho fatto oggi i calcoli.
    Come sospettavo, nel nostro settore le mediane sono abbastanza facili da superare… ovvio, così i giochi saranno tutti sulle chiamate dirette

    • Ma vista la definizione di mediana ci sono un sacco di colleghi che non la superano…

      Penso anche io che andrà a finire tutto sui concorsi locali.

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...