Mediane e fasce

Nel giro di qualche mese, in base alle indiscrezioni, dovrebbe partire l’esercizio di valutazione che porterà all’attribuzione delle abilitazioni scientifiche nazionali previste dall’art. 16 delle legge Gelmini. Una delle possibilità, suggerite dalle prime bozze proposte dall’ANVUR, è di definire delle soglie minime corrispondenti alla mediana degli indici di produttività sia per selezionare i commissari che per consentire l’accesso ai candidati.

Avevo già esposto alcune considerazioni teoriche contro questo approccio soprattuto concentrandomi sugli effetti sui candidati, ritorno con alcuni dati e provo a ragionare sul criterio di selezione dei commissari.

Campione e misure

Partiamo dai dati. Ho provato a valutare un indice di produttività, l’h-index calcolato sul database Scopus; mi sono limitato ai Professori di I fascia (PO) e II fascia (PA) di un solo Macrosettore scientifico disciplinare (9/H-Ingegneria Informatica) e di due soli atenei.

Si tratta di 77 Professori (il 19% dei 406 a livello nazionale), di cui 40 PA (su 212 nazionali) e 37 PO (su 194 nazionali), corrispondenti abbastanza bene alle proporzioni osservabili a livello nazionale.

La distribuzione dell’h-index ed il confronto tra le due fasce è mostrato nella seguente figura tramite un boxplot.

Considerazioni

Alcune osservazioni e considerazioni:

  • la mediana dei PA è più elevata di quella dei PO: questo potrebbe, almeno in parte, essere spiegato dal fatto che i PO hanno tendenzialmente più incarichi gestionali e quindi hanno meno tempo per fare ricerca e pubblicare;
  • il limite superiore dei PO è più elevato di quello dei PA: questo dipende dal fatto che l’h-index tende ad aumentare naturalmente con l’età del ricercatore, anche se improduttivo;
  • il 65% dei PA è sopra la mediana dei PO, ovvero supererebbero la prima soglia per l’abilitazione nazionale se questo fosse l’indice utilizzato per la scrematura;
  • il 62% dei PO hanno un indice sotto la mediana dei PA, ovvero il 12% dei potenziali commissari ha indici inferiori a tutti i candidati che dovrebbe valutare;
  • la probabilità che un potenziale commissario abbia indici inferiori ad un candidato è circa il 33%.

Conclusioni

Alla luce di quest’ultima osservazione i casi sono due:

  1. o riteniamo che gli indici (ed quindi anche una soglia secca corrispondente alla mediana) siano una rappresentazione fedele e soprattutto accurata delle capacità di un professore, allora è scandaloso che mediamente in un caso su 3 chi giudica sia meno capace del giudicato,
  2. oppure crediamo che gli indici possano fornire al più un’idea di massima delle capacità di un professore, allora una soglia secca come la mediana non è appropriata.

Se uniamo queste conseguenze pratiche alle altre considerazioni teoriche, un approccio ragionevole consiste nell’assegnare agli indici bilbiometrici un ruolo di valutazione approssimativa ed utilizzarli esclusivamente per eliminare le code verso il basso.

Annunci

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...