Produttività di un dipartimento

Tra qualche giorno dovrebbero uscire i risultati della Valutazione della Qualità della Ricerca (VQR) 2004-2010, condotta dall’ANVUR sul sistema della ricerca italiano. Verranno valutati gli atenei ma anche le strutture al loro interno: i dipartimenti.

Mi chiedo allora: quante pubblicazioni dovrebbe produrre un buon dipartimento?

Una risposta non troppo precisa potrebbe arrivare da un altro esercizio dell’ANVUR: l’abilitazione scientifica nazionale (ASN). Per valutare i docenti abilitandi, sono state calcolate le mediane di vari indicatori, tra cui il numero di articoli su riviste (indicizzate).

Metodo

Torno alla domanda di partenza:

Quante pubblicazioni posso aspettarmi da un dipartimento?

La risposta dipende da almeno due fattori:

  • dalla bravura/produttività dei docenti
  • dalla dimensione del dipartimento

Il primo fattore è di difficile valutazione, soprattuto se uno non conosce nel dettaglio tutti i docenti di un dipartimento ed il loro ambito disciplinare. Non potendo dare una risposta diretta a questa domanda possiamo considerare il caso intermedio: quanto è bravo mediamente un docente?

La risposta a quest’ultima domanda varia molto in funzione della disciplina del docente. L’ANVUR nel definire i parametri per l’ASN ha calcolato il valore mediano del numero di pubblicazioni per docente, per i diversi settori concorsuali, su un periodo di 10 anni. Tali valori sono stati calcolati per i Professori Ordinari e per i Professori Associati.

Con una piccola semplificazione consideriamo come rappresentativo di tutto il corpo docente le mediane relativa agli associati, che si possono trovare in formato aperto qui.

In generale un dipartimento non è composto tutto da docenti dello stesso settore ma da un mix di settori. Ad esempio due tipici dipartimenti nel settore ICT, uno di informatica e l’altro di elettronica, potrebbero avere questi settori:

EsempioDipartimenti

La produzione attesa da un dipartimento in termini di articoli su rivista all’anno può essere calcolata come:

ArticoliDipartimento

Dove, D è l’insieme dei settori rappresentanti nel dipartimento,MNAs è la mediana del numero di articoli, calcolata da ANVUR (relativa a 10 anni) per il settore s,NDs è il numero di docenti del dipartimento che fanno parte del settore s. Infine n indica il numero medio di co-autori per articolo, afferenti al dipartimento; semplificando possiamo assumere sia pari a 2.

Il valore di pubblicazioni attese, corrisponde al numero che ci si attende da un dipartimento mediano, ovvero composto da docenti che hanno una produttività pari alla mediana dei docenti nel proprio settore. Sarebbe quindi un dipartimento caratterizzato da una produttività maggiore o uguale al 50% degli ideali dipartimenti italiani e minore o uguale al 50% restante.

Quindi un vero dipartimento con una produttività superiore si situa tra la metà migliore dei dipartimenti mentre se è inferiore sarebbe tra il 50% peggiore.

Risultati

Immaginiamo di avere, nei due dipartimenti le numerosità di docenti indicate dalla tabella seguente:

EsempioPubblicazioni

Le mediane riportate dal documento ANVUR, indicano il numero mediano di pubblicazioni su rivista prodotte da un soggetto di quel settore.

Date le numerosità precedenti, il Dip. A mediano dovrebbe produrre 41 pubblicazioni all’anno, mentre il dip. B mediano dovrebbe produrre 103 articoli su rivista.

Considerando la produzione media individuale invece, il docente media del dip. A dovrebbe produrre 0.6 articoli per anno, mentre il docente medio del dip. B dovrebbe produrre 1.1 articoli all’anno; tenendo conto dei co-autori. Ovvero, se ogni articolo è co-firmato da due docenti, in media ciascun docente del dip.A dovrebbe firmarne 1.2 all’anno e un docente del dip. B ne dovrebbe firmare 2.2.

Conclusioni

Un confronto diretto della produzione di due dipartimenti aventi dimensioni e composizione in termini di settori diversi non fornisce alcuna informazione sulla virtuosità. Una produzione effettiva di 70 articoli all’anno, se riferita al Dip. A indica un dipartimento virtuoso (nel 50% dei migliori) mentre, se riferita al Dip. B indica un dipartimento mediocre (nel 50% peggiore).

Quindi un sistema di valutazione dei dipartimenti basato solamente sul numero di articoli è estremamente iniquo.

Dalle considerazioni precedente, rimane escluso ogni valutazione della “qualità” degli articoli che è spesso misurata in base al numero di citazioni e/o al prestigio della rivista su cui appare. A questo scopo la VQR si basa su quattro classi di merito delle riviste.

Restiamo in attesa dei risultati della VQR, nella speranza, che almeno in questo caso vengano pubblicati come dati aperti a tre stelle.

Annunci

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...