VQR 2004-2010

Il programma di Valutazione della Qualità delle Ricerca (VQR 2004-2010) ha come obiettivo la valutazione della produzione scientifica di atenei e centri di ricerca.

Da quando sono stati pubblicati i criteri di valutazione per la VQR sono stati fatti molti commenti, quasi tutti tendenzialmente negativi. Mi vorrei soffermare su un articolo apparso recentemente su Il Manifesto e rilanciato sul blog ROARS.

Premesso che tutta la procedura ed il metodo hanno dei grossi limiti. A fronte delle numerose critiche, qual’è l’alternativa realmente percorribile se non mandare tutto all’aria e ricominciare da capo? E questa non è un’alternativa: è abdicare a qualunque valutazione del merito.

Critiche approssimative

Molte delle affermazioni fatte nell’articolo di Burgio e Marella hanno un carattere assoluto ma hanno evidentemente senso solo per alcuni settori, questo modo di procedere corre il rischio di sembrare qualunquismo. Nell’articolo, poi, ci sono vari aspetti questionabili.

L’obiezione, “siamo valutati su criteri su criteri non noti nel 2004” è un po’ autoassolutoria: se osservo i criteri (parlo per ING-INF/05 dell’area 09 che conosco da vicino) ci sono alcune riviste valutate un po’ meglio o un po’ peggio di quanto dovrebbero ma non ho notato grossi ribaltoni. Non sarebbe onesto dire che si è pubblicato su riviste scadenti perché non si conosceva la classificazione ANVUR: chi conosce l’ambiente sa benissimo quali sono le riviste top e quali quelle scarse.

L’obiezione “le riviste di fascia A sono forzatamente il 25% e non è possibile pubblicare tutti sulle rivista si fascia A” fa acqua da tutte le parti per due motivi principali:

  • la scelta di operare per quartili (il 25%) oltre ad essere una prassi statistica diffusa, impedisce la pratica molto comune di valutare tutti eccellenti, una fascia A non si nega alla rivista di nessun collega;
  • visto che la VQR considera un periodo di 7 anni, per avere il massimo del punteggio occorre aver pubblicato almeno tre volte in 7 anni sulle riviste top: è molto diverso dal pubblicare sempre e continuativamente su tali riviste.

L’ipotesi che la classificazione degli editori possa creare una suddivisione in buoni e cattivi (che occupa circa metà dell’articolo) è un’interessante esempio di speculazione che andrebbe sostanziata con riscontri concreti che sono assenti non solo nell’articolo ma anche (almeno a prima vista) nei criteri pubblicati sul sito ANVUR.

Errata classificazione

Un altro aspetto non trattato dall’articolo ma citato altrove e presente in varie discussioni è che alcune riviste sono classificate non correttamente e dovrebbero stare nella fascia superiore o quella inferiore.

Se da un punto di visto formale tali critiche possono risultare fondate, da un punto di vista pratico rischiano di essere irrilevanti.

Stiamo parlando di una valutazione delle strutture dove ogni docente di ogni ateneo presenterà tre prodotti da valutare : statisticamente l’effetto di qualche rivista classificata impropriamente è molto probabilmente trascurabile a livello di ateneo.

In effetti è probabile che alcuni (tanti?) docenti non abbiano prodotto tre pubblicazioni valide negli ultimi 7 anni: in un tale scenario a maggior ragione l’errata classificazione di qualche rivista non cambia il risultato finale.

Perciò finché l ‘obiettivo è quello di valutare le strutture di ricerca (il goal della VQR) non mi preoccupo troppo.

Rischio concreto

Il rischio concreto è che il ministero riutilizzi i meccanismi predisposti per la VQR in maniera impropria.

Cosa succederebbe se la classificazione delle riviste (con qualche imprecisione) fosse usata non per valutare le strutture ma i singoli? Ad esempio per assegnare l’abilitazione scientifica nazionale?

In quel caso se una rivista sui cui un ricercatore pubblica abitualmente è classificata erroneamente, questi potrebbe essere penalizzato o favorito indebitamente.

Esiste la possibilità che tali criteri vengano usati impropriamente? Come mi disse un membro di un GEV col quale ho chiacchierato di queste cose qualche settimana fa: “spero proprio di no ma temo di si…”

Questo timore si rafforza se considero come il precedente Rettore del Politecnico di Torino, ha utilizzato dei criteri pensati per la valutazione delle strutture al fine di valutare i singoli.

Annunci

2 thoughts on “VQR 2004-2010

  1. La situazione sta diventando sempre più critica.

    La classificazione bibliometrica delle riviste (Aree 01-09) sta sollevando diverse perplessità.

    1.Problemi di sostanza: vuoi a causa delle aggregazioni implicate dalle categorie scientifiche vuoi a causa della manipolabilità dell’IF, diverse classificazioni appaioni ingiuste. Per esempio, la bioingegneria soffre della contaminazione con le riviste di imaging che hanno IF elevato perché lette e citate in ambito medico più che ingegneristico. In tal modo le riviste di bioingegneria “buone” vengono scalzate dalle classi elevate solo perché la categoria scientifica bibliometrica raggruppa riviste non omogenee. Se il criterio si consolida, diventerebbe un incentivo a scegliere argomenti di maggior impatto bibliometrico penalizzando intere tematiche che hanno la sola colpa di essere aggregate (dai gestori commerciali dei database bibliometrici!) con tematiche bibliometricamente più “pesanti”. ING-INF/05 soffre meno di questi problemi perché c’è un numero enorme di riviste e quelle “ottime” hanno meno difficoltà ad entrare in fascia A (a dire il vero è possibile trovare in fascia A persino riviste interdisciplinari che non sembrano eccellenti). Citare i casi di manipolazione dell’IF è più delicato ma credo proprio che ci siano.

    2. Problemi di metodo: i metodi bibliometrici del GEV09 (Principal Component Analysis che non garantisce il rispetto della dominanza paretiana http://www.roars.it/online/?p=4875) e del GEV01 (medie pesate del tutto empiriche http://www.anvur.org/sites/anvur-miur/files/gev/GEV01_FAQ.pdf) non hanno base scientifica. Ancor peggio, è stato mostrato che il GEV09 (tranne ING-INF/05) si è disegnato delle soglie bibliometriche che garantiscono punteggi in media 1,4 volte maggiori rispetto alle regole seguite dagli altri GEV (http://www.roars.it/online/?p=6280).

    In realtà, la classificazione delle riviste (che apparentemente sembra un approccio del tutto naturale) è già stata applicata in Australia e, alla luce dei problemi che ha creato, è stata abbandonata in quanto potenzialmente dannnosa (si veda la dichiarazione ministeriale: http://minister.innovation.gov.au/carr/mediareleases/pages/improvementstoexcellenceinresearchforaustralia.aspx). Soprattutto nelle aree non bibliometriche, le modalità di produzione scientifica non sono sovrapponibili a quelle delle aree bibliometriche. Il tentativo a livello europeo di costruire una classificazione delle riviste (ERIH) è andato incontro ad un clamoroso fallimento (http://www.roars.it/online/?p=4846). In Australia la creazione dei journal rankings ha visto la lotta delle lobbies per imporre le proprie riviste nelle classi alte. Cose simili sono accadute nei GEV italiani con l’aggravante che i loro membri devono sia progettare le griglie valutative sia effettuare la valutazione trovandosi nell’incongrua posizione di progettisti, valutatori e portatori di interessi dei loro SSD (o persino delle loro scuole scientifiche). E che dire del GEV13, in cui il 75% dei membri hanno grado di separazione minore o uguale a 2? (http://www.roars.it/online/?p=2400). Per chi conosce il caso australiano le considerazioni di Burgio e Marella appaiono ben più che semplici speculazioni.

    “A fronte delle numerose critiche, qual’è l’alternativa realmente percorribile se non mandare tutto all’aria e ricominciare da capo? E questa non è un’alternativa: è abdicare a qualunque valutazione del merito.”

    Minacciare di chiudere sedi e declassare università a “teaching university” (intervista del coordinatore della VQR a Repubblica: http://rassegna.unipv.it/bancadati/20120206/SIA6005.pdf) e poi procedere ad una valutazione al di fuori di ogni standard scientifico usando regole che avvantaggiano alcune aree scientifiche e i politecnici (http://www.roars.it/online/?p=6280): questo è il modo migliore per affossare la VQR e abdicare a qualunque valutazione del merito degna di tal nome. Chi crede che la valutazione sia una cosa seria non può che chiedere uno stop per revisionare bando e criteri. Per come stanno andando le cose, i risultati della valutazione saranno inaffidabili e i danni collaterali potrebbero superare i presunti benefici. Senza cambio di rotta, passeranno diversi anni prima che la parola “valutazione” possa essere di nuovo usata senza essere associata a pressapochismo e conflitto di interessi.

    • Il problema (1) che sollevi appare effettivamente rilevante: se esistono dipartimenti i cui gruppi scelgono sistematicamente (per gli argomenti su cui lavorano) riviste penalizzate dalla classifica potrebbero avere una valutazione inferiore. Dipende dalla rilevanza numerica di quei casi: non ho dati ma l’impressione è che siano limitati.

      Non avevo ancora letto l’articolo sul vincere facile al tuo punto (2): in tal caso l’effetto si applica ad un’intero SSD (il più numeroso) ed effettivamente porterebbe a delle distorsioni interne agli atenei (prevedo infinite discussioni con i “cugini” di elettronica). Tra gli atenei comunque i Politecnici risultano primi in varie valutazioni (e anche li molte classifiche sono falsate ma con l’attenuante che non sono ufficiali, https://mtorchiano.wordpress.com/2011/08/14/trascurata-classifica-delle-universita/ )

      Quanto tempo richiederebbe la revisione dei criteri? Probabilmente occorrerebbe nominare un altro consiglio, ripartire con la definizione di principi e linee guida, riavviare (se non rinominare) i GEV: una altro anno?

      A questo punto, con tutto avviato ed in scadenza, probabilmente ha senso concluderla, valutare onestamente i risultati e prepararsi bene per la prossima. Questo ovviamente implicherebbe prendere i risultati “cum grano salis” e non come oro colato

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...