Criteri bibliometrici: valutazione o vaglio?

I criteri bibliometrici, ad esempio quelli che sono previsti nei criteri per l’idoneità scientifica nazionale dell’ANVUR, sono utili o dannosi?

Per questa domanda è necessario rispolverare la classica risposta del buon ingegnere: dipende! Dipende da qual’è l’obiettivo che vogliamo raggiungere.

Diverse valutazioni possono essere fatte, se, ad esempio, ne consideriamo due estremi:

  • Valutazione
  • Vaglio (screening)

Nel primo caso si vuole valutare se un soggetto (ricercatore) è idoneo a ricoprire un ruolo o si qualifica come produttivo.

Nel secondo caso invece vorremmo vagliare i soggetti e scartare quelli che non sono adatti a ricoprire un ruolo oppure non sono produttivi.

Se guardiamo la cosa da un punto di vista puramente logico partiamo da una premessa costituita da una proposizione del tipo

Se Produttivo(x) , Allora Indice(x) > Soglia

Si tratta di una classica implicazione (P → Q) Dove la premessa (P) assume che un soggetto sia produttivo e la conseguenza (Q) prevede che un indice bibliometrico del soggetto si superiore ad una soglia.

Se perseguiamo il primo obiettivo (valutazione), affermiamo che, data la proposizione precedente (P → Q), se l’indice supera la soglia (P) possiamo dedurre che il soggetto sia Produttivo si configura, in simboli come:

P → Q

Q

|— P

Che è esattamente un esempio di affermazione del conseguente, ovvero una ben nota fallacia argomentativa di tipo formale.

Questo significa che assegnare dei premi sulla base del superamento di una soglia su alcuni indici è una pratica errata.

Invece, considerando il secondo obiettivo (vaglio), partiamo dalla scoperta che l’indice non raggiunge la soglia (~Q) per concludere che il soggetto non è produttivo (~P). In simboli:

P → Q

~Q

|— ~P

Questo è il classico schema di un’argomentazione che segue il modus tollens, ovvero un modo valido di argomentare.

Risulta quindi logicamente fondata la pratica di escludere dei soggetti da una successiva fase di valutazione sulla base degli indici bibliometrici.

In altre parole, sebbene questa appaia una sottigliezza, gli indicatori possono essere utilizzati per escludere alcuni soggetti e non per includerli.

Accertato questo possiamo concentrarci su quali siano le consegunze di un errore nella valutazione basata sugli indici

Per errore consideriamo diversi possibili condizioni:

  • il valore della soglia è troppo alto o troppo basso
  • la misura dell’indice è sbagliate, per problemi di campionamento oppure a causa di “trucchi” che violano le assunzioni che stanno alla base dell’indice

Errori di questo tipo portano ad errori di giudizio dei soggetti, in particolare abbiamo quattro possibili casi in funzione del valore vero del soggetto e del giudizio dato in base all’indice.

Effettivamente
NON Produttivo
Effettivamente
Produttivo
sotto soglia giudicato non produttivo OK- Falso Negativo
sopra soglia giudicato produttivo Falso Positivo OK+

Abbiamo un falso positivo se un soggetto non produttivo, a causa degli errori, risulta sopra la soglia fissata e quindi viene giudicato positivo: ovvero un soggetto che sarebbe dovuto essere scartato non risulta tale.

Di solito si chiama specificità (1-α) la capacità di evitare i falsi positivi.

Abbiamo un faso negativo se un soggetto di fatto produttivo, sempre a causa degli errori, risulta sotto la soglia e quindi viene giudicato improduttivo: ovvero un soggetto che sarebbe stato da considerare viene invece scartato.

Di solito si chiama sensitività (1-β) la capacità a fronte di un soggetto produttivo di evitare i falsi negativi.

Ora, se gli indici bibliometrici vengono utilizzato nel modo corretto, ovvero per vagliare i soggetti e scartare quelli non produttivi, riducendo in pratica il numero di soggetti da valutare più accuratamente, dei due casi di falsi precedenti quello più deleterio è rappresentanto dai falsi negativi: in questi casi il merito viene negato in maniera “automatica” senza possibilità di appello.

Viceversa per i falsi negativi, comunque esiste una successiva valutazione che può reclamare il merito per sbaglio concesso.

Si tratta quindi di alzare il più possibilile la sensitività dell’approccio, tuttavia questo di solito comporta una riduzione della specificità; se quest’ultima risulta troppo bassa non ha più senso un meccanismo di vaglio basato sugli indici.

Un modo molto semplice per aumentare la sensitività è quello di abbassare la soglia: al limite per una soglia pari a zero nessuno sarebbe giudicato negativamente, e quindi non ci sarebbero falsi negativi. Tuttavia si azzererebbe anche il numero di coloro correttamente giudicati in maniera negativa.

La domanda da porci è quanti soggetti (o che percentuale) produttivi (bravi) siamo disposti a sacrificare per poter automaticamente (e forse oggettivamente) escludere i soggetti non meritevoli?

Se questa è la domanda la risposta non può essere quella implicitamente fornita dalla proposta ANVUR. La soglia da definire deve essere tale da escludere i meritevoli.

Invece nell’idea di considerare come soglia la mediana dei soggetti nel ruolo a cui si vuole accedere si sta ragionando in termini di un criterio per includere i meritevoli: questo oltre a basarsi su un’argomentazione fallace rischia di portare ad una sensitività tropppo bassa.

Per provare a fare una proposta pratica, sebbene molto approssimativa, riterrei accettabile definire una soglia che sia più vicina al primo quartile invece della mediana. Sul valore esatto bisognerebbe ragionare e se riesco proverò a farlo in un prossimo post.

Annunci

One thought on “Criteri bibliometrici: valutazione o vaglio?

  1. Pingback: Mediane e fasce « Marco Torchiano

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...