Trascurata classifica delle università

Il Sole 24 ore ha pubblicato il 18 Luglio scorso una classifica delle università italiane da cui risulta che il Politecnico di Torino è al top, superando il Politecnico di Milano. Osservando come è stata calcolata la classifica, emergono alcune considerazioni di merito, ma soprattutto di metodo. In base a queste ultime la classifica pubblicata potrebbe essere falsata ed il sorpasso non essere, nei fatti, avvenuto.

Updated 8/Sept/2011 – Thanks Andrea.

I criteri

La valutazione viene fatta sulla base di 10 criteri, che vengono chiamate “tappe” nell’articolo.

  1. Talenti: immatricolati nel 2010/11 con voto di maturità 1oo (% sul totale di immatricolati)
  2. Attrattiva: immatricolati nel 2010/11 da fuori regione o stranieri (% sul totale immatricolati)
  3. Dispersione: Mancate iscrizioni al II anno nel 2010/11 (% su immatricolati anno precedente)
  4. Inattività: Iscritti che nel 2010/11 non hanno ottenuto crediti (% su totale iscritti)
  5. Laurea nei tempi: Laureati in corso (% su totale non viene detto di cosa: laureati o immatricolati)
  6. Affollamento: Rapporto tra studenti in corso e docenti “pesati” (1 Ordinari, 0,7 Associati, 0,5 Ricercatori)
  7. Occupati: Tasso di occupazione a tre anni dal titolo
  8. Ricerca/Fondi: Disponibilità di fondi per la ricerca (EUR / docente, dati 2009)
  9. Ricerca/Fondi esterni: Quota di fondi derivanti da enti esterni (% sul totale dei fondi)
  10. Ricerca Personale: Quota di docenti che hanno partecipato con successo a bandi Prin (media 07/08)

Il calcolo del punteggio totale per ciascun ateneo viene fatto come segue:

Gli atenei sono messi in graduatoria per ogni indicatore. Al primo classificato sono assegnati 100 punti, agli altri un punteggio progressivamente inferiore fino a zero. Quando il dato non è disponibile vengono attribuiti 50 punti.

Osservazioni

Alcune osservazioni specifiche sui criteri che non inficiano completamente la classifica ma invitano a prenderla con le molle:

  1. Talenti: è ben noto che la distribuzione dei voti di maturità non è geograficamente omogenea quindi risultano avvantaggiate le università del sud o quelle che attraggono studenti dal sud.
  2. Attrattiva: i fuori regione e gli stranieri sono legati all’attrattività ed al prestigio dell’ateneo, ma politiche mirate ad attrarre, ad esempio, gli stranieri per fare numero da qualunque nazione e di qualità incerta, possono gonfiare artificialmente tale indicatore: occorrerebbe osservare quanti sono gli studenti di paesi Europei che vengono attratti, studenti provenienti da paesi meno fortunati dell’Italia non sono molto significativi.
  3. Dispersione: con il sistema dei crediti non esiste una vera e propria iscrizione al II anno, come nei tempi passati, è possibile ottenere un’indicazione approssimativa valutando chi inserisce nel piano di studi una quota determinata degli insegnamenti del II anno.
  4. Inattività: sebbene definito in maniera diversa questo indicatore è molto simile al precedente ed effettivamente nei dati si osserva una certa correlazione
  5. Laurea nei tempi: la laurea nei tempi è un concetto labile, si considera nei tempi la laurea entro i 3 anni dall’immatricolazione, entro l’anno solare, entro l’anno accademico? inoltre non viene specificato esattamente su quale totale viene calcolata la percentuale
  6. Affollamento: considerando che per legge gli Ordinari e gli Associati hanno gli stessi compiti e che nella pratica i ricercatori svolgono le stesse attività dei PO e PA (non la metà!) utilizzare il peso è fortemente fuorviante, inoltre questo indicatore non è una percentuale come indicato nella tabella
  7. Occupati: i dati sono calcolati con diverse fonti e su diversi anni
  8. Ricerca/Fondi: il fatto che ciascun docente abbia 51 EUR in media per fare ricerca è poco realistico, anche se spiegherebbe bene il degrado dell’università in Italia.
  9. Ricerca/Fondi esterni: essendo calcolato come frazione dell’indicatore precedente rende i due indicatori non indipendenti.
  10. Ricerca Personale: è un’indicazione molto parziale delle capacità di ricerca dei singoli, ha l’unico vantaggio di essere uno dei parametri utilizzati dal Ministero

Più significative sono alcune osservazioni generali:

  • Mentre quasi tutti i criteri sono positivi, ovvero valori alti sono migliori (graduatoria decrescente), i criteri 3 (Dispersione), 4 (Inattività) e 6 (Affollamento) sono indicatori negativi, ovvero è meglio avere valori bassi. Quindi la graduatoria dovrebbe essere crescente (dal più basso al più alto) mentre le graduatorie mostrate per questi tre criteri sono invece decresenti.
    L’autore dell’articolo ha confermato che alcune graduatorie sono state pubblicate in ordine inverso e che purtroppo l’impaginazione era un aspetto fuori dal suo controllo.
  • Il metodo di calcolo del punteggio, per come è descritto, lascia aperte diverse interpretazioni:
    1. Punti = 100-R+1:
      100 punti al primo, 99 al secondo etc., si arriva a 0 se ci sono 101 atenei in classifica
    1. Punti = 100 – 100*(R-1)/(L-1):
      100 punti al primo, 0 punti all’ultimo in classifica

Dove:

    • R: posizione in classifica dell’ateneo
    • L: posizione in classifica dell’ultimo ateneo

L’autore dell’articolo, gentilmente mi ha fatto sapere che gli atenei in classifica erano intervallati di 1.754 punti; questo equivale alla formula 2, ponendo L = 58, infatti 100 / (58-1 ) = 1.754

Purtroppo nessuna di queste  interpretazioni permette di riprodurre esattamante i punteggi riportati nell’articolo come provo ad illustrare qui di seguito.

Risultati

Come verifica ho provato a calcolare i punteggi dei primi tre atenei pubblici (Politecnico di Torino 829,8 punti, Politecnico di Milano 796,4 punti, Università di Trento 714 punti). Qui il foglio excel con dati e calcoli di dettaglio

Sono partito dalla loro posizione nelle graduatorie per i singoli criteri (in verde i criteri positivi, in rosso quelli negativi) come pubblicate nell’articolo, ovvero senza considerare che alcune classifiche sono da invertire:

Inoltre ho ribaltato le classifiche dei tre criteri negativi, ottenendo le classifiche corrette. La tabella seguente riporta le posizioni dei tre atenei, con evidenziate in grassetto le posizioni variate per il ribaltamento delle classifiche:


Utilizzando le posizioni nelle classifiche, sia quella pubblicata che quella corretta, ho poi applicato i due metodi di calcolo dei punteggi delineati sopra. Il risultato, confrontato con il punteggio totale riportato nell’articolo, e con evidenziati primo secondo e terzo ateneo, è il seguente:

Quindi utilizzando il metodo suggerito dall’autore dell’articolo ci sono delle differenze.

Considerando il punteggio del Politecnico di Torino, esso risulta essere di 821,1 contro 829,8 pubblicati nell’articolo. Pur essendo diversi i valori la differenza è circa l’1%, quindi trascurabile.

Se guardiamo al Politecnico di Milano, il punteggio è di 866,7 contro 796,4, una differenza del 9%.

Soprattutto, considerando i due punteggi assieme, mentre secondo i punteggi pubblicati il Politecnico di Torino supera il Politecnico di Milano, rifacendo i conti la graduatoria è invertita.

Conclusioni

Una graduatoria è stata pubblicata su un importante giornale e dovrebbe dare indicazioni sul valore degli atenei ma:

  • i dati non sono disponibili in formato accessibile
  • quelli pubblicati presentano classifiche ordinate in maniera inversa
  • non è possibile riprodurre i punteggi finali, neanche a seguito delle informazioni aggiuntive fornite dall’autore dell’articolo
  • facendo i conti sulla base dei dati pubblicati risulta una clamorosa inversione nelle prime due posizioni della classifica, col risultato che il titolo dell’articolo “Torino vince il derby dei Politecnici” appare falsato.
Annunci

4 thoughts on “Trascurata classifica delle università

  1. Vorrei scrivere molto di piu’ per commentare al tuo sempre molto interessante post.. ma sono quasi le 9 di sera e sono ancora al lavoro.. quindi la testa e’ un po’ skoppiata!

    Quindi commento solo un punto: gli studenti cinesi che arrivano alle universita’ europee sono tutti gia’ iscritti o addirittura diplomati da univernsita’ locali! Penso che tu volessi buttarla sul ridere, ma ti assicuro che a numero di universita’ e di iscritti la Cina e’ messa bene.. (Wiki: By the end of 2004, China had 2,236 colleges and universities, with over 20 million students enrolled..)
    Certo il livello non sara’ alto come il nostro Poli, ma qui a Hefei, dove sto io’ c’e’ una delle migliori universita’ tecniche ciensi (USTC) e ha pure un discreto contatto con il mondo esterno..

    poi gli studenti che effettivamente riescono a venire in Europa con borse o contratti di studio vari devo essere di livello medio alto, e come detto, spesso aver terminato i 3 anni del bachelor. In Cina, per una persona “comune” e’ praticamente impossible avere un passaporto: non e’ come in Europa, dove fai la domanda e poi vai a ritirarlo..

    Per il resto, mi spiace che PoliMi abbia sorpasssato (di nuovo) PoliTo!!

    saluti!!

  2. non condivido affatto che il politecnico di Torino sia al top. Per il cacolo del voto di laurea, nella Terza facoltà, è tutto segreto. Quindi lo studente non ha diritto a sapere il perché ha preso quel voto. Questo da spazio ad una certa “libertà” a poter decidere a mettere qualsiasi voto a qualsiasi raccomandato. Dico questo, perché essendo l’unica facoltà in Italia a non pubblicare il metodo di calcolo, nessuno può controllare e verificare che siano stati corretti e/o che nulla di anomalo sia accaduto.
    Rompete le scatole al garante e fatevi dire “l’algoritmo misterioso”. Se non accetta, provvedete vie legali.

    • Il voto di laurea non è, per fortuna, uno dei parametri utilizzati dalla classifica.

      Sulla pubblicità delle formule di calcolo sono perfettamente d’accordo e ho già avuto modo di farlo presente in Senato Accademico, ci sono un po’ di resistenze che non ho capito bene da dove arrivino. La trasparenza dovrebbe essere una caratteristica fondamentale, sicuramente nelle istituzioni pubbliche.

      Invece non credo affatto che la segretezza sia mai stata utilizzata per favorire qualche raccomandato o che qualcuno possa avere intenzione di sfruttarla in tale senso.

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...