All. C - Università degli Studi di Firenze

Allegato C - Determinazione del Consiglio di Amministrazione del 18 luglio 2014
ALL.C
Documento relativo alla quota premiate per esiti VQR
L' ANVUR il 30 Giugno 2013 ha pubblicato i Rapporti sulla valutazione del sistema universitario e della ricerca.
Numerosi indicatori sono stati proposti dall 'Agenzia, nel rispetto del Bando ministeriale, per valutare le strutture
Universitarie.
Nel Rapporto- Parte Prima, Cap.5, l'ANVUR affronta anche il problema della determinazione di possibili
indicatori per la valutazione delle strutture Dipartimentali, introducendo un possibile indicatore che al suo
interno contiene anche in maniera il costo della ricerca, valutato dali' Agenzia stessa per le varie Aree
Scientifiche. Tutte le elaborazioni degli indicatori ANVUR della qualità della ricerca si basano su una
classificazione per Area CUN dei cosiddetti prodotti della ricerca (pubblicazioni). La pubblicazioni dei Rapporti
ANVUR sulla VQR hanno stimolato un ampio dibattito nella comunità accademica.
Prima ancora dell'elaborazione finale e della pubblicazione dei risultati VQR da parte dell'ANVUR, la
Conferenza dei Rettori delle Università italiane (CRUI) ha istituito un Gruppo di Lavoro coordinato all ' interno
della sua Commissione Ricerca (''Gruppo CRUI" nel seguito) dedicato allo studio e alla possibile condivisione
di metodi di valutazione della ricerca che ogni Ateneo svolge al proprio interno (la cosiddetta "valutazione
interna della ricerca"). Di questo Gruppo di ricerca hanno fatto parte, per il nostro Ateneo, la prof.ssa Elisabetta
Cerbai in qualità di prorettore alla ricerca del nostro Ateneo e successivamente il Prof. Giacomo Poggi. La CRUI
ha inoltre ritenuto opportuno stabilire un contatto con l' ANVUR per avviare una collaborazione su tali
tematiche. In particolare il Gruppo CRUI ha auspicato che la pubblicazione imminente dei risultati della
valutazione dei prodotti della ricerca contenesse anche una classificazione per settore scientifico-disciplinare
("SSD" nel seguito) dei soggetti valutati, al fine di consentire un'analisi della valutazione delle pubblicazioni più
dettagliata rispetto alla prevista classificazione per Area CUN. La richiesta è stata accolta favorevolmente
dall ' ANVUR e la pubblicazione dei risultati della VQR ha aggiunto fin da subito le valutazioni dei prodotti per
SSD.
La collaborazione ANVUR-CRUI sugli indicatori della qualità di ricerca dei Dipartimenti si è rafforzata
ulteriormente dopo la pubblicazione del Rapporto finale VQR facendo seguito ad una esplicita apertura
dell ' ANVUR contenuta proprio nella premessa di tale documento, nella quale si afferma che: "Le graduatorie
dei Dipartimenti e delle sottostrutture presenti nel rapporto sono dunque da intendersi come un supporto
informativo offerto agli organi di governo delle strutture da utilizzare liberamente e in piena autonomia (. ..).
L 'ANVUR è disponibile a studiare con le strutture altri modi per comporre i risultati singoli e consentire una
diversa metodologia di valutazione dei Dipartimenti... ". La CRUI ha quindi collaborato con I'ANVUR proprio
per la defmizione di questi altri, possibili indicatori che consentissero agli Atenei di disporre di metodi condivisi
atti a valutare i Dipartimenti al loro interno al fine di erogare ad essi risorse.
In particolare l' attenzione del Gruppo CRUJ si è rivolta ai criteri per l' erogazione di risorse non dipendenti dal
costo della ricerca, quali quelle per la assegnazione dei cosiddetti "punti organico" destinati al reclutamento del
personale.
Il Gruppo CRUI ha proposto un indicatore adatto a tale scopo, detto "Voto Standardizzato di Dipartimento"
("VS" di Dipartimento nel seguito), che nasce da un suggerimento elaborato all ' interno del nostro Ateneo, già
illustrato agli Organi e al Collegio dei Direttori. Il calcolo dell ' indicatore è stato compiuto con il contributo
dell'ANVUR 1 e ha riguardato tutti i Dipartimenti degli Atenei nazionali, costituiti secondo le prescrizioni della
Legge 30 dicembre 2010 n.240. L' ANVUR ha provveduto a pubblicare sul suo sito istituzionale, nella sezione
dedicata
alla
"Collaborazione
ANVUR-CRUI"
(http://www.anvur.org/index. php ?option=com_ content& view=article&id=609&1 temid=563&lang=it), le tabelle
con tale indicatore accompagnate da un documento che descrive sia i criteri adottati per la definizione
deli' indicatore sia i dettagli matematici. Tale documento è presente neli ' Allegato l.
Pur rimandando al documento appena citato per gli approfondimenti, è opportuno richiamare gli aspetti salienti
dell ' indicatore proposto.
Il punto di partenza è quello di voler confrontare fra di loro i Dipartimenti di un Ateneo che strutturalmente e
inevitabilmente sono molto diversi in termini di composizione dei membri, sia per numerosità sia per afferenza a
settori diversi . Queste differenze sembrano suggerire la impossibilità di un reale confronto fra tali strutture,
anche perché tale comparazione, per essere efficace, dovrebbe approdare ad una quantificazione della qualità
della ricerca. n Gruppo CRUI ha tuttavia suggerito una soluzione a questo problema basata su un artificio
1
Il contributo dell ' ANVUR è stato necessario in quanto le valutazioni dei singoli, necessarie per il calcolo dell ' indicatore,
sono coperte dalla riservatezza.
concettuale cui corrisponde, ovviamente, una procedura matematica in grado di formalizzare la soluzione.
L' artificio concettuale consiste nell'affiancare ad ogni Dipartimento reale (DR nel seguito) un Dipartimento
Virtuale Associato (DVA) o Dipartimento Specchio che non esiste nella realtà, ma che possiamo definire in
maniera operativa: questo è un Dipartimento immaginario popolato di membri nei vari SSD la cui consistenza
numerica è quella del DR. Guardiamo ora qual è la funzione di questo DVA: partiamo dalle valutazioni ANVUR
(cioè effettuate dai vari GEV) dei prodotti di ricerca presentati dai membri del DR d e definiamo un indicatore
collettivo di tali prodotti crescente con il valore delle valutazioni singole. Tale indicatore potrebbe essere per
esempio la media dei rapporti R (il terzo indicatore definito dali' ANVUR) degli SSD del Dipartimento.
Chiamiamo Ind·d il valore che tale indicatore assume nel DR sulla base delle valutazioni reali ricevute dai suoi
membri nei vari SSD di pertinenza. D ' altronde, essendo note le distribuzioni nazionali dei punteggi dei prodotti
di ricerca all ' interno dei vari SSD (I 'ANVUR ha fornito questa informazione), possiamo calcolare tutte le
possibili combinazioni di voti che i membri "virtuali" del DVA avrebbero potuto ottenere. Ad ogni combinazione
corrisponde un valore dell'indicatore Indd. Supponiamo di aver calcolato tutte queste combinazioni di voti 2 e di
avere quindi a disposizione la distribuzione completa di tutti i valori possibili che questo indicatore Jndd può
assumere nel DVA. Siamo ora in grado di rispondere alla seguente domanda: come si confronta il valore di Ind·d
(cioè quello davvero ottenuto dal DR) con tutti quelli Indd possibili che il DVA avrebbe potuto ottenere? Si
comprende che se il valore di Inad (quello vero ottenuto dal Dipartimento DR) coincide con (o è molto prossimo
a) il valore centrale della distribuzione di tutti i possibili Indd, allora il Dipartimento è un Dipartimento di qualità
media, ovvero normale; viceversa, se Ind·d assume valori molto prossimi a quelli massimi osservati per Indd, il
Dipartimento è di qualità elevata; al contrario è di qualità modesta, se i valori Ind·d sono prossimi ai minimi
possibili. Questo criterio nei fatti consente di determinare il percentile superiore in cui si colloca il valore
dell'indicatore del DR rispetto ai suoi DVA: infatti, partendo dal valore di Inad, si può determinare la probabilità
di ottenere nel DVA valori di Indd inferiori. Precisamente, contando il numero di casi in cui il valore
dell ' indicatore Indd nel DVA è inferiore a Inad si determina la probabilità P;nJind*<J) di ottenere nei DVA un Indd
avente un valore dell'indicatore inferiore a quello di DR. Sinteticamente possiamo dire che se P;n/Ina<J) è
prossimo a l il DR è molto buono; se viceversa P;nJ ind·<J) è prossima O (zero), il DR è molto modesto. Molto
sinteticamente possiamo dire che se un Dipartimento d è caratterizzato da un valore di P;n/ Ind*<J) maggiore di
0.5, esso è degno di considerazione per un intervento premiale in quanto è maggiore del 50% la probabilità di
trovare nel DVA (quindi composto in termini di membri esattamente come il nostro) un valore dell ' indicatore Ind
inferiore. Si noti che la valutazione di qualità non è fatta confrontando il DR con altri Dipartimenti reali, ma con
un termine di paragone "interno" e omogeneo ad esso, ancorché virtuale.
L' utilizzo del "metro" probabilità determinato da P;n1 e basato sul confronto con il Dipartimento virtuale consente
di ordinare comunque la qualità Dipartimenti completamente diversi. Purtroppo, in generale, ovvero per un
indicatore generico Indd, il calcolo di P;nf è complicato (vedi nota 2).
L' introduzione dell ' indicatore "Voto Standardizzato" di Dipartimento VSd (si veda il documento dell ' Allegato l)
consente di calcolare in maniera immediata il valore di P;nJVS<J) e quindi rende la procedura efficiente ed
effettivamente realizzabile.
In seguito alla pubblicazione sul sito ANVUR delle tabelle nazionali del Voto Standardizzato e del documento
esplicativo, molti Atenei (fra cui Padova, Bologna, La Sapienza, Pisa, Perugia, Pavia e altri) hanno deciso di
adottare il Voto Standardizzato di Dipartimento per erogare risorse premiali basate sull ' esercizio VQR 3 . ln
particolare la caratteristica apprezzata dell'indicatore è stata quella di introdurre per ogni Dipartimento un
proprio termine naturale di paragone (omogeneo ad esso) con il quale confrontarsi, liberando quindi la procedura
da vizi e storture connesse alle specificità di settori diversi. Restano ovviamente aperti alcuni problemi, quali la
non conoscenza e quantificazione della collocazione internazionale di certe discipline che da molti è invocata
come limite di base dell ' approccio ANVUR-VQR, che minerebbe la solidità di qualunque utilizzo di tale
esercizio. E' effettivamente auspicabile che il prossimo esercizio VQR affronti in maniera diretta anche questo
aspetto.
In coerenza con il lavoro condotto dal Gruppo CRUI, si propone agli Organi di attuare l' erogazione premiale
delle risorse di PuOr basata sulla VQR 2004-2010, proprio utilizzando l' indicatore P;nJVS<J), assegnando una
quota premiale di risorse esclusivamente a quei Dipartimenti del nostro Ateneo che presentano valori di P;,JVS<J)
superiori a 0.5, ovvero quelli che risultano "sopra la media". Essi sono riportati nella tabella seguente:
2
Il calcolo di tutte le combinazioni possibili, e quindi dei valori dell' indicatore lndd, nel DVA si può compiere con un metodo
comunemente adottato dai fisici, il cosiddetto "metodo Montecarlo", il cui nome deriva proprio dal fatto che la procedura si
basa su un gran numero di estrazioni a caso e non su un calcolo diretto delle combinazioni.
3
Non sono mancate voci si dissenso più o meno fo rti an che rispetto a questo indicatore. Coloro che fossero interessati
possono visitare il sito "Roars", e leggere attentamente le critiche e le relative obiezioni.
Dipartimento
Scienze Giuridiche- DSG
Storia, Archeologia, Geografia, Arte e Spettacolo - SA GAS
Lettere e Filosofia
Scienze della Terra
Chimica "Ugo Schifi"
Chirurgia e Medicina Traslazionale
Statistica, Informatica, Applicazioni "G. Parenti" - Di SIA
Medicina Sperimentale e Clinica
Neuroscienze, dell 'Area del Farmaco e della Salute del BambinoNEUROFARBA
Scienze della Salute
Biologia
Scienze Politiche e Sociali
Scienze per l'Economia e per l'Impresa- DlSEI
Lingue, Letterature e Studi lnterculturali
Matematica e Informatica "Uiisse Dini"
Scienze della Formazione e Psicologia
TotalePuOr
Punti
Organic
oda
premiate
VQR
P inf
Top%
0.999
9
0.998
3
0.998
3
0.981
6
0.973
5
0.964
4
0.959
l
0.906
Top
0.1%
0.7
Top2%
0.6
Top2%
0.6
Top2%
0.6
Top5%
0.5
Top5%
0.5
Top5%
0.5
Top IO%
0.4
Top 20%
0.3
Top 25%
0.2
Top 25%
0.2
Top 25%
0.2
Top 50%
0.1
Top 50%
0.1
Top 50%
0.1
Top 50%
0.1
o
0.836
l
0.789
9
0.784
8
0.750
6
0.691
7
0.687
7
0.639
8
0.522
7
5.7
Nella Tabella è riportata anche la classificazione in percentili superiori (TOP%) in cui i vari Dipartimenti si
collocano.
Come suggerisce la Tabella, i PuOr premiali sono graduati in base al valore di P;nfi assegnando una quota
crescente con tale valore.

Download Report