Il sistema AVA e la VQR: la Scheda Unica Annuale della Ricerca Dipartimentale (SUA-RD) Massimo Castagnaro Coordinatore AVA - Consiglio Direttivo ANVUR [email protected] Venezia, 17.12.2013 La VQR e il sistema AVA ? V. P. A.I. Esercizio di valutazione esterna della ricerca Autovalutazione 2 La VQR e il sistema AVA a. Natura della VQR b. ESG e Autovalutazione c. Ruolo dei NdV d. VQR e Valutazione Periodica e. Coerenza con il sistema integrato AVA 3 La VQR 2004-2010 • DM MIUR 15 luglio 2011 • Esercizio di valutazione esterna • Valutazione non in linea con la logica ESG 4 ESG • Per avere piena incisività, le valutazioni esterne devono poter contare su un’esplicita strategia di assicurazione interna della qualità con propri obieNvi specifici e sull’uso, da parte delle isPtuzioni, di metodi e meccanismi adeguaP al loro conseguimento • Il sistema AVA è stato costruito in coerenza con ESG 5 Ruolo dei NdV legge 240/2010, art.3, comma 1, • verifica della qualità e dell'efficacia dell'offerta didaNca • verifica dell'a6vità di ricerca svolta dai dipar:men: • verifica della congruità del curriculum scienPfico o professionale dei Ptolari dei contraN di insegnamento di cui all'arPcolo 23, comma 1 • aWribuzione, in raccordo con l'aNvità dell'ANVUR, delle funzioni…. relaPve alle procedure di valutazione delle struWure e del personale, al fine di promuovere nelle università, in piena autonomia e con modalità organizzaPve proprie, il merito e il miglioramento della performance organizzaPva e individuale 6 VQR e Valutazione Periodica RisultaP della VQR Quota premiale FFO Valutazione Periodica Indicatori risultaP DidaNca Indicatori risultaP Ricerca Indicatori terza missione Indicatori applicazione sistema AQ Accreditamento Periodico di Sede FaWore di molPplicazione dei risultaP della VP 7 La SUA-RD – struttura I parte. Obie6vi, ges:one e riesame della ricerca dipar:mentale Sistema AQ II parte. Risorse umane ed infrastruBure III parte. Risulta: della ricerca IV parte. Responsabilità e riconoscimen: scien:fici Sistema AQ e VP V parte. Terza missione 8 La SUA-RD I parte. Obie6vi, ges:one e riesame della ricerca dipar:mentale Quadro A. Obie6vi di ricerca del Dipar:mento Quadro A.1. Autovalutazione Il Quadro A.1 illustra la riflessione autovalutaPva del DiparPmento in relazione alle linee nazionali in tema di ricerca e agli esiP della VQR, meWendo in luce punP di forza punP, aree di miglioramento, rischi e opportunità riscontraP nella leWura VQR. "ObieNvi (annuali o pluriennali?) al momento della pubblicazione della SUA-‐RD (rif. 31.12.2013) Quadro A.2. Dichiarazione degli obieNvi di ricerca del DiparPmento Il quadro A.2 descrive i seWori di ricerca nei quali opera il diparPmento e gli obieNvi generali di ricerca in relazione ai gruppi di ricerca che vi operano; specifica i principali obieNvi misurabili di ricerca per l'anno successivo a quello di compilazione 9 La SUA-RD I parte. Obie6vi, ges:one e riesame della ricerca dipar:mentale Quadro B. Sistema di ges:one Quadro B.1. StruWura organizzaPva del DiparPmento Il Quadro B.1 illustra la struWura organizzaPva del diparPmento in relazione agli organi di indirizzo e governo e, in parPcolare, se esistenP, quelli incaricaP di programmare, distribuire i fondi e valutare le aNvità di ricerca. Nel quadro sono inoltre descriN i gruppi di ricerca operanP nel diparPmento. Quadro B.2. PoliPca per l’assicurazione di qualità del diparPmento Il quadro B.2 presenta la poliPca di qualità del diparPmento in relazione all’aNvità di ricerca Quadro B.3. Riesame della ricerca diparPmentale Con riferimento agli obieNvi contenuP nella scheda dell'anno precedente, il quadro B.3 analizza i risultaP oWenuP evidenziando criPcità e punP di miglioramento ed i relaPvi intervenP proposP. A regime vengono valutaP gli 10 intervenP di miglioramento proposP del precedente riesame. La SUA-RD II parte. Risorse umane e infrastruBure Quadro C.1. InfrastruWure Il Quadro C.1 elenca laboratori di ricerca, biblioteche, spazi per doWorandi e post-‐doc, grandi aWrezzature di ricerca (caraWerizzate da un costo rilevante (Ppicamente > 100.000 Euro e da un grado di specializzazione elevato) Quadro C.2. Personale Il quadro C.2 elenca docenP, ricercatori, doWorandi, post-‐doc, personale tecnico Quadro C.3. Corsi di doWorato Il quadro C.3 elenco i corsi di doWorato afferenP totalmente o in condivisione al diparPmento ed il numero di studenP iscriN per ciascun corso 11 La SUA-RD V parte. Terza missione Quadro I.6. Altre aNvità di terza missione La SUA-RD I parte. Obie6vi, ges:one e riesame della ricerca dipar:mentale II parte. Risorse umane ed infrastruBure III parte. Risulta: della ricerca Sistema AQ ed Accreditamento Periodico IV parte. Responsabilità e riconoscimen: scien:fici V parte. Terza missione 13 Accreditamento Periodico delle sedi Stato Definizione Conseguenze sulla sede Non accreditamento Sede universitaria non idonea ai livelli soglia Soppressione per gli indicatori di Accreditamento Iniziale o Fusione con criPcità importanP sui RequisiP di AQ Federazione 1-‐4 Accreditamento condizionato Sede universitaria idonea ai livelli soglia per gli indicatori di Accreditamento Iniziale ma con riserve sui requisiP di AQ 1-‐4 Autorizzazione temporanea Accreditamento soddisfacente Sede universitaria idonea ai livelli soglia per gli indicatori di Accreditamento Iniziale e in cui sono soddisfaN a livelli soglia i requisiP di AQ 1-‐4 Autorizzazione per 5 anni Accreditamento pienamente posi:vo Sede universitaria idonea ai livelli soglia per Autorizzazione per gli indicatori di Accreditamento Iniziale e in 5 anni cui sono pienamente soddisfaN i requisiP di AQ 1-‐4 14 La SUA-RD III parte. Risulta: della ricerca Quadro D. Produzione scienPfica Il Quadro D.1 elenca le pubblicazioni dei docenP, ricercatori, doWorandi e post-‐doc nell'anno (x) appena concluso, corredate, ove esistente, indicatori riconosciuP dalla comunità scienPfica di riferimento (# citazioni, faWore di impaWo della rivista ospitante, ecc.) Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra produzione media di diparPmento e produzione media di area) riferito ai tre anni x, x-‐1 e x-‐2 La SUA-RD III parte. Risulta: della ricerca Quadro E. Internazionalizzazione E.1. Pubblicazioni con coautore straniero Il Quadro E.1 elenca le pubblicazioni dei docenP, ricercatori, doWorandi e post-‐doc nell'anno (x) appena concluso, con coautori stranieri Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra produzione media di diparPmento con coautori stranieri e produzione media di area) riferito ai tre anni x, x-‐1 e x-‐2 La SUA-RD III parte. Risulta: della ricerca Quadro E. Internazionalizzazione E.2. VisiPng scienPsts Il Quadro E.2 indica il numero in mesi-‐ uomo di ricercatori "stranieri" in visita al diparPmento nell'anno appena concluso (x) Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra media mesi-‐uomo di ricercatori "stranieri" di area in visita nel diparPmento e media mesi-‐uomo di area) riferito ai tre anni x, x-‐1 e x-‐2 La SUA-RD III parte. Risulta: della ricerca Quadro F. DocenP inaNvi Il Quadro F indica i docenP inaNvi Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra percentuale docenP inaNvi nel diparPmento e nell'area nei tre anni x, x-‐1 e x-‐2) La SUA-RD III parte. Risulta: della ricerca Quadro G. Bandi compePPvi Il quadro G elenca i finanziamenP oWenuP (cassa) da bandi compePPvi nell'anno appena concluso (x) Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra finanziamento medio procapite da bandi compePPvi e finanziamento medio di area nei tre anni x, x-‐1 e x-‐2) La SUA-RD IV parte. Responsabilità e riconoscimen: scien:fici Quadro H.1. Premi Il quadro H.1 elenca i premi nazionali e internazionali per la ricerca (es. “best paper awards” di riviste e congressi) nell'anno appena concluso (x). Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra numero medio di premi di area nel diparPmento e numero medio di area) riferito ai tre anni x, x-‐1 e x-‐2 La SUA-RD IV parte. Responsabilità e riconoscimen: scien:fici Quadro H.2. Fellow (o equivalenP) di società scienPfiche nell'anno appena concluso (x) Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra numero medio di fellow (o equivalenP) e numero medio di area) riferito ai tre anni x, x-‐1 e x-‐2 La SUA-RD IV parte. Responsabilità e riconoscimen: scien:fici Quadro H.3.Direzione di riviste, collane editoriali, enciclopedie e traWaP nell'anno appena concluso (x) Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra numero medio di direzioni di area del diparPmento e numero medio di area) riferito ai tre anni x, x-‐1 e x-‐2 La SUA-RD IV parte. Responsabilità e riconoscimen: scien:fici Quadro H.4. Direzione o responsabilità scienPfica/ coordinamento di enP o isPtuP di ricerca pubblici o privaP, nazionali o internazionali, nell'anno appena concluso (x) Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra numero di medio responsabilità scienPfiche nel diparPmento e media delle responsabilità di area) riferito ai tre anni x, x-‐1 e x-‐2 La SUA-RD IV parte. Responsabilità e riconoscimen: scien:fici Quadro H.5. AWribuzione di incarichi di insegnamento o fellowship ufficiale presso atenei e centri di ricerca pubblici o privaP, nazionali o internazionali, nell'anno appena concluso (x) Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra numero medio di incarichi o fellowship del diparPmento e numero medio di area) riferito ai tre anni x, x-‐1 e x-‐2 La SUA-RD IV parte. Responsabilità e riconoscimen: scien:fici Quadro H.6. Partecipazione a comitaP di programma di congressi internazionali nell'anno appena concluso (x) Indicatore di qualità Indicatore R di area del diparPmento (rapporto tra numero medio di partecipazioni e numero medio di area) riferito ai tre anni x, x-‐1 e x-‐2 La Valutazione Periodica (della Ricerca) • Relazione annuale dell’ANVUR al Ministro (31/07/2013) • Applicazione degli indicatori/parametri di cui al DM 47/13 (e allegaP) • Il valore degli indicatori viene molPplicato per un coefficiente <1, =1 o >1 in relazione al risultato dell’accreditamento periodico (fascia A, fascia B e fascia C) • Apparente contrasto con l’art. 60, comma 1 della legge 298/2013 sulla distribuzione della quota premiale FFO legata alla ricerca (3/5 FFO basaP sui risultaP della VQR) 26 La Valutazione Periodica della Ricerca Proposta • Ai fini della determinazione dei 3/5 della quota premiale del FFO, combinare annualmente i risultaP della VQR e della SUA-‐RD: ü Indicatori VQR e VP coerenP (riduzione aNvità di caricamento dei daP) ü La VP rappresenta una fase di transizione progressiva annuale dei risultaP della VQR (aggiornamento dei daP della VQR; possibilità di idenPficare miglioramenP anno per anno) ü La distribuzione della quota premiale del FFO (parte ricerca) dipende da: Ø risultaP ulPma VQR Ø risultaP VP Ø risultaP Accreditamento Periodico 27 Il calcolo degli indicatori e parametri: premesse • Gli indicatori vanno calcolaP separatamente per le 16 aree CUN della VQR e si riconducono ad un unico indicatore finale con le regole della VQR • Gli indicatori uPlizzaP per la distribuzione della quota premiale del FFO vanno calcolaP come frazione di area, come gli indicatori IRAS della VQR (qualità e quanPtà) 28 Il calcolo degli indicatori e parametri Allegato E – Indicatori e parametri per la Valutazione Periodica della ricerca e delle a6vità di terza missione 1. Percentuale dei docen: che non hanno pubblicato negli ul:mi 5 anni (ina6vi) 2. Produzione scien:fica per area degli ul:mi 10 anni/docen: di ateneo 3. Numero di premi nazionali e internazionali 4. A6vità di divulgazione scien:fica e culturale 5. Fellow (o equivalen:) di società scien:fiche 6. Rapporto numero di proge6 in bandi compe::vi/docen: dell’ateneo negli ul:mi 10 anni 7. Percentuale di prodo6 negli ul:mi 5 anni con coautori internazionali 8. Numero medio di tesi di doBorato per docente 9. Numero medio di breve6 per docente negli ul:mi 10 anni 10. Rapporto faBurato conto terzi e proge6 di ricerca vin: in bandi compe::vi/ numero docen: negli ul:mi 10 anni 11. Numero di spin-‐off degli ul:mi 10 anni 12. Numero di a6vità extra moenia collegate alle aree di ricerca (es. organizzazione di a6vità culturali o forma:ve, ges:one di musei e si: archeologici, organizzazione di convegni…) 13. Numero di mesi/uomo di docen:/ricercatori stranieri trascorsi in ateneo 29 14. Risulta: VQR Il calcolo degli indicatori (I fase) • Ogni parametro è associato ad un indicatore, con il suo peso, calcolabile come frazione di area • L’individuazione degli indicatori è coerente (ove possibile) con la VQR • Per ogni area e ogni ateneo si calcola l’indicatore finale di area come somma pesata dei singoli indicatori • Per ogni diparPmento si calcola il valore dell’indicatore finale come somma pesata (con i pesi di area) degli indicatori di area • Queste operazioni si effeWuano sia per gli indicatori di ricerca, di terza missione e quelli non collegaP alla VQR 30 Indicatori e parametri per la Valutazione Periodica della Ricerca 1. Percentuale per area dei docenP che non hanno pubblicato negli ulPmi 5 anni (inaNvi) è 3 anni 2. Produzione scienPfica per area degli ulPmi 10 anni/docenP di ateneo è Percentuale della produzione scienPfica per area degli ulPmi 3 anni 3. Rapporto numero di progeN in bandi compePPvi/docenP dell’ateneo negli ulPmi 10 anni è Indicatore IRAS2 della VQR calcolato sui daP dei 3 anni precedenP 4. Percentuale di prodoN negli ulPmi 5 anni con coautori internazionali è 3 anni 5. Numero di mesi/uomo di docenP/ricercatori stranieri trascorsi in ateneo è Indicatore IRAS4.1 della VQR calcolato sui daP dei 3 anni precedenP 6. RisultaP della VQR 31 Indicatori e parametri per la Valutazione Periodica della Terza Missione 1. ANvità di divulgazione scienPfica e culturale è compresa nel punto 5 2. Numero medio di breveN per docente negli ulPmi 10 anni è Indicatore ITMS2 della VQR riferito agli ulPmi 3 anni 3. Rapporto faWurato conto terzi e progeN di ricerca vinP in bandi compePPvi/numero di docenP degli ulPmi 10 anni è Indicatore ITMS1 della VQR riferito agli ulPmi 3 anni 4. Numero di spin-‐off degli ulPmi 10 anni è Indicatore ITMS3 riferito agli ulPmi 3 anni 5. Numero di aNvità extra moenia collegate alle aree di ricerca (es.organizzazione di aNvità culturali o formaPve, gesPone di musei e siP archeologici, organizzazione di convegni…) è Indicatore ITMS6-‐ITMS8 della VQR riferiP agli ulPmi 3 anni 32 Indicatori e parametri per la Valutazione Periodica non collegati alla VQR 1. Numero di premi nazionale e internazionali è Trasformato in frazione di area e riferita agli ulPmi 3 anni 2. Fellow (o equivalenP) di società scienPfiche internazionali è Trasformato in frazione di area e riferita agli ulPmi 3 anni 3. Numero medio di tesi di doWorato per docente è trasformato in frazione di tesi di doWorato per area riferita agli ulPmi 3 anni 33 Il calcolo degli indicatori (II fase) • A conclusione della I fase si ha per ogni ateneo, il valore di 5 indicatori finali: ü Indicatore di ateneo per la ricerca derivato dalla SUA-‐RD: IFRSUA-‐RD ü Indicatore di ateneo per la terza missione derivato dalla SUA-‐ RD: IFTMSUA-‐RD ü Indicatore di ateneo per la ricerca derivato dalla VQR: IFRVQR ü Indicatore di ateneo per la terza missione derivato dalla VQR: IFTMVQR ü Indicatore di ateneo derivato dalla SUA-‐RD: IFREDSUA-‐RD 34 Il calcolo degli indicatori (II fase) • Avendo disponibili nuovi risultaP VQR ogni 4 anni (2013 VQR è 2004-‐2010; 2017 è 2011-‐2014), gli indicatori si combinano per oWenere l’indicatore finale: IFS = γ R (α VQR IFRVQR + αSUA-RD IFRSUA-RD ) + γ TM (α VQR IFTM VQR + αSUA-RD IFTM SUA-RD ) + γ RED IFREDSUA-RD γR α VQR γ TM γ RED α SUA-RD = Pesi della ricerca, della terza missione e dell’indicatore IFRED = Pesi della VQR e della SUA-‐RD Valori maggiori o uguali a zero con somma = 1 35 Il calcolo degli indicatori (II fase) • I pesi α VQR dovrebbero assumere valori decrescenP (0.9, 0.7, 0.6, 0.5) nei quaWro anni a parPre dall’anno di disponibilità dei risultaP VQR • I pesi α SUA-RD , rinnovaP ogni anno, dovrebbero assumere valori crescenP (0.1, 0.3, 0.4, 0.5) nei quaWro anni a parPre dall’anno di disponibilità dei risultaP VQR • Il valore dell’indicatore finale di ateneo (IFS) viene molPplicato per un coefficiente >1,=,<1 in relazione allo stato dell’ateneo nell’Accreditamento Periodico • I valori sono proposP direWamente per la distribuzione della quota premiale del FFO dedicata alla ricerca 36 SUA-RD e VQR Da una VQR alla successiva 2013 2016 2017 2018 ….. 2014 2015 VQR 2004-‐2010 VQR 2004-‐2010 VQR 2004-‐2010 VQR 2004-‐2010 VQR 2011-‐2014 VQR 2011-‐2014 ….. SUA-‐RD 2011-‐2013 SUA-‐RD 2012-‐2014 SUA-‐RD 2013-‐2015 SUA-‐RD 2014-‐2016 SUA-‐RD 2015-‐2017 SUA-‐RD 2016-‐2018 ….. Fase di sperimentazione 37 Herding cats? Management and university performance John McCormack, Carol Propper, Sarah Smith, • The convenPonal wisdom is that managing academics is fuPle. • Study comparing management performance in UK universiPes with measures of research and teaching quality. • Universi:es with beBer management have beBer performance for all types of universi:es. • Results are not driven by differences in resources. • Recruitment, reten:on, and promo:on are the most important aspects of management in universiPes, but management at the level of academic departments – not human resources departments – is what maWers. 38
© Copyright 2024 ExpyDoc
