Il processo di valutazione della proposta

LA VALUTAZIONE DELLA PROPOSTA
IN HORIZON 2020
Barbara Pernati
CNR – Ufficio Supporto alla Programmazione Operativa
tel. +39 010 6475 306 voip +39 06 4993 2312
e-mail [email protected]
AGENDA:
- VALUTAZIONE NEL CICLO DI VITA DEL PROGETTO
- RUOLO DEI VALUTATORI
- FASI DEL PROCESSO DI VALUTAZIONE
- CRITERI DI VALUTAZIONE
- ALCUNI SUGGERIMENTI
LA VALUTAZIONE NELL’ITER DEL PROGETTO UE
1. Idea progettuale
2. Creazione del consorzio
3. Scrittura del progetto
4. Sottomissione della proposta
5. Selezione e valutazione
7. Inizio dell’attività
NOVITÀ NELLA VALUTAZIONE RISPETTO A FP7
PROPOSTE MULTI DISCIPLINARI/SETTORIALI
– Call for experts pubblicata a fine 2013
- Nuovi profili di esperti
– Più esperti per proposta
– Regole definite per il turnover di esperti (25% annuale)
RIDUZIONE DEI TEMPI (TIME TO GRANT)
– Eliminata la negoziazione, valutazione basata sul merito della
proposta, senza suggerimenti per modifiche sostanziali
– Multi-step (valutazione bloccata al mancato raggiungimento delle
soglie minime)
- Penalità per i valutatori che non rispettano i tempi e le scadenze
IL RUOLO DEI VALUTATORI IN H2020
COME VENGONO SCELTI I VALUTATORI?
I valutatori sono scelti dal DATABASE degli esperti della Commissione
CARATTERISTICHE dei valutatori:
− competenze di alto livello, esperienza e conoscenza nelle aree
rilevanti non solo tecnico scientifiche ma anche “trasversali”
(es. project management, innovazione, comunicazione, disseminazione
e sfruttamento dei risultati)
Viene garantito un BILANCIAMENTO di:
− Conoscenze, competenze, esperienza
− Provenienza geografica
− Genere
− Settore pubblico o privato (se rilevante)
− Turnover annuale
Esperti di etica vengono coinvolti nella review etica (quando rilevante)
RUOLO DEI VALUTATORI
1) valuta le proposte sottomesse in risposta ad uno specifico
bando con indipendenza, imparzialità, obiettività,
accuratezza e coerenza
2) è responsabile in prima persona della valutazione, non può
delegare nessuno e non rappresenta nessuno
3) deve rispettare le scadenze e i tempi indicati dalla
Commissione
4) è legato a un impegno di confidenzialità, gli è fatto divieto
di:
- discutere della valutazione con altri (fatta eccezione per gli
altri valutatori dello stesso panel)
- contattare i partner dei consorzi coinvolti nella valutazione
- rivelare i nomi degli altri valutatori
- mostrare i documenti della valutazione
CONFLITTO DI INTERESSI
Il valutatore non deve essere:
• coinvolto nella preparazione del progetto o avere un
interesse diretto o indiretto nel successo del progetto
• parente di qualcuno che rappresenta un’entità legale
coinvolta nel progetto
• direttore fiduciario o partner di un proponente
• alle dipendenze di un proponente o di un subcontraente
• membro di un Advisory Group o Programme Committee
nell’ambito del bando rilevante
• National Contact Point
• coinvolto nella attività di Enterprise Europe Network
LA PROCEDURA DI VALUTAZIONE
CRITERI di AMMISSIBILITÀ
L’ammissibilità è verificata dalla Commissione/Agenzia
Per essere ammessa alla valutazione la proposta deve essere:
(a) Sottomessa nel sistema di sottomissione elettronica entro la
scadenza stabilita dal bando
(b) Completa (i.e. sia la parte amministrativa che la descrizione
tecnica della proposta)
(c) Leggibile, accessibile e stampabile
Limiti di pagina
chiramente definiti
nella modulistica sul
portale
Sottomissione della proposta
Expert
Expert
Individual
Assessment and
Scoring
Individual
Assessment
Report (IAR)
Expert
Expert
Individual
Assessment and
Scoring
Expert
Individual
Assessment and
Scoring
Scelta dei valutatori (almeno
3 esperti per proposta)
Ripartizione proposte tra agli
esperti
Briefing degli esperti
Consensus
group
discussion
Individual
Assessment
Report (IAR)
Consensus Report (CR)
Panel Review
Evaluation Summary Report (ESR)
Individual assessment and
scoring
- Individual assessment
Report (IAR)
Consensus group discussion
and scoring
-Consensus Report (CR)
Panel Review
- Evaluation Summary Report
(ESR)
FINALIZZAZIONE DELLA GRADUATORIA
Le proposte sopra soglia in ogni topic vengono inserite
nella lista delle proposte potenzialmente finanziabili
La graduatoria finale (Final Rank List) viene predisposta
dalla Commissione sulla base delle risorse disponibili
Le proposte vengono finanziate secondo l’ordine della
graduatoria finché il budget non è esaurito
I risultati della valutazione vengono trasmessi ai
proponenti con l’invio dell’Evaluation Summary Report (ESR)
I CRITERI DI VALUTAZIONE
PARTE B – Struttura
COVER PAGE
1. EXCELLENCE
1.1 Objectives*
1.2 Relation to the work programme *
1.3 Concept and approach*
1.4 Ambition*
2. IMPACT
LA PARTE B È
STRUTTURATA
SULLA BASE
DEI CRITERI DI
VALUTAZIONE
2.1 Expected impacts *
2.2 Measures to maximise impact
a) Dissemination and exploitation of results
b) Communication activities
3. IMPLEMENTATION
3.1 Work plan — Work packages, deliverables and milestones
3.2 Management structure and procedures
3.3 Consortium as a whole
3.4 Resources to be committed
4. Members of the consortium
5. Ethics and Security
CRITERI DI VALUTAZIONE RIA & IA
QUALITY AND
EXCELLENCE
Chiarezza degli
obiettivi;
Bontà dell’idea
(incluse
considerazioni
transdisciplinari);
Progresso oltre lo
stato dell’arte,
potenziale di
innovazione,
ambizione
 Credibilità
dell’approccio
proposto;
IMPACT
impatto atteso tra
quelli elencati nel WP
 capacità di innovazione
e integrazione di nuove
conoscenze;
 rafforzamento della
competitività e crescita
di compagnie attraverso
lo sviluppo
dell’innovazione in
risposta ai bisogni Europei
e dei mercati globali;
 diffusione e
sfruttamento dei risultati,
comunicazione
EFFICIENCY OF THE
IMPLEMENTATION
 Coerenza del piano di
lavoro, suddivisione di
compiti e risorse;
 Competenze,
esperienza e
complementarietà dei
partecipanti sia
individualmente che
come consorzio;
 Appropriatezza della
struttura e delle
procedure di
management, risk
management
Nel primo step della procedura di sottomissione in due step sono valutati
solo gli aspetti riportati in giallo
CRITERI DI VALUTAZIONE CSA
I criteri sono adattati ai diversi tipi di azione, come specificato nel WP
QUALITY AND
EXCELLENCE
 Chiarezza e
pertinenza degli
obiettivi;
 Bontà dell’idea
(incluse considerazioni
transdisciplinari);
 Credibilità
dell’approccio
proposto;
 Qualità della
misure di
coordinamento e
supporto proposte
IMPACT
 Impatto atteso tra
quelli elencati nel WP
 Efficacia delle
misure proposte per
la diffusione,
comunicazione e
sfruttamento dei
risultati
EFFICIENCY OF THE
IMPLEMENTATION
 Coerenza del piano di
lavoro, suddivisione di
compiti e risorse;
 Complementarietà dei
partecipanti sia
individualmente che
come consorzio;
 Appropriatezza della
struttura di
management, risk
management
PARTICIPANT OPERATIONAL CAPACITY
(as part of criterion 3: Quality & Efficiency of
Implementation)
Si basa sulle informazioni fornite nel progetto:
• Descrizione del profilo del responsabile scientifico
dell’attività di ricerca proposta;
• Fino a cinque pubblicazioni e/o prodotti e/o servizi
rilevanti per il bando/topic in questione;
• Fino a cinque progetti o attività precedenti correlati
all’oggetto della proposta;
• Infrastrutture significative (esistenti) o strumentazioni
tecniche rilevanti, necessarie allo svolgimento del lavoro
proposto;
• Descrizione delle terze parti che contribuiranno all’attività
proposta
I PUNTEGGI NELLA VALUTAZIONE
Viene assegnato un punteggio ad ogni criterio
Ciascun criterio è valutato da 0 (Non-relevant) a 5
(Excellent)
È possibile assegnare punteggi con
decimali
Soglia minima per criterio 3/5
Soglia complessiva 10/15
(le soglie variano per tema e a seconda se I
o II stage)
INTERPRETAZIONE DEI PUNTEGGI
0
The proposal fails to address the criterion or cannot be assessed due
to missing or incomplete information.
1
Poor. The criterion is inadequately addressed, or there are serious
inherent weaknesses.
2
Fair. The proposal broadly addresses the criterion, but there are
significant weaknesses.
3
Good. The proposal addresses the criterion well, but a number of
shortcomings are present.
4
Very Good. The proposal addresses the criterion very well, but a small
number of shortcomings are present.
5
Excellent. The proposal successfully addresses all relevant aspects of
the criterion. Any shortcomings are minor.
PRIORITÀ PROPOSTE CON PARI PUNTEGGIO
NELL’ORDINE SI ATTRIBUISCE PRIORITÀ A:
1. le proposte che riguardano topic altrimenti non coperti
all’interno del WP
2. tra queste, si guarda prima al punteggio del criterio
'excellence', e poi ad 'impact'
(al contrario per Innovation actions & SME instrument)
3. se c’è ancora parità, al budget destinato alle PMI
4. se c’è ancora parità, al bilanciamento di genere del
personale coinvolto
5. se c’è ancora parità, altri fattori (sinergie tra progetti,
obiettivi H2020, ecc...)
EVALUATION REVIEW
(RULES - ART. 16)
PROCEDURA DI REDRESS
EVALUATION REVIEW
Un COMITATO AD HOC decide su:
•Nuova valutazione della
proposta (con valutatori diversi)
•Conferma del giudizio iniziale
•Attivabile entro 30 giorni dalla comunicazione dell’ESR
•Ammissibile solo per errori formali
Le AGENZIE ESECUTIVE SPECIALIZZATE della CE
Research Executive Agency - REA
H2020 - Eccellenza Scientifica: MSCA e FET open; H2020 - Leadership Industriale: ricerca
sullo spazio; Sfide Sociali: Food Security, Sustainable Agriculture and Forestry, Marine,
Maritime and Inland Water Research and the Bioeconomy; Europe in a changing world
Inclusive, innovative and reflective societies; Secure societies; Temi trasversali:
Spreading Excellence and Widening Participation, Science with and for Society.
Executive Agency for SMEs - EASME (sostituirà la EACI)
H2020 - Strumento per le PMI; H2020 - Sfide Sociali: il bando Efficienza Energetica della
sfida sociale "energia" nonché i bandi sui temi rifiuti, innovazione idrica e fornitura
sostenibile di materie prime sotto la sfida sociale "ambiente"; H2020 - Leadership
industriale: parte LEIT3, innovazione nelle PMI, schema per industria sostenibile a bassa
emissione di carbonio (SILC II); COSME: parte importante che include Enterprise Europe
Network (EEN), Your Europe Business e lo European IPR Helpdesk; LIFE 2014-2020; Parte
del Fondo europeo per gli affari marittimi e la pesca.
Innovation and Networks Executive Agency - INEA (sostituirà la TEN-T Executive
Agency)
Connecting Europe Facility; H2020 - Sfide Sociali: parte "energia" (Low Carbon Economy
e Smart Cities and Communities) e "trasporti" (Mobility for Growth e Green Vehicles).
Education, Audiovisual and Culture Executive Agency - EACEA
Erasmus +; Creative Europe; Europe for citizens.
ALCUNI SUGGERIMENTI
• La proposta viene scritta prima di tutto per i valutatori
• Chiedere a un collega non coinvolto nel progetto che esegua
una Mock Evaluation con la modulistica utilizzata dai
valutatori
• La proposta deve essere sintetica, chiara e leggibile (i
valutatori hanno poche ore per leggere il progetto e valutarlo)
• Prevedere indici e una chiara suddivisione dei paragrafi
• Nella descrizione dell’attività “andare subito al punto” ed
evidenziarlo anche graficamente
• Rispettare i limiti di ciascuna sezione
LINK UTILI
Documenti di riferimento per H2020
http://ec.europa.eu/research/participants/portal/desktop/en/fun
ding/reference_docs.html#h2020-call_ptef-ef
Guida alla sottomissione e valutazione delle proposte
http://ec.europa.eu/research/participants/data/ref/h2020/grants
_manual/pse/h2020-guide-pse_en.pdf
Standard evaluation forms per RIA/IA/CSA
http://ec.europa.eu/research/participants/data/ref/h2020/call_p
tef/ef/h2020-call-ef-ria-ia-csa_en.pdf
Per registrarsi nel database degli esperti
http://ec.europa.eu/research/participants/portal/desktop/en/ex
perts/index.html
GRAZIE PER L’ATTENZIONE
Barbara Pernati
CNR – Ufficio Supporto alla Programmazione Operativa
tel. +39 010 6475 306 voip +39 06 4993 2312
e-mail [email protected]

Download Report