Evaluatieprocedure 3de generatie, Steunpuntenprogramma

Evaluatieprocedure 3de generatie,
Steunpuntenprogramma
Steunpuntenforum, 14 maart 2014
Evaluatie 3de Steunpuntengeneratie
Inleiding
2
Vlaamse overheid | Departement Economie, Wetenschap en Innovatie
Evaluatie 3de Steunpuntengeneratie
Aanleiding – regelgeving
Steunpuntendecreet
Steunpuntenbesluit (recente stroomlijning op vlak van timing)
Beheersovereenkomsten
Basisconcept
Plan van Aanpak, goedgekeurd door de Vlaamse Regering
Bestek
3
Vlaamse overheid | Departement Economie, Wetenschap en Innovatie
Evaluatie 3de Steunpuntengeneratie
Krijtlijnen
Evaluatie van de werking van de individuele steunpunten
Wetenschappelijke dimensie
Beleidsrelevante dimensie
Management dimensie
Evaluatie van het Steunpuntenprogramma
Over de steunpunten heen
Over de generaties heen
Aandachtspunt - rollende evaluatie
Beleidsrelevante dimensie
Over legislaturen heen
Loopt door na globale evaluatie
4
Vlaamse overheid | Departement Economie, Wetenschap en Innovatie
Evaluatie 3de Steunpuntengeneratie
Rol departement EWI
Voorbereiding
Plan van Aanpak
Overheidsopdracht ondersteuning door consultant, IDEA Consult
Operationele opvolging
Stuurgroep
Vertegenwoordigers functioneel aansturende
ministers en beleidsdomeinen
Opvolgen uitvoering opdracht
Kwaliteitsbewaking
Klankbord
Valideren van bepaalde deliverables
5
Vlaamse overheid | Departement Economie, Wetenschap en Innovatie
Evaluatie 3de Steunpuntengeneratie
Beschikbaarheid eindrapporten
Na finale validering, Mededeling Vlaamse Regering, februari 2015
Rapport meta-evaluatie, ter beschikking op
www.vlaanderen.be/steunpunten
Rapporten per steunpunt worden aan de steunpunten bezorgd en
kunnen worden opgevraagd bij het departement EWI
Info en contact, departement EWI
Meer info: http://www.ewi-vlaanderen.be/beleidsevaluatie
Steunpuntenteam, [email protected]
Team beleidsevaluaties, [email protected]
Afdelingshoofd, [email protected]
6
Vlaamse overheid | Departement Economie, Wetenschap en Innovatie
Evaluatie 3de Steunpuntengeneratie
Evaluatieverloop
IDEA Consult
7
Vlaamse overheid | Departement Economie, Wetenschap en Innovatie
Evaluatie van de Steunpunten voor
Beleidsrelevant Onderzoek
Vlaamse overheid
Departement Economie, Wetenschap en Innovatie
Steunpuntenforum – 14 maart 2014
An De Coen
Wim Van der Beken
Daphné Valsamis
Agenda

Doelstellingen van de opdracht

Visie op de opdracht: evaluatievragen

Plan van aanpak

Tijdsplanning

Overleg en terugkoppeling

Onderzoeksteam

Afspraken

Contactpersoon
Doelstellingen van de opdracht
Context


Programma Steunpunten voor Beleidsrelevant Onderzoek opgestart in
2001 door de Vlaamse overheid om wetenschappelijke ondersteuning te
bieden aan het beleid
Derde evaluatie van het Steunpuntenprogramma
Doelstellingen

Het begeleiden van de volledige evaluatieprocedure:
−
De evaluatie van alle steunpunten volgens wetenschappelijke, beleidsrelevante en
managementcriteria
−
De evaluatie van de totaliteit van het programma (meta-evaluatie)
Visie op de opdracht: evaluatiekader
Evaluatieproces
Fase 1
Fase 2
Fase 3
Fase 4
Fase 5
Inceptie
Voorbereiding
Begeleiding
subpanels
Consolidatie
Metaevaluatie
Fase 6
Rapportage
Startvergadering
Datacollectie
Zelfevaluatie
steunpunten
Aggregeren van
beoordelingen
Interne & externe
analyse
Eindrapport
Informeren
steunpunten via
forum
Aanmaak van
indicatorenset &
vragenlijsten
Wetenschappelijke
& beleidsrelevante
subpanels
Plenair panel
SWOT-analyse
Leereffecten
Eerste telefonisch
contact met
stakeholders
Samenstelling
panels
Materiële
feedback
steunpunten
Workshop evaluatiestuurgroep
Fase 1: Inceptiefase
Startmeeting

Bespreking uitgangspunten, toonzetting en verwachte resultaten van de evaluatie

Doorlopen plan van aanpak

Overdracht aanvullende relevante informatie (coördinaten-overzicht en webadressen
steunpunten, lijst experten vorige evaluatie, samenstelling stuurgroepen en
steunpuntenforum, aanspreekpunten beleidsdomeinen, jaarverslagen, ….).
Deelname steunpuntenforum

Voorstelling aanpak van de evaluatie

Bespreking afspraken en verwachtingen
Telefonisch contact met:


Functioneel bevoegde verantwoordelijke bij de beleidsdomeinen: bespreking van specifieke
verwachtingen mbt de evaluatietemplates, de samenstelling van panels, hun eigen rol in de
evaluatie,….
lk steunpunt (promotor-coördinator): bespreking organisatie zelfevaluatie, organisatie van
E
expertenpanels, coördinaten van stakeholders van het steunpunt,….
Fase 2: Voorbereidende fase
Substap 2.1. Het verzamelen van de nodige informatie

Inhoudelijke bronnen m.b.t. tot kader en werking van de steunpunten

Informatie m.b.t. de evaluatiemethodiek
Substap 2.2. Het opstellen van de indicatorenset en de vragenlijsten

Vertrekkend uit vorige ontwikkelde templates
Substap 2.3. Het samenstellen van de wetenschappelijke en
beleidsrelevante subpanels

Voor de wetenschappelijke panels: minimum 3 experten per steunpunt
 Experten van eerste en tweede orde
(reserve in geval van afwijzing door stuurgroep en/of de steunpunten)

Voor de beleidsrelevante panels: minimum 3 belangrijkste stakeholders van elk steunpunt,
bepaald in overleg met het bevoegde kabinet/beleidsdomein
Fase 3: Begeleidingsfase
Substap 3.1. Begeleiding steunpunten bij invulling zelfevaluatie

Schriftelijke procedure op basis van uniforme template (zelfevaluatieformulier)

Zelfevaluatieformulieren digitaal overgemaakt aan steunpunten tegen juni 2014 (Engelstalig)

Tot maximaal half september om zelfevaluaties op te maken
Substap 3.2. Begeleiding wetenschappelijke en beleidsrelevante
subpanels van experten

Schriftelijke procedure op basis van infobundel bestaande uit:

De evaluatietemplate voor experten

Een infobundel (met daarin o.a. referentiekader steunpunten, de zelfevaluatie, beheersovereenkomst,
jaarverslag inclusief factsheet)


Telefonische contact en opvolging:

Overlopen van de evaluatietemplate en de infobundel

Inventariseren en aanvullen van bijkomende infobehoeften vanwege de experten
Inwinnen van individuele expertverslagen tegen ten laatste half oktober 2014
Fase 4: Consolidatiefase
Substap 4.1. Aggregeren expertenbeoordelingen in twee subpanels

Verwerking en consolidatie van individuele expertevaluaties door het IDEA-team

Sterk afwijkende evaluaties worden nader onderzocht: de betrokken experten worden
verzocht hun scores (uitgebreider) te motiveren
Substap 4.2. Organisatie van plenaire panels

Terugkoppeling afzonderlijke evaluatieverslagen per steunpunt via online platform aan
experten

Mogelijkheid voor experten om bijkomende nuances of verduidelijkingen aan te brengen
Substap 4.3. Feedback van de steunpunten op het ontwerprapport

Feedback van steunpunten op ontwerprapport: week 8 december 2014

Een week tijd om materiële feedback door te geven aan onderzoeksteam
Fase 5: Meta-evaluatie
Substap 5.1. Interne analyse



Cross-analyse van evaluaties per individueel steunpunt
Horizontale conclusies m.b.t. drie dimensies (wetenschappelijk, beleidsrelevantie, management)
op niveau van Steunpuntenprogramma
Vergelijking met evaluatie van eerdere generatie steunpunten
Substap 5.2. Externe analyse

Focus op context waarbinnen het steunpuntenprogramma gesitueerd wordt, inclusief 5
strategische interviews
Substap 5.3. Integrerende SWOT-analyse

De interne (sterke en zwakke punten van het programma) en externe analyse (opportuniteiten
en bedreigingen van het programma) worden samengebracht in een integrerende SWOTanalyse
Substap 5.4. Workshop met de evaluatiestuurgroep

Bespreking van meta-evaluatieconclusies

Bespreking van mogelijke opties tot bijsturing
Fase 6: Rapportage
Opmaak en oplevering rapport (26 januari 2015)
Rapporten
Rapport 1: Evaluatie per
steunpunt
Inhoud
 Plenaire conclusies per steunpunt, met aandacht voor
wetenschappelijke kwaliteit
beleidsrelevantie
professioneel management
 Sterkte-zwakte-analyse per steunpunt
 Aanbevelingen per steunpunt
 bijlagen met achtergrondinformatie



Rapport 2: Meta-evaluatie
 Bevindingen t.a.v. het steunpuntenprogramma
over generaties heen
doel en concept
organisatiekader en structurering
 SWOT en uitdagingen steunpuntenprogramma
 Aanbevelingen beleidsrelevant onderzoek
 bijlagen met achtergrondinformatie



Tijdsplanning
 Meeting operationele werkgroep
 Meeting stuurgroep
mrt
Fase 1: Inceptie
Startvergadering
Steunpuntenforum (14 maart 2014)
Initieel telefonisch contact met de steunpunten
apr
mei
juni
 Rapportage
 Reminder panels
2014
juli
aug
sept
okt
nov
dec
2015
jan


Fase 2: Voorbereiding
Datacollectie
Opstellen van de indicatorenset en de vragenlijsten
Samenstellen van wetenschappelijke en
beleidsrelevante subpanels




Fase 3: Begeleiding subpanels
Zelfevaluatie door de steunpunten
Wetenschappelijke en beleidsrelevante subpanels
Fase 4: Consolidatie
Aggregeren van de expertenbeoordelingen in de
twee subpanels
Plenaire panels
Feedback van steunpunten op ontwerprapport
Fase 5: Meta-evaluatie
Interne analyse
Externe analyse
Integrerende SWOT-analyse
Workshop met de evaluatiestuurgroep
Fase 6: Rapportage
Formuleren van conclusies en leereffecten
Ontwerp eindrapport over de meta-evaluatie
Oplevering volledige eindrapport van de evaluatie







Overleg en terugkoppeling
Overlegmoment stuurgroep
Steunpuntenforum (ruimer)
Bespreking expertenlijsten en templates
Workshop meta-evaluatie
Overlegmoment operationele
werkgroep
Startvergadering
Voorbereiding stuurgroep en bespreking
voortgang
Datum
Begin maart 2014
14 maart 2014
April - mei 2014
Eind mei 2014
Bespreking stand van zaken en
eventuele aandachtspunten bij de
begeleiding van de subpanels
Bespreking tussentijdse resultaten
panels + voortgang
Voorbereiding meta-evaluatie en
voortgangsbespreking
Half – eind september 2014
Mid november 2014
Eind november 2014
Week 1 december 2014
Bespreking ontwerp-eindrapport
15 januari 2015
Opvolging eindrapportage
15 – 26 januari 2015
Begeleidingsteam
Persoon
Daphné Valsamis
Werkzaamheden in het kader van dit project
Rol: Projectleider
Wim Van der Beken
Rol: kwaliteitsbewaker
An De Coen
Annelies Wastyn
Myriam Parys
Rein Dessers
Toon Berckmoes
Pieter Dewitte
Pieter Staelens
Jessie Pieters
Rol: Projectmedewerker
Evaluatie van steunpunten Armoede; Gelijke kansen beleid; Studie- en
Schoolloopbanen; Werk en Sociale Economie
Rol: Projectmedewerker
Evaluatie van steunpunten Buitenlands beleid, internationaal ondernemen en
ontwikkelingssamenwerking; Ondernemen en Regionale Economie
Rol: Projectmedewerker
Evaluatie van steunpunten Bestuurlijke Organisatie, Slagkrachtige
overheid; Fiscaliteit en Begroting; Inburgering en Integratie
Rol: Projectmedewerker
Evaluatie steunpunten Milieu - Duurzaam materiaalbeheer; Milieu en
Gezondheid; Transitie Duurzame Ontwikkeling; Welzijn, Volksgezondheid en
Gezin
Rol: Projectmedewerker
Evaluatie steunpunten Cultuur; Jeugd; Media en Sport
Rol: Projectmedewerker
Evaluatie steunpunten Goederen en personenvervoer; verkeersveiligheid
Rol: Projectmedewerker
Evaluatie steunpunten Wonen en Ruimte
Rol: Projectmedewerker
Administratief medewerkster
Concrete afspraken steunpunten
Steunpunten
Timing
 Telefonische contactname
 Eind maart/ begin april 2014
 Contact m.b.t. selectie experten
 April 2014
 Contacten m.b.t. zelfevaluatie
 Zelfevaluatieformulieren digitaal
overgemaakt aan steunpunten
tegen juni 2014
 Tot maximaal half september om
zelfevaluaties op te maken
 Terugkoppeling
per steunpunt
 Feedback van steunpunten op
ontwerprapport:
week
8
december 2014
evaluatierapport
 Een week tijd om materiële
feedback door te geven aan
onderzoeksteam
Concrete afspraken administratie
Steunpunten
Timing
 Telefonische contactname
 Eind maart/ begin april 2014
 Samenstellen van
beleidsrelevantie subpanels
 April 2014
 Eind augustus 2014 (herinnering)
 Evaluatiemateriaal digitaal
overgemaakt aan de subpanels
tegen half september 2014
 Beleidsrelevante subpanels
 Tot maximaal half oktober om de
evaluaties op te maken
 Indien nodig plenaire panels in
november
Contactgegevens
Daphné Valsamis
Projectleider
02/300.85.00
[email protected]
An De Coen
Onderzoeker
02/300.85.03
[email protected]
Wim Van der Beken
Kwaliteitsbewaker
02/282.17.10
[email protected]
Vragen?
Evaluatie 3de Steunpuntengeneratie
Vragen
8
Vlaamse overheid | Departement Economie, Wetenschap en Innovatie
bedankt
Departement Economie, Wetenschap en Innovatie (EWI)
Koning Albert II-laan 35 bus 10, 1030 Brussel
www.ewi-vlaanderen.be | [email protected]