Powerpoint

Opleidingsbeoordelingen:
de eerste reeks in het NAS
Wat kunnen we daaruit leren?
Lies Praet, Pieter-Jan Van de Velde, Els Van Zele (VLUHR KZ)
Ivan D’haese (commissielid Vroedkunde)
Agenda
1.
2.
3.
4.
5.
6.
7.
Voorjaar 2013: start van het NAS
Visitatieprojecten in de vuurdoop
Bevindingen vanuit IKZ-bevragingen
Ervaringen als commissielid: Ivan D’haese
Eerste resultaten: scoreverdelingen
Tips en suggesties
Vragenronde
1. Voorjaar 2013:
start van het NAS
13 maart 2014
Nieuw accreditatiestelsel
• Samenstellingsprocedure:
– Bestuurscomité Kwaliteitszorg en NVAO
– Onafhankelijkheid en deskundigheden van commissies verstrengd
•
•
•
•
•
•
3 generieke kwaliteitswaarborgen
Vlaamse learning outcomes (DLR)
Korter bezoekschema
Doorlooptijd: 12 maanden
Parallelle commissies
Samenvattingen
2. Visitatieprojecten
in de vuurdoop
13 maart 2014
1
Voorjaar 2013
Najaar 2013
• 8 visitatieprojecten, waarvan 6 met publicatie:
• 10 lopende visitatieprojecten, nog niet gepubliceerd:
– Communicatiemanagement, Journalistiek, Internationale
samenwerking Noord-Zuid, Seksuologie, Vroedkunde, Wiskunde
– (Wijsbegeerte, Verpleegkunde)
– Biologie, Biomedische wetenschappen, GeneeskundeHuisartsgeneeskunde, Godgeleerdheid en Godsdienstwet,
Kleuteronderwijs, Lager onderwijs, Logopedische en
Audiologische wetenschappen, Natuurkunde-Sterrenkunde,
Oosterse studies, Psychosociale gerontologie en
Ouderencoaching
• 19 betrokken hogeronderwijsinstellingen
• 48 beoordeelde opleidingstrajecten
– Professionele en academische bachelor, master, bachelor-nabachelor
– Opleidingsvarianten (traject voor werkstudent, afstudeerrichting,
locaties, Engelstalig, …)
13 maart 2014
• 20 betrokken hogeronderwijsinstellingen
13 maart 2014
Bevragingen in kwaliteitscyclus
• VLUHR IKZ Werkgroep: convergentie naar 1 systeem
Samenvoegen elementen uit de vorige entiteiten omtrent
kwaliteitszorg binnen VLIR en VLHORA
•
3. Bevindingen vanuit
IKZ-bevragingen
Cyclus van kwantitatieve en kwalitatieve bevragingen
– Kwaliteitszorgcoördinatoren op instellingsniveau
– Coördinatoren op opleidingsniveau
– Commissieleden
13 maart 2014
Kwantitatieve bevragingen:
tweejaarlijkse enquêtes
• Bevraagde thema’s reeks 1: na visitatiebezoek
 Informatievoorziening
 Samenstelling commissie
 Visitatiebezoek
• Bevraagde thema’s reeks 2: na publicatie visitatierapport
 Rapportering
Kleurcodes:
 Algemeen
x < 5: rood
5 ≤ x < 7: geel
 Nieuw visitatiestelsel
x ≥ 7: groen
 Vragenlijst
13 maart 2014
Kwalitatieve bevragingen:
(twee)jaarlijkse focusgesprekken
•
Oktober 2013:
– kwaliteitszorgcoördinatoren op instellingsniveau
•
Maart 2014:
– coördinatoren op opleidingsniveau voorjaar 2013
– coördinatoren op opleidingsniveau najaar 2013
– commissieleden voorjaar 2013
•
April 2014:
– kwaliteitszorgcoördinatoren op instellingsniveau
 Hoge frequentie in 2013-2014 om snel te kunnen inspelen op
resultaten bij de start van het NAS.
13 maart 2014
2
A. Informatievoorziening
Eerste resultaten bevragingen
A. Informatievoorziening: beoordelingskader en DLR
B. Samenstelling: inspraak van opleiding en deskundigheden
C. Visitatiebezoek:
– Zelfevaluatierapport
– Voorbereiding bezoek
– Bezoekschema
D. Rapportering: herkenbaarheid en samenvatting
E. Algemeen/Nieuw accreditatiestelsel:
Parallelle commissies
Profilering
Planlastvermindering
–
–
–
13 maart 2014
13 maart 2014
A. Hoe tevreden bent u over de duidelijkheid van
het beoordelingskader in het visitatieprotocol?
A. Hoe tevreden bent u over de duidelijkheid van
het beoordelingskader in het visitatieprotocol?
Opleidingsniveau – voorjaar 2013
Opleidingsniveau – najaar 2013
(gemiddelde: 5,82 ; 40 respondenten)
(gemiddelde: 6,59 ; 50 respondenten)
11
6
5
3
1
1
1
0
1
2
16
3
4
4
5
8
4
6
7
8
2
2
9
10
13 maart 2014
1
0
0
0
1
2
3
0
14
7
2
1
4
5
6
7
8
9
0
10
1
n.v.t.
13 maart 2014
A. Hoe tevreden bent u over de duidelijkheid van
het beoordelingskader in het visitatieprotocol?
A. Hoe tevreden bent u over de duidelijkheid van
het beoordelingskader in het visitatieprotocol?
Instellingsniveau – voorjaar 2013
Commissies – voorjaar 2013
(gemiddelde: 6,29 ; 18 respondenten)
(gemiddelde: 6,98 ; 48 respondenten)
17
5
5
14
3
2
0
0
0
0
1
2
13 maart 2014
1
1
3
4
1
5
6
7
8
9
0
10
0
0
0
0
1
2
2
3
4
4
6
2
5
3
0
6
7
8
9
10
13 maart 2014
3
A. Hoe tevreden bent u over de duidelijkheid van
het beoordelingskader in het visitatieprotocol?
Focusgesprekken – voorjaar en najaar 2013
A. Hoe tevreden bent u over de hanteerbaarheid
van het gevalideerd DLR voor de beoordeling?
Commissies – voorjaar 2013
(gemiddelde: 6,78 ; 46 respondenten)
• Laattijdige aanlevering definitief visitatieprotocol (na
indienen van ZER)
• Eigenheid van de opleiding centraler dankzij
beoordelingskader
• Spanning tussen vrijheid en structuur
• Weging binnen de generieke kwaliteitswaarborgen
13
12
6
1
0
13 maart 2014
0
1
1
1
2
3
3
3
4
5
6
7
8
3
3
9
10
13 maart 2014
A. Hoe tevreden bent u over de hanteerbaarheid
van het gevalideerd DLR voor de beoordeling?
Focusgesprekken – voorjaar en najaar 2013
B. Samenstelling
• Laattijdige validering (na ZER)
• Domeinspecifieke leerresultaten (DLR) t.o.v. de
opleidingsspecifieke leerresultaten (OLR)
• Ambitieus of reëel eindniveau voor elke student?
• Moeilijk om alle docenten mee te krijgen met DLR en
het pedagogisch jargon
• Effect op programma en toetsing
• Breder gedragen dan het vroegere domeinspecifieke
referentiekader (DSR)
13 maart 2014
13 maart 2014
B. Heeft u voldoende inspraak gehad in het voorstel
samenstelling van de commissie?
Opleidingsniveau – voorjaar 2013
(39 respondenten)
B. Zijn er volgens u tekorten inzake de
deskundigheden van de commissie?
Opleidingsniveau – voorjaar 2013
(39 respondenten)
6
12
33
ja
Opleidingsniveau – najaar 2013
(50 respondenten)
nee
Opleidingsniveau – najaar 2013
(50 respondenten)
6
14
ja
44
13 maart 2014
ja
27
nee
36
nee
ja
nee
13 maart 2014
4
B. Hoe tevreden bent u over de uiteindelijke
samenstelling van de commissie?
B. Hoe tevreden bent u over de deskundigheid
van de commissie?
Instellingsniveau – voorjaar 2013
Commissies – voorjaar 2013
(gemiddelde: 6,94 ; standaardafwijking: 0,94)
(gemiddelde: 8,62 ; 45 respondenten)
20
9
5
0
0
0
0
0
0
1
2
3
4
2
2
5
6
7
8
0
0
9
10
13 maart 2014
0
0
0
0
0
0
1
2
3
4
1
5
0
6
11
11
9
10
2
7
8
13 maart 2014
B. Hoe tevreden bent u over de deskundigheid
van de commissie?
C. Het visitatiebezoek
Focusgesprekken – voorjaar en najaar 2013
•
•
•
•
Onderwijskundigheid als must
Relevantie van het student-commissielid
Rol voorzitter cruciaal tijdens gesprekken
Bepaalde focus of kritische vragen tijdens gesprekken
verschillen van stokpaardjes
13 maart 2014
13 maart 2014
C. Hoe tevreden bent u over de helderheid van de
zelfevaluatierapporten?
C. Hoe tevreden bent u over de helderheid van de
zelfevaluatierapporten?
Commissies – voorjaar 2013
Focusgesprekken – voorjaar en najaar 2013
(gemiddelde: 7,07 ; 45 respondenten)
• Eigenheid van de opleiding in zelfevaluatierapport
(ZER)
• Verkort ZER is vooruitgang, maar 25 pagina’s erg nipt
• Weinig ruimte in ZER voor (toekomst)visie?
• Grondige lezing door de commissies
18
9
0
0
0
1
13 maart 2014
1
2
0
3
2
4
4
6
5
0
5
6
7
8
9
10
13 maart 2014
5
C. In welke mate ervaart u het voorbereidend
bezoek van de projectbegeleider als een
meerwaarde?
C. In welke mate ervaart u het voorbereidend
bezoek van de projectbegeleider als een
meerwaarde?
Opleidingsniveau – voorjaar 2013
Opleidingsniveau – najaar 2013
(gemiddelde: 7,89 ; 38 respondenten)
(gemiddelde: 7,69 ; 49 respondenten)
11
1
0
0
0
2
3
1
1
1
4
5
6
7
8
11
9
5
4
0
14
8
7
9
10
0
0
0
1
4
2
2
0
0
3
4
5
3
5
1
6
7
8
9
13 maart 2014
13 maart 2014
C. Hoe tevreden bent u over het voorbereidend
bezoek van de projectbegeleider?
C. Hoe tevreden bent u over het voorbereidend
bezoek van de projectbegeleider?
Instellingsniveau – voorjaar 2013
Focusgesprekken – voorjaar en najaar 2013
10
n.v.t.
(gemiddelde: 6,76 ; 17 respondenten)
•
•
•
•
5
5
8
9
Zichtbaarheid van projectbegeleider
Vertrouwen
Informatie-uitwisseling en afspraken
Maatwerk
3
1
1
0
0
1
2
0
0
3
4
5
1
1
6
7
0
10
13 maart 2014
13 maart 2014
C. Hoe tevreden bent u over de mate waarin het
bezoekschema toeliet om de kwaliteit van de
opleiding te tonen?
C. Hoe tevreden bent u over de mate waarin het
bezoekschema toeliet om de kwaliteit van de
opleiding te tonen?
Opleidingsniveau – voorjaar 2013
Opleidingsniveau – najaar 2013
(gemiddelde: 6,50 ; 38 respondenten)
(gemiddelde: 7,06 ; 49 respondenten)
4
1
0
13 maart 2014
1
1
0
0
2
3
18
8
7
5
4
11
5
8
3
4
1
0
4
5
6
7
8
9
0
0
0
1
2
3
4
1
4
5
6
7
8
9
2
10
0
n.v.t.
10
13 maart 2014
6
C. Hoe tevreden bent u over het bezoekschema:
de timing voor de gesprekken?
C. Hoe tevreden bent u over het bezoekschema:
de timing voor de inzage van studiemateriaal?
Commissies – voorjaar 2013
Commissies – voorjaar 2013
(gemiddelde: 8,11 ; 44 respondenten)
(gemiddelde: 7,09 ; 44 respondenten)
12
15
11
12
7
0
0
0
0
1
2
1
3
0
4
1
5
6
6
2
2
6
7
8
9
10
13 maart 2014
0
0
0
1
2
5
4
3
1
3
0
4
5
6
7
8
9
10
13 maart 2014
C. Hoe tevreden bent u over het bezoekschema?
D. Rapportering
Focusgesprekken – voorjaar en najaar 2013
• Timing wordt gerespecteerd
• Vraaggesprek versus dialoog (rondleiding en informele
ontmoeting)
• Tijdsdruk voor de commissie
• Tijdige toegang tot digitale leeromgeving
• Materiaal ter inzage klaarleggen vraagt veel werk en
doordachte organisatie
13 maart 2014
13 maart 2014
D. Hoe tevreden ben u over de herkenbaarheid
van de opleiding in het opleidingsrapport?
D. Hoe tevreden bent u over de samenvatting
over uw opleiding(en)?
Opleidingsniveau – voorjaar 2013
Opleidingsniveau – voorjaar 2013
(gemiddelde: 5,39 ; 33 respondenten)
(gemiddelde: 5,94 ; 33 respondenten)
7
6
3
3
3
1
0
13 maart 2014
2
3
4
3
3
2
2
0
1
2
3
4
5
6
7
8
9
10
0
n.v.t.
4
3
1
1
6
2
2
4
5
5
1
0
2
3
6
7
8
9
10
0
n.v.t.
13 maart 2014
7
E. Hoe tevreden bent u over de consistentie van
de beoordelingen door de parallelle commissies?
E. Algemeen/ Nieuw accreditatiestelsel
Opleidingsniveau – voorjaar 2013
(gemiddelde: 4,16 ; 26 respondenten)
8
4
2
3
3
2
0
0
1
2
3
4
5
1
1
7
8
6
0
9
13 maart 2014
13 maart 2014
E. Hoe tevreden bent u over de vergelijkbaarheid
van de beoordeling door de parallelle commissies?
E. Hoe tevreden bent u over de vergelijkbaarheid
van de beoordeling door de parallelle commissies?
Commissies – voorjaar 2013
1
1
10
n.v.t.
Focusgesprekken – voorjaar en najaar 2013
(gemiddelde: 5,62 ; 32 respondenten)
• Accentverschillen en eigen visies
• Communicatie en afstemming is belangrijk
• Vergelijkend perspectief enkel binnen een parallelle
commissie
 Evaluatie vanuit VLUHR KZ opgenomen in actieplan
9
7
1
1
1
0
1
2
2
3
3
4
4
4
6
7
5
8
0
0
9
10
13 maart 2014
13 maart 2014
E. Hoe tevreden bent u over de verhouding tussen
werklast en de effecten van een visitatie?
E. In welke mate is er een planlastverlaging voor
de onderwijsvisitaties?
Opleidingsniveau – voorjaar 2013
Instellingsniveau – voorjaar 2013
(gemiddelde: 3,88 ; 32 respondenten)
(gemiddelde: 2,85; 7 respondenten)
7
8
5
3
3
0
1
2
2
2
0
13 maart 2014
2
3
4
5
6
7
2
0
0
8
9
0
10
2
1
2
0
n.v.t.
0
0
1
2
3
4
5
0
0
0
0
0
0
6
7
8
9
10
n.v.t.
13 maart 2014
8
E. Hoe tevreden bent u over de mate waarin de
visitatie, in het NAS, ruimte laat voor het profiel
en de eigenheid van de opleiding?
E. In welke mate zijn de 3 GKW’s een verbetering
ten opzichte van de 6 onderwerpen en 21 facetten
van het vorige beoordelingskader?
Instellingsniveau – voorjaar 2013
Instellingsniveau – voorjaar 2013
(gemiddelde: 7,60 ; 7 respondenten)
(gemiddelde: 5,60 ; 7 respondenten)
5
0
0
0
0
0
0
0
1
2
3
4
5
1
1
6
7
1
8
0
0
0
9
10
n.v.t.
0
13 maart 2014
0
0
0
1
2
3
1
1
4
5
2
2
7
8
0
6
0
0
0
9
10
n.v.t.
13 maart 2014
4. Ervaringen als commissielid
Ivan D’haese
5. Eerste resultaten:
scoreverdelingen
Vierpuntschaal per GKW
Scores GKW 1: beoogd eindniveau
Onvoldoende:
Het beoogd eindniveau wordt bepaald aan de hand van de
wijze waarop de domeinspecifieke leerresultaten
vertaald zijn in opleidingsspecifieke leerresultaten.
•
De generieke kwaliteitswaarborg is onvoldoende aanwezig.
Voldoende:
•
De opleiding voldoet aan de basiskwaliteit, want zij vertoont een
acceptabel niveau voor de generieke kwaliteitswaarborg.
Goed:
•
De opleiding overstijgt systematisch de basiskwaliteit voor de generieke
kwaliteitswaarborg.
Excellent:
•
De beoogde opleidingsspecifieke leerresultaten passen voor niveau en
oriëntatie (bachelor of master; professioneel of academisch gericht) binnen
het Vlaamse kwalificatieraamwerk en, indien beschikbaar, het gevalideerde
domeinspecifieke leerresultatenkader. Ze sluiten aan bij de actuele eisen
die in internationaal perspectief vanuit het beroepenveld en het
vakgebied worden gesteld aan de inhoud van de opleiding.
De opleiding steekt ver uit boven de basiskwaliteit voor de generieke
kwaliteitswaarborg en geldt hierbij als een (inter)nationaal voorbeeld.
13 maart 2014
13 maart 2014
9
GKW 1 – voorjaar 2013 (48 trajecten)
Scores GKW 2: onderwijsproces
Het onderwijsproces maakt het voor de studenten
mogelijk de beoogde leerresultaten te realiseren.
32
16
0
0
onvoldoende
voldoende
goed
excellent
De inhoud en de vormgeving van het programma, met inbegrip van de
opleidingsspecifieke onderwijs- en leervormen, stellen de studenten in
staat de beoogde leerresultaten te bereiken. De kwaliteit en kwantiteit van
het personeel en de kwaliteit van de opleidingsspecifieke voorzieningen
zijn daarbij essentieel. Programma, personeel en voorzieningen vormen een
voor studenten samenhangende onderwijsleeromgeving. Het doorstroomrendement is daarbij een indicator. De verbeteracties uit de kwaliteitszorg
op opleidingsniveau worden daarbij meegenomen, inclusief de opvolging
van de vorige visitatie.
13 maart 2014
13 maart 2014
GKW 2 – voorjaar 2013 (48 trajecten)
Scores GKW 3: gerealiseerd eindniveau
De opleiding beschikt over een adequaat systeem van
beoordeling, toetsing en examinering en toont aan dat de
beoogde leerresultaten worden gerealiseerd.
Het gerealiseerde niveau blijkt uit de validiteit, betrouwbaarheid en
transparantie van de beoordeling, de toetsing en de examinering van de
studenten, de mate van inzetbaarheid van de afgestudeerden op de
arbeidsmarkt of de doorstroom naar een vervolgopleiding en uit het
diplomarendement per instromende cohorte.
31
10
4
3
onvoldoende
voldoende
goed
excellent
13 maart 2014
13 maart 2014
GKW 3 – voorjaar 2013 (48 trajecten)
Eindscores
Op basis van beslisregels
– Onvoldoende (3x onvoldoende)  stopzetting
– Voldoende met beperkte geldigheidsduur (1x of 2x
onvoldoende)  hersteltraject
– Voldoende (geen onvoldoende)
– Goed (minstens 2x goed, waarvan GKW 3)
– Excellent (minstens 2x excellent, waarvan GKW 3)
37
7
4
onvoldoende
13 maart 2014
0
voldoende
goed
excellent
13 maart 2014
10
Eindscores – voorjaar 2013 (48 trajecten)
34
7
0
onvoldoende
voldoende met
beperkte
geldigheidsduur
6. Tips en suggesties
vanuit VLUHR KZ
7
voldoende
goed
0
excellent
13 maart 2014
Samenstelling
•
Maak maximaal gebruik van de inspraak die elke opleiding heeft
voor de samenstelling van commissies: lever zo veel mogelijk
deskundige profielen aan (vooral bij parallelle commissies).
Benut de mogelijkheden tot overleg met de projectbegeleider
tijdens het voorbereidend bezoek. Neem gerust contact op met de
projectbegeleider, indien vragen in eender welke fase van het
visitatieproces.
ZER
•
•
•
•
Projectbegeleiding
•
Materiaal ter inzage
Toon in het ZER een kritische ingesteldheid t.o.v. de eigen kwaliteit:
open en eerlijke reflectie
Blijf to the point in het ZER en vermijd te uitgebreide vrije bijlagen.
13 maart 2014
Zorg voor een duidelijk overzicht van het aanwezige materiaal,
zeker voor digitale documenten.
Voorzie een korte toelichting (5 min) bij het materiaal.
Visitatiebezoek
•
•
•
Maak met alle docenten de ‘cultuurshift’ naar het DLR in het
programma en de toetsing.
Laat u niet ontmoedigen door de kritische vragen van de commissie.
Vertel open uw eigen verhaal.
13 maart 2014
7. Vragenronde
11

Download Report