Onderwijsevaluatiesysteem

Onderwijsevaluaties UHasselt
Infosessies 8 en 11 december 2014
4. Onderwijsevaluatie: Context
Nakende instellingsreview → analyse bestaande instrumenten
Vaststellingen
•
•
Kwantitatieve instrumenten (enquêtes)
• veelheid aan vragen en templates
• analyses en conclusies op
instellingsniveau niet mogelijk
• geen opvolging van evoluties in de
tijd
• geen vergelijking van percepties
van de verschillende stakeholders
• geen overzichtelijke rapporten met
alarmfuncties
Kwalitatieve instrumenten
• Vooral (enkel) op OPO niveau
Nood aan verbetering
•
•
Coherent enquêteringssysteem om
kwaliteit van onderwijs op verschillende
niveaus op te volgen:
• Instelling
• Opleiding
• Opleidingsonderdeel
• Lesgever
Mening bij de verschillende stakeholders
• Studenten
• Personeel
• Afgestudeerden/alumni
• Werkveld (o.m. stage bedrijven)
Uitbreiden van instrumenten, o.a. ontwikkelen van generieke vragenlijsten met signaalfunctie naar
2
verschillende actoren
4. Onderwijsevaluatie: Methodologie
Matrix rubrieken / soorten
Gestandaardiseerde
vragenlijsten
! Gepaste rapportering naar actoren
•
•
Uitbreiden van
vragenlijsten &
ontwikkelen van
generieke vragen
met signaalfunctie
naar verschillende
actoren
Vaste
antwoordcategorieën
6-puntenschaal + geen mening/nvt
grenswaarden gedefinieerd met stat
→uniforme vergelijking tussen verschillende
rubrieken en vragenlijsten
Speerpunten beleidsplannnen (academische,
professionele & internationale gerichtheid)
Onderwijs- en
internationaliseringsbeleid
als kader
→ Signaalfunc e: opvolgen van evolu e in de
loop van modeltraject
→ Nega eve antwoorden ≠ neg. betekenis
Koppeling met:
• de te bereiken eindcompetenties
• de vooropleiding van de student
• de begrote studietijd van OPO
• …
→ Mogelijkheid tot verdere analyses
•
Koppeling met databank
en studiegids
Aparte systeem voor
doceergedrag
•
•
Geen beoordeling van lesgevers in
vragenlijst OPO
apart systeem voor doceergedrag vormt een
luik van de beoordeling van de docenten
3
4. Onderwijsevaluaties: stakeholders
Stakeholders
Onderwerp
Studenten
Tijdstip/frequentie
Docenten
Alumni
Werkveld
Opleidingsonderdelen
OPO
X
2-jaarlijks
Ba/ma-proef
X
Idem
Stage/project
X
Idem
X
Studenten: jaarlijks bij
diplomastudenten
Docenten: jaarlijks
Alumni: 3-jaarlijks
Werkveld: 6-jaarlijks
Opleiding
Doceergedrag
X
X
X
X
2x/jaar bij alle
studenten aan wie
betrokkene les gaf
(januari/juni)
5
OPLEIDING
ALUMNI
OPLEIDING
WERKVELD
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
(X)
X
X
X
X
X
X
X
X
X
X
X
X
X
(X)
X
X
X
X
X
X
X
X
(X)
X
X
X
X
(X)
X
X
(X)
DOCEERGEDRAG
OPLEIDING
DOCENT
E. Werkvormen
F. Evaluatie
G. Samenhang
H. Academische gerichtheid
I. Professionele gerichtheid
J. Internationale gerichtheid
K. Studie- en trajectbegeleiding
L. Kwaliteitszorg
M. Onderwijsorganisatie
N. Infrastructuur
O. Doceergedrag
P. Alumniwerking
Q. Keuze opleiding/instelling
R. Aanwerving / Tewerkstelling
S. Betrokkenheid werkveld
Y. Algemene tevredenheid
Y. Open invulvak
Z. Opleidingsspecifieke vragen
OPLEIDING
STUDENT
A. Doelstellingen & voorkennis
B. Studeerbaarheid
C. Digitale leeromgeving
D. Studiemateriaal
OPO
STUDENT
RUBRIEK
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X6
X
X
X
X
X
X
X
Vragenlijst: OPO – studenten
RUBRIEK
A. Doelstellingen &
voorkennis
VRAAG
A1
A2
B. Studeerbaarheid
B1
C. Digitale
leeromgeving
D. Studiemateriaal
C1
D1
E. Werkvormen
E1
E2
E3
F. Evaluatie
F1
F2
In de loop van de onderwijsperiode werd me duidelijk welke
eindcompetenties (d.i. kennis, inzicht, vaardigheden en attitudes) ik in dit
opleidingsonderdeel moest verwerven.
Ik had voldoende voorkennis om dit opleidingsonderdeel te kunnen
verwerken.
De feitelijke studietijd (d.i. contacturen, zelfstudie…) was in verhouding met
de begrote studietijd (zie info bovenaan).
Het gebruik van de digitale leeromgeving verhoogde de mate van interactie
(discussieforum, feedback…) tussen studenten en docenten.
Het studiemateriaal (d.i. studieleidraad, blokboek, handboek, reader,
cursustekst, syllabus, oefeningenbundel, info op digitaal leerplatform… )
bood voldoende ondersteuning bij het studeren.
Er was voldoende variatie in werkvormen (hoorcolleges, werkzittingen,
responsiecolleges, practica, begeleide zelfstudie alleen of in groep,
projecten…).
De gebruikte werkvormen hebben mij geholpen om de beoogde
eindcompetenties te verwerken.
Er werden voldoende werkvormen gebruikt die aanleiding gaven tot
interactie.
Bij dit opleidingsonderdeel was duidelijk hoe de evaluatie zou gebeuren.
De beoordelingscriteria van het examen toetsten de beoogde competenties
(d.i. kennis, inzicht, attitudes en vaardigheden) opgedaan tijdens dit
opleidingsonderdeel.
7
RUBRIEK
F. Evaluatie
VRAAG
F3
F4
H. Academische
gerichtheid
H1
H2
H3
I. Professionele
gerichtheid
J. Internationale
gerichtheid
I1
J1
J2
M. Onderwijsorganisatie
N. Infrastructuur
Y. Algemene tevredenheid
Y. Open invulvak
Z. Opleidingsspecifieke
vragen
Eindcompetenties
M1
N1
Y1
Y2
Z1
Er werd mij tijdens dit opleidingsonderdeel de mogelijkheid aangeboden om
mijn vorderingen na te gaan (via vraagstelling aan de docent, oefeningen,
discussiefora, tussentijdse (zelf)toetsen...).
Tijdens de onderwijsperiode kreeg ik voldoende feedback over mijn
vorderingen.
In dit opleidingsonderdeel heb ik kunnen kennismaken met recente
ontwikkelingen in het vakdomein.
In dit opleidingsonderdeel heb ik kunnen kennismaken met
onderzoeksmethoden.
In dit opleidingsonderdeel kreeg ik de gelegenheid om
onderzoeksmethoden toe te passen.
Dit opleidingsonderdeel besteedde aandacht aan vaardigheden relevant
voor het functioneren op de arbeidsmarkt of de uitoefening van het beroep.
In dit opleidingsonderdeel werd ik gestimuleerd tot het opdoen van
buitenlandse ervaringen.
In dit opleidingsonderdeel werd ik gestimuleerd om in contact te komen met
buitenlandse studenten.
Dit opleidingsonderdeel was goed georganiseerd.
De kwaliteit van de infrastructuur (leslokalen, ICT, labo’s…) was goed.
Globaal genomen ben ik tevreden over dit opleidingsonderdeel.
Heb je nog bemerkingen bij dit opleidingsonderdeel?
Maximum 5 vragen toe te voegen door onderwijsteam
Z2
Z3
Z4
Z5
Vragen: eindcompetenties Opleiding
8
4. Onderwijsevaluatie: planning
• Planning onderwijsevaluaties
• Opgesteld door studieloopbaanbegeleiders/OMT
• Maximum 5 opleidingsspecifieke vragen
• Opgesteld door coördinerend verantwoordelijke
• Goedkeuring door OMT-voorzitter
• Vragen in applicatie opgeslagen
• OMT waakt over opvolging in de tijd voor
vergelijkbaarheid
9
4. Onderwijsevaluatie: interpretatie resultaten
 Foutenmarge ≤ 15%
1,96∗
0,24
∗
−
−1
 Betrouwbaarheidsinterval: 95%
 Categorieën (signaalrapport):
 Groen: indien P en BI volledig boven 60% liggen
 Oranje: indien P en/of BI tussen 40 en 60% liggen
 Rood: indien P en BI onder 40% liggen
 Commentaar en verbeteracties
Geen signaal- en detailrapport
indien foutenmarge te hoog is!
12
4. Onderwijsevaluaties: rapporten
1.
2.
3.
4.
5.
Detailrapport
Signaalrapport
Dashboard-/samenvattingsrapport
Open vragen rapport
Studentenrapport
13
Detailrapport (1)
14
Signaalrapport (2)
15
Dashboard-/Samenvattingsrapport (3)
Naam opleidingsonderdeel
16
Open vragen rapport (4)
17
Studentenrapport (5a)
‘Naam OPO’
18
Studentenrapport (5b)
19
4. Onderwijsevaluatie: rapporten
DOCEERGEDRAG
In ontwikkeling
OPLEIDING
WERKVELD
5
OPLEIDING
ALUMNI
4
OPLEIDING
DOCENT
3
OPLEIDING
STUDENT
Doelgroep
2
OPO
STUDENT
1
Studenten
Studenten
Docenten
Alumni
Werkveld
Studenten
Wie krijgt de resultaten van de bevraging?
Studenten
x
x
Docent (van opo/opl.)
x
x
Co-titularis
x
Coördinerend
x
verantwoordelijke
OMT leden
x
x
OMT- voorzitter
x
x
Docentenevaluatiex
commissie
Decaan faculteit
x
x
Werkveld
Alumni
Instelling
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
4. Onderwijsevaluatie: bijkomende analyses
De gebruikte methode (standaardvragen
ingedeeld in vaste rubrieken) laat toe:
 analyses in de tijd
 rapporten over opleidingsonderdelen of
opleidingen
 analyses op verschillende niveaus
21
Verspreiden rapporten
22
23

Download Report