HandOut1b MC - Universiteit Utrecht

HandOut 1b
MC
PLUS
ontwerp- samenstelling & constructie – afname – scoren en analyseren- vaststellen
van de uitslag
1b De toetsmatrijs
Introductie
Nadat de keuze is gemaakt voor een multiple choice (MC) tentamen, komt het samenstellen van de toets. Het
uitgangspunt daarbij is de toetsmatrijs (Milius, 2007), een hulpmiddel wat er voor zorgt dat de toets de inhoud
op het juiste niveau toetst. De toetsmatrijs maakt de relatie tussen de leerdoelen en de vragen inzichtelijk.
Meer informatie over het benodigde aantal vragen in de toets staat in handout 1c.
• Wat is een toetsmatrijs?
• Waarvoor kan deze worden gebruikt?
• Hoe kan deze worden gebruikt?
De toetsmatrijs
Een toetsmatrijs (ook wel specificatietabel genoemd) is een schematisch overzicht waarin inhoud van de te
toetsen leerstof (leerdoelen) is afgezet tegen de vragen van de toets (naar inhoud en niveau). Het aantal
vragen is in overeenstemming met de doelen en met het belang dat aan het onderwerp is toegekend in het
onderwijs (c.q. de tijd die eraan is besteed).
Waarom een toetsmatrijs
De toetsmatrijs is bedoeld om de validiteit en betrouwbaarheid van de toets te borgen. Het tentamen en de
vragen gaan over stof die er toe doet, waarvan studenten kunnen weten dat er vragen over worden gesteld en
die het soort kennis test waarover men een oordeel wil vellen. Om valide en betrouwbare oordelen te kunnen
vellen is aannemelijk gemaakt dat de inhoud ieder niveau dekt (representativiteit), de verdeling overeenkomt
met de accenten die in het onderwijs zijn gelegd en dat het aantal vragen dat is opgenomen in de toets als
steekproef voldoende vragen bevat om een betrouwbaar oordeel te kunnen vellen. De toetsmatrijs dient er
ook voor dat toetsen en de studentresultaten op de toetsen van een cursus door de jaren heen vergelijkbaar
zijn. Het is aldus een communicatiemiddel voor de betrokken docenten (overdracht) en naar buiten toe
(verantwoording). In Voorbeeld 1 is een toetsmatrijs afgebeeld, die behalve MC-vragen ook open vragen
omvat. Wat in dit voorbeeld en het volgende ook duidelijk wordt is dat de toetsmatrijs ook weergeeft uit
welke bron de vragen afkomstig zijn. Dit is niet alleen handig vanuit het oogpunt van representativiteit en
verantwoording, maar kan bijvoorbeeld ook helpen bij de nabespreking.
Voorbeeld 1: een toetsmatrijs voor MC in combinatie met open vragen.
Inhoud
A
B
C
D
E
F
Deeltoets1
Eindtoets
Bron
Kennis/
begrip
4
4
4
4
4
4
MC-toetsen
Toepassen/
hoger niveau
6
6
6
12
18
12
6
6
6
18
1
Totaal
10
10
10
10
10
10
Open vragen
Uitleggen
Redeneren
2
Tot.
2
30
2
2
4
30
2
2
2
2
4
4
HandOut 1b
MC
PLUS
ontwerp- samenstelling & constructie – afname – scoren en analyseren- vaststellen
van de uitslag
De toetsmatrijs bij FSW kent twee varianten (Toetscommissie, 2013): de toetsmatrijs zoals gepland en de
toetsmatrijs zoals gerealiseerd (zie Voorbeeld 2). Als het goed is komen geplande en gerealiseerde toetsmatrijs
overeen. Maar met de laatste wordt door de verwijzing naar het specifieke vraagnummer in deze toets, ook
nog inzichtelijk gemaakt hoe de vraag bijdraagt aan het bedoelde niveau en inhoud van de toets.
Voorbeeld 2: een toetsmatrijs (gewenst/gerealiseerd) van het vak Inleiding in de psychologie (naar te Pas,
2010)
Onderwerp
Wk
1
Bron
Intro Psych. Sciences: Popper Kuhn & Lakatos
Dienes, H1,2
Gazz., H1, 4
Wk
2
Wk
3
Wk
4
Wk
5
Wk
6
Wk
7
Wk 8
Genetic & bilogical foundations
Dienes, H3
Brain & consciousness
Dienes, H4
Sensation, Perception & attention
Dienes, H5
Processes of learning
Dienes, H6
Memory
Dienes, H7
Thinking&intelligence
Dienes, H8
Emotions & Health
Dienes, H10
Motivation
Dienes, H9
Human development
Dienes, H11
Personality
Dienes, H12
Social Psychology
Dienes, H15
Interculturele psychologie
K&K, H1 en2
Disorders of mind & body
Dienes, H13
Treating disorders of mind&body
Dienes, H14
Toets totaal
Eindtoets MC (80%)
K=kennis, I=inzicht, T=toepassing
K
I
T
2
1
1;3
2
4
2
4;5;7
6;8
4
1
9;10;11;
12;13;14
3
1
16;17
15;18
2
1
21
19;20
2
1
22
23
24
2
1
25;26
27
2
1
28;29
30
2
31;32
2
33;34
2
1
35;36
37
2
2
38;39
40;41
2
1
1
42
43;44
45
2
1
1
46;47;48
49
3
1
2
50;51;52
53;54
55
3
1
1
56;57;58
59
60
39
Verdieping
16
5
Kennisbank TAUU (2013). Toetsmatrijs. Gevonden op http://tauu.uu.nl/onderwijsmodeluu/toetsing_en_feedback/toetsing-achtergronden/modules/toetsmatrijs/
Milius J.J., (2007). Schriftelijk tentamineren; een draaiboek voor docenten in het hoger onderwijs. IVLOS:
Utrecht.
Toetscommissie (2013). Verantwoording kwaliteit meerkeuzetoets. Interne notitie. Utrecht: Universiteit
Utrecht, FSW.
2
tot
3
6
5
5
6
4
3
3
3
3
2
2
3
4
4
4
6
5
60

Download Report