Klik hier

Kwaliteit van toetsing onder de loep
kwaliteitszorg rondom toetsing
6 februari 2014
Ochtendprogramma

inleiding op methodiek

werken aan methodiek

terugkoppelen opbrengsten

presentatie opzet vervolgonderzoek
Vormgeven van een kwaliteitszorgsysteem voor
toetsing binnen de eigen instelling
Uitgaan van eigenaarschap
De Toetsing
Getoetst
Onderzoeksproject; De toetsing getoetst
Centrale vraag project:
Wat helpt opleidingen bij het systematisch analyseren en
vaststellen van toetskwaliteit, het vaststellen van
verbeterplannen t.a.v. toetskwaliteit, het uitvoeren van deze
verbeterplannen en het duurzaam borgen van toetskwaliteit?
Projectdoelen
Projectdoelen
1. Een heldere invulling van het begrip toetskwaliteit.
2. Het ontwerp van een methodiek om toetskwaliteit te analyseren.
3. Het vaststellen van de validiteit, betrouwbaarheid, bruikbaarheid en transparantie van de methodiek.
Onderzoeksvragen
t.b.v.
projectdoel
1. Hoe wordt toetskwaliteit geoperationaliseerd?
1
2. Welke modellen zijn er om tot een onderbouwde analyse van toetskwaliteit te komen?
2
3. Welke stappen zijn nodig voor een onderbouwde analyse van toetskwaliteit?
2
4. Welke lagen in toetskwaliteit kunnen worden onderscheiden?
2
5. In welke mate is de methodiek valide, betrouwbaar, bruikbaar en transparant?
3
Projectdoel 1:
Een heldere invulling van het begrip
toetskwaliteit
JOOSTEN-TEN BRINKE, SLUIJSMANS & PEETERS (2012)
De kwaliteitspiramide voor eigentijds toetsen en beoordelen
Projectdoel 2:
Het ontwerp van een methodiek om
toetskwaliteit te analyseren
AISHE methodiek (gebaseerd
EFQM-INK model)
De AISHE-methode heeft de volgende kenmerken die ook
voor een methodiek om toetskwaliteit vast te stellen van
belang zijn:

Door zelfevaluatie komen opleiding tot een positie- en
ambitiebepaling;

Er wordt uitgegaan van fasen van ontwikkeling;

Er wordt gebruik gemaakt van
betrokkenen hanteren;

De relatie met de PDCA cyclus van Deming.
n set van criteria die alle
Stappen Methodiek
Stap 1: Voorbereiding

Vaststellen moderator

Vaststellen wie zullen deelnemen aan de analyse van de
toetskwaliteit
Stap 2: Individueel scoren
Stap 3: De consensusbijeenkomt

Vaststellen van ambitie en verbeterstappen

Uitvoeren en monitoren van verbeterstappen
Schematische weergave methodiek
Vragen per laag, per dimensie
Lagen TOETSORGANISATIE
TOETSBEKWAAMHEID
TOETSEN
-toets/toetsitems
-toetsprogramma
-toetsbeleid
ONTWERP
Hoe zit het bouwwerk
van de toetsorganisatie
in elkaar?
Hoe wordt
professionalisering m.b.t.
toetsing ingericht?
Hoe worden
toets/toetsitems,
toetsprogramma,
toetsbeleid ontworpen?
CRITERIA
Welke criteria worden
gebruikt om de
toetsorganisatie in te
richten?
Welke criteria worden
gebruikt om
toetsbekwaamheid vast
te stellen?
Welke criteria worden
gebruikt om
toetskwaliteit vast te
stellen?
KWALITEITSBORGING
Hoe wordt de kwaliteit
van de toetsorganisatie
geborgd?
Hoe wordt de kwaliteit
van de
toetsbekwaamheid
geborgd?
Hoe wordt de kwaliteit
van de toets/toetsitems,
toetsprogramma en
toetsbeleid geborgd?
Dimensies
Bepalen positie en ambities
Kwaliteit van de toets
Mate van kwaliteit
Ontwerp
Hoe wordt de toets ontworpen?
1
Zelfbeeld
Ambitie
Criteria
Borging
Welke criteria worden gebruikt om
de kwaliteit van de toets vast te
stellen?
Zelfbeeld
Hoe wordt de kwaliteit van de toets
geborgd?
Zelfbeeld
Ambitie
Ambitie
2
3
4
5
Projectdoel 3:
Het vaststellen van de validiteit,
betrouwbaarheid, bruikbaarheid en
transparantie van de methodiek.
Opzet onderzoek
Uitgangspunten:
-
gelijktijdige validering en implementatie
-
looptijd bij voorkeur studiejaar
Opzet:
0.
voorbereiden methodiek
1.
analyseren kwaliteit van toetsing
2.
ambitiebepaling en verbeterstappen
3.
uitvoeren en monitoren verbeterstappen
4.
schrijven verbeterplannen
5/1. analyseren (verbetering) kwaliteit van toetsing
Werken aan methodiek
Eerste aanzet tot een gedeeld kader over de
invulling van de cellen per piramidelaag
Concrete vragen:

is de invulling van de cellen volledig en in voldoende
mate opleidingonafhankelijk?

biedt de invulling van de cellen in voldoende mate een
handvat om het gesprek over kwaliteit aan te gaan?

welke aanscherpingen/aanpassingen kunnen worden
gedaan?

geeft het bespreken van de methodiek in deze setting nu
al aanknopingspunten voor eigen beleid?
Aan het werk!
6 groepen van circa 5 personen:

2x Toetsbeleid en Toetsen/Toetsitems

2x Toetsprogramma en Toetsen/Toetsitems

2x Toetsbekwaamheid en toetsorganisatie
Terugkoppeling opbrengsten werkrondes
Uitgangspunten bij het vervolgonderzoek



gelijktijdige validatie en implementatie
–
altijd betrokkenheid van Kenniscentrum Faculteit Educatie
HAN, SU O&O (HAN) en Hogeschool Zuyd
–
deelname aan zowel de implementatie- als onderzoeksmatige
activiteiten
inzet (uren) vanuit opleiding kan per opleiding verschillen
–
afhankelijk van beschikbare tijd en expertise
–
afhankelijk van grootte/omvang opleiding
inzet van ‘externen’:
–
Kenniscentrum Kwaliteit van Leren/SU O&O:
• onderzoeksactiveiten
• begeleiding proces (procesmatig en inhoudelijk)
–
Zuyd Hogeschool:
• onderzoeksactiviteiten
Opzet en planning vervolgonderzoek
2015
september
oktober
november
december
januari
februari
maart
april
mei
juni
juli
augustus
2014
Stap 0: voorbereiding methodiek
Stap 1: analyseren kwaliteit van toetsing
Stap 2: ambitiebepaling en verbeterstappen
Stap 3: schrijven verbeterplannen
Stap 4: uitvoeren en monitoren verbeterstappen
Stap 5/1: analyseren (verbetering) kwaliteit van
toetsing
Opbrengsten stap 0: voorbereiding methodiek

Gelijke beelden over invulling van het begrip kwaliteit op
alle lagen van de kwaliteitspiramide;

Indien de bijeenkomst daar aanleiding toe geeft: een eigen
beschrijving van de cellen voor de opleiding;

Inzicht in welke personen moeten worden betrokken bij de
positie- en ambitiebepaling (evt. per laag);

Inzicht welke informatie opleidingen gebruiken en/of nodig
hebben om de cellen te kunnen begrijpen;

Input om de cellen van de conceptmethodiek aan te
scherpen/aan te passen;

Input om de systematiek van de conceptmethodiek aan de
passen.
Opbrengsten stap 1: analyseren kwaliteit van toetsing

Consensus over de mate van kwaliteit per laag en
dimensie;

Beknopte rapportage waarin de mate van kwaliteit per laag
en dimensie is beschreven.
Opbrengst stap 2: ambitiebepaling

Consensus over de ambitie ten aanzien van de mate van
kwaliteit per laag en dimensie;

Beknopte rapportage waarin de ambities ten aanzien van
de mate van kwaliteit per laag en dimensie beschreven
worden (incl. doelen, verbeteracties, prioritering etc.)

Verdere aanscherping van het gebruik van de methodiek in
het kwaliteitszorgsysteem (PDCA-cyclus);

Zicht op effectiviteit van consensusbijeenkomsten (input
voor bijstellen handleiding en scoringsformulieren);

Input om de cellen van de conceptmethodiek aan te
scherpen/aan te passen;

Input om de systematiek van de conceptmethodiek aan de
passen.
Opbrengst stap 3: schrijven verbeterplannen

Plan van aanpak voor de middellange termijn met daarin
aandacht voor alle lagen en dimensies van de
kwaliteitspiramide.
–
de geprioriteerde doelen worden uitgewerkt in concrete activiteiten.
–
benoemd wordt wanneer de doelen zijn behaald.
Opbrengst stap 4: uitvoeren en monitoren verbeterstappen
Schrijven plan van aanpak voor middellange termijn:

Plan van aanpak voor de middellange termijn met daarin
aandacht voor alle lagen en dimensies van de
kwaliteitspiramide.
Uitvoering en monitoring verbeterstappen:

Uitvoering van in stap 2 geprioriteerde verbeteracties

Monitoring door examencommissies

Inzicht in effectiviteit van de methodiek.
Opbrengst stap 5/1: analyseren (verbetering) kwaliteit van toetsing

Per laag en per dimensie consensus over de mate van
kwaliteit (na uitvoering verbeterplannen) en het bereiken
van de ambities;

Beknopte rapportage over de opbrengsten van het
doorlopen van een eerste cyclus van de methodiek;

Input voor een later te organiseren bijeenkomst voor het
vaststellen van nieuwe ambities;

Inzicht in de mate van effectiviteit en bruikbaarheid van de
methodiek.
Tijdsinvestering (indicatie!)

tijdsinvestering afhankelijk van omvang opleiding en beschikbare tijd en
expertise

overzicht is voorbeeld voor opleiding waar 15 personen deelnemen (kernteam
van 14 personen + 1 ondersteuner): exacte inzet zal per opleiding anders
zijn!

stap 3 en 4 kunnen pas begroot en gepland worden na uitvoering stap 2
Studiejaar 2014-2015
Stappen
Planning
Uren in te zetten
vanuit de
opleiding
In te zetten én te bekostigen externe uren
uren
euro’s
Stap 0
Maand 1
38
10
€ 1.250
Stap 1
Maand 2
95
36
€ 4.500
Stap 2
Maand 3
53*
30
€ 3.750
Stap 3
Maand 4
Nvt
Nvt
Nvt
Stap 4
Maand 5-9
Nvt
Nvt
Nvt
Stap 5 / 1
Maand 10
Nvt
Nvt
Nvt
186 uur**
76
€ 9.500
Totaal implementatietraject in uren en
euro’s
* inclusief 5 uur deelname aan focusgroep interview
** te verdelen over 15 personen (14 kernteamleden en 1 ondersteuner); dit is gemiddeld 12,4 uur per persoon uit te
voeren in 3 maanden.
Vragen?
Voor meer informatie kun je contact opnemen met Tamara
van Schilt-Mol:

[email protected]

06 10 96 16 15

Download Report