feedback - Onderwijstraineeship

Programma
 Theorie: Data-Based Decision Making (DBDM), Assessment for
Learning (AfL), and Diagnostic Testing (DT) in Formative
Assessment
 Opdracht: belemmerende en bevorderende factoren voor
formatieve assessment
 DBDM in de praktijk: de datateam® methode
Data-Based Decision Making,
Assessment for Learning, and
Diagnostic Testing in Formative
Assessment
Fabienne van der Kleij, Jorine Vermeulen,
Kim Schildkamp & Theo Eggen (contact:
[email protected])
Onderwijs verbeteren op basis van toetsresultaten
 Toetsresultaten als vorm van feedback.
 Verschillende toetsen leiden tot verschillende vormen
van feedback.
 Het is belangrijk om onderscheid te maken tussen
verschillende vormen van assessment.
 Zie: Van der Kleij, F.M., Vermeulen, J.A., Schildkamp,
K., & Eggen, T. (submitted).
Formatieve assessment
 Termen en definities worden onterecht door elkaar
gebruikt.
 “Definition is important because if we can’t clearly define
an innovation, we can’t meaningfully document its
effectiveness” (Bennett, 2011, p. 8).
 Alleen als we duidelijk onderscheid maken tussen de
verschillende vormen van toetsen kunnen we ook iets
zeggen over het waarom, hoe, wanneer en onder welke
condities toetsresultaten gebruikt kunnen worden door
leerlingen, docenten en scholen om te leiden tot leren.
Drie vormen van formatieve assessment:
Behalen van
resultaten en
doelen
Focus op de
kwaliteit van het
leerproces
Data-based
decision making
DBDM
(OGW)
Assessment
for learning
AfL
Diep inzicht in
het leerproces
en uitkomsten
Diagnostic
testing
(diagnostische
toets)
DT
DBDM/OGW (1/3)
 Gebruik maken van data, zoals toetsen, om het onderwijs
te verbeteren (zie Schildkamp & Kuiper, 2010)
 systematisch
 analyseren
 van aanwezige data binnen de school
 en de informatie gebruiken
 om het onderwijs te verbeteren
 Data: gegevens die systematisch verzameld en
georganiseerd zijn en betrekking hebben op het onderwijs
(Lai & Schildkamp, 2013).
 Bijvoorbeeld toetsresultaten, leerlinggegevens,
vragenlijsten.
DBDM/OGW (2/3)
 DBDM voor formatieve assessment:
 Leerdoelen stellen, in kaart brengen en monitoren
van leerprestaties en op basis hiervan instructie
aanpassen.
 DBDM voor formatieve evaluatie
 Op basis van data beleid ontwikkelen,
schoolverbeteringsplannen opstellen, professionele
ontwikkeling behoeftes van docenten identificeren
en monitoren of de doelen van de school bereikt
worden.
DBDM/OGW (3/3)
 Aggregatie niveau
School, klas en leerling
 Assessment methodes
Objectieve data van gestandaardiseerde toetsen, zoals
het LVS en het centraal examen. Formeel verzamelde
data  minder vaak beschikbaar, daarom ook data van
bv. methodegebonden toetsen en observaties (mits
gestructureerd verzameld).
 Feedback loops
Feedback gebaseerd op de verzamelde data.
Docenten en schoolleiders vertalen van deze data
naar concrete acties in de school en in de klas
De duur van deze cycli en feedback loops verschilt en is
meestal retroactief.
AFL (1/3)
 Het proces van het continu zoeken van informatie wat
gebruikt kan worden door zowel de leerling als de
docent om op basis hiervan te kunnen beslissen waar
de leerling op dit moment is in zijn/haar leren, waar de
leerling naar toe moet en hoe de leerling hier kan
komen (ARG, 2002).
 Dit behoort tot de dagelijkse lespraktijk van zowel
docenten als leerlingen: zoeken naar informatie
afkomstig uit gesprekken, demonstraties, presentaties,
observaties en toetsen, hierop reflecteren en hierop
reageren zodat er continu geleerd wordt (Klenowski,
2009).
AfL(2/3)
 Leerlingen hebben een centrale rol in het leerproces.
Het gaat om actieve participatie van de leerling.
 Een onderzoeksmatige en interactief klimaat in de
klas moet leiden tot meer autonomie, motivatie en
reflectie bij leerlingen. Leerlingen zijn samen met
docenten verantwoordelijk voor hun eigen leerproces.
AfL (3/3)
 Aggregatie niveau
Klas en leerling
 Assessment methodes
Methodegebonden toetsen, korte testjes, dialoog in de klas,
mondelingen, praktische demonstraties, presentaties, portfolio’s, peer
assessment, self-assessment. Kwantitatieve en kwalitatieve data,
gepland en ongepland, formeel en informeel  onmiddellijk actie
kunnen ondernemen op basis van de data voor verbetering van het
leerproces.
 Feedback loops
Continue dialoog en feedback loops, onmiddellijke feedback om het
leren bij te sturen. Assessments geïntegreerd in het leerproces,
feedback loops kort  continu het onderwijs en leerproces
aanpassen, meestal interactief, soms retroactief of proactief.
DT (1/3)
 Hoe een taak wordt opgelost geeft informatie over de
ontwikkelingsfase waarin een leerling verkeerd.
 Het identificeren van oplossingsstijlen van leerlingen en
overgeslagen of verkeerd uitgevoerde stappen
veroorzaakt door misconcepties en voorkennis.
 Het doen van uitspraken over het leren van een
individuele leerling op basis van antwoordpatronen.
DT(2/3)
 Het identificeren van de ontwikkelingsfase van een
leerling door op zeer gedetailleerd niveau in kaart te
brengen wat een leerling al wel en niet beheerst en
waar eventuele blokkades in het leerproces aanwezig
zijn.
 Het interpreteren van proces data om misconcepties
en kennis te identificeren.
 Zeer gedetailleerde metingen
 kan zowel formatief als summatief gebruikt worden.
DT (3)
 Aggregatie niveua
Leerling
 Assessment methodes
Assessment taken  om te komen tot inferenties met
betrekking tot hoe het gedrag op een bepaalde taak
samenhangt met het denkproces van de leerling.
Assessment resultaten: geven informatie over de
ontwikkelingsfase van een leerlingen. Vaak gebruik
van CAT (adaptief toetsen op de computer).
 Feedback loops
Meestal kort, retroactief, soms interactief of proactief.
Comparison of the three approaches
 Aggregatie niveaus
Student
Class
DBDM
School
Assessment
Evaluation
AfL
DT
 Assessment methodes
Verschillende doelen: verschillende assessment methodes en
toetsen.
 afhankelijk van type data, doelen en wat er op het spel staat.
 Feedback loops
Op verschillende niveaus en met verschillende frequentie.
Conclusie
 DBDM, AfL en DT: verschillende theoretische achtergrond (zelfs
afkomstig vanuit verschillende leertheorieën) en verschillende doelen
op verschillende aggregatieniveaus.
 Verschillende vormen van assessment noodzakelijk om complexiteit
van leren op alle niveaus goed in kaart te kunnen brengen.
 Het integreren van deze drie benaderingen: kan leiden tot meer valide,
betere, formatieve beslissingen om de kwaliteit van het onderwijs te
verbeteren.
 Schoolleiders, docenten en leerlingen: samen zorgen dat er continu
feedback gegeven en ontvangen wordt op het niveau van de school,
de klas en de leerling, om het leren in de school te verbeteren.
Verschillende vormen van assessment in balans
“The field will need to marry information from the
different assessments to produce a union that a
stronger than any of the parts in isolation”
(O’Malley, Lai, McClarty, & Way, 2013, p. 146).
Van formatieve assessment naar leren
 Verschillende vormen van toetsen leiden tot
verschillende soorten feedback met betrekking tot
zowel het lesgeven als het leren.
 Feedback: “information provided by an agent (e.g.
teacher, peer, book, parent, self, experience) regarding
aspects of one’s performance or understanding.
Feedback is thus a consequence of performance”
(Hattie & Timperley, 2007).
 Dus feedback = doelbewust verzamelde informatie om
toekomstig functioneren te beïnvloeden.
Assessment als feedback voor wie?
Assessment als feedback
 Leerlingen:
- Assessment resultaten als feedback op hun eigen
leren.
 Docenten:
- Assessment resultaten als feedback op het leren
van leerlingen, maar ook als feedback op hun eigen
lesgeven.
- Op basis hiervan kan een docent ook weer (extra)
feedback geven aan leerlingen.
Opdracht in groepen
 Wat zijn belemmerende en bevorderende factoren als het gaat om het
gebruiken van assessment resultaten in de klas als vorm van
feedback voor zowel leerlingen als docenten?
 Denk hierbij bijvoorbeeld aan factoren m.b.t. de toets zelf, de docent
en de context
Voorwaarden toets
 Duidelijke doelen
 Betrouwbaarheid en validiteit
 Feedback niveau (persoon, taak, proces en zelfregulatie)
 Soort feedback (correct vs. incorrect, het geven van het correcte
antwoord, of het geven uitgebreide feedback)
 Timing van de feedback (onmiddellijk of vertraagd)
Voorwaarden context
 Schoolleiders: aanmoedigen, faciliteren en motiveren van docenten
voor het formatief gebruiken van toetsen.
 Doelen rondom toetsing (PTA, PTO)
 Ondersteuning bij het gebruik van toetsen
 intern (ondersteuning in de school bij het analyseren en gebruiken
van toetsen)
 extern (bijvoorbeeld training in toetsgebruik)
Voorwaarden docent
 Assessment literacy: “Assessment literacy refers to the capacity of
teachers – alone and together – (a) to examine and accurately
understand student work and performance data, and correspondingly,
(b) to develop classroom, and school plans to alter conditions
necessary to achieve better results” (Fullan & Watson, 2000, p. 457).
 Pedagogische en didactische vaardigheden
 Samenwerking tussen docenten (en schoolleiders).
Formatieve assessment
in de praktijk via de
datateam® methode
Zie ook:
www.datateams.nl
Herkenbaar?
• Van probleem direct naar maatregelen nemen
Probleem
Maatregel
Datateam methode
• Acht stappenplan volgens
DATATEAM® methode
• Van probleemdefinitie (bv.
examencijfers Engels,
wiskunde in de brugklas)
naar mogelijke oorzaken,
data-analyse en het nemen
én evalueren van
maatregelen
• Doel: professionalisering
en schoolverbetering
Datateams
• Team van 6-8 personen
 Docenten
 1-2 leden schoolleiding
 Kwaliteitszorgmedewerker (indien mogelijk)
• Eens per drie weken bijeenkomst, 1,5 uur per keer
• Twee jaar begeleiding vanuit UT, daarna zelfstandig
verder
Stap 1: Probleem definiëren
• Startvraag datateam: met welk specifiek probleem gaan we aan de slag?
• Voorbeelden onderwerpen:
 Examenresultaten voor een vak
 2F rekenniveau
 Afstroom klas 2 HV naar 3 TL
• Data verzamelen om probleem vast te stellen
 Hoe ‘bewijs’ je dat iets een probleem is?
 Werkelijkheid komt niet altijd overeen met beeld van de school
• Datateam formuleert probleemstelling, met hierin:


Huidige situatie
Gewenste situatie (doelstelling)
Voorbeeld stap 1
We zijn ontevreden over het CE-cijfer voor het vak Engels in de
vwo-afdeling, want dit cijfer is over de afgelopen vier jaar
gemiddeld een 5,5. We willen bereiken dat het CE-cijfer volgend
schooljaar minimaal een 5,8 is en dit het schooljaar daarop
minimaal een 6,0 is’.
Stap 2: Hypotheses opstellen
• Brainstorm mogelijke oorzaken
 Alle mogelijke oorzaken op tafel
 Input van zowel datateam als collega’s
• Definitieve keuze voor hypothese
 Op basis van eigen criteria; bijv. Waar heeft de school de meeste
invloed op? Welke hypothese leeft al jaren in de school?
• Definitief formuleren hypothese
 Concreet
 Meetbaar
 Plausibel
Opdracht hypotheses
• Vorm met de buurman/vrouw een datateam
• Brainstorm samen over mogelijke hypotheses bij de
probleemstelling: We zijn ontevreden over het CE-cijfer voor
het vak Engels in de vwo-afdeling, want dit cijfer is over de
afgelopen vier jaar gemiddeld een 5,5. We willen bereiken dat
het CE-cijfer volgend schooljaar minimaal een 5,8 is en dit het
schooljaar daarop minimaal een 6,0 is’.
• Kies er een uit en formuleer deze concreet en meetbaar.
Voorbeelden stap 2
• Leerlingen die de onderbouw vwo op de nevenlocatie hebben gevolgd,
hebben structureel minimaal 0,5 punt lager op het gemiddeld
eindexamencijfer voor Engels dan leerlingen die de onderbouw vwo op de
eigen locatie hebben gevolgd.
• Leerlingen met een Cito score lager dan 540 scoren gemiddeld lager dan een
6,0 op hun eindexamen
• De cijfers in de eerdere leerjaren hangen samen met het eindexamencijfer
Engels.
• In de doorlopende leerlijn Engels wordt (te) weinig aandacht besteed aan het
toetsen van leesvaardigheid, waardoor leerlingen onvoldoende worden
voorbereid op het CE. We verwachten dat het verschil in aandeel van
leesvaardigheid in de toetsen tussen 2 vwo en 5 vwo minstens 25% is
Stap 3: Data verzamelen
• Benodigde data bepalen
 Welke data nodig? Kwantitatief, kwalitatief of beide?
 Toegang tot data; Wie kan dit verzamelen?
 Zoveel mogelijk gebruik maken van bestaande data
• Datatabel maken
 Samenvattingstabel maken van ruwe data
 Logisch en overzichtelijk weergeven
Voorbeelden stap 3
Citoscore <540
Cohort 2010-2011
Cohort 2011-2012
Cohort 2012-2013
Gemiddeld 2011-2013
Citoscore 540-544
5,6
5,8
5,5
5,6
2 vwo
0%
3 vwo
2%
4 vwo
13%
5 vwo
29%
Verschil 2V-5V
29%
Schooljaar
2011-2012
0%
4%
9%
22%
22%
Schooljaar
2012-2013
21%
33%
32%
49%
28%
Gemiddeld
3 cohorten
14,5%
13%
18%
33,3%
26,3%
Schooljaar
2010-2011
Citoscore >545
5,9
5,3
5,4
5,5
5,6
5,1
5,6
5,4
35
Stap 4: Controle kwaliteit data
• Betrouwbaarheid: meting is onafhankelijk van toeval




Hoeveelheid data (meerdere cohorten?)
Volledigheid en fouten (missen er gegevens?)
Instrument (heldere vragen?)
Wijze afname (omstandigheden)
• Validiteit: meten we wat we willen meten
 Aansluiting bij hypothese
 Recentheid
Voorbeelden stap 4
• De groepen leerlingen zijn in elk cohort vrij klein,
gemiddeld rond de 25 leerlingen.
• Hoe goed worden de PTA’s ingevuld?
• Cito data betrouwbaar en valide
Stap 5: Data-analyse
• Kwantitatief:
 Beschrijvend (gemiddelde, frequenties, spreiding,
etc.)
 Verklarend (t-toets, correlatie, Chi-kwadraat)
• Kwalitatief:
 Beschrijvend
 Verklarend
Voorbeelden stap 5
• Berekenen van percentages, gemiddelden
• Berekenen van correlatie (samenhang tussen
cijfers)
• T-toetsen voor het vergelijken van twee groepen
leerlingen
Stap 6: Interpretatie en conclusie
• Interpretatie: wat zegt de data-analyse over de gestelde
hypothese?
• Conclusie: klopt de geformuleerde hypothese?
 Hij klopt! Een belangrijke oorzaak van het probleem is gevonden. Verder naar
stap 7: het nemen van maatregelen.
 Hij klopt niet. Mogelijke oorzaak klopt niet. Terug naar stap 2: het opstellen van
een nieuwe hypothese
 Hij klopt, maar we vermoeden nog andere oorzaken. Deel van de oorzaak van
het probleem gevonden. Vervolg op twee sporen: én naar stap 7 om
maatregelen te bedenken én weer terug naar stap 2 om een volgende
hypothese te onderzoeken.
Voorbeelden stap 6
• Leerlingen die de onderbouw vwo op de nevenlocatie hebben gevolgd, hebben
structureel minimaal 0,5 punt lager op het gemiddeld eindexamencijfer voor Engels
dan leerlingen die de onderbouw vwo op de eigen locatie hebben gevolgd.
• Leerlingen met een Cito score lager dan 540 scoren gemiddeld lager dan een 6,0 op
hun eindexamen
• De cijfers in de eerdere leerjaren hangen samen met het eindexamencijfer Engels.
• In de doorlopende leerlijn Engels wordt (te) weinig aandacht besteed aan het toetsen
van leesvaardigheid, waardoor leerlingen onvoldoende worden voorbereid op het CE.
We verwachten dat het verschil in aandeel van leesvaardigheid in de toetsen tussen 2
vwo en 5 vwo minstens 25% is
Stap 7: Maatregelen nemen
• Ideeën voor maatregelen verzamelen
 Kennis en ervaring gebruiken (ook van collega’s!)
 Literatuur gebruiken
• Maatregel(en) kiezen
• Actieplan opstellen
 Uitvoering beschrijven (wie, wat, wanneer?)
• Maatregel(en) communiceren
 Opstellen communicatieplan
Voorbeelden stap 7
• Grondig herzien pto (programma voor toetsing en
ontwikkeling) en pta (programma voor toetsing en
afsluiting) met een groter aandeel leesvaardigheid in
de doorlopende leerlijn
• Extra ondersteuning leesvaardigheid voor leerlingen
in de huidige examenklas.
– Tijdens de lessen worden de leerlingen ingedeeld in drie
groepen (leesvaardigheid, luistervaardigheid en
woordenschat), om zo op maat de ondersteuning te
kunnen toepassen.
Stap 8: Evaluatie
• Procesevaluatie:
 Koppeling met maatregelen/acties (stap 7)
 Evaluatieplan opstellen voor proces: Hoe worden de maatregelen
uitgevoerd? Hoe worden de maatregelen ervaren?
• Effectevaluatie:


Koppeling met probleemstelling (stap 1)
Evaluatieplan opstellen voor effecten: In hoeverre is de oorzaak
weggenomen? Is het doel bereikt?
Voorbeelden stap 8
• Proces:
– Wat vinden leerlingen van het werken in drie groepen?
– Iedere periode in de sectievergadering het nieuwe pto of pta
evalueren, waarbij zowel aandacht aan het proces (hoe
worden de wijzigingen uitgevoerd?) als de uitvoering (wordt
leesvaardigheid meer getoetst?) wordt besteed.
• Effect:
– Is het probleem opgelost en is de gewenste situatie is
bereikt: het CE cijfer voor dit schooljaar is minimaal een 5,8
en dat jaar erop een 6,0.
Pilot 5 datateams
•
•
•
•
2 jaar lang gevolgd
Observaties van alle bijeenkomsten
Interviews met de datateamleden
Voor de exacte resultaten:
[email protected]
Functioneren van datateams
• Van ervaring en intuïtie naar data
• In het begin vooral externe hypotheses, maar hypotheses op klasniveau
kloppen vaker. Is echter belangrijk onderdeel van het proces, het is
belangrijk voor professionele ontwikkeling:
–
–
–
–
Vertrouwen creëren
Oefenen met het stappenplan
Je leert het meest van fouten!
Toont het belang van data aan
• Na een aantal rondes hypotheses: “we hebben gekeken naar oorzaken
buiten de school, oorzaken op schoolniveau en naar onze leerlingen,
misschien moeten we meer kijken naar wat er in de klas gebeurt”.
Depth of inquiry en attributie
Depth of inquiry
Attribution
Bevorderende en belemmerende
factoren
• Schoolleider
• Tijd
• Samenwerking en communicatie binnen en buiten
het datateam
• Vrijwillig
• Gezamenlijk probleem en doel
• Structuur/stappenplan
• Ondersteuning
Eerste effecten
• Professionele ontwikkeling:
– Opbrengstgericht werken
– Leren van elkaar
• Schoolverbetering:
– Betere wiskundeprestaties
– Minder zittenblijvers
Hoe verder?
• Komende jaren 37 datateams
–
–
–
–
Twee jaar begeleiding van de UT
Werkboek en materialen
Cursus data analyse
Ontmoetingsdagen en conferenties
Bedankt voor uw aandacht!
• Zijn er nog vragen?
Meer informatie:
• www.datateams.nl
• www.datauseproject.eu
• http://www.icsei.net/index.php?id=1302
• [email protected]

Download Report