Even voorstellen

28/01/2014
Onderwijsseminarie I:
Coaching – begeleiding - feedback
“Feedback met Socrative 2.0
Tijs Rotsaert
(Promotor: Prof. dr. Tammy Schellens)
Even voorstellen
• Master in Pedagogische Wetenschappen (2011)
• VUB Stafmedewerker Kwaliteitszorg:
competentiegericht toetsbeleid in opleiding Revaki
• Doctoraatsproject
[email protected]
Implementing face-to-face peer assessment using Classroom Response
Technology
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
1
28/01/2014
Inhoud van deze sessie::
Socrative room:
792408
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
2
28/01/2014
Assessment als prioriteit op de onderzoeksagenda!?
• Toetsen is een belangrijke drijfveer van het leerproces (Hunt,
Hughes & Rowe, 2002)
• 21st century skills discours + Sociaal-constructivistische visie op
onderwijs vraagt ook nieuwe vormen van assessment!
• In toenemende mate in functie van verder (regu)leren (formatief),
in plaats van gericht op eindproduct t.b.v. een credit (summatief)
! Beide sluiten elkaar niet uit !
•
Constructive alignment (Biggs,1996)
Definitie formatief toetsen? (Brookhart, 2007; p,44 in Sluijsmans 2013 p 28
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
3
28/01/2014
Sustainable
assessment (Boud,
2013; Fastré et al. 2013)
Nuance!
(Joosten-ten Brinke & Sluijsmans, 2014)
Formatief toetsen:
“Het proces van het zoeken & interpreteren van bewijs die
docenten en studenten gebruiken om te bepalen waar leerlingen
staan in hun leren (feedback), naartoe moeten (feed-up) & hoe ze
daar het beste kunnen naartoe werken (feed-forward)”
(Sluijsmans, Joosten-ten brinke & van der vleuten, 2013)
Feedbackvragen
Feed-up: waar ga ik heen wat zijn mijn doelen?
Feedback: hoe sta ik ervoor? Welke
vooruitgang is er op weg naar het doel?
Feed-forward: wat is de volgende stap?
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
4
28/01/2014
Uitgangspunten:
• Docent of peer gidst student door de drie FB-vragen (“snapshot”)
• Studenten coachen op manier die beoordelingsvermogen over
eigen leren ontwikkelt
• Studenten zijn in staat die kwalitatieve info te interpreteren en
gebruiken om wijze die hun leren ten goede komt
• Vindt continue plaats: kan op verschillende manieren
=> Maakt het leren zichtbaar, en als docent weet u welke impact u
heeft!
Methoden die effectief gebleken zijn:
1.
2.
3.
4.
5.
6.
Toetsdialogen
Reflectieve lessen
Formatief gebruik van de summatieve toets
Self-assessments
Peer-assessments
Werken met beoordelingsrubrieken
Combineren!
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
5
28/01/2014
Peer-asssessment onderzoek vandaag:
Effectief onder bepaalde voorwaarden:
• Training in peer assessment
• Duidelijke evaluatiecriteria
• Duidelijke argumentatie bij gegeven score
Beperkt onderzoek naar:
• Inherente sociale effecten beperken
• Leereffect van beoordelaar en beoordeelde rol op
volgende leerprestatie
• Te weinig quasi-experimentele studies
=> Onderzoek in de ‘adolescentiefase’ & nood aan
meer interactieve vormen van peer assessment
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
6
28/01/2014
Anonimiteit (Raes, Vanderhoven & Schellens, 2013)
Intentie: veilige leeromgeving creëren:
•
•
•
•
Minder gevoelig voor peer pressure & angst om negatieve respons
te ontvangen bij geven lage score
Positieve attitude & meer comfortabel
Verhoudingen tussen peers erkennen
Eenvoudig in online leeromgevingen, niet evident in authentieke
klascontexten
Classroom response technology = dé oplossing?
• Score alleen biedt geen mogelijkheden tot verbetering
• Nood aan rechtvaardiging van gegeven score
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
7
28/01/2014
• 3de bachelor
onderwijskunde
• Didactische
werkvormen
• Workshop ontwerpen
Score 1
Score 2
De lln. wisselen
tussen een actieve
Er wordt enkel
en een passieve
info meegedeeld,
rol maar de
de lln. hebben een
passieve rol
passieve rol. Er
overheerst. De
wordt geen
leerkracht denkt
inbreng van hen
meestal voor de
verwacht.
lln. en neemt zelf
het initiatief.
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
Rubric opstellen en presenteren
Activiteitsprincipe
Score 3
Evenwichtige
verhouding tussen
activiteit lln en
leerkracht.. Men
vertrekt vanuit
een
probleemstructuu
r maar slaagt er
niet in de lln. aan
te zetten tot het
zoeken naar een
oplossing. Er is
geen evaluatie
van de bereikte
doelen.
Score 4
Score 5
De lln. Krijgen een
actieve rol.
Leerkracht neemt
de rol aan van
begeleider en
facilitator.
Leerkracht
evalueert de
bereikte oplossing
van de lln. en
koppelt deze
terug aan de
probleemstelling.
De lln. zijn van bij
de formulering
van de
probleemstelling
zelf aan de slag.
De leerkracht
coacht het
verloop de
leeractiviteit. X
evalueert de
bereikte oplossing
van de leerling en
koppelt deze
terug aan de
probleemstelling.
8
28/01/2014
Treedt in interactie met het publiek
Score 1
• Geen omgang
publiek
• Inhoud
afhaspelen
• Gebruikt geen
humor
• Statisch
• Aflezen notities
• Geen oogcontact
• Weinig
Zelfvertrouwen
•Onaangepaste
intonatie
Score 2
•Beantwoordt
vragen van
publiek, maar gaat
er niet dieper op
in
•Flauwe of
onaangepaste
grappen.
•Beperkt
oogcontact
•Grotendeels
aflezen
•Vrij statisch
•Beperkt gebruik
van materiaal
Score 3
•Vraagt soms
mening, stelt
vragen. Maar
verwerkt ze niet.
•Af en toe een
grapje / gebruik
van cartoon.
•Voldoende
oogcontact
•Gebruik van
materiaal zonder
echte
medewerking van
publiek
Score 4
•Zorgt voor
betrokkenheid van
publiek met
concrete vragen.
•Gepast gebruik
van humor, met
mate.
•Dynamisch
•Constant gepast
oogcontact
•Materiaal
aangepast aan
publiek met extra
verantwoording.
Score 5
•Start vanuit
interesse publiek
•Zorgt voor
discussie onder
het publiek
•Weet wanneer
hij kan inspelen
met humor.
•Gepast
oogcontact
•Enthousiasmeert
•Straalt
zelfvertrouwen
uit.
• 3de bachelor
onderwijskunde
• Didactische
werkvormen
• Workshop ontwerpen
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
9
28/01/2014
• 3de bachelor
onderwijskunde
• Didactische
werkvormen
• Workshop ontwerpen
Email resultaten
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
10
28/01/2014
Reflectie over de gebruikte tools:
• Wat vond je van de wijze waarop de feedback werd verzameld
en meegedeeld?
• Vind je deze tools geschikt om peer feedback te organiseren?
Reflectie over de ontvangen feedback (tijdens de activerende sessie
& uit de feedbackrapporten):
• Wat heb hieruit geleerd?
• Wat je neem je mee naar toekomstige opdrachten/verdere
studieloopbaan/ professionele loopbaan? Wat vond je
relevant?
• Vond je de feedback zinvol? Kan je aan de slag met de
suggesties en op welke wijze? Zijn deze suggesties bruikbaar?
Specifieke onderzoeksvragen:
• Wat is de meerwaarde van de mogelijkheid om de gegeven
score te verantwoorden?
• Wat is het effect van het al dan niet kenbaar zijn van het
oordeel van de docent op de (ingeschatte) bruikbaarheid van
de gegeven feedback?
• Hebben we in beide condities een veilige leeromgeving
kunnen creëren waar studenten:
•
•
•
•
Zich comfortabel voelen bij het uiten van hun mening?
Voldoende anonimiteit ervaren?
Er voldoende vertrouwen in peers en zichzelf is om peer assessment te uit te
voeren?
Niet beïnvloed worden door vriendjespolitiek?
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
11
28/01/2014
Groepsproduct vs. Groepsproces?
- Peer assessment in grote groep
- Peer assessment in ontwerpgroep (max. 3 personen):
Voorbeeld
• Wat is de meerwaarde van mogelijkheid om de gegeven
score te verantwoorden?
De mondelinge discussies werden opgehangen aan de resultaten van
Socrative. Dit vind ik een goed idee. Ik vermoed dat dit niet zo goed zou
gewerkt hebben, indien we de resultaten van Socrative niet zouden
gezien hebben. Doordat iedereen zijn scores heeft moeten ingeven, kan
iedereen die wil, zijn mening ook aan de hand hiervan staven. Ik merkte
wel op dat niet iedereen iets durfde te zeggen tijdens de mondelinge
feedback. Het waren vaak dezelfde personen die hun mening gaven.
Ik vond dat de mondelinge discussie, die volgde op het overlopen van de
feedback die gegeven werd met Socrative, weinig bijdroeg, althans op
inhoudelijk vlak.
Zelden werden er nieuwe elementen aangehaald.
Toch is de mondelinge discussie een onmisbaar deel van peer assessment
omdat dit de mogelijkheid schept om verduidelijking te vragen over de
gekregen feedback .
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
12
28/01/2014
• Wat is de meerwaarde van mogelijkheid om de gegeven
score te verantwoorden?
Eerst konden de studenten hun oordeel geven, zonder beïnvloed te
worden door andere peers of de professor. Nadien werd alles mondeling
overlopen. Op deze manier kon er extra motivatie gegeven worden aan
de gescoorde punten, beide partijen kregen de kans om extra uitleg te
geven of vragen
• Wat is het effect van het al dan niet kenbaar zijn van het
oordeel van de docent op de (ingeschatte) bruikbaarheid van
de gegeven feedback?
Mijn groepje kreeg ook feedback van de professor, wat ik als een
meerwaarde beschouw. Ik vind het aangenaam om na de feedback van
peers deze even te kunnen aftoetsen bij de feedback van een ervaren
persoon.
Ik vind dat de professor best een modererende en leidende rol kan
opnemen tijdens de mondelinge discussies, aangezien dit zorgt voor een
zekere structuur in de bespreking waardoor de feedback duidelijk wordt.
Zo werd bijvoorbeeld de ene persoon na de andere besproken en niet door
elkaar.
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
13
28/01/2014
Werking:
Via Wifi/3G/4G
PC/ laptop/ tablet/ smartphone/
app
Socrative 2.0
www.socrative.com
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
14
28/01/2014
Voordelen:
• Gratis!
• Open-ended questions vlot hanteerbaar
• Data gemakkelijk bij te houden
Nadelen:
• Max. 50 personen
• Bugs
• Engelstalig
• Devices vereist
Alternatieve toepassingen:
•
Studenten warm maken voor de nieuwe leerstof
via uitdagende stellingen (bv. “Opwarmingsvragen”, die op het einde van de les worden
teruggekoppeld) = inschatting voorkennis & verder bouwen bestaande
kennisstructuur
•
Studenten laten discussiëren over stellingen die gaan over het
opleidingsonderdeel;
•
Een ‘fun’-factor aan de les toevoegen en louter de interactie met de
studenten verhogen zodat zij elkaar en u beter leren kennen;
•
Controleren of studenten de materie begrepen hebben en hoe –
afhankelijk van de antwoorden- uw lesstijl/lesinhoud kan aanpassen:
peer instruction
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
15
28/01/2014
Peer instruction:
Brainstorm!
• Vorm groepjes van 4
• Welke ideeën heb je reeds opgedaan in deze sessie?
Denk aan al alle richtingen stud-stud/ stud-teacher
• Waar zie je implementatieproblemen voor jullie eigen
lespraktijk?
• Vul na 10 min de questionnaire in aub.
Socrative room:
6c5e7e8a
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
16
28/01/2014
Intern zelf-assessment model (Nicole & Macfarlane-Dick,2006):
Goede formative feedback praktijken:
1. Zorgen ervoor dat dat wat dient bereikt te worden helder
geformuleerd is :
• Duidelijke doelen & criteria
• Reflectie en discussie over de criteria bewerkstelligen
2. Faciliteren de onwikkeling van self-assessment (skills)
3. Bieden hoogwaardige info aan studenten over hun leren
4. Stimuleren docent en student dialoog over leren: assessment
dialogues
5. Stimuleren positieve motivatie en zelfvertrouwen bij studenten
6. Bieden mogelijkheden om de kloof tussen huidig en toekomstig
presteren te dichten:
• Activeert nadenken over toekomstig gebruik van de feedback
Wat vond je van de sessie?
Socrative room:
792408
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
17
28/01/2014
Referenties:
•
•
•
•
•
Biggs, J. (1996). Enhancing teaching through constructive alignment. Higher
Education, 32(3), 347–364. doi:10.1007/BF00138871
Crouch, C. H., & Mazur, E. (2001). Peer Instruction: Ten years of experience and
results. American Journal of Physics, 69, 970–977. doi:10.1119/1.1374249
Hunt, N., Hughes, J., & Rowe, G. (2002). Formative Automated Computer
Testing (FACT). British Journal of Educational Technology, 33, 525–535.
doi:10.1111/1467-8535.00289
Joosten-ten Brinke, D., & Sluijsmans, D. (2014). Formatief toetsen. In Toetsen
in het hoger onderwijs (pp. 81–90). Bohn Stafleu van Loghum.
Raes, A., Vanderhoven, E., & Schellens, T. (2013). Increasing anonymity in peer
assessment by using classroom response technology within face-to-face higher
education. Studies in Higher Education, 0(0), 1–16.
doi:10.1080/03075079.2013.823930
Interessante literatuur:
(1) Boud, D. (1995). Assessment and learning: Contradictory or complementary? In K.
Peter (Ed.), Assessment for Learning in Higher Education (pp. 35–48). London: Kogan
Page.
(2) Fastré, G. M. J., van der Klink, M. R., Sluijsmans, D., & van Merriënboer, J. J. G.
(2013). Towards an integrated model for developing sustainable assessment skills.
Assessment & Evaluation in Higher Education, 38(5), 611–630.
(3) Kollar, I., & Fischer, F. (2010). Peer assessment as collaborative learning: A cognitive
perspective. Learning and Instruction, 20(4), 344–348.
(4) Panadero, E., Romero, M., & Strijbos, J.-W. (2013). The impact of a rubric and
friendship on peer assessment: Effects on construct validity, performance, and
perceptions of fairness and comfort. Studies in Educational Evaluation.
(5) Strijbos, J.-W., & Sluijsmans, D. (2010). Unravelling peer assessment:
Methodological, functional, and conceptual developments. Learning and Instruction,
20, 265–269.
Vakgroep Onderwijskunde - Tijs Rotsaert Promotor: Prof. dr. Tammy Schellens
18

Download Report