SURF stimuleringsregeling Learning Analytics 2013 Leren van Data Eindrapportage bij ‘stimuleringsregeling Learning Analytics 2013’ Penvoerder: Partners: Kenniscentrum Kwaliteit van Leren – Hogeschool van Arnhem en Nijmegen ILS – Hogeschool van Arnhem en Nijmegen SU O&O – Hogeschool van Arnhem en Nijmegen Looptijd: juni 2013 tot juli 2014 Naam projectleider: Tamara van Schilt-Mol Auteurs: Tamara van Schilt-Mol Jeroen van der Linden Martijn Peters Datum: 22 augustus 2014 0 SURF stimuleringsregeling Learning Analytics 2013 Inhoud 1. Korte samenvatting.................................................................................................................... 1 2. Doelstelling, doelgroep en aanpak ............................................................................................. 2 3. Resultaat ................................................................................................................................... 4 3.1 Activiteiten........................................................................................................................... 5 3.2 Opbrengsten en resultaten ................................................................................................... 5 3.2.1 Informatie over toetskwaliteit (opbrengst a en g) ............................................................... 5 3.2.2 Informatie over toetsbekwaamheid (opbrengst b en h) ...................................................... 6 3.2.3 Informatie over aansluiting toets op onderwijs (opbrengst c en i) ....................................... 7 3.2.4 Informatie over interventies (opbrengst d, e en f) .............................................................. 7 4. Conclusies ................................................................................................................................. 9 5. Continuering............................................................................................................................ 10 6. Overige opmerkingen .............................................................................................................. 11 7. Kostenoverzicht ....................................................................................................................... 12 8. Bijlagen ................................................................................................................................... 13 8.1 Overzicht verzamelde analysegegevens .............................................................................. 13 8.2 Opbrengsten van de analyse van de resultaten van de toetsanalyse-bespreking door docenten ................................................................................................................................. 15 8.3 Beknopte beschrijven training toetsanalyse ........................................................................ 16 www.creativecommons.org/licenses/by/3.0/nl 1 SURF stimuleringsregeling Learning Analytics 2013 1. Korte samenvatting Een belangrijke doelstelling van het project ‘Leren van data’ was om de bekwaamheid van docenten te vergroten op het gebied van Learning Analytics ten einde de kwaliteit van toetsing te verbeteren. De behoefte om de kwaliteit van toetsen te verbeteren leeft bij zowel docenten als management en sluit naadloos aan bij de doelstellingen van het Instituut voor Leraar en School van de HAN (ILS-HAN). De behoefte kwam onder meer voort uit ervaren onbekwaamheid van docenten op het gebied van toetsanalyse. Om de doelstellingen te bewerkstellingen zijn activiteiten uitgevoerd in 3 fasen. In de eerste fase is een instrument voor toetsanalyse ingezet om de kwaliteit van de toetsen Onderwijskunde te analyseren. Het instrument dat in deze fase werd gebruikt is ontwikkeld door een van de deelnemende docenten. Vervolgens zijn in een tweede fase interventies ontwikkeld om te werken aan toetsbekwaamheid van docenten. Er is onder andere een training toetsconstructie gegeven aan docenten en er zijn trainingen toetsanalyse ontwikkeld voor docenten van lerarenopleidingen en docenten voortgezet onderwijs. Daarnaast zijn docenten onderwijskunde actief aan de slag gegaan met toetsanalyse en toetsconstructie: dit heeft geleid tot een verbetering van de toets en een verbetering van de aansluiting van de toets op de inhoud van het onderwijs. Naast deze meetbare effecten, is er ook sprake van gepercipieerde effecten: het project Leren van Data heeft geleid tot een bewustwordingsproces bij docenten betreffende toetskwaliteit en het belang van een gedegen toetsanalyse. De docenten voelen zich bekwaam genoeg om de analyses uit te voeren en te interpreteren en ervaren toetsanalyse als zinvolle activiteit waarmee de betrouwbaarheid van de toets en de kwaliteit van afzonderlijke items kan worden vastgesteld en als activiteit op basis waarvan toekomstig te verzorgen onderwijs kan worden ingericht. 1 SURF stimuleringsregeling Learning Analytics 2013 2. Doelstelling, doelgroep en aanpak Het project Leren van data beoogt de bekwaamheid van docenten ten aanzien van Learning Analytics te verhogen ten einde de kwaliteit van toetsing en toetsbekwaamheid te verhogen. Docenten en management zijn zich in grote mate bewust van de handelingsverlegenheid van docenten op het gebied van Learning Analytics en zijn zich (in relatie tot het verhogen van de kwaliteit van toetsing) bewust van de noodzaak om de bekwaamheid van docenten om dit vlak te verhogen. Deze ervaren noodzaak en handelingsverlegenheid komen tot uiting in verschillende aspecten. In de Nationale Studentenenquête (NSE) is Toetsing een onderdeel dat in vergelijking met andere onderdelen relatief laag scoort. Studenten wordt hier onder andere gevraagd of ze vinden dat toetsen aansluiten bij de inhoud van de opleiding en of de criteria van toetsing duidelijk zijn. Daarnaast geven docenten van Instituut voor Leraar en School van de HAN (ILS-HAN) zelf aan zich niet bekwaam (genoeg) te voelen op het gebied van Learning Analytics en specifiek de wijze waarop zij data kunnen benutten om de kwaliteit van toetsing te verhogen. Ze benoemen dat ze toetsresultaten onvoldoende (kunnen) benutten om de kwaliteit van de toets te analyseren en om na te gaan of de toetsinhoud voldoende aansluit bij het gegeven onderwijs. Bovendien benoemen veel docenten van ILS-HAN dat zij onvoldoende in staat zijn om zelfstandig analyses uit te voeren en/of analyses te interpreteren, en om de opbrengsten van de analyses en interpretaties te vertalen naar aanpassingen van ofwel de toets ofwel het onderwijsaanbod. Voorafgaand aan het project is de volgende onderzoeksvraag vastgesteld: Hoe kan Learning Analytics zodanig ingezet worden dat het een bijdrage levert aan: - een betere aansluiting van het toetsprogramma op het onderwijsprogramma en zodoende hoger rendement, - kwaliteitsverbetering van de toetsen (validiteit en betrouwbaarheid, zowel op item- als op toetsniveau) en - een verhoging van de toetsbekwaamheid van docenten (waaronder analyse, interpretatie en wijze van omgaan met bevindingen) Om deze vraag te beantwoorden is het project uitgevoerd in nauwe samenwerking met docenten van de lerarenopleidingen. Gezien de organisatie van ILS-HAN (12 lerarenopleidingen en 1 opleiding opleidingskunde) is het onderzoek opgezet rondom de toetsing van de leerlijn onderwijskunde die in alle voltijd lerarenopleidingen plaatsvindt. Bij de constructie, analyse en aanpassing van de toetsing onderwijskunde zijn docenten uit meerdere opleidingen betrokken, hierdoor is opgedane kennis via de betrokken docenten ook binnen deze opleidingen gedeeld. Binnen het project zijn 3 projectfasen onderscheiden. In de eerste projectfase zijn de toetsresultaten op de toets onderwijskunde verzameld en hebben gesprekken plaatsgevonden met docenten Onderwijskunde waarin de wijze centraal stond waarop zij toetsen construeren, afnemen, en analyseren, de toetsresultaten interpreteren en consequenties benoemen van interpretaties, en de wijze waarop zij opbrengsten van analyses benutten van constructie van nieuwe toetsen. Daarnaast zijn de resultaten op de NSE geanalyseerd en zijn er aan studenten die deelnamen aan een toets onderwijskunde vragen voorgelegd over de toetsing. Tot slot hebben zowel de onderzoekers als de docenten onderwijskunde een toets na afname geanalyseerd. In de tweede projectfase zijn alle in de eerste fase verzamelde gegevens geanalyseerd en heeft op basis van de resultaten van deze analyse een gesprek plaatsgevonden met de docenten onderwijskunde. Hierin zijn de resultaten besproken en zijn gezamenlijk interventies vastgesteld. Deze interventies zijn vervolgens besproken met de instituutsdirectie van ILS. Naar aanleiding van de vastgestelde interventies hebben gesprekken plaatsgevonden met partners binnen het project om de haalbaarheid en vormgeving van interventies te bespreken. Dit heeft geresulteerd in onder meer de volgende activiteiten: - coaching van docenten onderwijskunde/gesprekken tbv het vergroten van het bewustzijn ten aanzien van learning analytics (uitgevoerd door onderzoekers Kenniscentrum) - training toetsconstructie aan 10 ILS docenten: gezien het startniveau van de docenten is hierbij de nadruk gelegd op item- en toetsconstructie (aansluiting toetsonderwijsprogramma, inzet toetsmatrijzen, kwaliteitscriteria voor goede toetsen) (uitgevoerd door SU O&O en ILS) 2 SURF stimuleringsregeling Learning Analytics 2013 - ontwikkelen/vormgeven van een training voor docenten ILS (dit aanbod wordt vanaf studiejaar 2014-2015 opgenomen in het professionaliseringsaanbod en wordt bekostigd door ILS)1 - ontwikkelen/vormgeven en uitvoeren van professionaliseringsaanbod voor docenten in voortgezet onderwijs (2 trainingen). Een training richt zich op toetsanalyse, de andere op het gebruik van toetsmatrijzen (uitgevoerd door onderzoekers kenniscentrum en docenten onderwijskunde/ILS) Beoogde interventie die niet is uitgevoerd is het geven van een presentatie tijdens een ILS-studiedag. Organisatorisch bleek het niet haalbaar deze presentatie te plannen in studiejaar 2013-2014. In plaats hiervan is nu in oktober 2014 een presentatie gepland tijdens een kennisdelingsbijeenkomst. In de derde projectfase zijn de stappen uit de eerste projectfase grotendeels herhaald. Daarnaast hebben de docenten Onderwijskunde de toetsen Onderwijskunde die afgenomen zijn in studiejaar 2013-2014 na iedere toetsafname geanalyseerd om uitspraken te kunnen doen over de kwaliteit van de toetsen. In juli 2014 hebben zij gezamenlijk met de onderzoekers van het Kenniscentrum de toetsen in samenhang en gerelateerd aan de overig verzamelde informatie geanalyseerd om uitspraken te kunnen doen over eventuele toename van kwaliteit van de toetsing. Deze resultaten zijn besproken met de onderzoekers van het kenniscentrum om antwoord te kunnen geven op de in het project gestelde onderzoeksvraag. Onderstaande tabel bevat een overzicht van de doelstellingen per fase, de planning qua uitvoering en de uitvoerders. Tabel 1. Overzicht van doelstellingen, planning en uitvoerders per projectfase Projectfasen Fase 1. Verzamelen en analyseren van data – 1 Doelstelling Uitvoeren stap 1 en 2 uit de cyclus van Learning Analytics om uitspraken te doen kunnen over de kwaliteit van de toets, de toetsbekwaamheid van docenten en de mate van aansluiting van de toets op het onderwijs. Fase 2. Vaststellen, ontwikkelen/zoeken en implementeren benodigde interventies Doelstelling Op basis van interpretatie van in fase 1 uitgevoerde analyses stap 3 van de cyclus van Learning Analytics uitvoeren: benodigde interventies benoemen en ontwikkeling en implementatie van de interventies bewerkstellingen Fase 3. Verzamelen en analyseren data – 2 Doelstelling Opnieuw uitvoeren stap 1 en 2 uit de cyclus van Learning Analytics om uitspraken te doen kunnen over de effectiviteit van de uitgevoerde interventies op de kwaliteit van de toets, toetsbekwaamheid van docenten en de mate van aansluiting van de toets op het onderwijs. 1 Planning Betrokkenen uit het projectteam september 2013 – oktober 2013 Kenniscentrum ILS Oktober 2013 – maart 2013 Kenniscentrum ILS SU O&O April 2013 – juni 2013 Kenniscentrum ILS Omdat tijdens reguliere contacten met scholen voor voortgezet onderwijs duidelijk werd dat ook docenten binnen het voortgezet onderwijs behoefte hebben aan meer kennis en kunde op het gebied van toetsanalyse is besloten ook voor deze doelgroep trainingen te ontwikkelen. Deze trainingen zijn reeds ontwikkeld, de training over toetsmatrijzen in reeds eenmaal aangeboden, beide trainingen zullen in schooljaar 2014-2015 worden aangeboden aan docenten van 13 middelbare scholen. 3 SURF stimuleringsregeling Learning Analytics 2013 3. Resultaat Zoals beschreven in hoofdstuk 2 zijn binnen de drie projectfasen verschillende activiteiten uitgevoerd die geleid hebben tot verschillende resultaten en opbrengsten. Onderstaande tabel bevat een overzicht van de activiteiten die in de verschillende projectfasen zijn uitgevoerd en een overzicht van de opbrengsten waartoe deze activiteiten hebben geleid. Tabel 2. Overzicht van uitgevoerde activiteiten en opbrengsten per projectfase Activiteiten Fase 1. Verzamelen en analyseren van data – 1 1. De toetsresultaten op de toetsen Onderwijskunde zijn verzameld. 2. Er is gesproken met de docenten Onderwijskunde over de wijze waarop zij toetsen construeren, afnemen, analyseren, toetsresultaten interpreteren, consequenties benoemen van interpretaties en de opbrengsten van de analyse benutten voor de constructie van nieuwe toetsen. 3. De resultaten op de NSE zijn geanalyseerd om informatie te verzamelen over de algemene studenttevredenheid ten aanzien van toetsing. 4. Na afloop van de eerste toets Onderwijskunde (afgenomen begin november) is de studenten die deelgenomen hebben aan deze toets een aantal vragen voorgelegd over de toetsing Onderwijskunde. 5. De docenten Onderwijskunde hebben de eerste toets Onderwijskunde geanalyseerd, de resultaten hiervan zijn in eerste instantie bestudeerd door de onderzoekers, vervolgens hebben de onderzoekers een bijeenkomst waarin de docenten Onderwijskunde de analyses bespraken geobserveerd. Op basis hiervan is informatie verzameld over de vaardigheden van de docenten ten aanzien van het analyseproces. Fase 2. Vaststellen, ontwikkelen/zoeken en implementeren benodigde interventies 6. Interpreteren van analyses 7. Vaststellen benodigde interventies 8. Zoeken en/of ontwikkelen van bij interventies passend aanbod 9. Implementeren/uitvoeren interventies 10. De resultaten verkregen in fase 1 zijn door de onderzoekers geanalyseerd, op basis hiervan zijn een aantal conclusies geformuleerd betreffende de bekwaamheid van docenten ten aanzien van Learning Analytics, toetsbekwaamheid en het analyseinstrument dat ontwikkeld is door een van de docenten Onderwijskunde en dat ingezet wordt om de toetsen te analyseren. De bevindingen en conclusies zijn besproken met een van de docenten Onderwijskunde. 11. Benodigde interventies zijn vastgesteld. Vastgesteld is dat er interventies nodig zijn op het gebied van het proces van Learning Analytics, op het gebied van toetsconstructie en op het gebied van de toets Onderwijskunde. 12. Er heeft overleg plaatsgevonden met de instituutsdirectie van ILS, waarin de belangrijkste bevindingen zijn besproken en de benodigde interventies formeel zijn vastgelegd. Tevens zijn afspraken gemaakt over de wijze waarop de opbrengsten van het project Leren van Data gecommuniceerd en verspreid zullen worden onder alle ILS-docenten. 13. Door de onderzoekers is beknopt benoemd op welke wijze gemeten zal worden of de interventies leiden tot het gewenste effect. 14. Er heeft coaching plaatsgevonden van docenten onderwijskunde/gesprekken tbv van het vergroten van het bewustzijn ten aanzien van learning analytics (uitgevoerd door onderzoekers Kenniscentrum) 15. Er is een training toetsconstructie aan 10 ILS docenten gegeven: gezien het startniveau van de docenten is hierbij de nadruk gelegd op item- en toetsconstructie (aansluiting toets-onderwijsprogramma, inzet toetsmatrijzen, kwaliteitscriteria voor goede toetsen) (uitgevoerd door SU O&O en ILS) 16. Er zijn twee trainingen voor docenten in voortgezet onderwijs ontwikkeld/vormgegeven en uitgevoerd van op het gebied van toetsanalyse en op het gebied van het gebruik van toetsmatrijzen (uitgevoerd door onderzoekers kenniscentrum en docenten onderwijskunde) 17. Er is een training voor docenten ILS ontwikkeld/vormgegeven (dit aanbod wordt vanaf studiejaar 2014-2015 opgenomen in het professionaliseringsaanbod en wordt bekostigd door ILS) Fase 3. Verzamelen en analyseren data – 2 18. De toetsresultaten op de toetsen Onderwijskunde zijn verzameld. 19. De resultaten op de NSE zijn geanalyseerd om informatie te verzamelen over de algemene studenttevredenheid ten aanzien van toetsing. 20. Na afloop van alle toetsen Onderwijskunde (afgenomen vanaf november 2013) is de studenten die deelgenomen hebben aan deze toets een aantal vragen voorgelegd over de toetsing Onderwijskunde. 21. De docenten Onderwijskunde hebben de toetsen Onderwijskunde afgenomen in studiejaar 2013-2014 na iedere toetsafname geanalyseerd om uitspraken te kunnen 4 Opbrengsten a. b. c. d. e. f. g. h. Informatie over kwaliteit toets Informatie over toetsbekwaamheid Informatie over mate van aansluiting van de toets op het onderwijs. Overzicht van benodigde interventies Interventies-aanbod Uitvoering van interventies Inzicht in de mate waarin de interventies effect gehad hebben op de kwaliteit van de toets Inzicht in de mate waarin de interventies effect gehad hebben op de toetsbekwaamheid van SURF stimuleringsregeling Learning Analytics 2013 doen over de kwaliteit van de toetsen. In juli 2014 zijn de toetsen in samenhang en gerelateerd aan de overig verzamelde informatie geanalyseerd om uitspraken te kunnen doen over eventuele toename van kwaliteit van de toetsing. i. docenten Inzicht in de mate waarin de interventies effect gehad hebben op de mate van aansluiting van de toets op het onderwijs. 3.1 Activiteiten Ten aanzien van de activiteiten kan worden vastgesteld dat deze over het algemeen zijn uitgevoerd zoals vooraf beoogd. Wel moet worden opgemerkt dat niet alle beoogde interventies reeds (volledig) zijn uitgevoerd. Zo heeft bij de training toetsconstructie vanwege het startniveau van de deelnemende docenten de nadruk gelegen op aspecten als aansluiting toets-onderwijsprogramma, inzet van toetsmatrijzen en kwaliteitscriteria voor goede toetsen. Het team onderwijskunde gebruikt een zelfontwikkeld analyse-instrument (ESCTA) in Excel waarmee de toetsen geanalyseerd worden. Het instrument biedt de mogelijkheid om direct het effect van het bijstellen van items, normering en cesuur te zien in diverse analysewaarden (zoals bjvoorbeeld pgem, Ritgem, Cronbach’s α en aantal geslaagden). Het analyse-instrument dat ontwikkeld is en gebruikt wordt door docent(en) onderwijskunde is in deze training niet expliciet aan de orde geweest. Door een van de docenten onderwijskunde en de onderzoekers van het kenniscentrum is daarom aanvullend een training ontwikkeld die zich specifiek richt op toetsanalyse (inclusief gebruik instrument), deze training zal vanaf studiejaar 2014-2015 worden opgenomen in het professionaliseringsaanbod voor docenten ILS. Daarnaast bleek ook het geven van een presentatie tijdens een ILS-brede studiedag organisatorisch niet haalbaar in studiejaar 2013-2014. In plaats hiervan is nu in oktober 2014 een presentatie gepland tijdens een kennisdelingsbijeenkomst. 3.2 Opbrengsten en resultaten Zoals blijkt uit tabel 2 hebben de activiteiten tot verschillende (concrete) resultaten geleid. In onderstaande wordt beknopt ingegaan op deze opbrengsten, waar mogelijk worden concrete resultaten beschreven. 3.2.1 Informatie over toetskwaliteit (opbrengst a en g) Over studiejaar 2012-2013 zijn van alle deeltentamens onderwijskunde die door middel van een multiple choice (MC) tentamen afgenomen worden analysegegevens verzameld. Deze analysegegevens zijn bepaald uit de ruwe data en de vastgestelde normering en cesuur. Voorbeelden van deze gegevens zijn het gemiddelde en s.d. van de p-waarde, het gemiddelde en s.d. van de Ritwaarde en Cronbach’s alpha. Een overzicht van deze waarden van zowel studiejaar 2012-2013 als 2013-2014 is te vinden in bijlage 8.1. Voor de interventie was het belangrijkste criterium de betrouwbaarheid van het deeltentamen. Er werd geprobeerd minimaal een waarde van 0,6 aan te houden (Zimmaro, 2004, p. 372). Alhoewel andere bronnen een hogere waarde bij summatieve toetsen aanhouden (zie bv. Gruijter, 20083) is voor deze waarde gekozen omdat de betreffende deeltentamens meerdere onderdelen bevatten en er derhalve meer dan een concept gemeten wordt. Afhankelijk van het deeltentamen wordt er een periode van 10 of 20 weken getentamineerd. Naar aanleiding van de analyse op de wijze waarop de docenten omgingen met toetsanalyse (zie daarvoor de resultaten in bijlage 8.2) is in overleg met de onderzoekers besloten naast betrouwbaarheid ook te kijken naar toetsvaliditeit, naar de kwaliteit en moeilijkheid van de afzonderlijke items. Concreet is er geprobeerd om het aantal vragen in het tentamen zo hoog mogelijk te houden, het aantal aanpassingen zo laag mogelijk, de p-waarde van de vragen zo dicht 2 3 http://www6.cityu.edu.hk/edge/workshop/seminarseries/2010-11/seminar03-writinggoodmultiplechoiceexams.pdf http://media.leidenuniv.nl/legacy/toetsing_en_toetsanalyse.pdf 5 SURF stimuleringsregeling Learning Analytics 2013 mogelijk bij het theoretische ideaal 0,63 (bron) te houden zonder dat de betrouwbaarheid van de toets en de Rit waarden van de afzonderlijke items afnemen. Grotendeels is dat gelukt. Met de waarden in bijlage 8.1 Overzicht verzamelde analysegegevens is een independent samples T-test in SPSS uitgevoerd op waarden van de deeltentamens in jaar 20122013 en dezelfde waarden in 2013-2014, het jaar van de interventie. Deze laat zien dat de gemiddelde p-waarde significant is afgenomen van voor (M=0,6798, SD=0,0263) tot na (M=0,6414, SD=0,2906) de interventie; t(13)=2,684, p=0,019. De p-waarde ligt nu dus dichter bij de ideale waarde p (0,63) voor een multiple choice met vier antwoordmogelijkheden. Tegelijkertijd is het gemiddelde aantal vragen per deeltentamen significant toegenomen van voor (M=36,13, SD=2,696) tot na (M=38,43, SD=0,787) de interventie; t(8,3)=-2,307, p=0,049. Helaas is het aantal aanpassingen van 2012-2013 (M=5,38, SD=5,07) naar 2013-2014 (M=4,71, SD=4,39) na de interventie niet significant gedaald; t(13)=0,268, p=0,793. Dit is waargenomen zonder dat de betrouwbaarheid van de deeltentamens gezakt is van 2012-2013 (M=0,6126, SD=0,0697) naar 2013-2014 (M=0,5836, SD=0,1103); t(13)=0,619, p=0,547. Ook de gemiddelde Rit waarde van de items in de deeltentamens is van 2012-2013 (M=0,262, SD=0213) naar 2013-2014 (M=0,2456, SD=0,0304) niet significant lager geworden; t(13)=1,225, p=0,242. 3.2.2 Informatie over toetsbekwaamheid (opbrengst b en h) De docenten van de constructiegroep onderwijskunde hebben allen een sociaal wetenschappelijke achtergrond en zijn bekend met de verschillende parametrische toetsen die gebruikelijk zijn bij het analyseren van MC-toetsen. Er wordt met toetsmatrijzen en toetstermen gewerkt zodat er een systematische basis ligt waarop het deeltentamen geconstrueerd wordt. Er hoefde dus niet stilgestaan te worden bij het verklaren van de verschillende termen gebruikelijk bij toetsing. Wel werd er gesproken over de betekenis en de keuzes die naar aanleiding van de uitkomsten van de analyse uit 2012-2013 gemaakt werden (zie bijlage in paragraaf 8.2). Vanuit het kenniscentrum viel op dat de docenten met name de betrouwbaarheid van een toets hoog op de agenda hadden staan. Er werden net zo lang aanpassingen aan het betreffende deeltentamen gemaakt totdat de betrouwbaarheid voldoende hoog was. Daarvoor werden enerzijds alternatieven bij individuele items ook goed gekeurd als dit een stijgende Rit waarde van dat item en een stijgende Cronbachs alpha (toetsbetrouwbaarheid) tot gevolg had. Anderzijds werden ook met dezelfde argumenten hele items uit het tentamen geschrapt. Gevolg was dat er veel aanpassingen nodig waren wat de inhoudsvaliditeit niet ten goede kwam. Dit is vooral onwenselijk omdat het tentamen met 40 MC vragen toch al een lastige afspiegeling vormt van de behandelde stof. Veel onderwerpen worden door middel van enkele vragen getoetst en dan telt elke vraag. Daarnaast werd ook op item-niveau gekeken. Zo is er bijvoorbeeld gekeken naar het gebruik van stellingvragen. Onderzoek laat zien dat afzonderlijke vragen uit de stellingen hogere scores laat zien 4 dan bij het gebruik van stellingvragen (Laat, Vervoordeldonk, Boer, & Cate, 2011 ). Andere veel voorkomende voorbeelden van aanbevelingen zijn om negatief gestelde vragen, om grote verschillen in antwoordenlengtes of om woordherhaling in stam en antwoorden te voorkomen. Het idee hierachter is dat indien afzonderlijke items een goed construct kennen, ze waarschijnlijk een betere p-waarde en een hogere Rit waarde krijgen. De docenten zijn vanaf dat moment ook begonnen om het vierogenprincipe toe te passen. Een deeltentamen wordt vanaf dan door twee docenten samengesteld waarbij ieder een deel van de constructie voor zijn of haar rekening neemt. Na de constructie worden de items wederzijds van feedback voorzien waarna in een bespreking van deze feedback de uiteindelijke items vastgesteld worden. 4 De Laat, J.M., Vervoordeldonk, M.M., Boer, W.H., & Ten Cate, Th.J.(2011). De betrouwbaarheid van toetsen met gecombineerde stellingvragen. Tijdschrift voor Medisch Onderwijs 2011; 30:44-45. 6 SURF stimuleringsregeling Learning Analytics 2013 Als gevolg van de interventies zijn de docenten meer tevreden over het construct van de items. Ze zijn zich meer bewust van het feit dat de kwaliteit van afzonderlijke items een belangrijke invloed heeft op de kwaliteit van de toets. Ze voelen zich ook meer bekwaam in het construeren van deze items en het deeltentamen. Er wordt nu over de resultaten van de deeltentamens openlijk naar collega’s en studenten, maar bijvoorbeeld ook naar de examencommissie, gerapporteerd. 3.2.3 Informatie over aansluiting toets op onderwijs (opbrengst c en i) In fase drie zijn gegevens geanalyseerd over de tevredenheid over de aansluiting van toetsen bij de inhoud. Hiervoor is als eerste gebruik gemaakt van de Nationale Studentenenquête (NSE). De NSE meet onder andere de tevredenheid over toetsing en beoordeling. Eén van de vragen in de NSE gaat over de aansluiting van toetsing bij de inhoud. Hieruit blijkt dat tevredenheid over de aansluiting tussen 2010 en 2013 gestegen is, maar in 2014 ongeveer gelijk is gebleven. Tabel 3. Overzicht van uitgevoerde activiteiten en opbrengsten per projectfase De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding (zeer) ontevreden neutraal (zeer) tevreden 2010 17,1% 30,0% 52,9% 2011 19,1% 30,9% 50,0% 2012 16,3% 29,0% 54,8% 2013 9,8% 29,0% 61,2% 2014 11,3% 28,2% 60,4% De NSE meet de tevredenheid over toetsing in het algemeen, zonder dat het hierbij mogelijk is om onderscheid te maken naar specifieke toetsen/onderwijseenheden. Om een beeld te krijgen van de tevredenheid over de toets onderwijskunde zijn daarom aanvullend vragen over de toets afgenomen aan het einde van de toetsafname. Om te beoordelen of de tevredenheid is toegenomen kijken we alleen naar respondenten die aangeven hebben dat ze zich goed hebben voorbereid op het tentamen, omdat zij het beste kunnen beoordelen of de toets aansluit op de inhoud van het vak. Figuur 1. De toetsvragen sluiten aan bij de inhoud van het kennisdeel van de colleges owk1a-1 owk1a-2 owk2a-1 owk1a-2 owk1b-1 owk2b-1 owk1b-2 0% 20% Helemaal mee oneens 40% 60% Mee oneens Mee eens 80% 100% Helemaal mee eens De toetsen owk1a-1 tot en met owk1a-2 vonden plaats voor de interventie. We zien in deze periode de tevredenheid over de aansluiting van de toetsvragen onderwijskunde afnemen. In de toetsen na de interventie (vanaf owk1b-1) is de tevredenheid weer toegenomen, waaruit we afleiden dat de interventies een positief effect hebben gehad. 3.2.4 Informatie over interventies (opbrengst d, e en f) Zoals beschreven in de voortgangsrapportage zijn de volgende interventies vastgesteld: 1. het optimaliseren van het instrument voor Learning Analytics en handreiking proces Learning Analytics 2. verbeterde toetsconstructie 3. training ILS-docenten 4. aandacht creëren voor meerwaarde, noodzaak en proces van Learning Analytics 7 SURF stimuleringsregeling Learning Analytics 2013 Ten aanzien van de eerste interventie kan worden opgemerkt dat een van de docenten Onderwijskunde heeft gewerkt aan een verdere optimalisering van het instrument. Dit instrument zal centraal staan tijdens het professionaliseringsaanbod dat door de docent onderwijskunde en onderzoekers van het kenniscentrum is ontwikkeld, zodat meerdere docenten met dit instrument kunnen gaan werken. In de scholing wordt expliciet aandacht besteed aan de cyclus van learning analytics en de wijze waarop het instrument hierbinnen gebruikt kan worden. De tweede interventie, verbeterde toetsconstructie, richtte zich op de constructie van toetsen onderwijskunde. Naar aanleiding van de gesprekken met de docenten onderwijskunde over de wijze waarop zij toetsen construeren en analyseren is er bij de docenten een diepere bewustwording ontstaan over de relatie tussen kwalitatief goede toetsing en het operationaliseren van leerdoelen in toetsitems. Doel was dan ook om de toetsing beter aan te laten sluiten op de inhoud van de collegereeks. Zoals beschreven in 3.2.3 is de tevredenheid van studenten over de aansluiting van het tentamen op de leerstof zoals behandeld in de colleges daadwerkelijk toegenomen. Ten aanzien van de derde interventie kan worden opgemerkt dat er een training is gegeven aan docenten van de lerarenopleiding omtrent toetsconstructie. Zoals eerder beschreven is hierbij vanwege het startniveau van de deelnemende docenten vooral aandacht besteed aan aspecten als aansluiting toets-onderwijsprogramma, inzet van toetsmatrijzen en kwaliteitscriteria voor goede toetsen. Het analyse-instrument dat ontwikkeld is en gebruikt wordt door docent(en) onderwijskunde is in deze training niet expliciet aan de orde geweest. In de training die in studiejaar 2014-2015 zal worden aangeboden (activiteit 17 in tabel 2, voor een beknopte beschrijving zie de bijlage in paragraaf 8.3), zal dit instrument wel expliciet aan de orde komen. Omdat tijdens reguliere contacten met scholen voor voortgezet onderwijs duidelijk werd dat ook docenten binnen het voortgezet onderwijs behoefte hebben aan meer kennis en kunde op het gebied van toetsanalyse is besloten ook voor deze doelgroep trainingen te ontwikkelen. Een training richt zich op het ontwikkelen en gebruiken van toetsmatrijzen, de tweede training op toetsanalyse (waarbij onder meer het door de docent onderwijskunde ontwikkelde instrument aangeboden en besproken wordt). Deze trainingen zijn reeds ontwikkeld, de training over toetsmatrijzen in reeds eenmaal aangeboden, beide trainingen zullen in schooljaar 2014-2015 worden aangeboden aan docenten van 13 middelbare scholen. De vierde interventie is op dit moment (juli 2014) nog niet volledig uitgevoerd. Zoals beschreven heeft een presentatie tijdens een ILS-brede studiedag nog niet plaatsgevonden, een presentatie over het project staat nu gepland in oktober 2014. Wel heeft het project bij de deelnemende docenten geleid tot meer inzicht in de meerwaarde en noodzaak van Learning Analytics: waar voorheen analyse van toetsresultaten door sommige docenten werd beschouwd als ‘onnodige’ activiteit, wordt deze nu gezien als activiteit waarmee de betrouwbaarheid van de toets kan worden vastgesteld, waarmee de kwaliteit van afzonderlijke items kan worden vastgesteld en als activiteit op basis waarvan toekomstig te verzorgen onderwijs kan worden ingevuld. 8 SURF stimuleringsregeling Learning Analytics 2013 4. Conclusies Het project Leren van Data heeft naast een aantal tastbare resultaten opgeleverd vooral ook minder goed meetbare effecten bewerkstelligd. Zo is de attitude van docenten ten aanzien van Learning Analytics veranderd: uit de gesprekken met de docenten onderwijskunde (maar ook uit de gesprekken met docenten van de VO-scholen waar professionaliseringsaanbod is uitgevoerd) blijkt dat er sprake is van een verhoogd bewustzijn ten aanzien van de noodzaak en de meerwaarde van Learning Analytics bij het verbeteren van de kwaliteit van toetsing, Daar waar voorheen analyse van toetsresultaten door sommige docenten werd beschouwd als ‘onnodige’ activiteit, wordt deze nu gezien als activiteit waarmee de betrouwbaarheid van de toets kan worden vastgesteld, waarmee de kwaliteit van afzonderlijke items kan worden vastgesteld en als activiteit op basis waarvan toekomstig te verzorgen onderwijs kan worden ingevuld. De meetbare resultaten zijn onder meer het ontwikkelde professionaliseringsaanbod, en de zichtbare verbetering in de over-all kwaliteit van items en de gehele toets binnen de onderwijsleerlijn onderwijskunde. Bij de start van het project is de volgende onderzoeksvraag geformuleerd: Hoe kan Learning Analytics zodanig ingezet worden dat het een bijdrage levert aan: - een betere aansluiting van het toetsprogramma op het onderwijsprogramma en zodoende hoger rendement, - kwaliteitsverbetering van de toetsen (validiteit en betrouwbaarheid, zowel op item- als op toetsniveau) en - een verhoging van de toetsbekwaamheid van docenten (waaronder analyse, interpretatie en wijze van omgaan met bevindingen) Ten aanzien van deze onderzoekvraag kunnen de volgende conclusies getrokken worden: 1. Door het structureel gebruiken van toetsmatrijzen bij de constructie van de toets en het uitvoeren van analyses na afloop van toetsafname kan worden bewerkstelligd dat de inhoud van de toets goed is afgestemd op het gegeven onderwijs en de onderwijsleerdoelen die voorafgaand aan de onderwijseenheid zijn vastgesteld. Bovendien kan door individuele itemanalyse worden vastgesteld of de onderwijsleerdoelen worden gemeten met kwalitatief goede items (onder meer in termen van onderscheiden vermogen, validiteit, etc.). Dit proces is door het project sterker onder de aandacht gekomen van de deelnemende docenten, het belang hiervan wordt nu ook onderschreven. 2. Door het systematisch uitvoeren van de cyclus van Learning Analytics kan worden na constructie en afname van toetsen (data), worden vastgesteld wat de kwaliteit is van een afgenomen toets en wat mogelijke oorzaken zijn van bijvoorbeeld lage betrouwbaarheid van de toets, lage p-waardes op individuele items, etc. (analyses), en kunnen aan de hand van interpretaties van de analyses interventies worden ontwikkeld en uitgevoerd om de kwaliteit van de toetsing (aansluiting onderwijsleerdoelen, kwaliteit van items, betrouwbaarheid en validiteit van de toets) te verbeteren (interventies), zodat de studenten ervaren dat zij, als gevolg van kwalitatief goede betrouwbare en valide toetsing, door middel van de toets daadwerkelijk kun vaardigheden/kennis kunnen tonen. Uit de analyses blijkt dat ditook daadwerkelijk het geval is: studenten waarderen de toetsen na de interventie beter dan voor de interventie. 3. Binnen het project is geconstateerd dat het sec uitvoeren van de cyclus van Learning Analytics geen bijdrage levert aan (het vergroten van) de toetsbekwaamheid van docenten, maar dat voldoende toetsbekwaamheid een voorwaarde is om op een juiste manier de cyclus van Learning Analytics (zoals ingezet in dit project) te kunnen doorlopen. Binnen het project is Learning Analytics echter niet alleen ingezet om de kwaliteit van toetsing te verbeteren, maar ook als instrument om de toetsbekwaamheid in kaart te brengen en te vergroten. Uitgaande van de cyclus zou kunnen worden gesteld dat de studenten in dit geval de docenten onderwijskunde waren, de data de informatie die de onderzoekers kregen door gesprekken met de docenten, het mee-analyseren en observeren van analyse-besprekingen, de analyse het analyseren van de verkregen informatie en het vaststellen van deficiënties bij het uitvoeren van de cyclus van Learning Analytics en de interventies het naar aanleiding van de analyses inrichten van trainingsprogramma’s om de deficiënties op te lossen. 9 SURF stimuleringsregeling Learning Analytics 2013 5. Continuering Er wordt op verschillende manieren een vervolg gegeven aan de activiteiten die uitgevoerd zijn in het kader van het project Leren van Data. Op de eerste plaats zal de uitgestelde bijeenkomst waarin het project binnen ILS wordt gepresenteerd begin studiejaar 2014-2015 alsnog plaatsvinden. Daarnaast wordt de ontwikkelde training voor docenten ILS vanaf studiejaar 2014-2015 opgenomen in het professionaliseringsaanbod van ILS. Op de derde plaats worden de ontwikkelde trainingen voor het voortgezet onderwijs in studiejaar 2014-2015 aangeboden aan 13 middelbare scholen in Arnhem. Een ander belangrijk vervolg is dat het in dit project gebruikte instrument verder doorontwikkeld zal worden, waardoor het ook geschikt wordt voor het analyseren van toetsen met open vragen. Binnen verschillende opleidingen zal er gewerkt gaan worden met het instrument. Docenten van onderwijskunde en de onderzoekers van het Kenniscentrum zullen de ervaringen hiermee in kaart brengen, beoogd wordt om een praktisch artikel hierover te schrijven voor een vaktijdschrift. Het project heeft binnen het Kenniscentrum en ILS geleid tot een discussie geleid over de overeenkomsten en verschillen tussen Learning Analytics en opbrengstgericht werken. In studiejaar 2014-2015 zal daarom een positionpaper geschreven worden waarin de uitgangspunten van beide beschreven worden en waarin ingegaan wordt op de wijze waarop beide gezamenlijk in de praktijk vorm kunnen krijgen binnen zowel ILS als de gehele faculteit Educatie van de Hogeschool van Arnhem en Nijmegen. Tot slot is de belangrijkste continuering van het project dat de docenten onderwijskunde de activiteiten die als gevolg van het project gestart zijn, zullen blijven uitvoeren en optimaliseren. De docenten zijn zich terdege bewust geworden van het belang van analyse van toetsen en toetsresultaten en hebben ervaren wat de meerwaarde is voor de kwaliteit van de toetsen, de aansluiting van de toets op het gegeven onderwijs en de kwaliteit van afzonderlijke toetsitems. Doordat de docenten onderwijskunde allen ook lesgeven binnen andere opleidingen van ILS, zullen de activiteiten komend studiejaar ook binnen deze opleidingen worden geïmplementeerd. Aanspreekpunt voor meer informatie over het project is Tamara van Schilt-Mol, bereikbaar via [email protected]. 10 SURF stimuleringsregeling Learning Analytics 2013 6. Overige opmerkingen De subsidieregeling bood ons de mogelijkheid om binnen de opleidingen en samen met de docenten dieper in te gaan op het belang en de noodzaak van Learning Analytics. Echter, naar onze mening was er daarbij wel sprake van een onevenredige verhouding tussen het subsidiebedrag en de subsidieverplichtingen: aanwezigheid bij de startbijeenkomst, de tussentijdse bijeenkomst en de eindbijeenkomst, het schrijven van een blog, en het schrijven van zowel een tussenrapportage als eindrapportage namen in ons project (doordat wij bij alle activiteiten uitdrukkelijk ook docenten van onderwijskunde wilden betrekken en mede vanwege de strakke voorgeschreven formats) relatief gezien (ten opzichte van de overige projectactiviteiten) erg veel tijd in beslag. Bovendien komen deze activiteiten allen ten laste van de cofinanciering. De uitwisseling tussen projecten hebben wij overigens als erg inspirerend ervaren. 11 SURF stimuleringsregeling Learning Analytics 2013 7. Kostenoverzicht Begroting In projectvoorstel (A) Gerealiseerde projectkosten In rapportage periode (B) Restant begroting (A)-(B) Materiele kosten wp2 400 0 0 Totaal materiele kosten 400 0 0 Personele kosten fase 1 2560 2560 0 fase 2 11.300 17600 -6300 fase 2 3.160 4440 -1280 wp1 1.880 4980 -3100 wp2 2.560 1880 680 21.460 31.460 -10.000 0 0 0 Totaal personele kosten Overige kosten Onvoorzien Totaal overige kosten 0 0 0 Totaal projectkosten 21.860 31.460 -10.000 Toelichting: - Voor de training zijn geen materiële kosten in rekening gemaakt. - In fase 2 hebben 10 docenten deelgenomen aan de training toetsconstructie. De uren die zij hieraan hebben besteed waren niet (geheel) opgenomen in de begroting. Daarnaast is extra interventiemateriaal ontwikkeld voor docenten voortgezet onderwijs en is meer tijd dan vooraf begroot besteed aan het samen met docenten interpreteren van de analyses en het op basis daarvan vaststellen van benodigde interventies. - In werkpakket 1 zijn aanzienlijk meer uren gemaakt dan vooraf begroot. Dit komt doordat de tijd die noodzakelijk was voor het bijwonen van bijeenkomsten en het schrijven van de tussen- en eindrapportage meer tijd in beslag namen dan vooraf ingeschat. - In werkpakket 2 zijn nog niet alle uren zoals vooraf begroot uitgevoerd. Oorzaak hiervoor is dat de presentatie van het project binnen ILS niet plaats kon vinden in studiejaar 20132014. Deze presentatie zal alsnog plaatsvinden in studiejaar 2014-2015. 12 SURF stimuleringsregeling Learning Analytics 2013 8. Bijlagen 8.1 Overzicht verzamelde analysegegevens Analysegegevens 2012-2013 Deeltentamen owk1a-1 owk1a-2 owk2a-1 owk2a-2 owk1b-1 owk2b-1 owk1b-2 owk2b-2 Afnamedatum P gem 6-112012 0,706 30-12013 0,688 30-12013 0,693 19-42013 0,629 28-62013 0,705 25-62013 0,688 9-72013 0,673 27-82013 0,656 P sd 0,166 0,187 0,208 0,204 0,181 0,177 0,158 0,165 Rit gem 0,254 0,265 0,256 0,225 0,291 0,288 0,250 0,267 Rit sd 0,082 0,099 0,087 0,127 0,118 0,114 0,129 0,122 Cronbach Alpha 0,578 0,565 0,583 0,503 0,712 0,692 0,617 0,651 Cijfer gem 6,434 5,921 6,196 5,471 6,215 6,112 5,794 5,797 Cijfer sd 3,796 3,590 3,597 3,815 4,628 4,502 4,458 4,586 Aantal vragen 35 32 33 38 37 36 40 38 Aanpassingen 14 1 12 5 2 6 1 2 n 427 71 218 56 241 216 70 53 Deeltentamen owk1a-1 owk1a-2 owk2a-1 owk2a-2 owk1b-1 owk2b-1 owk1b-2 owk2b-2 Afnamedatum 28-12014 0,642 29-12014 0,632 2-4-2014 0,621 23-62014 0,658 24-62014 0,593 2-72014 0,678 nnb P gem 5-112013 0,666 P sd 0,199 0,215 0,159 0,187 0,161 0,151 0,191 Rit gem 0,273 0,206 0,260 0,220 0,261 0,282 0,217 Rit sd 0,101 0,100 0,104 0,102 0,087 0,119 0,134 Cronbach Alpha 0,681 0,422 0,635 0,485 0,650 0,705 0,507 Cijfer gem 5,718 5,508 5,507 5,367 5,709 5,233 5,960 Cijfer sd 4,484 3,506 4,551 1,229 1,481 1,569 1,210 Aantal vragen 37 39 38 38 39 39 39 Aanpassingen 2 5 12 9 1 4 0 n 427 116 191 75 272 190 93 Analysegegevens 2013-2014 Tentamen P gem 0,706 P sd 0,166 Rit gem 0,254 Rit sd 0,082 Cronbach α 0,578 Cijfer gem 6,434 Cijfer sd 3,796 N vragen 35 Aanpassingen 14 n owk1a-1 Afnamedatum 6-11-2012 owk1a-2 30-1-2013 0,688 0,187 0,265 0,099 0,565 5,921 3,590 32 1 71 owk2a-1 30-1-2013 0,693 0,208 0,256 0,087 0,583 6,196 3,597 33 12 218 owk2a-2 19-4-2013 0,629 0,204 0,225 0,127 0,503 5,471 3,815 38 5 56 owk1b-1 28-6-2013 0,705 0,181 0,291 0,118 0,712 6,215 4,628 37 2 241 owk2b-1 25-6-2013 0,688 0,177 0,288 0,114 0,692 6,112 4,502 36 6 216 owk1b-2 9-7-2013 0,673 0,158 0,250 0,129 0,617 5,794 4,458 40 1 70 owk2b-2 27-8-2013 0,656 0,165 0,267 0,122 0,651 5,797 4,586 38 2 53 owk1a-1 5-11-2013 0,666 0,199 0,273 0,101 0,681 5,718 4,484 37 2 427 owk1a-2 28-1-2014 0,642 0,215 0,206 0,100 0,422 5,508 3,506 39 5 116 owk2a-1 29-1-2014 0,632 0,159 0,260 0,104 0,635 5,507 4,551 38 12 191 owk2a-2 2-4-2014 0,621 0,187 0,220 0,102 0,485 5,367 1,229 38 9 75 owk1b-1 23-6-2014 0,658 0,161 0,261 0,087 0,650 5,709 1,481 39 1 272 13 427 SURF stimuleringsregeling Learning Analytics 2013 owk2b-1 24-6-2014 0,593 0,151 0,282 0,119 0,705 5,233 1,569 39 4 190 owk1b-2 2-7-2014 0,678 0,191 0,217 0,134 0,507 5,960 1,210 39 0 93 owk2b-2 14 SURF stimuleringsregeling Learning Analytics 2013 8.2 Opbrengsten van de analyse van de resultaten van de toetsanalyse-bespreking door docenten In fase 1 hebben de onderzoekers een toetsanalyse-bespreking bijgewoond in het kader van het project Leren van Data. Centraal stond de toets ‘Deeltentamen kennistoets OWE Oriëntatie op lesgeven Onderwijskunde 1A OWK 1a-1’, gemaakt door drie docenten Onderwijskunde. Statistische analyse was ter voorbereiding uitgevoerd door de docenten. De onderzoekers hebben ter voorbereiding de toets, de analyses en achtergrondinformatie van de toets bestudeerd. Doel van de observatie was tweeledig: enerzijds werd bekeken hoe het proces van Learning Analytics momenteel verloopt, anderzijds werd nagegaan aan welk type interventies behoefte is in het kader van Leren van Data. Tijdens de observatie vielen de volgende positieve aspecten op: - Een van de betrokken docenten is bekwaam in het uitvoeren van de analyses. - De betrokken docenten zijn bekwaam in het interpreteren van de data. - Er worden inhoudelijke discussies gevoerd over de geschiktheid en betrouwbaarheid van vragen naar aanleiding van p-waarde en rit-waarde. - Er worden veelal inhoudelijke argumenten gebruikt om beslissingen te nemen ten aanzien van behouden of verwijderen vragen. - Statistische resultaten worden, gekoppeld aan inhoudelijke discussie, vooral benut om ‘van te leren’ (“de volgende keer moeten we …”). - Waar bekend en relevant wordt input van studenten betrokken bij de interpretatie van de resultaten. Daarnaast viel op dat: - Cronbach’s alfa vaak doorslaggevend is bij beslissingen over verwijderen vraag, ook als sprake is van een verhoging of verlaging van tienden of honderden. - Cronbach’s alfa feitelijk geen betrouwbare maat levert omdat niet 1 construct gemeten wordt. - Er geen gesprek gevoerd wordt over consequenties van verwijderen van vragen voor de opbouw van de toets (in termen van verdeling vragen over leerdoelen) en voor de cesuur. - Er, wanneer de p-waarde en rit-waarde goed lijken, regelmatig niet naar de afleiders gekeken wordt (soms zijn p en rit prima, maar geven de afleiders aanleiding om nog eens kritisch naar de vraag te kijken). - Er geen toetsmatrijs onder de toets lijkt te liggen (is zinvol vanwege aanpassen Cronbach’s alfa en vanwege inhoudelijke discussies over opbouw toets (aantal vragen per leerdoel/gewicht van leerdoelen, ook bij keuze om vragen te verwijderen)). - De conclusie van de interpretaties wordt genoteerd, er worden echter niet direct aanpassingen voorgesteld (indien volgend jaar andere docenten aan de slag gaan met de data, moeten zij opnieuw een inhoudelijke analyse uitvoeren). - Doel van analyse niet helemaal helder is (wat gebeurt er met de constateringen op de korte termijn, hoe worden de conclusies benut voor de herkansing). 15 SURF stimuleringsregeling Learning Analytics 2013 8.3 Beknopte beschrijven training toetsanalyse Training toetsanalyse Aanleiding: Er worden in het dagelijkse onderwijs heel veel toetsen afgenomen. Toetsanalyse achteraf beperkt zich vaak tot het bepalen van het gemiddelde aantal goed beantwoorde vragen en het gemiddeld behaalde cijfer. Er wordt nog niet op structurele basis gekeken naar de kwaliteit van de toets, in termen van bijvoorbeeld betrouwbaarheid en validiteit. Dit is jammer omdat de toets veel meer informatie te geven heeft. Zo kunnen de resultaten van toetsen gebruikt worden om op leerdoelniveau zicht te krijgen op de ontwikkeling van studenten, om zicht te krijgen op de aansluiting van het gegeven onderwijs en de toets en op de kwaliteit van afzonderlijke toetsvragen. In deze training staat daarom centraal op welke wijze docenten eenvoudig een toets kunnen analyseren en op welke wijze zij de resultaten van de toetsanalyse kunnen gebruiken. Concreet krijgen zij een instrument aangereikt om toetsanalyses uit te voeren en handvatten om de resultaten van de analyses te interpreteren/verwerken. Doelgroep: Docenten Inhoud in thema’s: Bijeenkomst 1: toetsmatrijs in deze bijeenkomst wordt ingegaan op de theoretische achtergronden en de noodzaak van het gebruik van toetsmatrijzen. Daarbij wordt stilgestaan bij de relatie van toetsmatrijzen bij leerdoelen, beoogd eindniveau, taxonomie van Bloom en RTTI. Bijeenkomst 2: toetsanalyse In deze bijeenkomst wordt ingegaan op de meerwaarde van het analyseren van toetsen. Aan bod komen theorie over toetsanalyse (waarin onder meer aandacht besteed wordt aan variabelen als Pwaarde, Rit-waarde, betrouwnbaarheid, validiteit, etc.) en een tool om zelf eenvoudig een toets te kunnen analyseren. Bijeenkomst 3: opbrengstgericht werken en toetsanalyse In deze bijeenkomst staat de interpretatie van de resultaten van een toetsanalyse centraal: wat zeggen de analyseresultaten en hoe kunnen deze gebruikt worden om de toetskwaliteit te verbeteren en om zicht te krijgen op de ontwikkeling van een student. Voorbereiding: Bijeenkomst 1: geen voorbereiding Bijeenkomst 2: toetsmatrijs ontwikkelen bij reeds afgenomen toets Bijeenkomst 3: uitvoeren toetsanalyse Vorm: Theorie bespreken, individuele opdrachten (ook ter voorbereiding op tweede en derde bijeenkomst) en groepsopdrachten Omvang: 3 bijeenkomsten van max. 3 uur Resultaat: Deelnemers hebben na afloop van de training zicht op de noodzaak en meerwaarde van het analyseren van toetsen en hebben handvatten aangereikt gekregen om zelf toetsen te analyseren. 16 SURF stimuleringsregeling Learning Analytics 2013 Aantal deelnemers: Min. 5 deelnemers en max. 20 deelnemers 17
© Copyright 2024 ExpyDoc
