Toetsing in het hoger onderwijs Percepties van studenten over toetsing in het hoger onderwijs Abstract Dit onderzoek brengt in beeld hoe studenten toetsing op hun instelling ervaren. Zijn zij tevreden over toetsing, frequentie en toetsvormen. Er is een enquête uitgezet (N= 363) en vervolgens is er met drie instellingen overlegd hoe zij toetskwaliteit waarborgen op hun instelling. Er is een onderscheid gemaakt per sector en per studiefase. Per sector variëren de resultaten op de verschillende onderdelen (algemeen, frequentie en toetsvormen). De sector aarde en milieu scoort op alle drie de gebieden het hoogst en studenten uit die sector zijn dus het meest tevreden. De resultaten van de overige sectoren verschillen per onderwerp, waarbij er niet een duidelijke rangorde aan te geven is. Per studiefase kan dit wel, waarbij de participanten die op dit moment een master volgen, beduidend tevredener zijn over toetsing. Na de masterstudenten volgen de bachelorstudenten en tot slot de propedeusestudenten. Er kan dus geconcludeerd worden dat studenten in de masterfase tevredener zijn over toetsing binnen hun instelling/opleiding. Uit het kwalitatieve onderzoek, de interviews met de instellingen, valt op dat, hoewel studenten tevreden lijken over de toetskwaliteit, instellingen verbetermogelijkheden zien op dit gebied. Hierbij worden vooral de rol van de examencommissies en het gebruik van toetsmatrijzen (een blauwdruk waarin eindtermen van een cursus gelinkt worden met de vragen uit een toets) steeds belangrijker geacht. Instellingen zouden daarom de toetsing in de master kunnen vergelijken met toetsing in de propedeuse en bachelor/hoofdfase. Dit zou een verdere verbetering kunnen betekenen binnen de propedeuse en bachelor/hoofdfase. Naast de tevredenheid over toetsing, kan vooral de nazorg een stuk beter. Studenten lijken geen gebruik te maken van inzagemomenten en opleidingen lijken te weinig de voordelen in te zien van de feedbackmogelijkheden. Opleidingen zouden inzagemomenten meer in het curriculum in kunnen bouwen, zodat het leermoment dat de inzage biedt beter benut wordt. Dit is een uitgave van Bureau ICE en het Onderzoeksbureau van de Landelijke Studenten Vakbond (LSVb). Voor vragen of extra informatie kan gemaild worden naar: [email protected] Auteurs: Marc Binsbergen, MSc Josephine Verstappen, BSc Merlijn van Selm Onderzoeksbureau LSVb Postbus 1335 3500 BH Utrecht Tel. 030-2316464 Bureau ICE, t.a.v. Marc Binsbergen Godfried Bomansstraat 4 4103 WR Culemborg Tel. 0345 - 65 66 10 Februari 2014 Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 2 Inhoudsopgave Abstract ....................................................................................................................................................1 Inleiding....................................................................................................................................................4 Tussen utopie en werkelijkheid ............................................................................................................5 Methoden ................................................................................................................................................7 Kwantitatief ..........................................................................................................................................7 Kwalitatief.......................................................................................................................................... 10 Resultaten ............................................................................................................................................. 11 Kwantitatief ....................................................................................................................................... 11 Kwalitatief.......................................................................................................................................... 16 Conclusie en discussie .......................................................................................................................... 16 Literatuurlijst ........................................................................................................................................ 19 Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 3 Inleiding Toetsen zijn een vast onderdeel van het leerproces. Enerzijds worden toetsresultaten gebruikt om te bepalen waar iemand zich bevindt in het leerproces en wat de volgende stap(pen) of leeractiviteiten zouden moeten zijn (formatief toetsen). Anderzijds worden toetsresultaten gebruikt om studenten “af te rekenen” en beslissingen te nemen over afsluiting en voortgang (summatief toetsen) (Garrison & Ehringhaus, 2007). De algemene stelregel is dat hoe zwaarwegender het besluit is dat op grond van een toetsresultaat genomen wordt, hoe beter de kwaliteit van de toets moet zijn (Van der Vleuten & Schuwirth, 2011). Dat betekent vooral dat een toets valide en betrouwbaar moet zijn, maar bruikbaarheid is zeker niet minder belangrijk. Essentieel is dat toetsen en het beoordelen passen bij het onderwijsconcept van een opleiding (Linn, 1990; Shepard, 2000) en dat een toetsuitslag een juiste uitspraak doet over het gemeten kennen en kunnen van studenten (Knight, 2002; van Berkel en Bax, 2002). Uit de enquête blijkt dat studenten kritisch kijken naar de kwaliteit, waarbij o.a. begrippen als transparantie, omgevingsfactoren, individueel versus groepswerk, academisch niveau, duur van de toetsing, aansluiting op de leerstof en fraudegevoeligheid de revue passeren. Voor studenten in het hoger onderwijs is het maken van een tentamen gedurende of aan het einde van een cursus welhaast een vanzelfsprekendheid. Studenten ervaren onmiddellijk de gevolgen van een toets (Mager & Nowak, 2012).Goede toetskwaliteit is derhalve essentieel. Minder vanzelfsprekend is de kwaliteit van de feedback die de studenten krijgen op de gedane inspanning. Een cijfer, een voldaan, een groepsevaluatie en of zelfs een persoonlijk reflectiegesprek, alles komt voor, maar ‘alleen’ de eerstgenoemde toch wel het meest. In de enquête geven studenten aan te vaak inhoudelijke en persoonlijke feedback te missen, er is veelal geen automatisme, maar soms zijn er mogelijkheden als de student daartoe actief stappen op onderneemt. Er is op dit moment, mede door de media aandacht, een focus op de kwaliteit van toetsen en examens (Bruijn et al., 2012). Diploma’s moeten aantoonbaar op de goede gronden verstrekt worden, het niveau van de afgestudeerden moet gewaarborgd zijn. De vraag rijst wat studenten zelf merken van de aandacht voor de kwaliteit van toetsing. Vinden zij dat er wat schort aan de kwaliteit? En zo ja, op welk gebied dan? De kwaliteit van toetsing wordt tenslotte ook bepaald door hoe betrokkenen de beoordelingsresultaten ervaren (Cluitmans & Klarus, 2005). Uit de enquête blijkt dat studenten een groot verschil ervaren in de kwaliteit tussen de verschillende studies, waarbij de door hen gegeven feedback over de toetskwaliteit te vaak door de opleidingen niet gebruikt wordt om de toetsing structureel te verbeteren. Van toetsen in het hoger onderwijs mag verwacht worden dat op de juiste wijze (toetsvorm) de juiste kennis en vaardigheden (toetsdoelen) getoetst worden. Tevens zou er optimaal gebruik gemaakt moeten worden van de mogelijkheid om aan de hand van de toetsresultaten studenten constructief feedback te geven om het leren verder te optimaliseren. Daarnaast biedt toetsen nog veel meer mogelijkheden die het leren Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 4 bevorderen. De activiteit zelf, het maken van een toets, in welke vorm dan ook, is per definitie een leeractiviteit. Sommige toetsvormen zijn zeer motiverend en activerend maar andere veel minder. Het bespreken van de resultaten kan de student verder inzicht in de materie en zijn/haar eigen kennis en vaardigheden geven, maar ook hier geldt dat de ene evaluatievorm veel motiverender en effectiever is dan de andere (Hattie & Timperley, 2007). Studenten geven aan in de enquête dat zij sommige toetsvormen niet als objectief beoordeelbaar te ervaren. Ook blijken de gebruikte toetsvormen erg af te hangen van de docent, wordt hij/zij vervangen dan wijzigt ook de toetsvorm. En multiple choice toetsen worden als on-academisch bestempeld. Het hoger onderwijs kenmerkt zich door het samenkomen van algemene academische vaardigheden en vakspecifieke vaardigheden. De verhouding verschilt enigszins tussen het hbo en het wo, maar in beide onderwijsvormen komen beide vaardigheden voor. Veelal kenmerkt een opleiding zich door het beginnen met een brede kennisbasis en een latere focus op zeer specialistische vak- en/of academische vaardigheden. De taxonomie van Bloom (1956) wordt vaak teruggevonden in de opbouw van een opleiding, beginnend met kennisreproductie en eindigend met kenniscreatie. Van het hoger onderwijs mag verwacht worden dat deze opbouw van cognitieve complexiteit niet alleen in de werkvormen in het onderwijs terug te vinden is maar dat deze opbouw ook herkenbaar is in de toetsing. Van multiple choice toets tot afstudeerscriptie dus. Tussen utopie en werkelijkheid De ervaring leert dat het waarom, wat en hoe van toetsen in het hoger onderwijs alle variatie vertoont die maar mogelijk denkbaar is. De primaire vraag bij een toets is waarom. Waarom wordt een toets afgenomen? Te vaak blijkt dat het uit gewoonte gebeurt of omdat er nou eenmaal een cijfer moet worden gegenereerd bij een cursus. Het nadenken over het waarom van het toetsen zou een expliciet onderwerp bij het ontwerpen van een cursus moeten zijn. Dat betekent namelijk dat er leerdoelen opgesteld worden én dat deze leerdoelen omgezet worden in toetsdoelen, oftewel dat de leerdoelen geconcretiseerd en meetbaar gemaakt worden. Vervolgens kan bepaald worden welke doelen aan het eind behaald moeten zijn, zodat de studiepunten die aan de cursus verbonden zijn en die eigenlijk alleen gebaseerd zijn op studietijd, ook een kwalitatieve lading meekrijgen. Daarnaast zijn er ook tussentijdse doelen. Hierop kunnen formatieve toetsen gebaseerd worden, zodat tijdens het leerproces aanpassingen door de docent en/of de student gedaan kunnen worden zodat de einddoelen haalbaar blijven dan wel worden. Essentieel onderdeel van een goede toets is de (educatieve) consequentie. Deze moet matchen met het waarom. Helaas zien we het nog al eens voorkomen dat een toets gegeven wordt over een deel van de collegestof, waarbij de docent stelt dat zonder de toets de stof niet door de studenten doorgenomen zou worden. In deze gevallen wordt de toets gebruikt als machtsmiddel om de student tot een bepaalde (nuttige) studieactiviteit te zetten. Echter in veel gevallen wordt het resultaat van een dergelijke toets verwerkt als onderdeel van het Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 5 wel of niet verkrijgen van studiepunten (dat is het machtsmiddel). Daarmee rijst de vraag of de consequentie (“slagen of niet” voor de cursus) past bij het waarom (studiebereidheid). Kenmerk van een dergelijke toets is namelijk over het algemeen dat deze hoofdzakelijk toetst (controleert) of de stof gelezen is en niet of deze kennis ook daadwerkelijk gebruikt kan worden, terwijl dat laatste meestal wel in de leerdoelen van de cursus staat. Naast het gegeven dat toetsen worden gebruikt als extrinsieke motivator, zien we ook dat het menig docent niet lukt om de leerdoelen meetbaar te maken met een bruikbaar meetinstrument (toetsvorm). En omdat de opleiding vervolgens vereist dat er cijfers opgeleverd moeten worden om de ECTS te kunnen toekennen, worden toetsvormen gebruikt die objectief ingezet kunnen worden en weliswaar een cijfer opleveren, maar geen goede representatie zijn van het meten van de leerdoelen op het juiste cognitief niveau. Deze discrepantie is veelal zichtbaar daar waar groepswerk als didactische werkvorm gebruikt wordt. In groepswerk kan het leren heel betekenisvol en rijk worden vormgegeven, het (objectief) beoordelen van het individu blijkt echter vervolgens heel lastig. Althans het beoordelen van de vereiste (academische) vaardigheden en niet alleen de reflectieve vaardigheden (middels een reflectief verslag). Naast het beoordelen van de in groepsvorm ontplooide vaardigheden, waarbij actieve deelname een prominent criterium is, wordt nogal eens een kennistoets aan het einde van de cursus gegeven om met een cijfer aan te kunnen geven dat de cursus behaald is en de studiepunten toegekend kunnen worden. In deze gevallen worden de einddoelen van de cursus ongetwijfeld getoetst, maar verhuld als formatieve toetsing in de didactische werkvormen. De kwalificerende toetsing is vervolgens vooral gerelateerd aan de lagere cognitieve vaardigheden (kennis en eventueel toepassen van kennis) en de uitslag is daarmee veel minder voorspellend voor studiesucces richting de opgestelde einddoelen van de cursus. Uit bovenstaande beschrijving blijkt al dat het wat en hoe moeten passen bij het waarom. Een oorzaak van de mismatch tussen deze elementen van toetsing is ongetwijfeld het studiepuntensysteem. Om een diploma in ontvangst te mogen nemen moeten er een bepaald aantal studiepunten behaald zijn. Deze studiepunten zijn feitelijk alleen gerelateerd aan studietijd (kwantiteit), maar worden gelukkig door het onderwijs wel altijd gerelateerd aan kwaliteit. In een effectieve curriculumopbouw moet het behalen van studiepunten tenslotte een goede voorspeller zijn voor het uiteindelijk behalen van het diploma. De verbinding aan kwaliteit is echter helaas niet altijd gerelateerd aan een efficiënte opbouw van het curriculum conform de einddoelen van de opleiding. Theoretisch zou zelfs gesteld kunnen worden dat ieder studiepunt alleen verkregen kan worden door toetsing op eindniveau, simpelweg omdat het totaal aan studiepunten recht geeft op diplomering. Door te stellen dat de kwaliteit van het afstudeerwerk het behalen van het eindniveau moet borgen wordt deze didactische paradox gelukkig ondermijnd. Leren is tenslotte een proces. Maar doordat gedurende de looptijd van een studie het verkrijgen van studiepunten niet automatisch gerelateerd is aan de einddoelen komt het voor dat “op oneigenlijke prestaties” Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 6 studiepunten worden toegekend. Met oneigenlijke prestatie wordt in dit geval bedoeld dat de prestatie niet goed weergeeft in welke mate de student zich richting het eindprofiel van de opleiding ontwikkeld heeft en dat de student ‘on track’ is. Het komt nog veelvuldig voor dat in het laatste deel van een opleiding cursussen worden afgesloten met kennistoetsen, terwijl deze toetsen op geen enkele wijze representatief zijn voor de in de einddoelen geformuleerde vereiste (academische) vaardigheden. Gelukkig zijn er ook voorbeelden van opleidingen waarin het waarom, wat en hoe van toetsing goed wordt uitgewerkt. Uit het waarom blijkt dan dat een student laat zien de doelen van de cursus behaald te hebben en uit het wat blijkt dat deze cursusdoelen gerelateerd zijn aan de einddoelen van de opleiding, waarbij er sprake is van een goede opbouw van cognitieve complexiteit in de cursusdoelen door het hele curriculum heen. Tevens worden de juiste toetsvormen ingezet waardoor er ook valide getoetst kan worden. Tenslotte zal in de ideale onderwijssetting ook voldoende aandacht besteed worden aan het bespreken van de toetsresultaten. Toetsen zetten aan tot leren, zowel in de voorbereiding erop als tijdens de toets zelf. Maar niet in de minste plaats ook achteraf, het feedbackmoment. Het is echter maar de vraag of hier optimaal gebruik gemaakt worden. In de logistieke vormgeving van de meeste cursussen wordt het kwalificerende toetsmoment aan het eind van de cursus geplaatst. Daardoor wordt er in ieder geval gedurende de cursus geen expliciete ruimte gecreëerd om actief de toetsresultaten te gebruiken om het leren te ondersteunen. Dit geldt natuurlijk voornamelijk voor de summatieve toetsing. Formatieve toetsing is er tenslotte op gericht om sturing te geven aan het leerproces en is functieloos als er geen gebruik gemaakt wordt van de feedbackmogelijkheden. Maar ook summatieve toetsing heeft een sterk formatief potentieel (Brookhart, 2001) . Wil dit potentieel echter geeffectueerd worden dan moet zowel logistiek als didactisch bij het ontwerpen van de cursus rekening gehouden worden met het actief geven van rijke feedback aan studenten. De vraag is dan niet of alleen inzage in een gemaakte toets de juiste keuze is, de vraag is veel meer welke doelen toetsing heeft naast het gelegitimeerd toekennen van studiepunten. Onderhavig onderzoek brengt in beeld of dit ideaalbeeld van toetsing in het hoger onderwijs herkend wordt door de studenten. Hoe ervaren zij de toetsen, worden de juiste toetsvormen gebruikt, wordt er vaak genoeg of misschien te vaak getoetst, krijgen ze feedback op het gemaakte werk en worden de toetsen gebruikt waarvoor ze bedoeld zijn? Methoden Het onderzoek naar toetskwaliteit is zowel kwantitatief als kwalitatief van aard. In deze paragraaf zullen beide methoden kort beschreven worden. Kwantitatief Er is gebruik gemaakt van een survey-onderzoek. Dit kenmerkt zich onder andere door de breedte van het onderzoeksonderwerp, een groot aantal onderzoekseenheden en een van te voren vastgelegde datagenerering (Doorewaard & Verschuren, 2007: p. 166). De data zijn Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 7 in dit onderzoek verzameld door middel van een online enquête. Hiervoor is een online studentenpanel, bestaande uit 6958 studenten, benaderd. De vragenlijst bestond uit gesloten vragen, die beantwoord konden worden door middel van een vijfpuntsschaal, met daarna ruimte voor opmerkingen. Door gebruik te maken van deze methoden zijn we in staat een breed overzicht te geven van meningen van studenten over toetskwaliteit en toetsfrequentie (Doorewaard & Verschuren, 2007: p. 172). In totaal hebben 439 studenten gereageerd op de enquête. Er zijn maatregelen ingesteld om herhaald invullen te voorkomen en zo de meest betrouwbare data te verzamelen. Uiteindelijk konden 363 participanten meegenomen worden in de analyse. De overige studenten merkten zichzelf aan als niet-student aan het hoger onderwijs (oud studenten of mbo-studenten bijvoorbeeld). We wilden graag een actueel overzicht geven en hebben daarom besloten oud-studenten buiten beschouwing te laten. Representativiteit Tabel 1. Representativiteit van de dataset Variabele Hoger onderwijs Ingeschrevenen WO - Aantal mannen - Aantal vrouwen Ingeschrevenen HBO - Aantal mannen - Aantal vrouwen Dataset Aantal Percentage van dataset 363 225 96 129 138 46 92 Percentage van type HO 62% 26.4% 35.6% 38% 12.7% 25.3% wo 42.7% 57.3% hbo 33.3% 66.7% Beschrijving dataset In het figuur hieronder is te zien op welk moment de student gestart is met zijn of haar huidige opleiding. De meeste studenten zijn gestart in 2009, gevolgd door de studenten van cohort 2012. Deze gegevens laten zien dat er geen studenten in de dataset zitten die op dit moment niet meer studeren. Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 8 Figuur 1. Beginjaren van studeren van de huidige studie In het onderstaande figuur worden de geboortejaren weergegeven van de studenten. Figuur 2. Geboortejaar In figuur 3 wordt de studiefase van de respondenten weergegeven. De groep die op dit moment een masteropleiding volgt is hierin oververtegenwoordigd in vergelijking met de gehele populatie studenten in het hoger onderwijs. Dit komt overeen met het feit dat de gemiddelde leeftijd van de student relatief hoog is. Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 9 Figuur 3. Studiefase In tabel 2 is weergegeven hoe de respondenten verdeeld zijn over de verschillende sectoren. Alle sectoren zijn vertegenwoordigd, waarbij de sectoren gedrag en maatschappij, gezondheid en techniek iets meer vertegenwoordigd worden in vergelijking met de gehele populatie studenten in het hoger onderwijs. Tabel 2. Studenten verdeeld over de verschillende sectoren Sector Aantal respondenten Aarde en milieu 16 Economie en bedrijf 26 Exact en informatica 36 Gedrag en maatschappij 61 Gezondheid 63 Kunst en cultuur 23 Onderwijs en opvoeding 23 Recht en bestuur 20 Taal en communicatie 27 Techniek 68 Kwalitatief Nadat de resultaten van de survey geanalyseerd waren, heeft een drietal interviews plaatsgevonden met instellingen om te kijken wat er op dit moment bij hen gedaan wordt aan het verbeteren van toetsing. Deze interviews zijn gedaan aan de hand van een topiclijst, welke gebaseerd is op de resultaten van de interviews en informatie over de instellingen. De interviews zijn genotuleerd en vervolgens geanalyseerd. Deze resultaten zijn gekoppeld aan resultaten die het kwantitatieve gedeelte gevonden zijn om zo conclusies te kunnen trekken. De participanten van dit onderzoek zijn een hogeschool en twee universiteiten. Deze zijn gekozen op basis van onderzoeksresultaten (gemiddeld lagere score of vreemde Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 10 opmerkingen van studenten) of op basis van positieve media-aandacht op deze instellingen, vanwege hun toetskwaliteit. Er is gekozen om het aantal participanten in het kwalitatief gedeelte beperkt te houden, omdat het uiteindelijke doel is om de mening van de student weer te geven. De instellingen zijn daarbij bevraagd om de mening van de studenten in perspectief te kunnen zien. Resultaten In onderstaand overzicht worden de kwantitatieve en kwalitatieve resultaten weergegeven. Er wordt hier enkel aandacht besteedt aan de meest opvallende resultaten. Kwantitatief Algemeen oordeel Op de vraag of studenten over het algemeen tevreden waren over de toetsing op hun instelling, gaf 59.8 % aan tevreden of zeer tevreden te zijn over de kwaliteit, waarbij daarnaast 24,2 % aangaf neutraal tegenover de kwaliteit van toetsing te staan op hun instelling (M = 3.4, SD = .86). Dit houdt in dat de studenten over het algemeen tevreden zijn over de kwaliteit van hun toetsing. Algemeen oordeel per sector Er is vervolgens gekeken hoe de tevredenheid per sector verdeeld is. De gemiddeldes over de verschillende sectoren zijn hoog en variëren tussen M = 3.75 en M = 3.29. Tabel 3. Algemeen oordeel per sector – volgorde van score Sector Aarde en milieu Exact en informatica Economie en bedrijf Kunst en cultuur Taal en communicatie Techniek Recht en bestuur Onderwijs en opvoeding Gedrag en maatschappij Gezondheid M 3.75 3.72 3.65 3.60 3.56 3.53 3.40 3.35 3.30 3.29 SD .58 .88 .75 .95 .89 .80 1.05 .65 .82 .96 Min 1 1 1 1 1 1 1 1 1 1 Max 5 5 5 5 5 5 5 5 5 5 N 16 36 26 23 27 68 20 23 61 63 Algemeen oordeel per studiefase Er is ook gekeken naar de verschillende studiefases waarin de respondenten zich bevinden. Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 11 Tabel 4. Algemeen oordeel per studiefase – volgorde van score Studiefase Master Bachelor / hoofdfase Propedeuse M 3.6 3.35 3.2 SD .79 .89 1.05 Min 1 1 1 Max 5 5 5 N 192 155 16 Frequentie van toetsing Er is aan de respondenten gevraagd wat zij van de frequentie van toetsing vonden (Wat vind je van de frequentie van toetsing?). Van de respondenten geeft 69.4% aan dit goed tot zeer goed te vinden en 24% staat hier neutraal tegenover (M= 3.67, SD= .67). Frequentie van toetsing per sector Er is vervolgens gekeken hoe de tevredenheid per sector verdeeld is. Tabel 5. Frequentie van toetsing per sector – volgorde van score Sector Aarde en milieu Taal en communicatie Gedrag en maatschappij Exact en informatica Gezondheid Techniek Economie en bedrijf Recht en bestuur Kunst en cultuur Onderwijs en opvoeding M 3.97 3.93 3.70 3.67 3.67 3.66 3.65 3.55 3.43 3.43 SD .44 .62 .56 .72 .67 .61 .84 .83 .79 .66 Min 1 1 1 1 1 1 1 1 1 1 Max 5 5 5 5 5 5 5 5 5 5 N 16 27 61 36 63 68 26 20 23 68 Frequentie van toetsing per studiefase Naast de verschillende sectoren is ook gekeken naar wat studenten van de frequentie van toetsing vinden binnen de verschillende studiefases. Tabel 6. Frequentie van toetsing per studiefase – volgorde van score Studiefase Master Bachelor / hoofdfase Propedeuse M 3.76 3.57 3.50 SD .62 .70 .82 Min 1 1 1 Max 5 5 5 Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond N 192 155 16 12 Tevredenheid toetsvormen Er is aan de respondenten gevraagd wat zij van de vormen van toetsing vonden (Wat vind je van de toetsvormen op jouw instelling?). Van de respondenten geeft 59% aan dit goed tot zeer goed te vinden en 27% staat hier neutraal tegenover (M= 3.49, SD= .84). Tevredenheid toetsvormen per sector Er is daarnaast gekeken hoe de tevredenheid over toetsvormen per sector verdeeld is. Tabel 7. Tevredenheid toetsvormen per sector – volgorde van score Sector Aarde en milieu Recht en bestuur Exact en informatica Techniek Kunst en cultuur Economie en bedrijf Taal en communicatie Onderwijs en opvoeding Gedrag en maatschappij Gezondheid M 3.75 3.75 3.75 3.66 3.65 3.50 3.48 3.35 3.28 3.22 SD .45 .72 .94 .66 .89 .86 .89 .78 .80 .98 Min 1 1 1 1 1 1 1 1 1 1 Max 5 5 5 5 5 5 5 5 5 5 N 16 20 36 68 23 23 27 23 61 63 Tevredenheid toetsvormen per studiefase Er is ook gekeken naar de tevredenheid over toetsvormen binnen de verschillende studiefases. Tabel 8. Tevredenheid toetsvormen per studiefase – volgorde van score Studiefase Master Bachelor / hoofdfase Propedeuse M 3.55 3.44 3.31 SD .83 .82 1.08 Min 1 1 1 Max 5 5 5 N 192 155 16 Frequentie toetsvormen In tabel 3 is weergeven wat de meest voorkomende toetsvorm is volgens de participanten binnen hun opleiding. Opvallend is het grote aantal dat aangeeft dat de toetsvorm open vragen het meest voorkomt binnen de opleiding. Het lage aantal dat aangeeft gebruik te maken van fysieke producten, kan veroorzaakt zijn doordat in verschillende sectoren fysieke eindproducten niet gebruikt worden. Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 13 Tabel 3. Frequenties van toetsvormen Frequentie Multiple Choice 77 Percentage van dataset Percentage van toetsvorm Percentage van studiefase 21.2 - Propedeuse 4 5.2 25 - Bachelor / hoofdfase 39 50.7 25.2 - Master 34 44.2 17.7 Open vragen 192 52.9 - Propedeuse 8 4 50 - Bachelor / hoofdfase 84 43.8 54.2 - Master 100 52.1 52.1 Paper / Essay 36 9.9 - Propedeuse 2 5.6 12.5 - Bachelor / hoofdfase 6 16.7 3.9 - Master 28 77.8 14.6 Presentatie 8 2.2 - Propedeuse - - - Bachelor / hoofdfase 2 25 1.3 - Master 6 75 3.1 Mondeling 4 1.1 - Propedeuse - - - Bachelor / hoofdfase 2 50 1.3 - Master 2 50 1 Fysiek eindproduct 8 2.2 - Propedeuse - - - Bachelor / hoofdfase 6 66.7 3.9 - Master 2 33.3 1 Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 14 Onderzoeksrapport / Verslag / Scriptie 38 10.5 - Propedeuse 2 5.3 12.5 - Bachelor / hoofdfase 16 42.1 10.3 - Master 20 52.6 10.4 Inzagemomenten in tentamens Studenten beantwoorden op de vraag wat er wordt gedaan met toetsresultaten vaak dat dit nooit of weinig gebeurt (zie tabel 4). Dit kan twee redenen hebben, enerzijds dat zij de mogelijkheid niet krijgen vanuit de opleiding / instelling en anderzijds omdat zij geen gebruik maken van de mogelijkheid om hun tentamen in te zien. Het is wettelijk vastgelegd dat studenten recht hebben om hun toets in te zien (WHW 7.13, sub q, lid 2). Uit de opmerkingen die studenten plaatsten bij de open vragen, blijkt dat een aantal studenten voornamelijk kritiek hebben op het terugkrijgen van de cijfers van tentamens. Veel studenten geven aan dat docenten te lang doen over het nakijken. In de OER wordt een nakijktermijn vastgesteld en op die manier wordt bepaald hoe lang docenten over het nakijken mogen doen. Echter geven studenten aan dat docenten soms zelfs langer dan de nakijktermijn zoals deze is vastgesteld. Het is nadelig voor studenten om geen gebruik te maken van deze inzagemomenten, omdat studenten wel hiervan kunnen leren (Hattie & Timperley, 2007). Op dit moment zijn de inzagemomenten vaak cijfermatig, studenten willen van een 5.4 een 5.6 maken, maar het leereffect is hier verdwenen. Uit tabel 4 blijkt ook dat met de toetsresultaten er meestal een inzagemoment zonder verder commentaar georganiseerd wordt en studenten geen feedback krijgen of het in college nogmaals besproken wordt. Zulke inzagemomenten kennen bij voorbaat geen leereffect voor studenten, omdat zij niet de ruimte geven om te leren van hun fouten. Het is daarom aan instellingen om inzagemomenten zinvoller te maken voor studenten, door deze te verwerken in het curriculum. In ieder geval zouden inzagemomenten de studenten ruimte moeten geven om feedback te krijgen en te bespreken met hun docent. Op deze manier kunnen studenten actiever betrokken worden en kunnen zij (meer) leren van de fouten. Tabel 4. Wat wordt er met de toetsresultaten gedaan? Persoonlijk besproken Klassikaal (in college) besproken Schriftelijke feedback Nooit 148 149 Weinig 169 132 Regelmatig 34 61 Vaak 19 22 Zeer vaak 6 12 150 119 61 30 16 Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 15 ontvangen Inzage zonder verder commentaar 50 103 119 64 40 Opmerkingen vanuit de respondenten Er zijn naast de gesloten vragen ook twee open vragen gesteld aan de participanten, waarin zij toelichting kunnen geven op hun mening over toetsing. In deze open vragen komt als algemene tendens terug dat studenten redelijk tevreden zijn over toetsing binnen hun instelling. Echter, zoals hierboven aangegeven, hebben studenten voornamelijk kritiek op nakijktermijn van docenten (zie inzagemoment van tentamens). Kwalitatief Naar aanleiding van de resultaten van de vragenlijst, is met drie hoger onderwijsinstellingen gesproken om te kijken wat vanuit instellingen op dit moment gedaan wordt aan het verbeteren van toetskwaliteit. Alle drie de instellingen geven aan dat zij op dit moment veel bezig zijn met de kwaliteit van toetsing. Zij geven aan dat dit veelal is naar aanleiding van verscherpt toezicht van de NVAO op toetsing, of door de verscherpte regels van de regering naar aanleiding van de situatie omtrent InHolland. Zo wordt de rol van de examencommissie duidelijker in kaart gebracht en worden zij ook steeds vaker betrokken bij de kwaliteit van toetsing. Daarnaast wordt er ook steeds vaker gebruik gemaakt van toetsmatrijzen, waarbij elke eindterm van een opleiding gekoppeld wordt aan de cursus en op die manier aan een vorm van toetsing. Hierdoor krijgen instellingen een duidelijker beeld van welke toevoeging de verschillende toetsen hebben aan wat de student uiteindelijk moet kunnen. Daarnaast kan de instelling ook kijken of er vaardigheden of kennis niet getoetst wordt. Er is ook gesproken over de inzagemomenten die georganiseerd worden door de opleidingen. Uit de interviews blijkt dat studenten hier weinig gebruik van maken en inderdaad meestal komen om van hun 5.4 een 5.6 te maken, zodat zij het vak alsnog halen. Verder geeft een aantal studenten aan dat er niets gedaan wordt met de toetsresultaten. 60 studenten geven aan dat dit zeer vaak voorkomt, 72 studenten geven aan dat dit vaak voorkomt, 71 studenten geven aan dat dit regelmatig voorkomt, 71 studenten geven aan dat dit weinig voorkomt en 102 studenten geven aan dat dit nooit voorkomt. Conclusie en discussie In dit verkennende onderzoek is geprobeerd een algemeen beeld weer te geven van de mening van studenten over toetsing binnen hun instelling. Concluderend kan er gezegd worden dat studenten redelijk tevreden zijn over de kwaliteit van toetsing binnen hun instelling, waarbij studenten voornamelijk tevreden zijn over de toetsfrequentie (M= 3.67, SD= .67), gevolgd door toetsvormen (M=3.49, SD= .84) en tot slot het algemene oordeel (M= 3.4, SD= .86) op een vijfpuntsschaal. Hierbij is het opvallend dat Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 16 het algemene oordeel dat studenten over toetsing hebben, lager is dan wanneer detailgericht naar onderdelen van toetsing wordt vraagt. Per sector variëren de resultaten op de verschillende onderdelen ‘algemeen oordeel’, ‘toetsvormen’ en ‘toetsfrequentie’. De sector aarde en milieu scoort op alle drie de onderdelen het hoogst. Daarna is geen duidelijke rangorde aan te geven, sectoren scoren verschillend op de verschillende onderdelen. Per studiefase is er wel een duidelijke rangorde aan te geven, waarbij de participanten die op dit moment een master volgen, beduidend tevredener zijn over toetsing. Na de masterstudenten volgen de bachelorstudenten en tot slot de propedeusestudenten. Dit geldt voor alle drie de onderdelen. Er kan dus geconcludeerd worden dat studenten in de masterfase tevredener zijn over toetsing binnen hun instelling / opleiding. Uit het kwalitatieve onderzoek, de interviews met de instellingen, valt op dat, hoewel studenten tevreden lijken over de toetskwaliteit, instellingen nog verbeteringen zien op dit gebied. Hierbij worden vooral de rol van de examencommissies en het gebruik van toetsmatrijzen steeds belangrijker geacht. Zowel uit het kwantitatieve als het kwalitatieve onderzoek blijkt dus dat studenten tevreden zijn over de toetskwaliteit. Echter, de nazorg van tentamens kan wel nog een stuk beter. Enerzijds zouden studenten meer naar inzagemomenten kunnen gaan, omdat zij hier veel van kunnen leren en dit niet alleen is om je cijfer te veranderen. Daarnaast zouden instellingen meer kunnen doen met deze inzagemomenten door deze bijvoorbeeld meer in te bouwen in het curriculum. Studenten kunnen op deze manier meer leren van het tentamen dat zij gemaakt hebben, in plaats van dat het tentamen alleen als afsluiting van de cursus gezien wordt. Beperkingen van het onderzoek De uitvoering van dit onderzoek kent enkele beperkingen. Doordat er veel masterstudenten mee hebben gedaan in de vragenlijst, kan het zijn dat de algemene tevredenheid van studenten wat hoger uit gevallen is. Dit blijkt ook uit de hogere score van masterstudenten op alle drie de gebieden. Daarnaast is het aantal studenten dat de vragenlijst heeft ingevuld wat aan de lage kant om te kunnen generaliseren naar de volledige studentenpopulatie, maar dit geld voornamelijk voor de verschillen tussen sectoren. Aanbevelingen voor de praktijk In het algemeen lijken studenten tevreden over de toetskwaliteit binnen hun instelling. De algemene gemiddeldes zijn hoog en de verschillen tussen de verschillende sectoren zijn klein. Echter zijn er twee duidelijke aanbevelingen te noemen: 1) Studenten in de masterfase lijken tevredener over de toetskwaliteit op hun opleiding. Toetsvormen lijken binnen de master beter aan te sluiten bij de cursus en de studenten lijken tevredener over de feedback. Hieruit blijkt dat feedback Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 17 belangrijk is voor studenten en dit zou doorgevoerd moeten worden binnen de bachelor / hoofdfase en propedeuse. Instellingen zouden daarom de toetsing binnen de master kunnen vergelijken met de toetsing binnen de propedeuse / hoofdfase / bachelor. Er kan gekeken worden naar wat het verschil is tussen de manier van toetsen en de feedback om op die manier de toetsing binnen de bachelor / hoofdfase / propedeuse te verbeteren. 2) De inzagemomenten van de cursussen kunnen verbeterd worden. Het is zonde dat studenten op dit moment geen gebruik maken van de inzagemomenten, omdat zij hier een belangrijk leermoment missen. Op dit moment zijn inzagemomenten cijfermatig, studenten willen van een 5,4 een 5,6 maken. Echter kan het voor alle studenten zinvol te zijn om hun toetsen in te zien, om op die manier te leren van de fouten die zij gemaakt hebben en dit mee te nemen naar het volgende tentamen dat zij maken. Het is immers belangrijk dat als studenten afstuderen, zij weten waar nog eventuele verbeteringen liggen. Het is aan studenten om dus meer gebruik te maken van de inzagemomenten, maar het is aan instellingen om deze inzagemomenten te verbeteren. Op dit moment wordt voornamelijk gebruik gemaakt van inzagemomenten, zonder dat de student verdere feedback krijgt. Op deze manier verdwijnt het leereffect bij voorbaat al en hebben studenten weinig aan de inzagemomenten. Als instellingen de inzagemomenten verder verbeteren door deze bijvoorbeeld op te nemen in het curriculum, of studenten ruimte geven om tijdens inzagemomenten feedback te ontvangen en te bespreken met de docent, kunnen studenten meer leren van het tentamen. Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 18 Literatuurlijst Bloom, B.S. (Ed.), Engelhart, M.D., Furst, E.J., Hill, W.H., & Krathwohl, D.R. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook 1: Cognitive domain. New York: David McKay. Brookhart, S. M. (2001). Successful students‘ formative and summative uses of assessment information. Assessment in Education, 8(2), 153-69. Cluitmans, J. & Klarus, R. (2005). Competentiebeoordeling: een pleidooi voor congruentie. Tijdschrift voor Hoger Onderwijs, 23 (4), 221-238. Commissie Bruijn (2012). Vreemde ogen dwingen. Eindrapport Commissie externe validering examenkwaliteit hoger beroepsonderwijs. Den Haag: HBO-raad. Doorewaard, H. & Verschuren, P. (2007). Het ontwerpen van een onderzoek. Den Haag: Boom Lemma Uitgevers Garrison, C. & Ehringhaus, M. (2007) Formative and summative assessments in the classroom. Gedownload van http://www.amle.org/Publications/WebExclusive/Assessment/tabid/1120/Default. spx Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112. Knight, P.T. (2002). Summative Assessment in higher education: practices in disarray. Studies in higher education, 27 (3), 275 – 286. Linn, R.L. (1990). Admissions testing: Recommended uses, validity, differential prediction, and coaching. Applied measurement in Education, 3 (4), 297-318. Mager, U., & Nowak, P. (2012). Effects of student participation in decision making at school. A systematic review and synthesis of empirical research. Educational Research Review, 7, 38-61. Shepard, L.A. (2000). The role of assessment in a learning culture. Educational Researcher, 29 (7), 4-14. Van Berkel, H., & Bax, A. (2002). Toetsen in het hoger onderwijs. Houten: BohnStafleu van Loghum. Van der Vleuten, C.P.M., & Schuwirth, L.W.T. (2011). Een model voor programmatische toetsing. Examens, 3, 5-9. Toetskwaliteit in het hoger onderwijs | Bureau ICE & Landelijke Studenten Vakbond 19
© Copyright 2024 ExpyDoc
