ONDERWIJS OP KOERS VU-BREED KADER TOETSBELEID VU-BREED KADER TOETSBELEID 1 INHOUD INLEIDING3 TOETSBELEID5 1. VISIE OP TOETSING 1.1 1.2 1.3 1.4 1.5 9 Waarom toetsen? Wat toetsen? Hoe toetsen? Wanneer toetsen? Wie toetst? 10 12 12 13 15 2. HET TOETSPROCES 17 3. KWALITEITSBORGING VAN TOETSINGTOETSBELEID ALS CYCLISCH PROCES 29 2.1 Kwaliteitseisen aan formatieve toetsing en feedback 2.2 Kwaliteitseisen aan toetsing als meetinstrument 2.3 Kwaliteitseisen aan toetsing als waarderingsinstrument 2.4 Kwaliteitseisen rond toetsafname 3.1 Toetsbeleid als cyclisch proces 3.2 Kwaliteitsborging van toetsing in de Plan-fase 3.3 Kwaliteitsborging van toetsing in de Do-fase 3.4 Kwaliteitsborging van toetsing in de Check-fase 3.5 Kwaliteitsborging van toetsing in de Act-fase 17 17 22 25 29 30 32 32 33 REFERENTIES34 NASLAGLITERATUUR35 BIJLAGEN Bijlage 1: Wettelijke voorschriften m.b.t. borging kwaliteit tentamens37 Bijlage 2: Checklist voor vraagconstructie 39 Bijlage 3: Tips voor het inrichten van een mondelinge toets 40 Bijlage 4: De cesuurbepaling 41 Bijlage 5: Overzicht kwaliteitseisen Toetsbeleid VU 45 2 ONDERWIJS OP KOERS INLEIDING De manier waarop in het onderwijs getoetst wordt, en de momenten waarop dat gebeurt, hebben grote invloed op het leerproces van studenten. Men kan de toetsing dan ook niet los zien van het onderwijs als zodanig. Toetsen worden onderscheiden naar hun formatieve en summatieve functie. Summatief toetsen is primair gericht op selectie: voldoet de student wel of niet aan de eisen; mag deze student afstuderen, of door naar een volgende trede in het onderwijs programma? Formatief toetsen heeft vooral een diagnostische functie; doel is studenten informatie te geven over hun leerproces en hen te helpen gerichter te studeren. Daarnaast geven formatieve toetsen de docent informatie over de vorderingen van de studenten, zodat het onderwijs zo nodig tussentijds kan worden aangepast. Een adequate (summatieve) toetsing garan deert dat studenten die met een diploma de VU verlaten over het juiste academische niveau beschikken. Daarnaast heeft de mate waarin de toetsing valide, transparant en betrouwbaar is gevolgen voor het individuele studiesucces van studenten en voor het studierendement van opleidingen. Een adequate toetsing is derhalve voor studenten, voor het afnemend werkveld en voor de VU van erg groot belang. Dat de kwaliteit van de toetsing deel uitmaakt van de interne en externe kwaliteitszorg is dan ook terecht. In het hoger onderwijs gaat de meeste aandacht naar de summatieve kant van toetsen. Dat is begrijpelijk, omdat die samenhangt met het gerealiseerde eindniveau van de opleiding. Tegelijk is het van belang de formatieve functie goed te benutten, onder meer vanwege het positieve effect van formatief toetsen op de studievoortgang. De aandacht voor toetskwaliteit en toets beleid wordt ingegeven door een aantal belangrijke landelijke wijzigingen. In de eerste plaats is de WHW gewijzigd (onder de naam ‘Versterking Besturing’), waarmee Examencommissies uitdrukkelijker verant woordelijk zijn gemaakt voor de bewaking van de kwaliteit van de toetsing. In de tweede plaats is het nieuwe accreditatiekader van de NVAO ingegaan (zie bijlage 1 voor de wette lijke voorschriften, inclusief wijzigingen in het NVAO-kader). In de beperkte opleidings beoordeling die hiervan deel uit maakt is ‘Toetsing en gerealiseerde eindkwalificaties’ één van de drie standaarden. Op deze stan daard moet men een voldoende scoren om accreditatie te behouden. De verwachting is dat visitatiecommissies bij de beperkte opleidingsbeoordeling nog meer dan voor heen zullen gaan kijken naar de kwaliteit van toetsen en beoordelen/examineren. In het kader van de instellingstoets zal de VU daarnaast moeten aantonen dat zij een gedegen toetsbeleid voert. Voor de VU is dit een gelegenheid om de visie op toetsen uit te schrijven door de bundeling van relevante passages in bestaande documenten, door het formuleren van noodzakelijke aanvullingen hierop en door het expliciteren van vaak impliciet bestaande goede praktijken. Veel van wat dit document bevat is dan ook niet nieuw, maar wordt herbevestigd. Waar nodig werden verduidelijkingen en aanvul lingen geformuleerd en verantwoordelijk heden op transparante wijze toegewezen. Dit VU-brede kader voor het toetsbeleid is tot stand gekomen in de projectgroep Toetsbeleid, bestaande uit: Nellie Harms (onderwijsdirecteur FALW), Rune Meerman VU-BREED KADER TOETSBELEID 3 (beleidsmedewerker FEWEB), Margreet Onrust (Examencommissie Faculteit Letteren), John Stins (Examencommissie FBW), Hester Glasbeek (BUD/BKO Onderwijscentrum/FPP), Silvester Draaijer (ICT&O Onderwijscentrum/UBVU), Marlies van Beek (toetsdeskundige/ projectsecretaris, Onderwijscentrum/DSZ) en Johanna de Groot (projectleider, Onderwijscentrum/DSZ). Het College van Bestuur heeft het Toetsbeleid, onder voorbehoud van instem ming door de GV, vastgesteld op 15 mei 2012. Vervolgens is deze definitieve versie van het Toetsbeleid tot stand gekomen in samen spraak met de commissie Onderwijs & Onderzoek van de Gezamenlijke Vergadering (GV), waarna de GV met het Toetsbeleid heeft ingestemd (d.d. 8 februari 2013). 4 ONDERWIJS OP KOERS TOETSBELEID WAAROM EEN TOETSBELEID? Gezien het belang van toetsing voor alle partijen die bij het onderwijs betrokken zijn, is het noodzakelijk dat op zowel instellingsfaculteits- als opleidingsniveau keuzes worden gemaakt over de plaats van de toet sing binnen het onderwijs. Een inzichtelijke beschrijving van de manier waarop men, in lijn met de onderwijsvisie, de toetsing inzet voor diagnose, feedback en kwalificatie, en een duidelijke toewijzing van verantwoorde lijkheden met betrekking tot de toetsing, geeft docenten en studenten houvast en levert een positieve bijdrage aan de kwaliteit van het onderwijs. WAT IS EEN TOETSBELEID? Een toetsbeleid bestaat uit een visie op de plaats van toetsing in het onderwijs. Het toetsbeleid verduidelijkt hoe formatieve en summatieve toetsen bijdragen aan de onder wijsvisie van de instelling. Een belangrijk aspect van het toetsbeleid is een samenhan gend geheel van kwaliteitszorg waarin maat regelen en voorzieningen zijn getroffen om de kwaliteit van de toetsing te bewaken en te bevorderen. Het toetsbeleid veronderstelt en bevordert een cultuur waarin alle facetten van de toetsing bespreekbaar zijn, en waarbij alle relevante partijen een rol spelen in de kwaliteitszorg: de instelling, de faculteiten en opleidingen, de examencommissies, de docenten en het ondersteunend personeel, en de studenten. Wanneer het hier beschreven toetsbeleid is geïmplementeerd in de faculteiten en de opleidingen van de VU, zijn de volgende resultaten behaald: • De instelling kan aangeven op welke wijze het toetsbeleid bijdraagt aan de visie op onderwijskwaliteit die zij heeft. Daarnaast is duidelijk welke regels binnen de VU gesteld worden aan het proces van toetsen, aan de kwaliteit van de toetsen en hoe de VU die kwaliteit borgt door een adequaat systeem van kwaliteitszorg rond de toetsing. De VU is hiermee voorbereid op de instellingstoets; • Opleidingsdirecteuren, opleidingscom missies en examencommissies krijgen meer zicht en invloed op de kwaliteit van de toetsen, op hun eigen rol in de borging van die kwaliteit en op de benodigde archi vering en documentatie op het gebied van toetsen. Opleidingen zijn voorbereid op een beperkte opleidingsbeoordeling in het kader van visitatie en accreditatie; • Docenten krijgen een duidelijk kader waarbinnen zij hun toets construeren en afnemen. Zij worden door het (facultaire of opleidings)toetsbeleid ondersteund bij het maken van goede toetsen en het komen tot juiste beoordelingen van studenten. Ook weten docenten welk bewijsmateriaal zij bij de examen- of toetscommissie dienen aan te leveren als daarom verzocht wordt; • Studenten worden goed en tijdig geïnfor meerd over de toetsing, de toetsen sluiten aan bij de doelstellingen van de cursussen en er is een evenwicht in toetsvormen over de opleiding heen die past bij de visie op het onderwijs die de opleiding heeft. Studenten krijgen de garantie dat zij bij het behalen van hun bachelor- of master diploma de eindtermen van de opleiding behaald hebben. UITGANGSPUNTEN VOOR HET TOETSBELEID Bij het uitwerken van het toetsbeleid zijn de volgende uitgangspunten van belang geweest: VU-BREED KADER TOETSBELEID 5 • Het is noodzakelijk om de gang van zaken rond de toetsing explicieter te beschrijven op alle niveaus, die van de instelling, de faculteit, de opleiding en de cursussen. Deze beschrijving neemt de vorm aan van concrete regels op het gebied van de wijze van toetsen, de kwaliteit van toetsen en de manier waarop die kwaliteit gecontroleerd en verbeterd wordt. • Toetsing is een essentieel onderdeel van het leerproces en is onlosmakelijk verbonden met de inhoud van het onderwijs. Dit betekent dat de beoordeling van de student, de beslissingen die daarover moeten worden genomen en de feedback die studenten ontvangen, worden bekeken in het licht van de leerdoelen van de cursus, c.q. de eindtermen van de opleiding. • Toetsing is in de praktijk de taak van de examinator of het docententeam (formeel is de examinator aangewezen door de examencommissie). De leden van het team zijn de inhoudsdeskundigen en dragen de directe verantwoordelijkheid voor de toetsing. OPBOUW DOCUMENT/ LEESWIJZER 1. Visie op toetsing Dit deel geeft een algemene universiteits brede visie op toetsing weer. De visie is geëxpliciteerd als antwoord op vijf basisvragen met betrekking tot toetsing, namelijk: waarom, wat, hoe, wanneer en wie? 2. Het toetsproces In dit deel wordt ingezoomd op de eisen die aan formatieve en summatieve toetsing worden gesteld. 3. Kwaliteitsborging van toetsing Het laatste deel richt zich op de kwaliteits borging van toetsing. Dit gaat om het geheel van maatregelen die moeten zorgen dat de kwaliteitseisen zullen worden vervuld. De kwaliteitsborging 6 ONDERWIJS OP KOERS wordt beschreven in de vorm van de PDCA-cyclus (Plan, Do, Check, Act-cyclus) op instellings- faculteits- opleidings- en cursusniveau. TERMINOLOGIE Opleidingsmanagement: degene die, gemachtigd door het faculteitsbestuur, verantwoordelijk is voor het onderwijs binnen een bepaalde opleiding (of deel van een opleiding). Per faculteit worden hiervoor verschillende organisatievormen gebruikt. Gebruikelijke functies waarin deze taken zijn belegd zijn ‘opleidingscoördinator’, ‘opleidingsdirecteur’ of ‘bachelor- of mastercoördinator’. De faculteit dient in haar facultair reglement vast te stellen welke taken bij welke functies berusten, wat uiteraard ook geldt voor de taken die in dit toetsbeleid worden belegd bij ‘het opleidings management’. Cursus: onderwijsonderdeel (zoals bedoeld in de Wet) Toets: in dit document worden hiermee alle verschillende vormen die een toets kan aannemen aangeduid: een multiple choice tentamen, een tentamen bestaande uit open vragen, een mondeling tentamen, een presentatie die beoordeeld wordt, een verslag of werkstuk dat beoordeeld wordt, een practicum dat beoordeeld wordt, een thesis of stage die beoordeeld wordt, etc. Toetsplan: het toetsbeleid van de opleiding, gebaseerd op de eindtermen van de opleiding, de onderwijsvisie van de opleiding en het kader dat het facultaire en het instellings toetsbeleid biedt. Het toetsplan omvat in concreto een overzicht van de cursussen van de opleiding (op te nemen in de studiegids dan wel de bijlage bij de Onderwijs- en Examen regeling (OER)) met daarbij per cursus de volgende informatie over de toetsing: • het type (deel)toets(en); • het gewicht van de eventuele deeltoetsen of subonderdelen van de toets in het eindcijfer van de cursus; • de mogelijkheid om de resultaten van deeltoetsen of subonderdelen van de toets (gedeeltelijk) met elkaar te compenseren, met andere woorden: welke deeltoetsen of subonderdelen van de toets moeten voldoende zijn of een minimale score hebben. Indien volledige compensatie geldt betekent dit dat er geen ondergrens geldt voor het resultaat van een deeltoets of sub-onderdeel van de toets, maar dat alleen het gemiddeld eindcijfer voldoende moet zijn; • het gebruik van formatieve toetsen en de manier en termijn waarop studenten feed back op de formatieve toetsen ontvangen. Toetsmatrijs: Een belangrijk hulpmiddel om ervoor te zorgen dat een toets de geleerde stof goed weerspiegelt en de beoogde beheersingsniveaus meet, is de specificatie tabel (toetsmatrijs). In deze tabel zijn de inhoud van de te toetsen leerstof en het beheersingsniveau tegen elkaar afgezet. De tabel kan zowel gebruikt worden bij het samenstellen van de toets als bij de controle of de eenmaal samengestelde toets evenwichtig is (zie voor verdere toelichting paragraaf 2.2.1 Validiteit). van Examencommissies is een handreiking aan examencommissies. Vanwege het belang van uniformiteit in de werkwijze binnen de VU, wordt aansluiting bij deze modellen sterk aanbevolen. De resultaten die beoogd worden met dit nieuwe VU-brede kader voor het toetsbeleid kunnen alleen bereikt worden als docenten, examencommissieleden en/of andere betrok kenen in staat gesteld worden om aan de minimale eisen en richtlijnen te voldoen. Het is goed denkbaar dat hiervoor aanpassingen nodig zijn in formaties voor specifieke taken. Immers, om aan de minimale eisen van het hier geformuleerde toetsbeleid te kunnen voldoen is voldoende kennis en formatie nodig om dit praktisch uit te voeren. Het faculteitsbestuur is ervoor verantwoordelijk om, in samenspraak met de examencommissie(s), de juiste randvoorwaarden te creëren voor de uitvoering van het toets beleid. CONTEXT EN RANDVOORWAARDEN De in dit kader voor het toetsbeleid geformu leerde randvoorwaarden zullen de basis vormen voor het facultaire toetsbeleid en het toetsbeleid (en/of het toetsplan) per oplei ding. Daarnaast worden de randvoorwaarden in dit kader, indien van toepassing, vertaald in de model-OERen (voor de bachelor en voor de master) en het model voor de Regels en Richtlijnen van Examencommissies. De model-OERen zijn een handreiking aan faculteiten, het model Regels en Richtlijnen VU-BREED KADER TOETSBELEID 7 HOOFDSTUK 1 VISIE OP TOETSING 8 ONDERWIJS OP KOERS Toetsing is onlosmakelijk verbonden met het onderwijs. Hierdoor is ook de visie op toetsing verbonden met de visie die de VU heeft op haar onderwijs. Hieronder volgen enkele belangrijke passages die een beeld geven van de visie van de VU op haar onderwijs en op de toetsing. In het Instellingsplan 2011-2015 is de vol gende ambitie voor het bacheloronderwijs geformuleerd: De VU wil een intensief en uitdagend studie klimaat creëren, met uitdagend onderwijs waarbij de verwachting is dat iedere student elk jaar alle cursussen haalt. Aanstaande studenten worden in de studievoorlichting al op deze ambitie gewezen. De VU verwacht van haar studenten dat zij de potentie en de ambitie hebben om een sprong te maken in hun ontwik keling, een grote inzet en betrokkenheid bij de studie en een actieve studiehouding. De Programmacommissie Undergraduate heeft op grond hiervan de Richtlijn Bachelor onderwijs opgesteld. De volgende passages hieruit zijn relevant voor de visie op toetsing binnen de instelling: 1. Onderwijsprogramma De bacheloropleidingen zijn zo ingericht dat de actieve participatie van studenten en (der halve) hun studiesucces bevorderd worden; a. Hiertoe worden activerende onderwijs vormen gebruikt die bewezen effectief zijn. b. Biedt een opleiding minimaal 12 contact uren per week (voor het eerste jaar van de bacheloropleiding: minimaal 14 contact uren per week). c. Omvat een studiepunt in totaal 28 uur aan contacturen en zelfstudie. d. Zijn vakken ingedeeld in drie niveaus: inleidend (100), verdiepend (200) en gevorderd (300). e. En is de toetsing van de student afgerond bij het einde van het vak. 2. Toetsing en beoordeling in vakken a. De bacheloropleiding voldoet aan het VU-toetsbeleid, waarvan in ieder geval onderstaande bepalingen deel uitmaken. b. De resultaten worden binnen tien werkdagen na het afnemen van een toets bekend gemaakt. c. Er wordt zo frequent en vroegtijdig mogelijk getoetst. Hiertoe wordt tijdig gedurende de onderwijsperiode een diagnostische toets afgenomen, op grond waarvan de docent de vorderingen van de student evalueert en aan hem of haar kenbaar maakt. Daarnaast wordt elk vak afgerond met een laatste deeltoets. Per vak wordt het gewicht van de deeltoetsen vooraf bepaald. Op basis daarvan wordt de eindbeoordeling vastgesteld. d. Indien de student voldaan heeft aan de inspanningen zoals vermeld in de vakbeschrijving, dan wordt hij, bij een onvoldoende eindbeoordeling, éénmaal in de gelegenheid gesteld om op een door de docent/examinator te bepalen wijze, alsnog een voldoende te halen. e. Maatregelen die getroffen worden bij fraude worden conform de modelbepaling van het College van Bestuur opgenomen in de Regels en Richtlijnen van de Examencommissie. De verdere uitwerking van de visie op toet sing krijgt vorm aan de hand van antwoorden op de vijf basisvragen met betrekking tot toetsing: waarom, wat, hoe, wanneer en wie. VU-BREED KADER TOETSBELEID 9 1.1 WAAROM TOETSEN? In algemene zin zijn er drie belangrijke func ties van toetsen, namelijk het diagnosticeren van het ingangsniveau (voorafgaand aan de cursus, een vorm van formatief toetsen), het geven van feedback aan de studenten over hun bereikte en niet-bereikte doelstellingen, zodat zij hun leerproces kunnen bijsturen (formatief toetsen) en het beoordelen in welke mate studenten de leerdoelen hebben bereikt (summatief toetsen). 1.1.1 Summatieve toetsing Bij summatief toetsen wordt nagegaan in welke mate de studenten de vooropgestelde doelstellingen hebben bereikt (meetinstru ment) en wordt op basis daarvan een oordeel geformuleerd (waarderingsinstrument). Een goede summatieve toetsing biedt de garantie dat de afgestudeerden de eind termen van de opleiding beheersen. Een cruciale voorwaarde hierbij zijn duidelijke leerdoelen (bij cursussen) en eindtermen (bij opleidingen). Kwaliteitseis 1: Het opleidings management is verantwoordelijk voor een duidelijke formulering van de eindtermen van de opleiding en waarborgt dat de eindtermen van de opleiding als geheel worden gedekt door de toetsen die worden afgenomen. De eindtermen vormen een uitwerking van het inhoudelijke deel van de opleidingsvisie. Het zijn meer in detail de eindkwalificaties die iedere afgestudeerde van de opleiding moet bezitten. In de eindtermen ligt vast op welke gebieden en op welk niveau een student na afronding van de opleiding inhoudelijke ken nis bezit, maar ook over welke vaardigheden hij moet beschikken, met welke methoden en 10 ONDERWIJS OP KOERS technieken hij bekend is en op welk niveau hij onderzoek moet kunnen opzetten, uitvoeren en presenteren (zie voor nadere informatie hierover het Hoofdstuk Programma van het Handboek Onderwijskwaliteit en de website van de NVAO). Kwaliteitseis 2: De docenten formuleren de leerdoelen van de cursussen adequaat, en stemmen deze af op de eindtermen en op de overige cursussen in het programma. Het opleidingsmanagement ziet toe op de samenhang en de opbouw van het programma en derhalve ook op de afstemming van leerdoelen op de eindtermen van het programma. De eindtermen van de opleiding moeten uitgewerkt zijn in concrete en toetsbare leerdoelen. Goed geformuleerde leerdoelen bevatten minimaal twee componenten: een inhoudscomponent (dit geeft aan waarover de student iets moet leren) en een gedrags component (dit geeft expliciet aan wat de student met de inhoud moet kunnen doen, bovendien is het gedrag dat de student moet kunnen vertonen beschreven in observeer bare activiteiten). Daarnaast kan een leerdoel een conditiecomponent bevatten (deze com ponent geeft aan onder welke condities het gedrag van de student getoond mag of moet worden, bijvoorbeeld ‘met gebruikmaking van het handboek’ of ‘aan de hand van een eigen voorbeeld’) (zie voor nadere informatie hierover het Hoofdstuk Programma van het Handboek Onderwijskwaliteit). 1.1.2 Formatieve toetsing Formatieve toetsing is van groot belang om studenten te activeren. Bij een formatieve toets krijgen studenten (meestal) geen cijfer, maar informatie over de mate waarin hun werk beantwoordt aan de criteria en over het gewenste vervolg. Regelmatig formatief toetsen leidt tot minder uitstelgedrag. Met name voor het ontwikkelen van academi sche vaardigheden en kritisch denken blijkt het krijgen en het (leren) geven van goede feedback een van de beste manieren te zijn om beoordelingscriteria te doorgronden en te internaliseren (zie o.a. Hattie & Timperley, 2007). Wanneer studenten zelf leren begrij pen aan welke maatstaven een academische prestatie moet voldoen, zullen ze gaandeweg beter op hun eigen werk kunnen reflecteren en minder afhankelijk worden van de feed back van de docent. praktijk blijken weinig effect te sorteren. Het is van groot belang dat de docent dergelijke toetsen goed verweeft in het onderwijs. De docent moet ze een duidelijke plaats in het totale onderwijsprogramma geven, de docent moet het belang ervan benadrukken en de docent moet de toetsen voor- en nabespre ken tijdens bijeenkomsten. Door regelmatig formatieve toetsen af te nemen en de resulta ten te analyseren krijgt de docent beter inzicht in de voortgang van studenten en de onderwerpen die als moeilijk worden ervaren. De docent kan hierop besluiten om de lesstof te herhalen of op een andere wijze aan te bieden. Formatieve toetsen kunnen ook een belang rijk doel dienen voor het ondersteunen van het regelmatiger studeren en het eigen maken van basiskennis. Dergelijke toetsen kunnen verschillende vormen aannemen en kunnen vaak op digitale wijze worden aange boden. Met name valt hier te denken aan quizzes en oefentoetsen op basis van juist/onjuist vragen, multiple choice vragen of andere gesloten vraagvormen. Bij digitale afname van deze toetsen is het mogelijk om studen ten intensief en regelmatig vragen te laten beantwoorden met relatief weinig beslag op ruimte en middelen. Studenten kunnen thuis deze toetsen maken. De docent kan goed monitoren wat de studenten doen (participa tie, scores). Voor meer informatie over effecten van com binaties van summatief en formatief toetsen op onderwijsprestaties zie Gibbs (2010). Veel moderne studieboeken zijn gekoppeld aan websites waarop studenten allerlei opdrachten kunnen doen of vragen kunnen beantwoorden, waarop zij via de website automatisch feedback krijgen. Het wordt sterk aangeraden aan opleidingen om studieboeken met dergelijk interactief oefen materiaal te selecteren voor hun onderwijs. Het simpelweg klaarzetten van dergelijke toetsen voor studenten zal overigens in de De docent kan door middel van een ingangs toets een goed beeld krijgen van de voor kennis van de studenten in de cursus. Een ingangstoets kan verschillende doelen hebben. In de eerste plaats kan een ingangs toets voorkennis activeren en hiaten in die voorkennis identificeren. Deze informatie kan gebruikt worden om studenten door middel van zelfstudie hun achterstand in voorkennis te laten inhalen of om tijdens de cursus 1.1.3 Ingangstoetsen Het wordt voor studenten steeds meer mogelijk om cursussen bij andere opleidin gen, faculteiten of instellingen te volgen. Ook zal het beleid van de VU om het onderwijs efficiënter in te richten er toe leiden dat het vaker voorkomt dat studenten van verschil lende opleidingen gezamenlijk één cursus volgen. In de masterfase neemt diversiteit in de instroom toe doordat via transparante toe latingseisen studenten van binnen en buiten de instelling kunnen instromen. Deze situatie betekent dat voorkennis niet altijd meer als bekend kan worden verondersteld. VU-BREED KADER TOETSBELEID 11 remediërend onderwijs aan te bieden (bijspij kertrajecten). Het digitaal aanbieden van extra stof en oefentoetsen kan een efficiënte werkwijze zijn om studenten in staat te stellen de ontbrekende voorkennis bij te spijkeren. In de tweede plaats kan een ingangstoets gebruikt worden om te ontdek ken op welke capaciteiten en interesses de docent kan voortbouwen in de cursus. Tot slot kunnen op grond van ingangstoetsen studen ten met uiteenlopende expertises aan elkaar gekoppeld worden (bijvoorbeeld bij het indelen van groepen). 1.2 WAT TOETSEN? Deze vraag dwingt ons om na te denken over de essentie. Hierbij gaat het om de inhoud van toetsen. De (summatieve) toets bepaalt of de studenten de leerdoelen van de cursus vol doende beheersen. De docent, of het docen tenteam heeft dan ook de taak te zorgen voor een duidelijke relatie tussen de leerdoelen van de cursus en de opzet van de toets en de toetsvragen. Kwaliteitseis 3: De toets dient representatief te zijn voor alle door de docent belangrijk geachte onderwerpen in de stof. De toets betreft de kern van de stof en bestrijkt daarmee de leerdoelen. Van belang hierbij is dat leerdoelen die betrekking hebben op bepaalde vaardighe den, zoals ook de vaardigheden die worden aangeleerd in de academische kern en die in cursussen elder in het curriculum terugko men, voldoende aan bod komen in de toet sing. Herhaalde en adequate toetsing van vaardigheden gedurende het curriculum waarborgt het behalen van de eindtermen die de opleiding op dit punt geformuleerd heeft. 12 ONDERWIJS OP KOERS Kwaliteitseis 12: Voor het oefenen en verwerven van vaardigheden zoals het schrijven van papers, het houden van presentaties en relevante ICT-vaardigheden, heeft het opleidingsmanagement het vereiste niveau (of niveaus voor verschillende opleidingsjaren) en daarbij passende beoordelingscriteria beschreven. Deze worden bij alle vakken van de opleiding toegepast en zijn bekend bij de studenten van de opleiding. Het opleidingsmanagement stelt vast in welke vakken de vaardigheden worden geoefend. Kwaliteitseis 13: De beoordelings criteria voor de stage en thesis worden geoperationaliseerd in een beoordelingsschema. Bij voorkeur zijn deze beoordelingscriteria ook al eerder in de opleiding aan de orde geweest. In de stage- of thesishandleiding is vastgelegd hoe en op welke momenten de beoordeling plaatsvindt. 1.3 HOE TOETSEN? Bij het ‘hoe’ van toetsing gaat het vooral om de keuze voor een bepaalde toetsvorm. Dit is een gedeelde verantwoordelijkheid van de docent/het docententeam en het opleidings management. Het is van groot belang dat de toetsvorm aansluit bij de leerdoelen, bij het niveau van de cursus of het cursusonderdeel en bij de onderwijsvorm. Dit dient dan ook het uitgangspunt te zijn bij de keuze van de toets vorm. Tevens kunnen ook het effect van de toetsvorm op het studeergedrag van de student, de kwaliteitseisen en praktischorganisatorische elementen zoals de grootte van de studentengroep, de onderwijsvorm en de kosten/efficiёntie de keuze van de toets mede bepalen. Er mag bij deze keuze niet alleen worden uit gegaan van de cursus/ het cursusonderdeel op zich, maar er dient ook een evenwicht in toetsvormen over de gehele opleiding te worden nagestreefd. Een weloverwogen samenstelling van toetsvormen is noodzake lijk om recht te doen aan de verschillende vormen van kennis, vaardigheden en attitu des die van belang zijn binnen een opleiding of binnen de toekomstige beroepsuitoefening. Het opleidingsmanagement is verantwoorde lijk om over dit evenwicht te waken. Kwaliteitseis 4: Het opleidings management waakt over een evenwicht in toetsvormen over de gehele opleiding om recht te doen aan de verschillende vormen van kennis, vaardigheden en attitudes die van belang zijn binnen een opleiding of binnen de toekomstige beroepsuitoefening. 1.4 WANNEER TOETSEN? Kwaliteitseis 5: In cursussen behorende tot de bacheloropleiding wordt zo frequent en vroegtijdig mogelijk getoetst. Hiertoe wordt tijdig gedurende de onderwijsperiode een diagnostische toets afgenomen, op grond waarvan de docent de vorderingen van de student evalueert en aan hem of haar kenbaar maakt (de diagnostische toets kan formatief of summatief zijn). Daarnaast wordt elk vak afgerond met een laatste deeltoets. Per vak wordt het gewicht van de deeltoetsen vooraf bepaald. Op basis daarvan wordt de eindbeoordeling vastgesteld. Om er voor te zorgen dat studenten het stu deren niet uitstellen tot de laatste week voor het tentamen, wordt in cursussen van de bacheloropleidingen een diagnostische toets afgenomen. Deze diagnostische toets kan een formatief of een summatief karakter hebben. Van belang is dat de diagnostische toets tijdig gedurende de onderwijsperiode (bij voorkeur uiterlijk halverwege het vak) plaatsvindt, en dat de resultaten ervan snel beschikbaar zijn, zodat de student inzicht krijgt in zijn of haar prestaties en in het door de examinator gewenste niveau van beheersing van de stof. Deze feedback dient door de student benut te kunnen worden voor het eventueel aanpas sen van zijn of haar studiegedrag en voor een goede voorbereiding op de summatieve toets aan het einde van de cursus (zie ook 1.1.2 Formatieve toetsing). 1.4.1 Compensatie bij deeltoetsen Naast deeltoetsen over de theorie kunnen uiteraard ook andere toetsvormen voorko men waarmee subonderdelen van de cursus worden getoetst, bijvoorbeeld een verslag of een presentatie. Per cursus wordt het gewicht van de summatieve deeltoetsen en de subonderdelen vooraf bepaald. Op basis daarvan wordt de eindbeoordeling vast gesteld. De toetsing moet afgerond zijn bij het einde van de cursus, het is dus niet mogelijk om werkstukken en dergelijke te laten inleveren na het einde van de cursus. Kwaliteitseis 6: De toetsing van de student is afgerond bij het einde van de cursus. VU-BREED KADER TOETSBELEID 13 Tabel 1: weging en compensatie bij deeltoetsen Toets wanneer type toets weging compensatie Deeltoets 1: theorie eerste 2 EC halverwege multiple choice 35% met deeltoets 2 Deeltoets 2: theorie laatste 2 EC aan het einde multiple choice 35% met deeltoets 1 Verslag over literatuuronderzoek aan het einde verslag 30% moet voldoende zijn In tabel 1 is een voorbeeld gegeven van de weging en de compensatie bij een cursus van 6 EC die uit theorie bestaat (4 EC, verdeeld over twee deeltoetsen van elk 2 EC) en waar bij een verslag moet worden geschreven dat een weerslag vormt van een literatuur onderzoek (2 EC). Of summatieve deeltoetsen elkaar deels of volledig mogen compenseren is afhankelijk van de leerdoelen die door de deeltoetsen worden bestreken. In het geval dat de theorie wordt opgeknipt in twee delen die elk in een deeltoets worden getoetst (zoals in boven staand voorbeeld), ligt het voor de hand dat de deeltoetsen elkaar volledig mogen com penseren. Indien de deeltoetsen betrekking hebben op leerdoelen die sterk van elkaar verschillen en ook aan verschillende eind termen van de opleiding gerelateerd zijn, kan men beter geen volledige compensatie toe staan (bijvoorbeeld een theorie-deeltoets die betrekking heeft op kennis-eindtermen en een deeltoets die bestaat uit het verzorgen van een presentatie of het maken van een verslag of werkstuk, die gerelateerd is aan eindtermen op het gebied van academische vaardigheden). De achtergrond hiervan is dat het geheel aan toetsen binnen de opleiding moet garanderen dat studenten in voldoende mate aan álle eindtermen voldoen als zij hun afsluitende examen behalen. De examinator beslist over het al dan niet toestaan van compensatie tussen deeltoetsen van de cursus. Uiteraard handelt de examinator hierbij in overeenstemming met het toetsplan van de opleiding, waarin ook bepalingen over compensatie kunnen zijn opgenomen. Dit laatste is van belang om te voorkomen dat 14 ONDERWIJS OP KOERS elke afzonderlijke cursus eigen (complexe) constructies maakt met betrekking tot compensatiemogelijkheden, en te bewaken dat er een bepaalde lijn zit in de opleiding als geheel, die duidelijk is voor studenten. 1.4.2 Herkansingen Er is onderwijskundige evidentie waaruit blijkt dat een toename van het aantal herkan singen aanleiding geeft tot uitstelgedrag van studenten, terwijl daarnaast ten onrechte de indruk wordt gewekt dat de voorbereiding op en deelname aan een toets eigenlijk een soort trial-and-error aangelegenheid is (zie voor meer informatie Van der Drift & Vos (1987) en Jansen (1996)). Daar komt bij dat de samenstelling en/of correctie van een toets een tijdrovende aangelegenheid is, vanwege de hoge kwaliteitseisen die er aan worden gesteld. Kwaliteitseis 7: Indien de student voldaan heeft aan de inspanningen zoals vermeld in de vakbeschrijving, dan wordt hij, bij een onvoldoende eindbeoordeling, éénmaal in de gelegenheid gesteld om op een door de docent / examinator te bepalen wijze, alsnog een voldoende te halen. Herkansingen noodzakelijk vanwege persoonlijke omstandigheden die de student hebben verhinderd het tentamen af te leggen (ziekte, calamiteiten, etc.) vallen onder de hardheids clausule. In geval van deeltoetsen en subonderdelen in de toetsing zijn hieronder twee scenario’s uitgewerkt hoe men kan omgaan met herkansingen wanneer sprake is van deeltoetsen. Meer scenario’s zijn mogelijk, de onderstaande voorbeelden dienen ter illustratie. Scenario A: herkansingen bij deeltoetsen die elkaar volledig compenseren Als deeltoetsen over de theorie elkaar volle dig mogen compenseren en het gemiddelde eindcijfer is onvoldoende, dan is aan te beve len studenten één herkansingsmogelijkheid te bieden over de hele theorie (van deeltoets 1 en 2 samen). Deeltoetsen worden in dit geval niet apart herkanst. Het idee hierachter is dat studenten beloond worden voor het bij blijven tijdens de cursus door de theorie in kleinere delen te toetsen. Omdat zij een vol doende gemiddeld moeten scoren zullen ze voor alle deeltoetsen serieus studeren. De herkansing is namelijk een onaantrekkelijk alternatief: de hele stof moet herkanst wor den, dus ook het deel dat zij in een deeltoets wellicht al wel voldoende beheersten. Het alternatief, namelijk het bieden van herkan singen per deeltoets, heeft als nadeel dat studenten het er op aan kunnen laten komen of ze net wel of net niet een voldoende halen. Bijvoorbeeld als een student op deeltoets 1 een 7 scoort, kan deze student besluiten om wat minder tijd te steken in deeltoets 2, omdat een 5 voldoende is om gemiddeld een 6 te halen voor het vak. Eén herkansing over de hele stof maakt dat studenten deze gok minder gemakkelijk zullen nemen, en dus dat zij meer geneigd zijn om serieus te studeren voor élke deeltoets (Wilbrink, 1995). Daarnaast is een nadeel van het apart her kansen van deeltoetsen dat de stof soms van jaar tot jaar iets wordt herverdeeld over deeltoetsen, waardoor men een ingewikkeld systeem moet bijhouden van het type deel toets dat de student al wel heeft gehaald en het type deeltoets dat nog moet worden herkanst. Scenario B: herkansingen bij deeltoetsen of subonderdelen die elkaar niet mogen compenseren Deeltoetsen die elkaar niet mogen compen seren omdat ze verschillende leerdoelen beslaan, en betrekking hebben op verschil lende eindtermen, worden apart herkanst (bijvoorbeeld een tentamen over de theorie en een verslag over een literatuuronderzoek). Idealiter zijn de toetsdata bekend voor aan vang van het semester en kan de student rekening houden met de toetsdata bij de samenstelling van het studieprogramma. 1.5 WIE TOETST? De examinator, die daartoe aangewezen is door de Examencommissie, is eindverant woordelijke voor de toetsing. Kwaliteitseis 8: De examinator is eindverantwoordelijke voor de toetsing. Examinatoren voeren regie op eventuele onderdelen van toetsen die door collega-docenten aangeleverd worden, en voeren de kwaliteits controle op de gehele toets uit. Bij het gebruik van peer-review systemen, waarbij studenten elkaars werk beoordelen, blijft de examinator altijd de verantwoorde lijkheid houden voor de eindbeoordeling. Als studenten elkaar beoordelen mag dit dus alleen een diagnostische functie hebben en geen selectieve. Peer-review systemen worden om die reden voornamelijk ingezet als formatief toetsinstrument. VU-BREED KADER TOETSBELEID 15 HOOFDSTUK 2 HET TOETSPROCES 16 ONDERWIJS OP KOERS Dit onderdeel heeft als doel inzicht te geven in de eisen die aan toetsing worden gesteld. Achtereenvolgens wordt stilgestaan bij de kwaliteitseisen die worden gesteld aan formatieve en aan summatieve toetsing. 2.1 KWALITEITSEISEN AAN FORMATIEVE TOETSING EN FEEDBACK Studenten worden gedurende de cursus regelmatig formatief getoetst. Naar aanleiding van een formatieve toets krijgen studenten enige vorm van feedback. Dat kan individuele of plenaire feedback zijn van de docent, of feedback van een of meer peers. Essentieel is dat de feedback tijdig wordt gegeven, en voor geschreven tussenproduc ten is snelheid belangrijker dan degelijkheid of precisie (beter ‘quick and dirty’ dan ‘slow but precise’ (Gibbs, 2010). Kwaliteitseis 9: De formatieve toets en de feedback daarop zijn expliciet gekoppeld aan de beoordelingscriteria die gelden voor het halen van (onderdelen van) de cursus. De feedback helpt studenten hun eigen vorderingen te beoordelen en te bepalen hoe ze het beste verder kunnen studeren (Waar ga ik heen/ waaraan moet ik voldoen? Hoe vorder ik? Wat is mijn volgende stap?). 2.2 KWALITEITSEISEN AAN TOETSING ALS MEETINSTRUMENT Een toets als meetinstrument- om na te gaan in welke mate de student de doelstellingen heeft bereikt- kan alleen bruikbare informa tie opleveren als aan enkele kwaliteitseisen wordt voldaan. Een goed meetinstrument zorgt ervoor dat studenten niet ten onrechte zakken of slagen, maar ook dat studenten een reëel beeld krijgen van het resultaat van hun leerproces. Kwaliteitseis 10: Bij de toetsconstructie wordt uitgegaan van de belangrijkste kwaliteitseisen: de toets moet valide, betrouwbaar, transparant, bruikbaar en vergelijkbaar zijn. 2.2.1 Validiteit Een valide toets is een toets die meet wat men beoogt te meten, zowel wat betreft de leerinhouden (inhoudsvaliditeit) als wat betreft de vaardigheden die van de studenten verwacht worden (inzicht hebben, toepassen e.d.) (begripsvaliditeit). Het opleidingsma nagement waarborgt dat de eindtermen van de opleiding als geheel worden gedekt door de toetsen die worden afgenomen (met behulp van het toetsplan), de examencom missie ziet hierop toe. Tevens moet de cur suscoördinator/examinator waarborgen dat de toets de leerdoelen van de cursus dekt. Essentieel is dat de toets onderscheid maakt tussen studenten die de stof beheersen en studenten voor wie dat niet (in voldoende mate) geldt. De opgaven zijn zo gesteld dat de kans het grootst is dat studenten die de stof beheersen deze opgaven ook goed beant woorden. De vragen moeten betrekking heb ben op de leerstof, niet op algemene kennis die studenten wel of niet (toevallig!) kunnen hebben. De toets hoort representatief te zijn voor alle door de docent belangrijk geachte onderwerpen in de stof. Hierbij mag college stof, die alleen mondeling in een college aan de orde is gesteld, niet worden getoetst, omdat het bijwonen van hoorcolleges niet verplicht is. Hierbij moet gedacht worden aan voorbeelden of casussen die expliciet in het college zijn behandeld, maar die geen deel uitmaken van de tentamenstof. In het tenta men zou men in zo’n geval de vragen beter kunnen baseren op een ander voorbeeld of VU-BREED KADER TOETSBELEID 17 Tabel 2: Voorbeeld van een toetsmatrijs Onderwerpen Kennisvragen Begripsvragen Toepassings vragen Totaal Onderwerp/Leerdoel 1 5% 5% 20% 30% Onderwerp/Leerdoel 2 10% - 15% 25% Onderwerp/Leerdoel 3 10% 10% - 20% Onderwerp/Leerdoel 4 10% 5% 10% 25% Totaal 35% 20% 45% 100% een andere casus, omdat men de toepassing van kennis in een voorbeeldsituatie wil toet sen (en niet of studenten die bij het college waren het specifieke gegeven voorbeeld goed onthouden hebben). Over sheets van het college, die opgegeven zijn als schriftelijk studiemateriaal/tentamenstof en die voor alle studenten toegankelijk zijn (via Blackboard) mogen wel vragen worden gesteld. Een belangrijk hulpmiddel om ervoor te zorgen dat een toets de geleerde stof goed weerspiegelt en de beoogde beheersings niveaus meet, is de specificatietabel (toets matrijs). In deze tabel zijn de inhoud van de te toetsen leerstof en het beheersingsniveau tegen elkaar afgezet. De tabel kan zowel gebruikt worden bij het samenstellen van de toets als bij de controle of de eenmaal samengestelde toets evenwichtig is. 2.2.2 Betrouwbaarheid Betrouwbaarheid is de mate waarin de toets nauwkeurig en consistent meet. Iedere toets is een momentopname en kent in principe foutenbronnen die het resultaat beïnvloeden. De uitkomsten moeten ‘waar’ zijn, dat wil zeggen zo min mogelijk beïnvloed zijn door toevalsfactoren (bv. door misleidende vraag vorm, door type- of spelfouten, door taal fouten, door een gedeelte van de toets in het Nederlands en een gedeelte in het Engels op te stellen, etc.). Deze foutenbronnen dienen zoveel mogelijk onder controle te worden gehouden om een adequaat oordeel te kun nen uitspreken. Twee belangrijke factoren bij 18 ONDERWIJS OP KOERS betrouwbaarheid zijn enerzijds de betrouw baarheid van de toets zelf en anderzijds de omstandigheden waarin de toets wordt afgenomen. Om de betrouwbaarheid van de toets zelf te garanderen zijn een vijftal criteria van belang. De examinator is verantwoordelijk dat de toets aan deze criteria voldoet. • Zorg ervoor dat de beoordeling objectief is: hetzelfde antwoord zou, wanneer het door verschillende docenten werd beoor deeld, ongeveer dezelfde waardering moeten krijgen. Gebruik hiervoor een antwoordmodel (bij open vragen) of een beoordelingsformulier met criteria (bij essays en werkstukken). • Zorg voor een eenduidige vraagstelling (dat wil zeggen géén multi-interpretabele vragen). Formuleer de vraag zo duidelijk mogelijk en grens daarmee het antwoord zo precies mogelijk af. Leg de vragen vooraf voor aan een collega voor controle op de inhoud en de vraagformulering (zie Bijlage 2: Checklist voor vraagconstructie voor zowel open als meerkeuzevragen). • Stel geen vragen die onderling afhankelijk zijn. Het voornaamste bezwaar daarvan is dat de toets(uitslag) dan minder represen tatief wordt voor het aanwezige kennis domein van de student. • Breng het aantal en de aard van de gestelde vragen in overeenstemming met de beschikbare tijd. De betrouwbaarheid van de toets wordt bepaald door de kwali teit van de vragen, maar deze wordt ook direct beïnvloed door de toetslengte. Voor het maken van een toets met meerkeuze vragen is een redelijke betrouwbaarheid te bepalen aan de hand van een minimaal aantal op te nemen vragen: voor vierkeu zevragen is dit minimaal 40 vragen, voor driekeuzevragen minimaal 60 en voor tweekeuzevragen minimaal 80. Dit zijn zeer algemene richtlijnen die niet in alle situaties gelden. Indien de toets bijvoor beeld gaat over 1500 pagina’s leerstof, dan zullen 40 vierkeuzevragen doorgaans geen goede afspiegeling zijn van de gehele stof. • De moeilijkheid: de opgaven zijn qua moei lijkheidsgraad afgestemd op het niveau dat van de studenten wordt verwacht. In de praktijk blijkt overigens dat het erg lastig is om te bepalen hoe moeilijk een afzonderlijke vraag, en dus ook de gehele toets, is. Jarenlange ontwikkeling, analyse en herontwikkeling van een toets geven de examinator hier beter inzicht in. De betrouwbaarheid van een toets kan achteraf bepaald worden aan de hand van een (statistische) analyse. De uitkomst van een dergelijke analyse geeft ook informatie over de validiteit (onderscheidend vermogen) van afzonderlijke items. Dit wordt voor meerkeuzevragen standaard geleverd door de Tentamenservice van de VU, voor open vragen kan een dergelijke analyse ook uitgevoerd worden. Het wordt aangeraden om deze analyses uit te laten voeren. Wat betreft de omstandigheden waarin de toets wordt afgenomen: de examinator heeft de taak om voor eenzelfde studieonderdeel voor alle studenten parallelle condities te creёren. Dit betekent onder meer dat bewaakt moet worden dat alle studenten dezelfde toets- en voorbereidingstijd krijgen en dat alle studenten dezelfde mogelijkheden moeten hebben om tijdens de toetsafname bepaalde hulpmiddelen te gebruiken. 2.2.3 Transparantie Transparantie betekent dat de toetsprocedu res voor de studenten inzichtelijk zijn en niet nodeloos ingewikkeld. De twee belangrijkste belangen die hiermee gediend worden zijn (1) dat de student zich optimaal kan voorberei den op het tentamen en (2) dat de student achteraf kan nagaan hoe de uitslag van zijn tentamen tot stand is gekomen. Dit wil niet zeggen dat men de student tevo ren vertelt welke vragen er precies gesteld worden, maar wel dat men de student infor meert over hoe gedetailleerd de vragen zullen zijn, op welk niveau antwoorden bear gumenteerd dienen te worden, of voorbeel den die in de stof en in de colleges behandeld worden ook tot de tentamenstof behoren en dergelijke. De beste manier hiervoor is om studenten een representatief proeftentamen te geven. Daarbij behoort ook informatie over de bijbehorende modelbeantwoording en de normen op basis waarvan de beoordeling plaatsvindt. Het proeftentamen dient qua vorm en moeilijkheidsgraad overeen te komen met de eigenlijke toets. Om studenten de gelegenheid te geven zich goed voor te bereiden op de toets, zal het proeftentamen aan het begin van de roostervrije studieperiode beschikbaar moeten zijn. Er is overigens niks op tegen om het proeftentamen eerder beschikbaar te stellen, maar men kan het moment van publicatie van het proeftenta men (bijvoorbeeld op Blackboard) wel gebrui ken om studenten extra te motiveren hiervan gebruik te maken zodat zij hun voorbereiding op het tentamen intensiveren. Het faculteitsbestuur informeert studenten via de Onderwijs- en Examenregeling (OER) en het studentenstatuut (met name het oplei dingsspecifieke deel: de studiegids) over de organisatie en regels rond toetsing, en over de toetsvormen in de cursussen van hun opleiding. In de studiegids wordt per cursus VU-BREED KADER TOETSBELEID 19 aangegeven wat de leerdoelen van de cursus zijn, en op welke wijze de toetsing plaatsvindt (wanneer de toets wordt afgenomen, welke toetsvormen gebruikt worden, of sprake is van werkstukken, presentaties en dergelijke, of sprake is van deeltoetsen/deelcijfers, hoe de weging van die deelcijfers is en of die elkaar mogen compenseren, het gebruik van formatieve toetsen (opdrachten met feed back), de herkansingsmogelijkheden). Vooraf moet de student weten wat er op de toets van hem/haar verwacht wordt. De docent informeert de studenten bij aanvang van de cursus over • de leerdoelen (zowel op inhoudelijk vlak als op het vlak van het beoogde beheer singsniveau); • de stof waarop de toets betrekking heeft; • de vorm van de toets; • het gewicht van de verschillende onderdelen van de toetsing (bij deeltoetsen of wanneer het cijfer wordt bepaald door een toets én een werkstuk, presentatie o.i.d.); • de wijze waarop de norm (cesuur) wordt bepaald en – zo mogelijk – de norm zelf; • de geplande toets- en herkansingsdatum en/of de datum waarop opdrachten moeten zijn ingeleverd; • de consequenties voor het eindcijfer wanneer opdrachten niet op tijd zijn ingeleverd; • het moment waarop en de plaats waar de studenten hun beoordeelde werk kunnen inzien. Het voorblad van de toets bevat daarnaast nog de volgende informatie (N.B. een facultair format voor het te gebruiken voorblad wordt aanbevolen): • de beschikbare tijd; • het aantal pagina’s en vragen; • een invulinstructie (wijze waarop het antwoord moet worden gegeven); • bij open vragen/casus: te behalen punten 20 ONDERWIJS OP KOERS per vraag (weging van onderdelen); • indicatie voor het minimaal te behalen punten voor een voldoende; • het moment waarop en de plaats waar de studenten hun beoordeelde werk kunnen inzien. De richtlijn bacheloronderwijs van het CvB geeft aan dat de nakijktermijn maximaal tien werkdagen mag zijn. Tot die tijd legt het faculteitsbestuur in de OER vast welke nakijktermijn geldt. Belangrijk is hierbij om op opleidingsniveau te kijken naar realistische termijnen. Een termijn voor het bekendmaken van een cijfer voor een meer keuzetentamen is logischerwijs korter dan die waarbij studenten een paper schrijven. Echter, te allen tijde zou het faculteitsbestuur in staat moeten zijn een realistische termijn aan te geven voor de studenten, en belangrij ker nog, zich daar dan ook aan te houden. Kwaliteitseis 11: De resultaten worden binnen tien werkdagen na het afnemen van een toets bekend gemaakt. De resultaten van scripties worden binnen twintig werkdagen na inleveren van de scriptie bekend gemaakt. Bij de inzage kan de student die aan het ten tamen heeft deelgenomen, kennisnemen van de vragen en opdrachten van het desbetref fende tentamen alsmede van de normen aan de hand waarvan de beoordeling heeft plaatsgevonden. Bij open vragen is een antwoordmodel met bijbehorende punten waardering beschikbaar ter inzage. Bij werkstukken of theses zijn de beoordelingscriteria beschikbaar (ingevuld beoordelingsformulier). 2.2.4 Bruikbaarheid De bruikbaarheid van de toetsing heeft betrekking op de mate waarin het instrument aan een aantal, deels praktische, eisen moet voldoen. De vorm van de toets moet niet alleen aansluiten op de leerstof en de leer doelen, maar ook passen bij de groepsgrootte en de onderwijsvorm. De efficiëntie, eerlijk heid en beschikbare tijd voor de toets bepalen de bruikbaarheid ervan. De examinator moet in de eerste plaats streven naar een goede verhouding tussen de tijdsinvestering van het docententeam, de student en de organisatie voor de ontwikke ling, afname en beoordeling van de toets en de informatie die de toets oplevert. Daarnaast heeft de examinator de taak te zorgen dat iedere student een goede en even grote kans krijgt om zijn of haar echte kennen en/of kun nen te demonstreren (eerlijkheid) en dat de toets de juiste lengte heeft met het oog op de beschikbare tijd, zodat het werktempo geen (positieve of negatieve) invloed heeft op het resultaat. 2.2.5 Hergebruik van oude tentamenvragen Een specifiek aandachtspunt hierbij is het hergebruiken van oude tentamenvragen in nieuwe tentamens. Uiteraard is het mogelijk om te werken met een vragenbank, waardoor oude tentamenvragen voor een deel herge bruikt worden in nieuwe tentamens. Het vol ledig hergebruiken van een oud tentamen is evenwel zeer problematisch, omdat oude tentamens onder studenten circuleren (via studentenverenigingen, websites e.d.). Indien docenten teveel oude tentamenvragen gebruiken toetsen zij in feite niet de kennis van de stof, maar het netwerk waarover de studenten beschikken om aan oude tenta mens te komen. Hier staat tegenover dat het zeer lastig is voor docenten om steeds weer goede nieuwe vragen te bedenken over de kern van de stof. Een goede middenweg is het werken met de eerder genoemde vragenbank waaruit tentamens worden samengesteld. Ook bij het gebruik van een vragenbank moet men er overigens voor waken niet meer dan 30% recent gebruikte vragen te stellen. Uit de vragenbank kan ook een proeftentamen worden samengesteld om studenten goed voor te bereiden op het tentamen. Bij een herkansing dient men in het geheel geen vragen op te nemen die bij de eerste kans ook werden gesteld, tenzij men variaties op de vraag aanbrengt (andere casus, andere getallen e.d.) en (bij meerkeuzevragen) ook de plaats van de alternatieven wijzigt. In praktische zin wordt aanbevolen dat een tentamen voor maximaal 30% uit oude tentamenvragen mag bestaan, tenzij gebruik wordt gemaakt van een adequate en omvang rijke vragenbank. De examinator is er verant woordelijk voor de juiste balans te vinden tus sen hergebruik van oude tentamenvragen en het maken van goede nieuwe vragen over de kern van de stof. De examencommissie ver vult hierin een belangrijke toezichtsrol, en kan op grond daarvan gerichte aanwijzingen geven over de mate waarin het is toegestaan oude tentamenvragen te hergebruiken. 2.2.6 Vergelijkbaarheid De examinator dient er voor te zorgen dat bij de verschillende gelegenheden waarop een tentamen kan worden afgelegd, de inhoud en moeilijkheidsgraad vergelijkbaar zijn. Dit is een voor de hand liggende maar niet zo mak kelijk te realiseren eis. Voor wat betreft de inhoud van de toets (dat wil zeggen de onder werpen waarover vragen worden gesteld, en het vraagniveau) kan de specificatietabel (toetsmatrijs, zie 2.2.1. Validiteit) weer behulpzaam zijn. Voor wat betreft de moei lijkheidsgraad – die vooral bij meerkeuze toetsen vooraf erg moeilijk is in te schatten – VU-BREED KADER TOETSBELEID 21 is er daarnaast het probleem dat studenten die aan de eerste gelegenheid meedoen niet zonder meer vergelijkbaar zijn (qua capacitei ten) met de ‘herkansers’. Om toch een zekere constantie te bewerkstelligen in de hoogte van de grensscore kan daarom een deel (hooguit 30%) van de vragen bij de herkansing identiek zijn aan die van de eerste gelegen heid (zogenaamde herhaalitems) (Dousma, 1997). Stel die vragen dan wel in een andere volgorde en wijzig ook de volgorde van de alternatieven. Let er hierbij wel op dat een eventuele logische opbouw van de toets niet verdwijnt. Ook is van belang dat de herhaal items niet bekend zijn bij de studenten (dat wil zeggen, dat deze niet afkomstig kunnen zijn uit circulerende tentamens incl. antwoorden). Aan de hand van de score op de identieke delen kan voor de ‘herkansers’ een cesuur voor de hele toets worden vastgesteld die vergelijkbaar is met die van de ‘eerste kansers’. Hiermee wordt voorkomen dat, onbedoeld, de slaagkans van studenten bij de herkansing groter is dan bij de eerste gelegenheid. Speciale aandacht verdient het afnemen van een herkansing met een andere toetsvorm dan de oorspronkelijke toets (bijvoorbeeld een mondelinge toets bij herkansing). Gezien de eisen die gesteld worden aan de vergelijkbaarheid zal men hier zeer terughoudend mee moeten zijn. 2.3 KWALITEITSEISEN AAN TOETSING ALS WAARDERINGSINSTRUMENT Toetsen en beoordelen zijn onlosmakelijk met elkaar verbonden. Een goede toets als meetinstrument is slechts het halve werk, ook de beoordeling moet aan een aantal kwaliteitseisen voldoen. 2.3.1 Cesuurbepaling Gelet op de consequenties van cijfers voor studenten is een valide cijferbepaling vereist. Een gemotiveerde en duidelijke bepaling van de waarderingsschaal, in het bijzonder van de 22 ONDERWIJS OP KOERS cesuur en de slaagvoorwaarden is belangrijk. Waar de cesuur voor geslaagd en nietgeslaagd precies ligt, is afhankelijk van het studieonderdeel. De cesuur betreft een vooral vanuit de leerstof bepaalde beheersingsstandaard waaraan een student minimaal moet voldoen om een voldoende te halen: een hoeveelheid kennis, begrip, vaar digheden en/of attitudes die vereist is om op de cesuur uit te komen. In principe is het hierbij mogelijk dat alle studenten zakken of alle studenten slagen. Een examinator moet voor het geheel van het studieonderdeel kun nen motiveren waar precies de cesuur ligt. Er zijn verschillende manieren om de cesuur te berekenen, waarbij voor meer keuzetentamens (waarbij men rekening dient te houden met de gokkans) de 60-procent methode de meest gebruikte is. Zie Bijlage 4: De cesuurbepaling voor een beschrijving van diverse methoden m.b.t. het bepalen van de cesuur. 2.3.2 Beoordelen van open vragen Vooral bij open vragen kunnen nakijk problemen voorkomen, in die zin dat de betrouwbaarheid een grote rol speelt. Om de antwoorden op open vragen zo betrouwbaar mogelijk te kunnen nakijken gelden hiervoor de volgende regels: • Voorkom dat vragen multi-interpretabel zijn (dit geldt overigens ook voor meerkeuzevragen). Leg ze voor aan een collega of een toetscommissie (zie Bijlage 2: Checklist voor vraagconstructie). • Stel van tevoren een goed uitgewerkt antwoordmodel met bijbehorende puntenwaardering vast. • Voer een proefcorrectie uit. • Kijk per vraag na en niet per student. • Als er meerdere beoordelaars zijn: - Train dan de beoordelaars - Laat de beoordelaars een proef correctie uitvoeren op een aantal dezelfde uitwerkingen - Bepaal de verschillen in beoordeling (toegekende scores), bespreek deze - Bij grote verschillen: voer nog een aantal proefcorrecties uit op een aantal dezelfde uitwerkingen, en bepaal weer de verschillen. Zorg dat er geen systematische beoordelingsverschillen meer optreden. - Beoordeel nu de rest van alle toetsen • Stel vooraf een voorlopige cesuur vast 2.3.3 TOETSEN EN BEOORDELEN VAN VAARDIGHEDEN (STAGE EN THESIS) Het toetsen van vaardigheden is gecompli ceerd, omdat het meestal gaat om een combinatie van onderling niet steeds gemakkelijk te onderscheiden (deel)vaardig heden. Bij het beoordelen van een thesis bijvoorbeeld lopen schrijfvaardigheid en cognitieve vaardigheden als analyse, syn these en structurering, door elkaar heen. Vaardigheden worden meestal getoetst in de vorm van een product: een thesis, een uitge werkte opdracht, een presentatie of een (stage)verslag. Bij de beoordeling van het product gaat het om de vraag: kun je aan het product zien dat de student weet hoe het moet/ het kan? Een belangrijk probleem bij het toetsen van vaardigheden is de mate waarin de toets een weerspiegeling van de werkelijkheid moet zijn. Dit is een probleem omdat een hoge natuurgetrouwheid (validiteit), zodat de toets dicht bij de werkelijkheid staat, doorgaans ten koste gaat van de betrouwbaarheid. Een voorbeeld hiervan is het rijexamen, maar ook de stage. Wat de examinandus/student onderweg tegenkomt is sterk afhankelijk van toeval, en daarmee ook het eindresultaat. Anderzijds is een casus op papier wellicht relatief heel betrouwbaar, maar heeft hij weer een lage natuurgetrouwheid. In het hoofdstuk Stage en Thesis van het Handboek Onderwijskwaliteit wordt aangegeven hoe de beoordeling van de stage en de thesis dienen te verlopen, en worden gedetailleerde kwali teitseisen gegeven voor zowel bachelor- als masterstages en -theses. Kwaliteitseis 12: Voor het oefenen en verwerven van vaardigheden zoals het schrijven van papers, het houden van presentaties en relevante ICT- vaardigheden, heeft het opleidings management het vereiste niveau (of niveaus voor verschillende opleidingsjaren) en daarbij passende beoordelingscriteria beschreven. Deze worden bij alle vakken van de opleiding toegepast en zijn bekend bij de studenten van de opleiding. Het opleidings management stelt vast in welke vakken de vaardigheden worden geoefend. Kwaliteitseis 13: De beoordelings criteria voor de stage en thesis worden geoperationaliseerd in een beoordelingsschema. Bij voorkeur zijn deze beoordelingscriteria ook al eerder in de opleiding aan de orde geweest. In de stage- of thesishandleiding is vastgelegd hoe en op welke momenten de beoordeling plaatsvindt. Kwaliteitseis 14: Het eindproduct van de masterstage of -thesis wordt beoordeeld door de begeleidende docent en een tweede beoordelaar. Bij de bachelorstage of -thesis wordt een tweede beoordelaar aanbevolen. VU-BREED KADER TOETSBELEID 23 Kwaliteitseis 15: De examencommissie houdt toezicht op duidelijke richtlijnen waarin is aangeven hoe het eindcijfer van stages en theses wordt vastgesteld en hoe wordt omgegaan met verschillen in beoordeling tussen eerste en tweede beoordelaar. Ook neemt de examencommissie regelmatig kennis van stageverslagen en theses. Kwaliteitseis 16: In het geval de stage of thesis door twee of meer studenten uitgevoerd wordt, wordt duidelijk afgesproken welke taken, onderdelen of onderzoeksvragen per individu worden uitgewerkt. Ook dient in de verslaglegging de bijdrage van de afzonderlijke studenten zichtbaar te zijn; deze dient te kunnen leiden tot een individuele beoordeling, gerelateerd aan de hoofddoelen van de stage of thesis. 2.3.4 Beoordelen van groepsproducten en groepsprocessen In de praktijk van het onderwijs zal het regelmatig voorkomen dat studenten gezamenlijk een rapportage, essay of werkstuk moeten maken. De VU verwacht dat iedere student van zo’n groep daar een gelijke bijdrage aan levert. Die bijdrage bestaat dan zowel uit een inspanningscomponent als een inhoudscom ponent. Voor de inhoudscomponent geldt over het algemeen dat studenten voor elk onder deel van de samenwerkingsopdracht geacht worden een bijdrage te leveren. Het is met andere woorden niet wenselijk dat de studenten de opdracht opknippen in (kleine) deelopdrachten, die ze aan het eind zonder veel overleg kunnen samenvoegen. Uit het oogpunt van toetsbeleid dient er een waarborg te zijn dat iedere student deze 24 ONDERWIJS OP KOERS inspanning ook heeft geleverd (negatief gesteld: meeliftgedrag dient te worden tegengegaan of gedetecteerd) en met welke kwaliteit. In eerste aanleg dient een opdracht waarin gezamenlijk gewerkt wordt aan een product zodanig te zijn vormgegeven dat het daad werkelijk noodzakelijk is voor studenten om een gelijke inbreng te geven. Het maken van goed doordachte opdrachten is daar een goede mogelijkheid voor met bijbehorende beoordelingswijzen, bijvoorbeeld: • Voor de aanpak van het werkstuk dient de groep eerst een gezamenlijke probleem stelling met werkplanning en taakverde ling te maken. Deze moet zo snel mogelijk worden besproken met de docent, zodat deze kan bijsturen. • Gelijktijdig met het inleveren van het werkstuk voegt de groep een (klein) samenwerkings/procesrapport bij waarin de studenten onderling aangeven wie waaraan welke bijdrage heeft geleverd. Als daaruit naar voren komt dat de inspan ningen onevenwichtig verdeeld waren, kan de docent de groep bijelkaar roepen om te bespreken wat hiervan de consequenties moeten zijn. • Direct na het inleveren van het werkstuk en na de beoordeling, kan de docent de studenten groepsgewijs bevragen en het aandeel van de individuele studenten vaststellen. Het resultaat kan worden meegewogen in het eindcijfer, of gebruikt worden voor de afronding. • Direct na het inleveren van het werkstuk kunnen de studenten elkaars aandeel in het proces en eindproduct beoordelen. Elke student wordt daarbij anoniem beoordeeld door de andere studenten. Voor voorbeelden van middelen en scoringsrubrieken, zie Bax, A (2004) en documenten van de KU Leuven (verwijzin gen onder 6. Naslagliteratuur). Het resul taat kan worden meegewogen in het eindcijfer, of gebruikt worden voor de afronding. • Geef niet één eindcijfer, maar ook deelcijfers voor de verschillende onderdelen van het eindproduct. Het verdient daarnaast de aanbeveling om tussentijds waarschuwingen te geven, indien studenten onvoldoende inspanning verrichten aan het groepsproduct. In verband met de lastige beoordeling van de precieze inspanningen die de individuele student heeft geleverd aan het groepspro duct, is de schaal waarop men tussen de cijfers van studenten binnen een groep diffe rentieert in de regel niet groter dan 1 punt. Voor sommige onderwijsvormen is specifiek het leren samenwerken een onderdeel van de betreffende cursus. Los van het feit dat dan in dergelijke cursussen expliciet aandacht dient te zijn om samenwerkingsvaardigheden te trainen en begeleiden, dient de samen werkingsvaardigheid in die gevallen ook apart beoordeeld te worden. Hierbij is het vaak de vraag of de samenwerkingsvaardig heid summatief getoetst dient te worden of niet. De VU propageert om samenwerkings vaardigheid in principe alleen formatief te beoordelen, maar bij onvoldoende inzet, een aanvulling te laten uitvoeren. 2.3.5 Mondeling toetsen In vergelijking met andere toetsvormen speelt hier de subjectiviteit van de beoorde ling. De betrouwbaarheid van mondelinge tentamens vormt daarom een groot pro bleem. Uit onderzoek blijkt dat in het uiteindelijke cijfer vaak andere zaken een rol spelen dan alleen het beheersen van de stof: de neiging van de docent om zelf veel of juist weinig aan het woord te zijn, persoonlijk heidsverschillen, geslacht en ras, prestaties van eerdere kandidaten. Een nogal eens gehanteerde oplossing, twee beoordelaars, is een schijnoplossing. Zij opereren namelijk niet onafhankelijk van elkaar en zien bijvoor beeld elkaars reacties op de antwoorden (Berkel en Bax (2002)). Al met al is dit een reden om het aantal mondelinge tentamens in de opleiding te beperken. Het afnemen van een mondelinge toets vergt specifieke deskundigheid van de docent. Bij opleidingen waar mondelinge toetsen regel matig gebruikt worden, zijn richtlijnen nodig die docenten bij mondeling toetsen moeten naleven. Van belang zijn in ieder geval het gebruik van een specificatiemodel, en het duidelijk maken aan de student waarover de toets precies gaat, wat voor soort vragen er worden gesteld, wat er van studenten verwacht wordt m.b.t. hun kennis- en vaar digheidsniveau, hoe de uitslag wordt vastge steld, en wat de evt herkansingmogelijkheden zijn. (zie Bijlage 3: Tips voor het inrichten van een mondelinge toets en Berkel en Bax (2002)). 2.4 KWALITEITSEISEN ROND TOETSAFNAME 2.4.1 Toetsafname en surveillance De examencommissie legt de regelingen rond de afname van toetsen vast in de Regels en Richtlijnen van Examencommissies (waar voor een VU-breed model beschikbaar is). Hierin is onder andere opgenomen op welke wijze orde gehouden wordt tijdens tentamens en practica en welke regels er gelden voor surveillance. Specifiek voor de gemeen schappelijke tentamenruimtes (incl. TenT) is een VU-brede beheerregeling opgesteld (zie VUnet). In de Regels en Richlijnen zijn daarnaast bepalingen opgenomen met betrekking tot fraude tijdens schriftelijke tentamens, fraude bij het vervaardigen van werkstukken en VU-BREED KADER TOETSBELEID 25 fraude geconstateerd na afloop van het tenta men. Tevens is aangegeven welke procedures en sancties volgen op geconstateerde fraude. Kwaliteitseis 17: De examencommissie zorgt voor helder en duidelijk geformuleerde Regels en Richtlijnen, die bij voorkeur het VU-brede model volgen. Maatregelen die getroffen worden bij fraude worden conform de modelbepaling van het College van Bestuur opgenomen in de Regels en Richtlijnen van de Examencommissie. 2.4.2 Studenten met een functie beperking In de VU-brede model OER is vastgelegd dat studenten met een functiebeperking in aan merking komen voor aanpassingen in het onderwijs, de toetsen en de practica. Deze aanpassingen worden zoveel mogelijk op de individuele functiebeperking van de student afgestemd, maar mogen de kwaliteit of moeilijkheidsgraad van een vak of het exa menprogramma niet wijzigen. De te verlenen faciliteiten kunnen bestaan uit een aange paste vorm of duur van de toetsen en/of practica, of het ter beschikking stellen van praktische hulpmiddelen. Hiertoe wordt door de studieadviseur een verklaring of VIB-pas (Voorzieningen inzake Beperkingen) verstrekt aan de student. Op de pas staat vermeld op welke voorziening(en) de betrokkene aan spraak kan maken. Over verzoeken van de student voor aanpassingen die de examine ring betreffen beslist de Examencommissie. 2.4.3 A rchivering Om de kwaliteit van de toetsen aan te kunnen tonen aan externe en interne commissies moet al het relevant toetsmateriaal worden gearchiveerd. Het verdient de voorkeur om 26 ONDERWIJS OP KOERS deze archivering per faculteit centraal te organiseren. Kwaliteitseis 18: Het faculteitsbestuur zorgt voor adequate archivering van al het relevante toetsmateriaal. In het kader van de kwaliteitsbewaking, en meer in het bijzonder in het licht van de visita tie, is het opleidingsmanagement verant woordelijk voor het ter beschikking stellen van de OER, het toetsplan van de opleiding, en een volledige lijst van afgestudeerden van de laatste twee voltooide studiejaren. Voor details van de benodigde documentatie zie www.nvao.net. Studenten hebben 6 weken de tijd om beroep aan te tekenen tegen de wijze, waarop de beoordeling tot stand is gekomen (niet tegen de beoordeling zelf). In het kader van derge lijke geschillen met betrekking tot toetsing moet de docent de toets zelf en de uitwerkin gen van de toets bewaren. Daarnaast moet een docent te allen tijde aan interne en externe beroepscommissies kunnen aanto nen hoe een scoreresultaat van een student tot stand is gekomen en de juiste documenten (o.a. beoordelingsformulier) kunnen voorleg gen. De landelijk afgesproken vernietingstermijn voor opgaven, uitwerkingen en uitslagen van tentamens is 2 jaar (bron: selectielijsten openbare en bijzondere universiteiten). Omdat de tentamenuitslagen in SAP geregistreerd worden, worden deze in de praktijk langer bewaard. Ten behoeve van de accreditatie dient wel een at random keus over de afgelopen zes jaar overgelegd te kunnen worden. Recente tentamens zijn daarbij wel belangrijker dan oude. Theses worden ook beschouwd als tentamens, hiervoor gelden dezelfde vernietingstermijnen als hierboven benoemd. Het faculteitsbestuur is verantwoordelijk voor het bewaren van tentamenmateriaal, opgaven, theses etc. 2.4.4 Beroep De VU kent een College van Beroep voor de Examens (COBEX), waar studenten beroep kunnen instellen tegen beslissingen van examencommissies met betrekking tot • het behalen van het afsluitend examen; • de toelating tot examens; • een colloquium doctum en het wegwerken van deficiënties; • de toelating tot de universitaire eerste graads lerarenopleidingen; • het voldoen aan de eisen voor de toelating tot een masteropleiding; • een bindend negatief studieadvies (beslissing faculteitsbestuur). En tegen beslissingen van examencommis sies en examinatoren, zoals • de uitslag van een tentamen (N.B. dit betreft uitsluitend de wijze waarop de uitslag tot stand is gekomen, niet de uitslag zelf); • de waardering van scripties of practica (zelfde opmerking als hierboven); • beslissingen inhoudende goed- of afkeuring van een vakkenpakket; • het weigeren van een vrijstelling. Ook kan beroep worden ingesteld tegen een schriftelijke weigering een besluit te nemen of het niet nemen van een beslissing binnen een redelijke termijn. VU-BREED KADER TOETSBELEID 27 HOOFDSTUK 3 KWALITEITSBORGING VAN TOETSING- TOETSBELEID ALS CYCLISCH PROCES 28 ONDERWIJS OP KOERS Kwaliteitsborging van toetsing is van groot belang. Dit omvat een geheel van maatrege len die moeten zorgen voor zekerheid dat de kwaliteitseisen worden vervuld. De veranke ring van de kwaliteit van toetsing vindt plaats op vier niveaus, namelijk het niveau van de instelling, van de faculteiten en opleidingen, en van de cursussen. wordt ook gekozen welke toetsvormen zullen worden gebruikt om na te gaan in welke mate de studenten de doelstellingen hebben bereikt. De examencommissie stelt in deze fase vast op welke wijze zij haar (wettelijke) taken operationaliseert in een werkwijze, een jaarplanning en evt. een taakverdeling. 3.1 TOETSBELEID ALS CYCLISCH PROCES de uitvoering van de visie op toetsing wordt gecoördineerd en opgevolgd. Als eenmaal is uitgemaakt wat men met de toetsing wil bereiken en hoe men dit zal doen, begint ook het eigenlijke werk voor de docent/ het docententeam, namelijk de ontwikkeling, afname en beoordeling van de toets. Kwaliteitszorg van toetsen is een cyclisch proces bestaande uit de ontwikkeling van een visie, de operationalisering en implementatie daarvan, een evaluatie van die implementatie en het geven van een antwoord op de evalua tie. Deze opvolging kan leiden tot een bijstel ling van de visie. Dit kan in beeld gebracht worden aan de hand van de PDCA-cyclus: ‘Plan, Do, Check, Act’-cyclus. PDCA-cyclus kwaliteitszorg Toetsbeleid Plan: Visie op toetsing Do: Implementatie toetsing Act: Opvolging Check: Evaluatie Visie op toetsing (plan) de kwaliteitszorg begint bij de ontwikkeling van een visie op toetsing, en regelgeving met betrekking tot toetsing (toetsbeleid/toets plan), op het niveau van de instelling, van de faculteiten en van de opleidingen. In deze fase Implementatie toetsing (do) Evaluatie toetsing (check) door de toetsing op regelmatige basis te evalueren, op basis van een evaluatie systematiek waarbij diverse actoren (besluitvormingsorganen, studenten, wetenschappelijk personeel en ondersteu ning) zijn betrokken, wordt nagegaan of de ambities ook daadwerkelijk worden waarge maakt. Zowel het toetsbeleid in het geheel, als de toetsing van afzonderlijke opleidings onderdelen zijn onderwerp van evaluaties. De examencommissie controleert volgens de door haar vastgestelde werkwijze of de kwaliteit van de toetsen voldoet aan de gestelde eisen. Opvolging (act) als men eenmaal weet waar de sterke punten van de toetsing zitten en op welke punten verandering of verbetering nodig is, kan de opvolging van de evaluatie van het toetsbeleid beginnen. Visie en beleid worden regelmatig bijgestuurd. De kwaliteit van de toetsing, de organisatie en de beslissingsstructuur wor den systematisch en aantoonbaar verbeterd met actieve betrokkenheid van studenten, docenten, ondersteunend personeel, oplei dingscommissies en examencommissies. VU-BREED KADER TOETSBELEID 29 3.2 KWALITEITSBORGING VAN TOETSING IN DE PLAN-FASE Op instellingsniveau staat in deze fase het opstellen van een universiteitsbrede visie en regelgeving met betrekking tot toetsing cen traal. Het CvB is verantwoordelijk voor het universiteitsbrede beleid met betrekking tot toetsing. Het instellingsbrede toetsbeleid bestaat uit een visie op de plaats van toetsing in het onderwijs en het verduidelijkt hoe ingangstoetsen, formatieve en summatieve toetsen bijdragen aan de onderwijsvisie van de instelling. Op instellingsniveau wordt ook het kwaliteitszorgsysteem beschreven: welke maatregelen en voorzieningen zijn getroffen om de kwaliteit van de toetsing te bewaken en te bevorderen. Het CvB voorziet daarnaast in VU-brede modellen voor de OER en voor de Regels en Richtlijnen van Examencommissies. Tevens wordt in deze fase waar nodig gebruik gemaakt van het instellingsbrede Handboek Onderwijskwaliteit, en meer in het bijzonder het hoofdstuk Toetsen en beoordelen. De instelling is daarnaast verantwoordelijk voor de organisatie van de ondersteuning (faciliteiten en personeel) en dient er in het algemeen voor zorg te dragen dat docenten en leden van examencommissies in staat gesteld worden hun taken naar behoren uit te voeren (professionaliseringsaanbod/ trainingen). De faculteit stelt vervolgens op grond van het VU-brede kader voor toetsbeleid haar facultaire toetsbeleid vast. Hierin specificeert zij de relatie tussen de onderwijsvisie van de faculteit en de plaats van toetsing daarbin nen. Zij geeft aan welke strategische keuzes gemaakt worden (kosteneffectiviteit, inzet op bepaalde ontwikkelingen en innovaties: bijvoorbeeld de inzet van ICT) en hoe zij docenten en leden van examencommissies 30 ONDERWIJS OP KOERS faciliteert om het toetsbeleid adequaat te kunnen uitvoeren (professionalisering docen ten, beschikbaar stellen van formatie voor leden van examencommissies, inhuren van expertise of afnemen van trainingen voor examencommissies bij centrale diensten). Het faculteitsbestuur kan het opleidings management machtigen het opleidingstoets beleid (c.q. toetsplan) op te stellen. Het alge mene uitgangspunt hierbij is dat aandacht voor toetsing als instrument tot sturing van gedrag en ter beoordeling van de geleverde leerprestaties aanwezig is in de opleiding. Een toetsplan bestaat uit een deel dat de relatie legt tussen de opleidingsvisie, de eind termen van de opleiding, de leerdoelen van de cursussen, en de toegepaste toetsvormen bij de cursussen. Dit deel van het toetsplan is onderdeel van de zelfstudie die de opleiding zesjaarlijks opstelt ten behoeve van de heraccreditatie door de NVAO. Daarnaast is er een concreter en meer praktisch deel van het toetsplan dat wordt opgenomen in de stu diegids of de bijlage bij de OER. Hierin wordt per cursus de volgende informatie aangaande de toetsing opgenomen: • het type (deel)toets(en) (bedoeld wordt: een multiple choice tentamen, een tentamen bestaande uit open vragen, een mondeling tentamen, een presentatie die beoordeeld wordt, een essay, verslag of werkstuk dat beoordeeld wordt, een prac ticum dat beoordeeld wordt, een thesis of stage die beoordeeld wordt, etc.); • het gewicht van de eventuele deeltoetsen of subonderdelen van de toets in het eindcijfer van de cursus; • de mogelijkheid om de resultaten van deel toetsen of subonderdelen van de toets (gedeeltelijk) met elkaar te compenseren, met andere woorden: welke deeltoetsen of subonderdelen van de toets moeten vol doende zijn of een minimale score hebben. Indien volledige compensatie geldt bete kent dit dat er geen ondergrens geldt voor het resultaat van een deeltoets of subon derdeel van de toets, maar dat alleen het gemiddeld eindcijfer voldoende moet zijn. • Het gebruik van formatieve toetsen en de manier en termijn waarop studenten feedback op de formatieve toetsen ontvangen. In de praktijk doen de examinatoren van de verschillende cursussen hiertoe een voor stel, en bundelt het opleidingsmanagement deze informatie tot een overzichtelijk geheel. Het opleidingsmanagement overziet het geheel en brengt dit in lijn met de onderwijs visie van de opleiding en met de eindtermen. Het opleidingsmanagement kan op basis daarvan, en in overleg met de examinator, een alternatief voorstel doen voor de wijze van toetsen in een bepaalde cursus. De examencommissie operationaliseert haar (wettelijke) taken in een werkwijze, een jaarplanning en eventueel een taakverdeling. Deze werkwijze behelst bij voorkeur het volgende: De examencommissie of toetscom missie controleert de kwaliteit van de toetsen achteraf en eventueel ook vooraf (voor afname van de toets). Bij de controle achteraf onderzoekt zij in de eerste plaats jaarlijks de kwaliteit van een vooraf vastgesteld aantal toetsen. Dit kan gedaan worden op grond van een willekeurige steekproef, men kan zich ook richten op een specifiek studiejaar. Het verdient daarnaast de aanbeveling om speciale aandacht te besteden aan toetsen waarin eindtermen van de opleiding getoetst worden (in ieder geval theses). In de tweede plaats onderzoekt zij de toetsen waarbij één of meerdere van onderstaande signalen ontvangen zijn die kunnen betekenen dat de kwaliteit van de toets niet adequaat is: • Lage of hoge slagingspercentages (grenswaarden tevoren vaststellen); • lage scores (bijvoorbeeld <3,5) op enkele van de vragen over de toetsing in de onderwijsevaluatie, bijvoorbeeld: -Het tentamen bestreek voldoende de hele te bestuderen stof -Het tentamen was een goede graadmeter van wat ik in deze cursus heb geleerd -Totaaloordeel over de kwaliteit van het tentamen • aanwijzingen voor (grote) wijzigingen die na afname/inzage zijn gedaan (bijvoor beeld aanpassing cesuurscore, verwijde ren van vragen, meerdere antwoorden goed rekenen); • indien er een statistische analyse van het tentamen beschikbaar is (standaard meegeleverd door de tentamenservice bij multiple-choice tentamens): een lage betrouwbaarheid (KR-20 of Cronbach’s alpha) (bijvoorbeeld KR-20 < 0,65). De examencommissie hoeft de kwaliteits borging niet geheel zelf te doen. Zij kan een toetscommissie instellen die deze taken geheel of gedeeltelijk uitvoert. Daarbij is belangrijk dat de examencommissie formeel verantwoordelijk blijft, ook al doet de toets commissie het feitelijke werk. De examen commissie moet zich er daarbij van vergewis sen, dat de wijze waarop de toetscommissie haar taken uitvoert, voldoet aan de kwaliteitseisen zoals door de examen commissie vastgesteld. Daartoe moet de examencommissie zelf beschikken over toetsingsexpertise. Bovendien moet de examencommissie de toetscommissie kunnen aansturen, als de werkwijze van de toetscommissie naar het oordeel van de examencommissie niet voldoet aan de kwaliteitseisen. Bij de accreditatie zal de examencommissie zich moeten kunnen verantwoorden over het aspect ’toetsing en gerealiseerde eindkwalificaties’. Indien de examencommissie of toetscommis sie reden heeft om het tentamen nader te willen bestuderen verzoekt zij de docent om aanvullende informatie over het tentamen. VU-BREED KADER TOETSBELEID 31 Toetsen die het jaar ervoor niet aan de gestelde norm voldeden en aanleiding gaven voor opstellen van een verbeterplan door de examinator worden standaard gecontroleerd. die betrokken is bij de toetsing handreikingen hoe men te werk moet gaan bij het samen stellen, afnemen en/of beoordelen van toet sen teneinde goed en adequaat te toetsen. De examencommissie stelt de Regels en Richtlijnen vast (gebaseerd op het VU-brede model daarvoor). Zij kan een toetscommissie instellen en stemt in dit geval met de toets commissie af hoe men te werk zal gaan bij het controleren van de kwaliteit van de toet sen. Ook kan de examencommissie externe leden benoemen om haar eigen expertise op bepaalde vlakken te versterken. Op het niveau van de cursussen gaat het in deze fase om vier aspecten: het samenstellen van de toets, het afnemen van de toets, het vaststellen van het eindoordeel en het geven van feedback. De examinator is verantwoor delijk voor de hele cursus en daarmee ook voor een kwalitatief goede toetsing. De examinator in het bijzonder, maar ook de leden van het docententeam dienen dan ook bekwaam te zijn in de constructie, afname en beoordeling van toetsen en in het geven van feedback. Hier wordt in de Basis Kwalificatie Onderwijs ook aandacht aan besteed. Daarnaast is inhoudelijke en didactische feedback in de constructiefase van een toets wenselijk om de kwaliteit van de toets te verhogen. Op het niveau van de cursussen moet in de Plan-fase worden vastgelegd welke toets vorm zal worden gebruikt om na te gaan in welke mate de studenten de leerdoelen van het studieonderdeel hebben bereikt. De exa minator kiest een toetsvorm (of meerdere), bepaalt (indien van toepassing) de weging van de verschillende deeltoetsen of subonderde len en de eventuele compensatie tussen de deeltoetsen of subonderdelen (zoals een tentamen, werkstuk, practicum, presentatie e.d.). Bij de keuze voor een wijze van toetsen sluit de examinator aan bij het toetsplan van de opleiding en stemt zijn toets af op andere cursussen in het curriculum. 3.3 KWALITEITSBORGING VAN TOETSING IN DE DO-FASE De faculteit is verantwoordelijk voor het coördineren van de toetsing. De faculteit dient het opstellen van protocollen (bijv. handleiding toetsen en beoordelen) te coördi neren waarin specifieke bepalingen worden opgenomen voor een of meerdere aspecten van de toetsing voor alle of voor specifieke cursussen aan de faculteit, bijvoorbeeld inleverdata en beoordelingscriteria voor de bachelorthesis, de masterthesis of stages, en inleverdata of beoordelingscriteria voor werkcolleges of practica. Dit geeft iedereen 32 ONDERWIJS OP KOERS 3.4 KWALITEITSBORGING VAN TOETSING IN DE CHECK-FASE Het toetsbeleid moet op regelmatige basis intern worden geëvalueerd om na te gaan of de ambities ook daadwerkelijk worden waar gemaakt, op basis van een evaluatiesystema tiek waarbij diverse actoren (studenten, opleidingscommissie, docenten) betrokken zijn. Het is de taak van het College van Bestuur om op regelmatige basis het VUbrede toetsbeleid in haar geheel te evalueren. De faculteit moet de facultaire regels en richtlijnen jaarlijks evalueren. Het facul teitsbestuur, de opleidingscommissie en de facultaire gezamenlijke vergadering zijn ver antwoordelijk voor de evaluatie van de OER. De examinator evalueert de toetsing van zijn of haar cursus. De resultaten van de cursus evaluaties, met betrekking tot de vragen omtrent toetsing, zijn hierbij een belangrijk element. Deze komen immers in de stan daardvragenlijst voor het onderwijs aan bod, waardoor deze een signaalfunctie heeft. Daarnaast heeft de opleidingscommissie (en de studenten in de opleidingscommissie) ook de taak eventuele knelpunten snel te signale ren. De examinator kan in overleg met de jaarvertegenwoordiging van studenten treden om signalen m.b.t. onvrede of klachten over de toetsing te onderzoeken. Opleidingen kunnen er ook voor kiezen een panelevaluatie met studenten te houden, waarin ook toetsing aan bod komt. De examinator betrekt ook de eventuele statistische analyse, geleverd door de tentamenservice van de VU, of feedback van betrokkenen bij de toetsing, zoals surveil lanten, bij de evaluatie van de toetsing. De examencommissie of de toetscommissie controleert volgens de door haarzelf vastgestelde werkwijze of de kwaliteit van de toetsen voldoet aan de daaraan gestelde voorwaarden zoals in H2 benoemd en of het toetsplan wordt uitgevoerd. De examen commissie controleert of eventuele verbeterplannen die het voorgaande jaar waren afgesproken met examinatoren zijn uitgevoerd en hebben opgeleverd wat beoogd was (de verbetering van de kwaliteit van de toets). Indien er problemen met de kwaliteit van toetsen worden gesignaleerd, is het opleidingsmanagement verantwoordelijk voor een nadere analyse en een onderzoek naar de oorzaken ervan. Het opleidings management treedt, in dialoog met het afde lingshoofd en de examinator/ het docenten team, remediёrend op met betrekking tot de toetsing van een cursus/cursusonderdeel. De examencommissie evalueert het toets plan en doet voorstellen voor verbetering. De toetsing wordt zesjaarlijks extern geëvalueerd door visitatiecommissies. Het visitatiekader is een belangrijk beoorde lingskader voor onder meer toetsing, aangezien ‘toetsing en gerealiseerde eindkwalificaties’ er als specifiek te beoordelen standaard wordt genoemd. 3.5 KWALITEITSBORGING VAN TOETSING IN DE ACT-FASE Op basis van de genoemde elementen die tijdens de evaluatiefase naar boven komen, kunnen verbeterplannen worden opgesteld en uitgevoerd. Op instellingsniveau is het College van Bestuur verantwoordelijk voor het regelmatig bijsturen van het toetsbeleid en de modellen voor de OER en Regels en Richtlijnen van Examencommissies. Het CvB stelt ook het aanbod aan ondersteuning voor docenten en examencommissies bij als daar aanleiding voor is. De faculteit is verantwoordelijk voor het bijstellen van het facultaire toetsbeleid. Hiertoe behoort ook een heroverweging van de toegewezen formatie, en het aanbieden van professionalisering aan docenten en examencommissies. Het opleidingsmanagement is verantwoor delijk voor het bijstellen van de interne richtlijnen en procedures in het eigen toetsplan. De examinator is verantwoordelijk voor het aanpassen van de toetsvorm, de constructie, de afname en/of het beoordelen van de toets. Ook het opleidingsmanagement heeft de mogelijkheid om, in dialoog met de examina tor/het docententeam, verbeterend op te treden met betrekking tot de toetsing van een studieonderdeel. De examencommissie stelt jaarlijks, vooraf gaand aan het nieuwe studiejaar, de Regels en Richtlijnen vast, al dan niet met bijstellin gen en maakt deze tijdig bekend. De examen commissie neemt de belangrijkste informatie omtrent de kwaliteit van de toetsen van dat studiejaar en de evt. acties die zijn onder nomen met het oog op verbetering van de kwaliteit van de toets op in haar jaarverslag. VU-BREED KADER TOETSBELEID 33 REFERENTIES Draaijer, S., Hulst, M. E. van der, & Graaff, R. de. (2006). Het afnemen van toetsen met de computer. In H. van Berkel & A. BAX (Eds.), Toetsen in het Hoger Onderwijs. (2nd ed., p. Hoofdstuk 5). Bohn Stafleu Van Loghum. Gibbs, G. (2010). Using assessment to support student learning. Leeds Metropolitan University. Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81-112. doi:10.3102/003465430298487 Jansen E.P.W.A. (1996). Curriculumorganisatie en studie voortgang. Een onderzoek onder zes studierichtingen aan de Rijksuniversiteit Groningen. Academisch proefschrift. GION, Groningen 34 ONDERWIJS OP KOERS Van der Drift, K.D.J.M. en P. Vos (1987). Anatomie van een leeromgeving. Een onderwijseconomische analyse van universitair onderwijs. Academisch proefschrift. Lisse: Swets en Zeitlinger. Wilbrink, B. (1995). Studiestrategieën die voor studenten èn docenten optimaal zijn: het sturen van investeringen in de studie. In B. Creemers (Ed.), (pp. 218-220). Presented at the Onderwijs Research Dagen 1995, Groningen. Retrieved from http://www.benwilbrink.nl/publicaties/ 95StudiestrategieORD.htm NASLAGLITERATUUR Berkel, H. van, & Bax, A. (2002). Toetsen in het Hoger Onderwijs. Houten/Diegem: Bohn Stafleu Van Loghum. Dousma, T., Horsten, A., & Brants, J. (1997). Tentamineren. Hoger Onderwijsreeks (derde druk., Vol. 3). Wolters-Noordhoff. Gruijter, D. N. M. de. (2008). Toetsing en toetsanalyse. Leiden: ICLON, Sectie Onderwijsontwikkeling Universiteit Leiden. Retrieved from http://media. leidenuniv.nl/legacy/toetsing-en-toets analyse.pdf Gruijter, D. N. M. de. (2001). Hoofdstuk 10: Wat is de optimale moeilijkheidsgraad van een vraag? Toetsing en toetsanalyse. Leiden: ICLON, Sectie Onderwijsontwikkeling Universiteit Leiden. Bax, A. (2004). Beoordelingsmethoden voor het toekennen van individuele cijfers aan groepsproducten. (H. van Berkel, Ed.) EXAMENS, (4), 18-21. Retrieved from: http://www.surfsharekit.nl:8080/get/ smpid:3240/DS2 Bij de VU wordt gebruik gemaakt van het online programma ‘Turnitin’ voor plagiaat detectie voor geschreven werkstukken, voor het beoordelen van geschreven werkstukken met cijfers, rubrics en online bibliotheken van annotaties én voor peer-review en peer-assessment doelen. Meer informatie is te vinden via http:// vublackboardsupport.wordpress.com/ info-voor-docenten/faqs-en-tips/turnitinpeer-review-en-digitaal-nakijken/ VU-BREED KADER TOETSBELEID 35 BIJLAGEN 36 ONDERWIJS OP KOERS BIJLAGE 1: WETTELIJKE VOORSCHRIFTEN M.B.T. BORGING KWALITEIT TENTAMENS A. AANPASSING WHW ART. 7.12 EN 7.13 PER 01-09-2010 Artikel 7.12. Examencommissie 1. Elke opleiding of groep van opleidingen aan de instelling heeft een examencommissie. 2. De examencommissie is het orgaan dat op objectieve en deskundige wijze vaststelt of een student voldoet aan de voorwaarden die de onderwijs- en examenregeling stelt ten aanzien van kennis, inzicht en vaardig heden die nodig zijn voor het verkrijgen van een graad. Artikel 7.12a. Benoeming en samenstelling examencommissie 1. Het instellingsbestuur stelt de examen commissie in en benoemt de leden op basis van hun deskundigheid op het terrein van de desbetreffende opleiding of groep van opleidingen. 2. Het instellingsbestuur draagt er zorg voor dat het onafhankelijk en deskundig functioneren van de examencommissie voldoende wordt gewaarborgd. 3. Alvorens tot benoeming van een lid over te gaan, hoort het instellingsbestuur de leden van de desbetreffende examen commissie. Artikel 7.12b. Taken en bevoegdheden examencommissie 1. Naast de taken en bevoegdheden, bedoeld in de artikelen 7.11 ( getuigschrift) en 7.12 tweede lid (student voldoet aan kwalifica ties om graad te krijgen), heeft een examencommissie de volgende taken en bevoegdheden: a. het borgen van de kwaliteit van de tentamens en examens onverminderd artikel 7.12c, b. het vaststellen van richtlijnen en aanwijzingen binnen het kader van de onderwijs- en examenregeling, bedoeld in artikel 7.13, om de uitslag van tentamens en examens te beoorde len en vast te stellen, c. het door de meest daarvoor in aanmer king komende examencommissie verlenen van toestemming aan een student om een door die student samengesteld programma als bedoeld in artikel 7.3c te volgen, waarvan het examen leidt tot het verkrijgen van een graad, waarbij de examencommissie tevens aangeeft tot welke opleiding van de instelling dat programma wordt geacht te behoren voor de toepassing van deze wet, en d. het verlenen van vrijstelling voor het afleggen van één of meer tentamens. 2. Indien een student of extraneus fraudeert, kan de examencommissie de betrokkene het recht ontnemen één of meer door de examencommissie aan te wijzen tenta mens of examens af te leggen, gedurende een door de examencommissie te bepalen termijn van ten hoogste een jaar. Bij ernstige fraude kan het instellings bestuur op voorstel van de examen commissie de inschrijving voor de opleiding van de betrokkene definitief beëindigen. 3. De examencommissie stelt regels vast over de uitvoering van de taken en bevoegdheden, bedoeld in het eerste lid, onderdelen a, b en d, en het tweede lid, en over de maatregelen die zij in dat verband kan nemen. De examencommissie kan VU-BREED KADER TOETSBELEID 37 onder door haar te stellen voorwaarden bepalen dat niet ieder tentamen met goed gevolg afgelegd hoeft te zijn om vast te stellen dat het examen met goed gevolg is afgelegd. 4. De examencommissie stelt jaarlijks een verslag op van haar werkzaamheden. De examencommissie verstrekt het verslag aan het instellingsbestuur of de decaan. Artikel 7.12c. Examinatoren 1. Voor het afnemen van tentamens en het vaststellen van de uitslag daarvan wijst de examencommissie examinatoren aan. 2. De examinatoren verstrekken de examen commissie de gevraagde inlichtingen. B. NVAO BEOORDELINGSKADER T.B.V. ACCREDITATIE PER 01-01-2011 (UITWERKING WHW ART. 5A8 INZAKE ACCREDITATIEKADERS EN TOETSINGSKADERS). Standaard 3 (beperkte opleidingsbeoordeling) of 16 (uitgebreide opleidingsbeoordeling) Criterium: De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd. 38 ONDERWIJS OP KOERS Toelichting: Het gerealiseerde niveau blijkt uit de tussentijdse en afsluitende toetsen, de afstudeerwerken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren. De toetsen en de beoordeling zijn valide, betrouwbaar en voor studenten inzichtelijk. BIJLAGE 2: CHECKLIST VOOR VRAAGCONSTRUCTIE Algemeen 1. Vindt u echt dat de student dit moet weten? 2. Is het de student duidelijk wat gevraagd wordt? Bevat de vraag een duidelijk probleem? 3. Bevat de vraag geen foutieve suggesties? 4. Staan alle gegevens vermeld die nodig zijn om de vraag te kunnen beantwoorden? 5. Is de vraag kort en zakelijk geformuleerd? 6. Wordt er niet onbedoeld naar een mening gevraagd? Open vragen 7. Is de lengte van het te verwachten antwoord aangegeven? 8. Is de vraag stellend geformuleerd (bijvoorbeeld: ‘Geef drie argumenten voor …’ in plaats van ‘Welke drie argumenten zijn er voor …’)? 9. Is het cascade-effect voorkomen (onderlinge afhankelijkheid van vragen) of is voldoende duidelijk gemaakt op welke wijze vervolgvragen moeten worden beantwoord als eerdere vragen niet of onjuist zijn beantwoord? Gesloten vragen 10. Is slechts één alternatief juist of duidelijk het beste? 11. Zijn ontkenningen als ‘niet’ onderstreept of vetgedrukt? 12. Bevat de vraag geen dubbele ontkenningen? 13. Zijn vraagvormen met woorden als ‘nooit, altijd, zeker’ vermeden? 14. Zijn er geen alternatieven die vooraf te elimineren zijn; zijn alle alternatieven in principe aannemelijk voor iemand die de stof niet beheerst? 15. Bevatten de alternatieven geen overlap? 16. Sluiten de alternatieven grammaticaal aan bij de stam? 17. Is er geen woordherhaling tussen stam en alternatieven? 18. Zijn alle alternatieven ongeveer even lang? 19. Zijn de juiste alternatieven evenwichtig verdeeld? (ongeveer evenveel a’s, b’s, c’s etc.) 20. Stellingvragen: zijn de twee stellingen terecht tot één vraag gecombineerd? VU-BREED KADER TOETSBELEID 39 BIJLAGE 3: TIPS VOOR HET INRICHTEN VAN EEN MONDELINGE TOETS (Uit Berkel en Bax, Toetsen in het Hoger Onderwijs, 2002; Hoofdstuk 10: Toetsen met een mondelinge toets) 1. Stel de studenten vooraf schriftelijk op de hoogte van algemene zaken (bijv. in een toetsfolder), met informatie over de tijdsduur, het gewenste soort antwoord, procedure, cijfervaststelling, en dergelijke. 2. Standaardiseer de toetssituatie door maatregelen te treffen om de factoren die onbedoeld de score gaan bepalen zoveel mogelijk te reduceren. 3. Zet voorafgaand aan de toets de vragen of onderwerpen op papier en zorg ervoor dat ze voldoende gespreid zijn over de studiestof, of laat studenten uit een kaartenbak vragen trekken. 4. Besteed aan belangrijke onderwerpen meer tijd. 5. Stel de studenten aan het begin van de toets op hun gemak door hen in eerste instantie gemakkelijke vragen te stellen; laat studenten eventueel zelf onderwerpen aandragen. 6. Vraag niet door als de studenten het antwoord niet weten, maar ga over op een ander onderwerp. 40 ONDERWIJS OP KOERS 7. Vraag door bij onduidelijke antwoorden of bij onvoldoende niveau van het antwoord. 8. Geef aan het eind, voor de uitslagbe paling, een samenvatting van het gesprek en vraag of de student het er mee eens is; of: 9. Maak korte aantekeningen van het gegeven antwoord en laat studenten die aan het eind paraferen voordat ze een cijfer verkrijgen. 10. Begin iedere mondelinge toets met een schone lei; wees onbevooroordeeld. 11. Besluit wanneer een antwoord afdoende is gegeven en maak een aantekening van de waardering voordat de volgende vraag wordt gesteld. 12. Oordeel slechts over die uitspraken van de student die zijn gedaan tijdens de toets en die vallen binnen de doelen van het studieonderdeel. 13. Stel de vraag duidelijk en licht deze eventueel even toe. 14. Zorg dat de studenten antwoord geven op uw vraag, en er niet ‘omheen kletsen’. BIJLAGE 4: DE CESUURBEPALING Na het inlezen van de antwoorden van de studenten en het inlezen van de antwoord sleutel van het tentamen wordt voor iedere student de toetsscore bepaald. Om deze toetsscores vervolgens naar cijfers te kunnen omzetten dient een docent allereerst te bepalen welke toetsscore overeenkomt met het cijfer 6.0. Het bepalen van deze grens tussen voldoende en onvoldoende wordt de cesuurbepaling genoemd. Daarna kunnen ook de overige toetsscores worden omgezet tot cijfers (zie Bijlage 3). Voor het vaststellen van de (voorlopige) norm voor een voldoende zijn diverse methoden mogelijk. Het belangrijkste onderscheid hierbij is of het om een absolute dan wel een relatieve methode gaat. Bij een absolute methode ligt de norm in de stof en staat dus vooraf vast. Bij een relatieve methode daarentegen is de norm afhankelijk van de groepsprestatie: hierbij wordt de norm dus pas achteraf vastgesteld. Wie bij gebruik van een relatieve methode toevallig in een hoog scorende groep zit en relatief laag scoort, heeft dus pech; met diezelfde score zou in een minder goed scorende groep een hoger cijfer behaald zijn (wat heel goed het verschil wel/niet een voldoende zou kunnen betekenen). Omdat relatieve methoden dus groepsafhan kelijk zijn, wordt het gebruik ervan dringend afgeraden. Bij de cesuurbepaling volgens een absoluut criterium is er meer dan één manier om tot de cesuur te komen. Het is aan de docent te bepalen welke manier hij/zij daarbij wil gebruiken. De mogelijkheden zijn onder andere: • de ‘60-procent-methode’; • de methode Ebel; • de methode Nedelsky; • de kernitem-methode van De Groot. De meest gebruikelijke methode: de 60-procent-methode, is vrij rigide. Als uitgangspunt hierbij geldt dat het tentamen zelf èn het onderwijs dat aan het tentamen vooraf is gegaan, van goede kwaliteit zijn. Deze aanname is in de praktijk natuurlijk niet altijd even onproblematisch. Dit betekent dat eventuele kwaliteitsgebreken van tentamen en/of onderwijs geheel voor rekening van de student komen. De methodes Ebel en Nedelsky, en de kernitemmethode, zijn wat genuanceerder. Bij de methode Ebel wordt bijvoorbeeld ook de moeilijkheid en de relevantie van de vragen meegenomen in de bepaling van de grens voldoende/onvoldoende. Ook de methode Nedelsky en de kernitemmethode berusten op inschattingen van de docent, zij het dat de aannamen bij de kernitem-methode wat minder stringent zijn. Uit onderzoek is echter gebleken dat docenten doorgaans niet goed in staat zijn de moeilijkheid van hun eigen vragen in te schatten, hetgeen betekent dat er nogal wat vraagtekens te plaatsen zijn bij de bruik baarheid van deze meer genuanceerde methoden in de praktijk. Dit geldt met name voor de methoden Ebel en Nedelsky (zie voor een meer gedetailleerde bespreking van deze methoden Dousma & Horsten, 1989). Om die reden wordt docenten toch aangeraden, ofwel de 60-procent methode, VU-BREED KADER TOETSBELEID 41 ofwel de kernitem-methode te gebruiken. Beide methoden worden hier nader toegelicht. De 60-procent-methode De benaming van deze methode is enigszins misleidend, omdat hiermee wordt gesugge reerd dat altijd zou moeten worden uitgegaan van zestig % ‘goed’ voor een voldoende. Dit is in de praktijk weliswaar vrij gebruikelijk, maar zeker geen wet van Meden en Perzen. Het is in principe aan de docent te bepalen welke score behaald moet worden (met andere woorden, hoeveel van de stof beheerst moet worden), om een voldoende te halen. Vaak ook geldt hiervoor een vakgroeps- of faculteitsnorm. In zo’n geval zal een docent gegronde redenen moeten hebben om van deze norm af te wijken. Wanneer het vereiste percentage ‘goed’ is vastgesteld, moet voor het bepalen van de cesuur nog worden gecorrigeerd voor de raadkans. De kernitemmethode van De Groot In het verwerkingsprogramma van het Onderwijscentrum bestaat de mogelijkheid de cesuur via het aanwijzen van kernitems vast te stellen. Een kernitem is een ‘kritische’ tentamen vraag die aan een aantal eisen moet voldoen. De vraag betreft de kern, de essentie van de leerstof en is onderscheidend tussen hen die deze kernstof beheersen en hen voor wie dit niet geldt. Een kernitem ‘mikt’ dus als het ware voor een belangrijk onderdeel van de leerstof op de grens tussen voldoende en onvoldoende (De Groot, 1964). De basisgedachte van de kernitem-methode is verder als volgt. Ieder kernitem dat voldoet aan de eisen, is op zichzelf genomen een geschikte toets om te zien of een leerling een voldoende verdient. De afname van één ideaal kernitem zou rechtstreeks het percentage VOORBEELD VAN EEN CESUURBEREKENING VOLGENS DE 60-PROCENT-METHODE Voorbeeld van de cesuurberekening (zak/slaaggrens) voor een meerkeuzetentamen. Stel: een meerkeuzetentamen bestaat uit 60 vier-keuzevragen. Voor het berekenen van de cesuur wordt eerst de raadkans van het totaal afgetrokken: dat is voor 4-keuzevragen 25% van het totaal, dus een score van 15. Voor deze eerste 15 punten worden dus geen cijferpunten toegekend. In dit geval bepaalt de docent dat men 60% goed moet hebben om een voldoende te krijgen. Die 60% wordt berekend over de score na aftrek van de kansscore: dat is in dit voorbeeld 60% over 45 = 27. De grens voldoende/onvoldoende komt nu te liggen op 27 + de raadkans (15): men moet dus 42 van de 60 vragen goed hebben voor een voldoende (een zes). In formule: Cesuur = 0.25 × 60 + 0.6 × (60 - 0.25 × 60) = 42. 42 ONDERWIJS OP KOERS studenten met een voldoende op kunnen leveren, namelijk zijnde het percentage goede antwoorden op dat kernitem. Eén kritische vraag is echter onvoldoende betrouwbaar om als criterium voor voldoende en onvoldoende te dienen, zodat men een aantal vragen als kernitem aanwijst (geadviseerd wordt 20-25% van het totale aantal vragen) en de procedure herhaalt. De kernitems worden niet in eerste plaats gebruikt om aan studenten een plus of min uit te delen – hoewel die plussen en minnen natuurlijk wel in hun totaalscore meespelen – maar om tot een schatting te komen van het percentage studenten dat ‘verdient’ te slagen. In de praktijk komt het er op neer dat het gemiddelde percentage goede antwoorden van de kernitems (de gemiddelde p-item van de kernitems) gelijk gesteld wordt aan het percentage studenten dat een voldoende krijgt voor het tentamen als geheel. De antwoorden van de studenten op de kernitems worden dus gebruikt als schatting van het percentage studenten dat een voldoende verdient. Omdat men gewoonlijk meer wilt weten dan alleen wie voldoende en wie onvoldoende heeft en ook binnen het voldoende en onvoldoende gebied wil diffe rentiëren, neemt men naast de kernitems een flink aantal andere items in het tentamen op. De antwoorden van de studenten op het tentamen als geheel (dus kernitems èn de rest van de vragen) bepaalt uiteindelijk de eindscore van de individuele studenten. Voorbeeld: Een toets bestaat uit 30 vier-keuzevragen. De docent heeft vooraf zeven items als kernitems aangewezen. Na de verwerking van het tentamen blijken de p-items van deze vragen respectievelijk: 0.50, 0.63, 0.64, 0.74, 0.72, 0.44 en 0.58. De gemiddelde proportie goede antwoorden van deze kernitems bedraagt 0.61. Dit betekent dat 61% van de studenten een voldoende verdient. Met behulp van het cumulatieve percentage overzicht van de toetsscores kan nu de daarbij behorende cesuurscore afgelezen worden. In het verwerkingsprogramma wordt dit automatisch verzorgd. De docent dient alleen op het verwerkingsformulier de vraagnummers van de kernitems aan te geven. Opmerking: In het verwerkingsprogramma wordt gerekend met de ‘gewone’ p-item. Dit betekent dat er van uit wordt gegaan dat de studenten niet raden. Docenten die de kernitem-methode willen gebruiken met een correctie voor raden, kunnen dit doen door met de hand de voor raden gecorrigeerde gemiddelde p-item van kernitems te bepalen en met behulp van het cumulatieve percentage overzicht van de toetsscores de uiteindelijke cesuurscore te bepalen. Deze score kan dan vervolgens weer in het verwerkingsprogramma worden ingevoerd. Samenvatting van de werkwijze bij het bepalen van de cesuur Kies voor het bepalen van de grens voldoende/onvoldoende bij voorkeur één van de hier genoemde absolute cesuurmethoden: de 60-procent-methode, de kernitemmethode, de methode Ebel of de methode Nedelsky. De laatste twee methoden zijn in de praktijk wat minder gebruikelijk en worden hier niet nader omschreven (zie voor meer informatie o.a. Dousma & Horsten, 1989). Denk er aan dat bij de 60-procentmethode gecorrigeerd moet worden voor de raadkans. Bij het gebruik van de kernitem-methode moeten de kernitems worden aangegeven. VU-BREED KADER TOETSBELEID 43 Wanneer u heeft gekozen voor een van de andere absolute methoden, kunt u ermee volstaan de cesuurscore aan te geven op het verwerkingsformulier. Alle hier aangegeven methoden zijn slechts hulpmiddelen om op meer rationele wijze de grens tussen voldoende en onvoldoende te trekken. Welke methode u in een concreet geval wilt gebruiken, hangt af van het gewicht dat u wilt toekennen aan de diverse factoren die bij de methoden een rol spelen. Over het algemeen kan gezegd worden dat het voor de docent èn de student duidelijk en inzichtelijk moet zijn hoe de cesuur bepaald wordt. Gegoochel met ingewikkelde formules is af te raden 44 ONDERWIJS OP KOERS BIJLAGE 5: OVERZICHT KWALITEITSEISEN TOETSBELEID VU Kwaliteitseis 1: Het opleidingsmanagement is verantwoordelijk voor een duidelijke formulering van de eindtermen van de opleiding en waarborgt dat de eindtermen van de opleiding als geheel worden gedekt door de toetsen die worden afgenomen. Kwaliteitseis 2: De docenten formuleren de leerdoelen van de cursussen adequaat, en stemmen deze af op de eindtermen en op de overige cursussen in het programma. Het opleidingsmanagement ziet toe op de samenhang en de opbouw van het programma en derhalve ook op de afstemming van leerdoelen op de eindtermen van het programma. Kwaliteitseis 3: De toets dient representatief te zijn voor alle door de docent belangrijk geachte onderwerpen in de stof. De toets betreft de kern van de stof en bestrijkt daarmee de leerdoelen. Kwaliteitseis 4: Het opleidingsmanagement waakt over een evenwicht in toetsvormen over de gehele opleiding om recht te doen aan de verschillende vormen van kennis, vaardig heden en attitudes die van belang zijn binnen een opleiding of binnen de toekomstige beroepsuitoefening. Kwaliteitseis 5: In cursussen behorende tot de bacheloropleiding wordt zo frequent en vroegtijdig mogelijk getoetst. Hiertoe wordt tijdig gedurende de onderwijsperiode een diagnostische toets afgenomen, op grond waarvan de docent de vorderingen van de student evalueert en aan hem of haar kenbaar maakt (de diagnostische toets kan formatief of summatief zijn). Daarnaast wordt elk vak afgerond met een laatste deeltoets. Per vak wordt het gewicht van de deeltoetsen vooraf bepaald. Op basis daarvan wordt de eindbeoordeling vastgesteld. Kwaliteitseis 6: De toetsing van de student is afgerond bij het einde van de cursus. Kwaliteitseis 7: Indien de student voldaan heeft aan de inspanningen zoals vermeld in de vakbe schrijving, dan wordt hij, bij een onvoldoende eindbeoordeling, éénmaal in de gelegenheid gesteld om op een door de docent/examinator te bepalen wijze, alsnog een voldoende te halen. Herkansingen noodzakelijk vanwege persoonlijke omstandigheden die de student hebben verhinderd het tentamen af te leggen (ziekte, calamiteiten, etc.) vallen onder de hardheidsclausule. Kwaliteitseis 8: De examinator is eindverant woordelijk voor de toetsing. Examinatoren voeren regie op eventuele onderdelen van toetsen die door collega-docenten aangeleverd worden, en voeren de kwaliteits controle op de gehele toets uit. Kwaliteitseis 9: De formatieve toets en de feedback daarop zijn expliciet gekoppeld aan de beoordelingscriteria die gelden voor het halen van (onderdelen van) de cursus. De feedback helpt studenten hun eigen vorderingen te beoordelen en te bepalen hoe VU-BREED KADER TOETSBELEID 45 ze het beste verder kunnen studeren (Waar ga ik heen/waaraan moet ik voldoen? Hoe vorder ik? Wat is mijn volgende stap?). Kwaliteitseis 10: Bij de toetsconstructie wordt uitgegaan van de belangrijkste kwali teitseisen: de toets moet valide, betrouwbaar, transparant, bruikbaar en vergelijkbaar zijn. Kwaliteitseis 11: De resultaten worden binnen tien werkdagen na het afnemen van een toets bekend gemaakt. De resultaten van scripties worden binnen twintig werkdagen na inleveren van de scriptie bekend gemaakt. Kwaliteitseis 12: Voor het oefenen en verwerven van vaardigheden zoals het schrijven van papers, het houden van presen taties en relevante ICT-vaardigheden, heeft het opleidingsmanagement het vereiste niveau (of niveaus voor verschillende oplei dingsjaren) en daarbij passende beoorde lingscriteria beschreven. Deze worden bij alle vakken van de opleiding toegepast en zijn bekend bij de studenten van de opleiding. Het opleidingsmanagement stelt vast in welke vakken de vaardigheden worden geoefend. Kwaliteitseis 13: De beoordelingscriteria voor de stage en thesis worden geoperationa liseerd in een beoordelingsschema. Bij voorkeur zijn deze beoordelingscriteria ook al eerder in de opleiding aan de orde geweest. In de stage- of thesishandleiding is vastgelegd hoe en op welke momenten de beoordeling plaatsvindt. Kwaliteitseis 14: Het eindproduct van de masterstage of -thesis wordt beoordeeld door de begeleidende docent en een tweede beoordelaar. Bij de bachelorstage of -thesis wordt een tweede beoordelaar aanbevolen 46 ONDERWIJS OP KOERS Kwaliteitseis 15: De examencommissie stelt richtlijnen op waarin is aangeven hoe het eindcijfer van stages en theses wordt vastgesteld en hoe wordt omgegaan met verschillen in beoordeling tussen eerste en tweede beoordelaar (Zie bijlage 1: art. 7.12 b lid 1 b WHW). Bij het opstellen van deze richtlijnen ligt samenwerking met het oplei dingsmanagement en het faculteitsbestuur voor de hand. Ook neemt de examencom missie regelmatig kennis van stageverslagen en theses. Kwaliteitseis 16: In het geval de stage of thesis door twee of meer studenten uitgevoerd wordt, wordt duidelijk afgesproken welke taken, onderdelen of onderzoeksvragen per individu worden uitgewerkt. Ook dient in de verslaglegging de bijdrage van de afzonderlijke studenten zichtbaar te zijn; deze dient te kunnen leiden tot een individuele beoordeling, gerelateerd aan de hoofddoelen van de stage of thesis. Kwaliteitseis 17: De examencommissie zorgt voor helder en duidelijk geformuleerde Regels en Richtlijnen, die bij voorkeur het VU-brede model volgen. Maatregelen die getroffen worden bij fraude worden conform de modelbepaling van het College van Bestuur opgenomen in de Regels en Richtlijnen van de Examencommissie. Kwaliteitseis 18: Het faculteitsbestuur zorgt voor adequate archivering van al het relevante toetsmateriaal. COLOFON Tekst Student- & Onderwijszaken, Afdeling Onderwijs en Kwaliteitszorg Fotografie Studio VU, Peter Valckxs Vormgeving Haagsblauw, Den Haag Druk Mewadruk februari 2013 WWW.VU.NL FEBRUARI 2014
© Copyright 2024 ExpyDoc