Examenbank MBO Logistiek Secretariaat: p/a Torenstraat 2a 5076 AE HAAREN Tel. 0411-625399 Fax 0411-625398 E-mail: [email protected] www.examenbank-mbo-logistiek.nl KvK 39087922 Rabobank 3466.38.151 Titel “Ex(S)amenwerk MTL” Kwaliteitshandboek Examenbank MBO Logistiek Editie: oktober 2013 Examenbank MBO Logistiek is onderdeel van de Stichting Opleiding/Examen MBO Logistiek Colofon Kwaliteitshandboek Examenbank MBO Logistiek “Ex(s)amenwerk MTL” Een werkdocument Examenbank MBO Logistiek Vastgesteld 3 oktober 2013 Eindredactie Kwaliteitsmanager Examenbank MBO Logistiek Ruud Rouvoet Een product van Stichting Opleiding/Examen MBO Logistiek p/a Torenstraat 2a 5076 AE HAAREN Informatiebronnen WEB CINOP Handboek Examinering Citogroep examendocumenten Inhoud 1 Inleiding 1.1 1.2 1.3 1.4 1.5 1.6 1.7 2 Doel kwaliteitshandboek Kwaliteitsdoelstellingen Opzet kwaliteitshandboek Begripsafbakening Gebruik kwaliteitshandboek Totstandkoming kwaliteitshandboek Status en geldigheid Organisatie 2.1 Inleiding 2.2 Geheimhouding 2.3 Examencommissie MBO Logistiek 2.4 Vaststellingscommissie MBO Logistiek 2.5 Toetsconstructeurs 2.6 Examinatoren 2.7 Surveillanten 2.8 Examenbureau MBO Logistiek 2.9 Geschillencommissie Examenbank MBO Logistiek 2.10 Onafhankelijk deskundigen 2.11 Examenbank MBO Logistiek/Onderwijsinspectie Bijlage 1 Schema organisatiestructuur Examenbank MBO Logistiek 3 Constructie 3.1 Inleiding 3.2 Stappenplan/activiteitenplanning toetsconstructie 3.3 Procedure ontwikkelen toetsplan 3.4 Procedure ontwikkelen toetsmatrijs 3.5 Constructie toetsen Bijlage 1 Handreiking items construeren Bijlage 2 Handreiking items opslaan en hergebruiken Bijlage 3 Voorbeeld format toetsmatrijs Bijlage 4 Voorbeeld procedure toetsontwikkeling Bijlage 5 Aanvulling op bijlage 5 ten behoeve van praktijktoetsing Bijlage 6 Voorbeeld toetskop Bijlage 7 Voorbeeld invulformulier meerkeuzetoetsen 4 Vaststelling 4.1 Inleiding 4.2 Stappenplan/activiteitenplanning vaststelling 4.3 Procedure vaststellen toetsplan 4.4 Procedure vaststellen toetsmatrijzen 4.5 Procedure vaststellen toetsen en toetsitems 4.6 Procedure vaststellen cesuur Bijlage 1 Checklist vaststellen toetsplan Bijlage 2 Handreiking screenen toets en toetsitem Bijlage 3 Checklist vaststellen toets en toetsitem Bijlage 4 Handreiking vaststellen voorlopige cesuur 5 Evaluatie 5.1 Inleiding 5.2 Evaluatie op het niveau van de deelnemer 5.3 Evaluatie op het niveau van de onderwijsinstelling en het leerbedrijf 5.4 Evaluatie op het niveau van de leverancier 5.5 Plan van evaluatie Bijlage 1 Tevredenheidsenquête deelnemers Bijlage 2 Checklist toetsvraag 6 Begrippenlijst Inhoud hoofdstuk 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 Inleiding Doel kwaliteitshandboek Kwaliteitsdoelstellingen Opzet kwaliteitshandboek Begripsafbakening Gebruik kwaliteitshandboek Totstandkoming kwaliteitshandboek Status en geldigheid Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 1: Inleiding Versie oktober 2013 blz. 1 1.1 Doel kwaliteitshandboek Dit kwaliteitshandboek beoogt een hulpmiddel te zijn voor alle betrokkenen bij de examenbank MBO Logistiek. Op de eerste plaats voor de makers van de examens, maar ook voor degenen die de examens vaststellen en voor de leden van de examencommissie. Dit handboek levert een bijdrage aan het maken van toetsitems die qua inhoud en niveau aansluiten bij de kwalificatiestructuur Transport en Logistiek. In dit handboek zijn procedures, werkwijzen en voorbeelden samengevoegd. Door deze bundeling verkrijgt men meer eenduidigheid en voorkomt men dat steeds opnieuw het wiel uitgevonden moet worden. Een diploma geldt als bewijsstuk dat de opleiding met succes is afgesloten. Met behulp van examens wordt vastgesteld of de onderwijsdeelnemer beschikt over kennis, inzicht en vaardigheden zoals die in het kwalificatiedossier beschreven zijn. Gelet op de betekenis van een diploma is het belangrijk dat deze op goede gronden uitgereikt wordt. De examinering moet dus van hoge kwaliteit zijn. Onderwijsinstellingen zijn verantwoordelijk voor de examinering waarbij de WEB en het toezichtkader een extra kwaliteitswaarborg biedt in de vorm de beoordeling van het examenproces en de examenproducten door de Inspectie Onderwijs. Dit handboek is tevens een instrument in het kader van kwaliteitszorg. Het is een hulpmiddel om de eigen kwaliteit te bewaken en zonodig te verbeteren. Taken en verantwoordelijkheden van de betrokken commissies zijn in het handboek vastgelegd. De in dit handboek opgenomen procedures en richtlijnen zijn van toepassing op alle logistieke opleidingen waarvoor de Examenbank MBO Logistiek examens construeert, vaststelt en uitlevert aan de MBO instellingen. 1.2 Kwaliteitsdoelstellingen De Examenbank MBO Logistiek stelt zich de volgende kwaliteitsdoelstellingen: 1. Het beschikbaar stellen van goede logistieke examens, examenvragen en stage opdrachten voor afnemende onderwijsinstellingen. 2. Het bevorderen van de kwaliteit van de examens door het houden van evaluaties bij de afnemende onderwijsinstellingen. 3. Het bevorderen van de kwaliteit van de examens door de toets constructeurs en de vaststellers te trainen. 4. Het bewaken van de kwaliteit van de examens en opdrachten door vaststelling van de examenvragen door deskundigen uit het bedrijfsleven. 5. Het vergroten van het aanbod door uitbreiding van de examenbank. 6. Het bevorderen van de communicatie met de afnemende onderwijsinstellingen door publicatie van dit handboek en een twee maandelijks overleg (het opleidingscoördinatorenoverleg en LMO). 1.3 Opzet kwaliteitshandboek Het kwaliteitshandboek volgt de fases van de examencyclus. Hoofdstuk 2 gaat over de organisatie van de examens en de verdeling van verantwoordelijkheden. In de hoofdstukken 3 en 4 staan achtereenvolgens de constructie en vaststelling centraal. Hoofdstuk 5 bevat de evaluatie van de examens. Na de begrippenlijst van hoofdstuk 6 volgt hoofdstuk 7, waarin enkele bijlagen van algemene aard zijn opgenomen. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 1: Inleiding Versie oktober 2013 blz. 2 1.4 Begripsafbakening De in dit kwaliteitshandboek gehanteerde begrippen volgen de termen en definities zoals de WEB deze voorschrijft. De WEB schrijft voor dat elke opleiding afgesloten wordt met een examen. Het examen van beroepsopleidingen bestaat uit onderdelen waaronder kerntaken en werkprocessen. Een kerntaak worden afgesloten met minimaal één toets. Een kerntaak bestaat uit werkprocessen. Het afsluiten van werkprocessen gebeurt met een (sub)toets. Het gaat hierbij om het toetsen of een deelnemer de werkprocessen beheerst. De in dit handboek opgenomen procedures en voorbeelden hebben betrekking op deze afsluitende (summatieve/kwalificerende) vormen van toetsen (toetsen die ‘meetellen’) en dus niet op diagnostische (formatieve) toetsen of andere vormen van niet-selectieve toetsen (toetsen die louter informatie geven over de voortgang van het onderwijsproces). Wel is het mogelijk dat enkele procedures goed bruikbaar zijn voor deze niet afsluitende toetsen. 1.5 Gebruik kwaliteitshandboek Dit kwaliteitshandboek kan worden gebruikt om de kwaliteit van de toetsing te vergroten en aan te tonen. Het handboek geeft richtlijnen en handreikingen voor de constructie en vaststelling van toetsitems en de constructie, vaststelling en afname van de toetsen. Waar deze bindend zijn, blijkt dat uit de begeleidende tekst. Het kwaliteitshandboek kan tijdens alle fasen van de examencyclus gebruikt worden. 1.6 Totstandkoming kwaliteitshandboek Dit kwaliteitshandboek wordt ‘gaandeweg’ gemaakt. De basis wordt gevormd door materiaal dat door CINOP is ontwikkeld. De procedures en handreikingen zijn ‘geplukt’ van de werkvloer en getoetst aan kwaliteitsaspecten en regelgeving. Dit kwaliteitshandboek is een werkdocument dat regelmatig bijgesteld dient te worden. Suggesties ter verbetering zijn dan ook van harte welkom en kunnen gericht worden aan de eindredacteur. 1.7 Status en geldigheid Dit kwaliteitshandboek bevat vele procedures en formulieren. De procedures zijn voorschrijvend van aard. Indien er ruimte is voor beleidsvrijheid, is dat expliciet aangegeven. De eerste versie van het kwaliteitshandboek is tot stand gekomen in april van 2004. Deze is aan de afnemende onderwijsinstellingen aangeboden en door het bestuur van de Examenbank MBO Logistiek vastgesteld. Tot 1 maart van het afgelopen schooljaar had men de gelegenheid verbetervoorstellen te doen. Deze voorstellen zijn besproken in het bestuur van de Examenbank en hebben geleid tot een voorstel voor een aangepaste versie voor het huidige schooljaar. Het bestuur van de Examenbank MBO Logistiek stelt vervolgens voor 15 april voorafgaand aan dat cursusjaar het handboek examinering vast. Het handboek heeft derhalve een geldigheid van 1 jaar: van 1 augustus tot en met 31 juli. De nieuwe versie wordt uiterlijk 16 april voorafgaand aan het nieuwe cursusjaar gepubliceerd. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 1: Inleiding Versie oktober 2013 blz. 3 Inhoud hoofdstuk 2 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 Organisatie Inleiding Geheimhouding Examencommissie MBO Logistiek Vaststellingscommissie MBO Logistiek Toetsconstructeurs Examinatoren Surveillanten Examenbureau MBO Logistiek Geschillencommissie Examenbank MBO Logistiek Onafhankelijk deskundigen Examenbank MBO Logistiek en onderwijsinspectie Bijlagen 1. Schema organisatiestructuur Examenbank MBO Logistiek Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 2: Organisatie Versie oktober 2013 blz. 4 2.1 Inleiding In dit hoofdstuk komt de organisatie rondom examinering aan de orde. Het gaat dan vooral om de verdeling van taken en verantwoordelijkheden over de verschillende betrokkenen bij examinering. Hierbij staan, naast de verplichtingen vanuit de WEB, de zorg voor de bewaking en bevordering van de kwaliteit van de gehele examencyclus voorop. De taken en verantwoordelijkheden van de examencommissie MBO Logistiek, worden in paragraaf 2.3 belicht. Elk afnemende onderwijsinstelling heeft ook een eigen examencommissie. In de onderwijs- en examenregeling van de afnemende onderwijsinstellingen staan de taken van de examencommissie van de betreffende onderwijsinstelling vermeld. De examencommissie MBO Logistiek kan taken delegeren naar derden. Het opstellen van toetsitems wordt uitgevoerd door zogenaamde itemconstructeurs (paragraaf 2.4). Dit zijn inhoudsdeskundige docenten en/of deskundigen uit het bedrijfsleven. De concepten worden vastgesteld door de examencommissie MBO Logistiek. Per kerntaak worden door en onder verantwoordelijkheid van het bestuur van de Examenbank MBO Logistiek itemconstructeurs aangewezen. In paragraaf 2.5 en 2.6 wordt aandacht besteed aan respectievelijk de examinator en de surveillant. De examinator is een functionaris die expliciet in de WEB beschreven staat. De verantwoordelijkheden en taken van de examinatoren en surveillanten worden door elk afnemend onderwijsinstelling afzonderlijk bepaald. Zo ook de criteria waaraan de examinatoren en surveillanten moeten voldoen. De administratieve en logistieke taken rondom toetsing en examinering zal de examencommissie MBO Logistiek delegeren naar het examenbureau MBO Logistiek. In paragraaf 2.7 worden de verantwoordelijkheden en taken van het examenbureau MBO Logistiek aangegeven. Het instellen van een geschillencommissie voor de examens is een wettelijke vereiste voor elke onderwijsinstelling. Ook de Examenbank MBO Logistiek heeft een geschillencommissie ingesteld. De taken en verantwoordelijkheden zijn in paragraaf 2.8 benoemd. Het klachtrecht is bij de Examenbank apart geregeld. De WEB spreekt over de inzet van onafhankelijk deskundigen in het kader van kwaliteitszorg binnen de onderwijsinstellingen. In paragraaf 2.9 zijn taken en verantwoordelijkheden voor de onafhankelijk deskundigen opgenomen. Paragraaf 2.10 besteedt aandacht aan de beoordeling van het examenproces en de examenproducten door de Inspectie Onderwijs. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 2: Organisatie Versie oktober 2013 blz. 5 2.2 Geheimhouding Iedereen die betrokken is bij toetsing moet weten dat het doorgeven van informatie over de inhoud van toetsitems en de toetsen niet is toegestaan. Dat geldt voor de itemconstructeur, de toetconstructeur, de vaststeller maar ook voor degene die de toetsen kopieert. Iedereen moet dus met de grootst mogelijk zorg voorkomen dat informatie over toetsitems en de toetsen in verkeerde handen terechtkomt. Deze zorgvuldigheid omtrent de geheimhouding is niet alleen logisch, zij vloeit rechtstreeks voort uit de artikelen H-30 en H-31 van de CAO-BVE. Deze artikelen zijn van toepassing op alle werknemers van de Examenbank MBO Logistiek en aangesloten afnemende onderwijsinstellingen. Daarnaast regelen ook de onderwijs en examenregelingen van de afnemende onderwijsinstellingen de geheimhouding. In gevallen waar toetsitems door een externe instantie gescreend en gekopieerd worden, regelt het contract tussen de Examenbank MBO Logistiek en de externe instantie de geheimhouding. Enkele maatregelen die geheimhouding waarborgen zijn: - laat nooit (concept-) toetsitems en toetsen onbeheerd achter; - zorg er voor dat toetsmateriaal is opgeborgen op een plek, waar niet zomaar iedereen bij kan, bijvoorbeeld in een afsluitbare kast; - als men toetsmateriaal wil hergebruiken: deel na afname en beoordeling van de toetsen het toetsmateriaal niet aan de deelnemers uit; ze hebben daar geen ‘recht op’; - inzage van opgaven en beoordeeld werk mag alleen onder toezicht van de examinator plaatsvinden. Voor bepaalde praktijktoetsen, opleidingsboeken die als toetsinstrument worden gebruikt, portfolio en dergelijke, hoeven geen maatregelen te worden getroffen omtrent geheimhouding. Zij zijn uit hun aard openbaar of bevatten alle vereiste vaardigheden. Bekendheid met het materiaal bevoordeelt dan de deelnemers op geen enkele wijze. Docenten die toetsmateriaal willen inzien, bijvoorbeeld in verband met nieuw te ontwikkelen materiaal of ten behoeve van evaluatie, zijn daar vanzelfsprekend toe gerechtigd. Zij nemen daarbij de hier genoemde maatregelen voor geheimhouding in acht. Elk afnemende onderwijsinstelling heeft tot taak de hier bedoelde geheimhouding te garanderen en te kunnen verantwoorden. 2.3 Examencommissie MBO Logistiek Verantwoordelijkheden De leden van het bestuur van de Examenbank MBO Logistiek vormen samen de examencommissie MBO Logistiek. Dit is gedaan om geen extra (onnodige) laag in de organisatie te creëren. De examencommissie MBO Logistiek legt verantwoording af aan de Raad van Toezicht van de Stichting Opleiding/Examen MBO Logistiek. De examencommissie MBO Logistiek is vanzelfsprekend gebonden aan voorschriften en aan afspraken, die (eerder) door de Stichting Opleiding/Examen MBO Logistiek zijn opgesteld. Beslissingen die de examencommissie MBO Logistiek in strijd met voorschriften heeft genomen, zijn nietig. Beslissingen die in strijd zijn met desbetreffende afspraken zijn vernietigbaar: de Raad van Toezicht van de Stichting Opleiding / Examen MBO Logistiek beslist hierover. De examencommissie MBO Logistiek is verantwoordelijk voor het op een verantwoorde wijze doorlopen van de examencyclus voor de opleiding Manager Transport en Logistiek. De examencommissie MBO Logistiek bewaakt en beheert het proces van de voorbereiding, de constructie, de vaststelling en de evaluatie van de toetsitems en toetsen. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 2: Organisatie Versie oktober 2013 blz. 6 De itemconstructeurs leggen verantwoording af aan de examencommissie MBO Logistiek. Zowel de itemconstructeurs als de onafhankelijk deskundigen ressorteren onder de examencommissie MBO Logistiek. De examencommissie MBO Logistiek gebruikt voor het uitvoeren van haar taken de informatie, die onder andere onafhankelijk deskundigen rechtstreeks aan haar verstrekken. Het bevoegd gezag van elke afnemende onderwijsinstelling heeft ook een examencommissie ingesteld. De examencommissie van elke afnemende onderwijsinstelling bewaakt en beheert het proces van planning, afname en de beoordeling/uitslag van de toetsen. Vergaderingen van de examencommissie MBO Logistiek De voorzitter bepaalt wanneer de examencommissie vergadert. De data worden vooraf aan het schooljaar vastgelegd. Taken en bevoegdheden examencommissie MBO Logistiek De examencommissie MBO Logistiek voert de volgende taken uit: • vaststellen planning examencyclus; • vaststellen toetsenplan, en laten vaststellen van toetsen en cesuur; • het aanwijzen van een vaststellingscommissie; • het aanwijzen van toetsconstructeurs; • geheimhoudingsprocedures opstellen en bewaken; • zorgdragen voor beoordeling van het examenproces en de examenproducten door de Inspectie Onderwijs en de branche; • evalueren van het proces en product van toetsing en examinering, waaronder gevraagd of ongevraagd adviseren betreffende de onderwerpen van dit kwaliteitshandboek; • over alles wat in dit handboek niet is geregeld beslist de examencommissie. Criteria voor aanstelling van leden De leden moeten aan de volgende criteria voldoen: • bekend zijn met de kwalificatiestructuur; • op de hoogte zijn van wettelijke eisen met betrekking tot toetsing en examinering; • vaardigheden hebben op het gebied van bewaking examencyclus; • kennis hebben van kwaliteitseisen met betrekking tot toetsing en examinering. Taken examencommissie van elke afnemende onderwijsinstelling De examencommissie van elk afnemend onderwijsinstelling voert de volgende taken uit: • vaststellen en plannen examendata en toetsgelegenheden; • de organisatie van en de controle op de eigen toetsvaststelling; • aanwijzen examinatoren, surveillanten en beoordelaars; • (doen) instrueren van examinatoren, surveillanten en beoordelaars; • vaststellen van de einduitslag; • vrijstelling verlenen op basis van richtlijnen bevoegd gezag; • oordelen over geldigheid overmachtsituaties en zonodig toekennen extra toetsgelegenheid; • maatregelen nemen bij onregelmatigheden; • geheimhoudingsprocedures opstellen en bewaken; • regels vaststellen met betrekking tot een goede gang van zaken tijdens het afnemen van toetsen van het examen of examenonderdelen; • vaststellen richtlijnen en aanwijzingen aan examinatoren en beoordelaars met betrekking tot de uitslag, zoals termijn waarbinnen de uitslag bekend gemaakt wordt; • vaststellen van instructies voor deelnemers; • uitreiken certificaten en diploma’s; • evalueren van het proces en product van toetsing en examinering, waaronder gevraagd of ongevraagd adviseren betreffende de onderwerpen van dit handboek. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 2: Organisatie Versie oktober 2013 blz. 7 De criteria voor de aanstelling van leden worden op elke afnemende onderwijsinstelling afzonderlijk vastgesteld 2.4 Vaststellingscommissie MBO Logistiek Verantwoordelijkheden en bevoegdheden Vaststellen is een gedelegeerde taak van de examencommissie MBO Logistiek. De vaststellingscommissie MBO Logistiek is verantwoordelijk voor het op een verantwoorde wijze vaststellen van de toetsplannen, de toetsitems in de Wintoetsbank en de toetsen. Dit houdt in, dat zij de concept-toetsmatrijzen en conceptoetsitems en concepttoetsen van de toetsconstructeurs beoordeelt, becommentarieert en vaststelt. De commissie is bevoegd examendocumenten in de ontwikkelingsfase goed te keuren dan wel af te keuren. Taken De vaststellingscommissie MBO Logistiek voert de volgende taken uit: • Beoordelen, becommentariëren en vaststellen van toetsplannen. • Beoordelen, becommentariëren en vaststellen van toetsmatrijzen. • Beoordelen, becommentariëren en vaststellen van toetsitems, toetsen en examenopdrachten. Criteria voor de aanstelling van leden De leden van de vaststellingscommissie MBO Logistiek dienen aan de volgende criteria te voldoen: • Bekendheid met de diplomavereisten van de betreffende logistieke opleidingen • Bekendheid met het kwalificatiedossier van de betreffende logistieke opleidingen. • Op de hoogte zijn met de wettelijke eisen met betrekking van toetsing en examinering. • Toetstechnische competenties bezitten. • Niet betrokken zijn bij de constructie van de examenonderdelen waarvoor men vaststelling verricht (De slager keurt nooit zij eigen vlees). 2.5 Toetsconstructeurs Verantwoordelijkheden De toetsconstructeurs zijn verantwoordelijk voor het op een verantwoorde wijze opstellen van de concepttoetsmatrijzen, conceptitems en/of toetsen voor die kerntaken waarvoor zij zijn aangewezen door de examencommissie MBO Logistiek. Dit houdt in dat zij items en toetsen ontwikkelen volgens de richtlijnen, zoals die in het kwaliteitshandboek zijn beschreven. De constructeurs zijn verantwoordelijk voor het op de juiste wijze en op tijd aanleveren van conceptproducten aan de examencommissie. Uit kwaliteitsoogpunt is het van wezenlijk belang dat de constructieactiviteiten strikt gescheiden worden van de vaststellingsactiviteiten. Het kan dus niet zo zijn dat degene die de items opstelt deze ook vaststelt. Taken en bevoegdheden De toetsconstructeurs voeren de volgende taken uit: • het opstellen van concepttoetsmatrijzen; • ontwikkelen van concept-items en concepttoetsen; Criteria voor de aanstelling van leden De toetsconstructeurs moeten aan de volgende criteria voldoen: • het beheersen van de desbetreffende examenstof; • het hebben van een gedegen kennis van het beroep; • het kennen van de inhoud en het niveau van de betreffende opleiding; Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 2: Organisatie Versie oktober 2013 blz. 8 • het bekend zijn met de doelgroep waarbij de toets wordt afgenomen; • het hebben van taalkundig inzicht; • het beheersen toetsconstructievaardigheden, dat wil zeggen: het kunnen variëren in vraagvormen; het toe kunnen passen van de kwaliteitscriteria voor items; het op een verantwoorde wijze opstellen van toetsitems bij de werkprocessen; het kunnen opstellen van een toetsmatrijs aan de hand van kwalificatiedossier, servicedocumenten en checklisten uit het kwaliteitshandboek; het kunnen opstellen van items aan de hand van het toetsconstructieformulier en aan de hand van de checklisten uit het kwaliteitshandboek. 2.6 Examinatoren De verantwoordelijkheden en taken van de examinatoren worden door elke afnemende onderwijsinstelling afzonderlijk bepaald. Zo ook de criteria waaraan de examinatoren moeten voldoen. 2.7 Surveillanten De verantwoordelijkheden en taken van de surveillanten worden door elke afnemende onderwijsinstelling afzonderlijk bepaald. Zo ook de criteria waaraan de surveillanten moeten voldoen. 2.8 Examenbureau MBO Logistiek Verantwoordelijkheden Het examenbureau MBO Logistiek is verantwoordelijk voor het op een verantwoorde wijze beheren en archiveren van toetsitems en toetsen en het verzorgen van de distributie naar de afnemende onderwijsinstellingen. Het examenbureau verricht vooral secretariële taken en heeft geen inhoudelijke verantwoordelijkheid. Het examenbureau verricht zijn werkzaamheden als stafbureau, onder verantwoordelijkheid van de examencommissie MBO Logistiek. Taken en bevoegdheden Het examenbureau MBO Logistiek voert de volgende taken uit: • invoeren en archiveren van toetsitems in Wintoets; • archiveren van toetsitems en toetsen; • secretariële ondersteuning van de examencommissie MBO Logistiek; • secretariële ondersteuning van de vaststellingscommissie MBO Logistiek; • secretariële ondersteuning van de toetsconstructeurs; • het beheren van de Examenbank MBO Logistiek bestaande uit de Wintoets itembank en de toetsenbank; • het uitzetten van evaluaties bij de afnemende instituten; • het gereed maken van toetsplannen, toetsbundels en documenten voor de onderwijsinspectie. Criteria aanstelling medewerkers De medewerkers van het examenbureau moeten aan de volgende criteria voldoen: • bezitten van administratieve vaardigheden; • bezitten van vaardigheden op terrein van planning en logistiek; • bekend zijn met de examenorganisatie; Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 2: Organisatie Versie oktober 2013 blz. 9 • 2.9 bekend zijn met de opleiding, kerntaken en werkprocessen waarvoor werkzaamheden worden verricht. Geschillencommissie Examenbank MBO Logistiek De verantwoordelijkheden en taken van de Geschillencommissie Examenbank MBO Logistiek staan beschreven in het Klachtrecht van de Examenbank MBO Logistiek. Elke onderwijsinstelling afzonderlijk heeft daarnaast een Commissie van Beroep. De criteria waaraan de leden van de Commissie van Beroep moeten voldoen is bij elk onderwijsinstelling apart geregeld. 2.10 Onafhankelijk deskundigen Verantwoordelijkheden De onafhankelijk deskundigen in de zin van artikel 1.3.6 van de WEB hebben tot taak ‘het’ onderwijs, inclusief examinering, op kwaliteit te beoordelen. In dit hoofdstuk worden alleen de taken met betrekking tot de examencyclus vermeld. De onafhankelijk deskundigen kunnen gevraagd en ongevraagd aan de examencommissie MBO Logistiek hun oordeel geven over (de inhoud van) de toetsitems, toetsmatrijzen en toetsplannen. Zij voeren daarmee de taken uit, die vóór de invoering van de WEB door gecommitteerden werden uitgevoerd. De onafhankelijk deskundigen worden door de examencommissie MBO Logistiek benoemd. Taken en bevoegdheden • steekproefsgewijs beoordelen van ontwikkelde toetsitems en toetsen. Criteria aanstelling onafhankelijk deskundigen • bekend zijn met de beroepen; • bekend zijn met de opleidingen; • het belang kennen dat toetsing en examinering hebben voor verschillende betrokkenen; • in staat zijn om gefundeerd kritiek op de wijze van toetsing en examinering, alsmede op de vorm en de inhoud daarvan te verstrekken. 2.11 Examenbank MBO Logistiek en de Inspectie Onderwijs De Inspectie is door de overheid aangewezen als rechtspersoon welke op grond van artikel 7.4.9a WEB de taak heeft de externe borg op de kwaliteit van de examens van het middelbaar beroepsonderwijs uit te voeren. De Inspectie beoordeelt bij de Examenbank de examenproducten en het productieproces aan de hand van de standaarden 2012. Indien de beoordeling resulteert in een positief resultaat, beoordeelt de Inspectie deze examenproducten niet meer bij de afnemende onderwijsinstellingen. Voorwaarde is wel dat de examenproducten door de onderwijsinstelling herkenbaar en ongewijzigd worden ingezet. Is het resultaat negatief dan wordt dit resultaat overgenomen in de beoordeling van de onderwijsinstelling. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 2: Organisatie Versie oktober 2013 blz. 10 Bijlage 1 Schema organisatiestructuur Examenbank MBO Logistiek Raad van Toezicht van de Stichting Opleiding/Examen MBO Logistiek Bestuur Examenbank MBO Logistiek tevens Examencommissie MBO Logistiek Geschillencommissie Examenbank MBO Logistiek Examenbureau MBO Logistiek Item- en toets constructeurs Vaststellingscommissie bestaande uit o.a onafhankelijke deskundigen Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 2: Organisatie Versie oktober 2013 Projectgroep -Verbreding -Branche erkenning -enz blz. 11 Inhoud hoofdstuk 3 3.1 3.2 3.3 3.4 3.5 Constructie Inleiding Stappenplan/activiteitenplanning toetsconstructie Procedure ontwikkelen toetsenplan Procedure ontwikkelen toetsmatrijs Constructie toetsen Bijlagen 1. Handreiking items construeren 2. Handreiking items opslaan en hergebruiken 3. Voorbeeld toetsmatrijs 4. Voorbeeld procedure toetsontwikkeling 5. Aanvulling op bijlage 5 ten behoeve van praktijktoetsing 6. Voorbeeld toetskop 7. Voorbeeld invulformulier meerkeuzetoetsen Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 12 3.1 Inleiding In dit hoofdstuk staan de activiteiten van de toetsconstructeurs centraal. In het stappenplan in paragraaf 3.2 zijn de activiteiten in chronologische volgorde weergegeven. De eerste stap betreft het opstellen van het toetsenplan (3.3). In het toetsenplan staan de toetsen vermeld die moeten worden ontwikkeld. Per toets stellen de toetsconstructeurs eerst een concepttoetsmatrijs op (3.4). De concepttoetsmatrijs wordt ter vaststelling aan de vaststellingscommissie MBO Logistiek aangeboden. Het samenstellen van de toets komt in paragraaf 3.5 aan bod. Nadat de toets is vastgesteld door de vaststellingscommissie MBO Logistiek gaat de toets voor verdere verwerking en archivering naar het examenbureau MBO Logistiek. Specifieke informatie over constructie van items, opslag en hergebruik is te vinden in de bijlagen. Inkoop van toetsen bij derden In sommige gevallen worden toetsen, gemaakt door bijvoorbeeld ROC’s of de uitgever van logistiek lesmateriaal ingekocht. Daar is niets op tegen. Meestal zullen de desbetreffende toetsen een hoge kwaliteit hebben, omdat bij de productie ervan branchedeskundigen zijn betrokken. Het gaat hier vooral om bedrijfsgerichte casussen. Voor wat betreft de procedures zoals beschreven in dit handboek, geldt dat de examencommissie MBO Logistiek volledig verantwoordelijk is voor alle aspecten van de toetsen en de organisatie van toetsing. Zo kan alleen de examencommissie worden aangesproken op dekking van kerntaken/werkprocessen, inhoud en niveau van de examinering, beoordeling, enzovoorts. Dit betekent dat zaken als toetsmatrijzen, beoordelingsnormen, cesuren door de examencommissie MBO Logistiek moeten zijn onderzocht en goed bevonden. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 13 3.2 Stappenplan/activiteitenplanning toetsconstructie In hoofdstuk 4 (vaststelling) worden de stappen over vaststelling nader uitgewerkt. Hoofdstuk 3 beperkt zich tot de constructieactiviteiten. In onderstaand schema staat vermeld wanneer een activiteit afgerond dient te zijn. Hiermee is een indicatieve planning gegeven voor de examencyclus. Omdat de stappen 5 tot en met 7 afhankelijk zijn van het geplande toetsmoment, is daar gekozen voor een planning in aantallen werkdagen voor of na het eerste toetsmoment. (Let op: dit schema staat ook in paragraaf 4.2) Stap Activiteit Door Verantwoordelijk 1 Opstellen toetsplan Examencommissie Datum gereed 15-03 2 3 4 5 6 7 Vaststellen toetsplan Constructie toetsmatrijs Vaststellen toetsmatrijs Constructie toets Vaststellen toets en toetsitem Vaststellen advies cesuur voor de afnemende onderwijsinstellingen Vaststellen cesuur van een toets Examencommissie Examencommissie Examencommissie Examencommissie Examencommissie Examencommissie 15-04 15-08 15-09 30* 15* 15* 8 9 * Vaststellen van de uitslag en het bekend maken van de uitslag aan de deelnemer Examenbureau en Kwaliteitsmanager Vaststellingscommissie Toetsconstructeur Vaststellingscommissie Toetsconstructeur Vaststellingscommissie Vaststellingscommissie Examencommissie van de afnemende onderwijsinstelling Examencommissie van de afnemende onderwijsinstelling College directie College directie .. werkdagen voor het eerste toetsmoment Hoe ontstaat kort gezegd een kennistoetstoets? 1. De kerntaken en werkprocessen worden opgenomen in een toetsplan. 2. Op basis van het toetsplan worden toetsmatrijzen geproduceerd. 3. Op basis van de toetsmatrijs wordt de toets geproduceerd uit items uit de Wintoetsbank. 4. Bij elke toets worden beoordelingsmodellen met (deel)normeringen en de cesuur geproduceerd. Een toetsplan heeft altijd betrekking op een volledige opleiding of kerntaak, een toetsmatrijs heeft betrekking op 1 toets. Wanneer een toetsplan 4 toetsen aangeeft, dienen er dus 4 toetsmatrijzen geproduceerd te worden! Een toetsplan stelt men vast voor langere tijd. Pas wanneer kerntaken, werkprocessen wijzigen of wanneer men door voortschrijdend inzicht tot de conclusie komt, dat de toetsvorm niet past bij het beheersniveau of dat de hoeveelheid toetsen per kerntaak niet juist is, dient een nieuw toetsenplan met bijbehorende nieuwe toetsmatrijzen geproduceerd en vastgesteld te worden. 3.3 Procedure ontwikkelen toetsenplan Stap 1 De kwaliteitsmanager Examenbank MBO Logistiek stelt in overleg met de instituten een voorstel op voor het aantal te ontwikkelen toetsen en de toetsvorm. Hij/zij stelt hiertoe per opleiding of kerntaak een toetsplan op. Een toetsplan is een schema dat de werkprocessen verdeelt over de te ontwikkelen toetsen. In het toetsplan wordt ook aangegeven welke toetsvorm zal worden gebruikt. Hij/zij dient het toetsplan ter vaststelling in bij de vaststellingscommissie. Als bijlage is een format voor een toetsplan opgenomen. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 14 3.4 Procedure ontwikkelen toetsmatrijs Stap 3 Met behulp van het toetsenplan wordt voor elke toets een toetsmatrijs opgesteld. Hiervoor is het zaak om eerst de werkprocessen te analyseren. Daarbij is het beheersniveau van de prestatie indicatoren een leidraad om het resultaat van het werkproces te kunnen achterhalen. Bij de constructie van de toetsmatrijs wordt vastgesteld hoeveel items de te ontwikkelen toets moeten komen. Daarmee wordt tevens het belang van prestatie indicatoren aangegeven. Als bijlage is een format voor een toetsmatrijs opgenomen. Is de toetsmatrijs in concept gereed, dan wordt deze ter vaststelling aan de vaststellingscommissie MTL aangeboden. 3.5 Constructie toetsen Stap 5 Voor de productie van toetsen zijn geen procedurele voorschriften gegeven. Voor wat betreft de inhoud: de te construeren toets moet voldoen aan de eisen, die in de toetsmatrijs zijn gesteld. De toetsmatrijs zelf geeft informatie over inhoud en het beheersniveau van het werkproces alsmede de toetsvorm die voor de desbetreffende toets is gekozen. Daarmee is indirect de koppeling tussen toetsitem en werkproces een feit. De toets wordt dus aan de hand van de toetsmatrijs door toetsconstructeurs geconstrueerd. Wie die toetsconstructeurs zijn, staat in hoofdstuk 2. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 15 Bijlage 1 Handreiking items construeren Als de toetsmatrijs is vastgesteld, kan gestart worden met de constructie van de items. Hiervoor is het aan te bevelen om voor toetsconstructeurs een constructiemap samen te stellen. Hierin kunnen opgenomen worden: het meest actuele kwalificatiedossier, de formulieren van Toetsing en Beoordeling, de standaarden van de inspectie en de bijbehorende normenbundel, handreikingen en formulieren, eerder ontwikkelde items, vastgestelde toetsmatrijzen, voorbeelditems, etc. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 16 Bijlage 2 Handreiking items opslaan en hergebruiken Het is zinvol en efficiënt om items opnieuw te gebruiken bij volgende toetsgelegenheden. Ook in het kader van het flexibiliseren van toetsing en examinering verdient het aanbeveling om items te bewaren en opnieuw te gebruiken. Immers een flexibel examensysteem vraagt om veel items. Met behulp van een computer kunnen items of ander toetsmateriaal handig opgeslagen worden. Een itembank is een geordende verzameling opgaven. De opgaven zijn geordend volgens één of meer indelingen. Een itembank wordt zo ingedeeld dat het samenstellen van een toets automatisch kan gebeuren. Een itembanksysteem is een hulpmiddel waarmee items worden opgeslagen, gewijzigd en beheerd. Het systeem zorgt voor selecties op basis van aangegeven categorieën. Zonder structuur van een itembank is een efficiënte opslag en selectie van items niet goed mogelijk. Gebruikelijk is een structuur te kiezen naar kerntaken, werkprocessen, eindtermen en fasen. Een itembank zal steeds aangevuld moeten worden met nieuwe items. Dit om te voorkomen dat steeds dezelfde vragen in een toets worden gebruikt en om er voor te zorgen dat een bank voldoende selectiemogelijkheden biedt. Ook bij het werken met een itembank is het raadzaam om een constructiegroep te formeren (bijvoorbeeld per itembank) die elkaars items becommentarieert en beoordeelt. Nieuwe items worden in de bank opgeslagen (bijvoorbeeld met als aanduiding: eerste versie, herzien, goedgekeurd, goedgekeurd door vaststellingscommissie). Bij het samenstellen van een toets moeten de items die opgenomen worden, goedgekeurd zijn door de constructiegroep. De examencommissie bekijkt de toets als geheel en stelt deze vast. Na of tijdens elke cyclus wordt door de constructeurs opnieuw bekeken hoeveel items geproduceerd gaan worden en wordt een verdeling van het werk gemaakt. De toetsmatrijs wordt als hulpmiddel gebruikt. Het is aan te bevelen om de itembank regelmatig te actualiseren. De beveiliging van de itembank moet goed geregeld worden. Wie heeft toegang tot de bank? Welke gegevens mogen niet gewijzigd worden et cetera? De procedure van hergebruik van items wijkt in wezen niet af van de procedures die geformuleerd zijn voor het construeren van items die niet in een itembank opgenomen worden. De te verrichten stappen zien er globaal als volgt uit: • zet de itembank op volgens de kwalificatiestructuur; • de examencommissie MBO Logistiek stelt een constructiegroep samen rondom een of meerdere itembanken; • de constructiegroep verzamelt items die opgenomen kunnen worden in de bank; • de constructiegroep maakt een werkverdeling (welke items moeten geactualiseerd worden en welke moeten geconstrueerd worden). De toetsmatrijs is hulpmiddel; • de toets wordt samengesteld; • de toets wordt vastgesteld door de examencommissie MBO Logistiek; • de toets wordt eventueel voorgelegd aan de exameninstelling in verband met beoordeling door de Inspectie; • verzamel als het enigszins kan toetsgegevens (p-waarde) en verwerk deze in de bank; • gedurende elke examencyclus bepalen de constructeurs welke items geactualiseerd moeten worden en hoeveel items bijgemaakt moeten worden. Enkele normen: • Bij de instandhouding van een itembank moet jaarlijks 10 % van de items worden vervangen. Let op: een gereviseerd item is een nieuw item! • Per werkproces moeten er minimaal 30 items in de bank zitten. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 17 Bijlage 3 Voorbeeld format toetsmatrijs TOETSMATRIJS Crebo 90252 – 90255 Logistiek Medewerker -------------------------------------------------------------------------------------------------------------Kerntaak: 1 Ontvangt en slaat goederen op Werkproces(sen): 1.1 Bereidt het ontvangen en opslaan van goederen voor 1.2 Lost goederen 1.3 Controleert ontvangen goederen Nummer onderwijseenheid: Kennistoets 1 Naam onderwijseenheid: Ontvangst, lossen en controleren van goederen Periode: Fase 1 Toegestane hulpmiddelen: Geen Beschikbare tijd: 120 minuten Aantal items: 30 Max. aantal punten: 127 ---------------------------------------------------------------------------------------------------------------Kerntaak Kerntaak 1 Kerntaak 1 Kerntaak 1 Werkproces 1.1 fase 1 1.2 fase 1 1.3 fase 1 Item nrs. 1, 2, 4, 7, 9, 11, 16, 17, 18, 19, 20, 21, 22, 23, 24 3, 5, 6, 8, 10, 25, 28, 29, 30 12, 13, 14, 15, 26, 27 Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 18 Bijlage 4 1. 2. 3. Voorbeeld procedure toetsontwikkeling Produceer de toets aan de hand van de toetsmatrijs. • Zie CITO-materiaal voor wat betreft de eisen die aan de gekozen toetsvorm worden gesteld. • Zie CITO-materiaal voor wat betreft de toetstechnische en taalkundige adviezen en tips die van toepassing zijn op de gekozen toetsvorm. • Voor wat betreft kennistoetsen: lees bijlage 1 bij dit hoofdstuk. Vraag u steeds af of de ontwikkelde items relevant, betrouwbaar en valide zullen zijn. Ontwikkel een aantrekkelijke toets die goed discrimineert; houd de toetsduur in de gaten Æ niet te lang, maar zeker ook niet te kort; wees voorzichtig met het materiaal, zodat (na evaluatie) hergebruik mogelijk is. • Voor wat betreft praktijktoetsen: naast CITO-literatuur is nog veel andere literatuur voorhanden. Houd de toetsduur in de gaten. Vaardigheidstoetsen kunnen bestaan uit één vraag of opdracht (‘maak een ondernemingsplan’). Een nadere toelichting op die vraag kan garanderen dat aan meerdere werkprocessen wordt gedacht. • Blijkt tijdens constructie dat de matrijs niet voldoet, bijvoorbeeld omdat de matrijs een theorietoets voorschrijft waar een vaardigheidstoets blijkens de prestatie indicatoren méér voor de hand ligt, doe dan ter evaluatie een voorstel tot wijziging van die matrijs. Produceer een beoordelingsmodel. Het beoordelingsmodel ‘volgt’ de toets en geeft aan hoeveel punten worden gegeven voor de gegeven antwoorden of de getoonde vaardigheid. Honoreer – indien valide! – een prestatie die voor een gedeelte goed is. Houd – indien valide! – rekening met rekenfoutjes en ‘reken door’. Neem het aantal te behalen punten per prestatie ook op in de toets zelf, zodat deelnemers kunnen zien of bepaalde vragen belangrijker zijn dan andere vragen. Bij het toekennen van punten gaat de constructeur uit van het belang van de desbetreffende prestatie. De kans dat het totaal aantal punten op 100 komt, is statistisch gezien erg klein. Dat hoeft ook niet en het is ongewenst daar aan het einde van het constructietraject naar toe te werken. Maak een tabel of formule voor de eindbeoordeling. In plaats van punten kan ook worden gekozen voor bijvoorbeeld ‘goed’, ‘voldoende’ of ‘onvoldoende’. Ook hier geldt dat een tabel of formule duidelijkheid moet geven omtrent de uitslag van de toets. De wijze van beoordeling (punten of woordbeoordeling) moet in overeenstemming zijn met het gestelde in het toezichtkader van de inspectie! Geef een voorstel voor de cesuur. De cesuur geeft de grens aan tussen de score waarmee de deelnemer nog nèt een voldoende behaalt en de score waarmee nog nèt een onvoldoende wordt behaald. Voorbeeld: voor een toets zijn 73 punten te behalen; de cesuur ligt op 42/43. 43 punten geeft dan een 5,5. Vaak wordt in het beoordelingsmodel aan de hand van de puntenwaardering al impliciet aangegeven waar de cesuur ligt. Voor het berekenen van de cesuur bestaat géén sluitende procedure. Hoofdstuk 4 bijlage 2 geeft een methode waarvan wordt aanbevolen deze toe te passen. De praktijk van alledag staat niet toe dat dat met elke toets gebeurt. Zeker bij toetsen die geheim worden gehouden en worden hergebruikt, verdient het aanbeveling de methode te gebruiken en – na afname – te evalueren. De 60%-regel (60% goed is een 5,5) is niet per definitie een goede methode; zeker bij meerkeuzevragen kan men zich afvragen of iemand die 24 van de 40 vragen goed heeft reeds een 5,5 mag krijgen. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 19 Bijlage 5 Aanvulling op bijlage 4 ten behoeve van praktijktoetsing Met opzet is in de vorige paragraaf niets geschreven over de toetsvorm. De eisen die aan een kwalitatief goede toets worden gesteld zijn voor alle toetsvormen identiek. Voor wat betreft de BPV moeten echter enkele aanvullende opmerkingen worden gemaakt. Geheimhouding In verband met de betrouwbaarheid van de toets is meestal de geheimhouding van de toets van belang. Zie hierover hoofdstuk 2.2. In sommige gevallen, bijvoorbeeld bij de BPV, is geheimhouding niet van belang. Denk aan praktijkopleidingboeken waarin alle te beheersen vaardigheden staan genoemd of de ‘afvinklijstjes’ die bij praktijktoetsing worden gehanteerd. Het is van belang dat de desbetreffende vaardigheden worden ingeoefend. Bekendheid met de toetsinhoud komt het niveau van de deelnemer ten goede. En voor wat betreft de betrouwbaarheid: elke deelnemer moet de vaardigheden tòch demonstreren en wordt op de eigen resultaten beoordeeld. Criteria Van groot belang is dat er een goed beoordelingsmodel ligt. Hoe de ‘toets’ er uitziet, portfolio, praktijkopleidingboek, afvinklijstje etc., maakt daarbij geen verschil. Van belang is: 1. dat de opgave wordt omschreven (prestatie indicator/ resultaat/ beheersniveau) bijvoorbeeld: de deelnemer kan een rit tussen Utrecht en Milaan plannen; 2. dat de beoordelingscriteria worden omschreven bijvoorbeeld: De opgave wordt ‘afgevinkt’ indien de deelnemer drie keer naar tevredenheid een rit heeft gepland, waarbij gelet is op …; 3. dat voor de gehele toets een normering is omschreven bijvoorbeeld: De deelnemer heeft een voldoende behaald indien 7 van de 12 opgaven zijn afgetekend/behaald. In elk geval moeten de opgaven 1 t/m 4 plus 7 en 9 zijn afgetekend. Een beoordelingsmodel is bindend! De bevoegdheid tot aftekenen kan worden overgedragen aan de praktijkopleider van het bedrijf of de instelling: ook de praktijkopleider is via de praktijkovereenkomst aan de normen van beoordeling gebonden. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 20 Bijlage 6 Voorbeeld toetskop Crebo 90252 – 90255 Logistiek Medewerker ---------------------------------------------------------------------------------------------------------------------------------------- Kerntaak: Werkproces(sen): Nummer onderwijseenheid: Naam onderwijseenheid: Periode: Aantal bladzijden: Toegestane hulpmiddelen: Beschikbare tijd: Aantal items: Max. aantal punten: 1 Ontvangt en slaat goederen op 1.1 Bereidt het ontvangen en opslaan van goederen voor 1.2 Lost goederen 1.3 Controleert ontvangen goederen Kennistoets 1 Ontvangst, lossen en controleren van goederen Fase 1 6 (inclusief voorblad) Geen 120 minuten 30 (15 MC-vragen en 15 open vragen) 127 ---------------------------------------------------------------------------------------------------------------------------------------- Normering: Bij elke vraag is het maximaal aantal te behalen punten vermeld. Indien een vraag uit deelvragen bestaat, dan wordt het maximaal aantal te behalen punten evenredig verdeeld over de deelvragen. Dit geldt tevens indien er meerdere antwoorden gevraagd worden. Mits anders aangeven. Maximale score: 127 punten = het cijfer 10 Cesuur (60%): 76 punten = het cijfer 5,5 LEES VOOR JE MET HET BEANTWOORDEN VAN DE VRAGEN BEGINT ONDERSTAANDE INSTRUCTIE GOED DOOR. • Je wordt verzocht niet op deze vragenset te schrijven. • Gebruik voor de beantwoording van de vragen apart uitwerkpapier. • Zet je naam en de datum op het uitwerkpapier en geef aan welk examen het betreft. • Vermeld het vraagnummer en zet daarachter je antwoord. Hou de juiste volgorde aan. • Bij de gesloten vraagtypen is 1 antwoord juist, tenzij anders vermeld. Meerkeuzevragen worden beschouwd als gesloten vragen. • Wanneer bij een vraag naar een bijlage wordt verwezen, vind je deze achter in de vragenset of krijg je deze apart uitgereikt. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 blz. 21 Bijlage 7 Voorbeeld invulformulier meerkeuzetoetsen INVULFORMULIER MEERKEUZETOETSEN Naam Klas Datum Toetscode Aandachtspunten: • Lees de meerkeuzevraag eerst in zijn geheel door. • Kies het juiste antwoord en kruis dit aan. • Wanneer naar jouw idee meerdere antwoorden mogelijk zijn, kies dan het beste antwoord en kruis dit aan. • Wanneer je het antwoord niet weet, sla de vraag dan eerst even over en kom later hierop terug. • Wanneer je klaar bent en er zijn vragen nog onbeantwoord, bekijk dan welke alternatieven zeker fout zijn en maak een keuze uit de overgebleven antwoorden. • Zorg dat er bij elke vraag een antwoord is ingevuld. • Wanneer je een foute keuze hebt gemaakt, maak je het hokje zwart en kruis je alsnog het goede antwoord aan. • Voorbeeld van invullen zie hieronder. B is steeds het juiste antwoord. A 1. 2. B X X C D … Antwoord C is foutief gekozen, juiste keuze B. De invultabel: A 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 B C D A B C D 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 3: Constructie Versie oktober 2013 A B C D 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 blz. 22 Inhoud hoofdstuk 4 4.1 4.2 4.3 4.4 4.5 4.6 Vaststelling Inleiding Stappenplan/activiteitenplanning vaststelling Procedure vaststellen toetsplan Procedure vaststellen toetsmatrijzen Procedure vaststellen toetsen en toetitems Procedure vaststellen cesuur Bijlagen 1. Checklist vaststellen toetsplan 2. Handreiking screenen toets en toetsitem 3. Checklist vaststellen toets en toetsitem 4. Handreiking vaststellen voorlopige cesuur Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 23 4.1 Inleiding In dit hoofdstuk worden de activiteiten rond vaststelling beschreven. Voorop staat de kwaliteit van de toetsing en examinering. Daarvoor is het noodzakelijk toetsen en toetsitems te laten beoordelen en vaststellen door personen, die niet aan de totstandkoming van de toetsen en toetsitems hebben meegewerkt. In paragraaf 4.2 zijn activiteiten, actoren en verantwoordelijken vastgelegd. De examencommissie MBO Logistiek is formeel belast met de vaststelling van toetsplannen, toetsmatrijzen, toetsen en toetsitems. De examencommissie MBO Logistiek heeft deze taak gedelegeerd aan de vaststellingscommissie MBO Logistiek. De voorbereidende werkzaamheden die een efficiënte en verantwoorde vaststelling mogelijk maken, worden verricht door inhoudelijk deskundigen. Toetsvragen worden vastgesteld en bewaard in een elektronische itembank, de z.g. Wintoetsbank. Er kan worden volstaan met het vaststellen van matrijzen en items; de toets die het gevolg is van ‘plukken’ van items aan de hand van de toetsmatrijs is dan automatisch van goede kwaliteit en behoeft slechts een na-controle, die onder meer gericht is op voorkomen van dubbelingen, elkaar uitsluitende antwoorden, vragen die antwoorden op andere vragen impliceren etc. 4.2 Stappenplan/activiteitenplanning vaststelling In onderstaand schema staat vermeld wanneer een activiteit afgerond dient te zijn. Hiermee is een indicatieve planning gegeven voor de examencyclus. Omdat de stappen 5 tot en met 7 afhankelijk zijn van het geplande toetsmoment, is daar gekozen voor een planning in aantallen werkdagen voor of na het eerste toetsmoment. (Let op: dit schema is een kopie van paragraaf 3.2 van dit handboek!) Stap Activiteit Door Verantwoordelijk 1 Opstellen toetsplan 2 3 4 5 6 Vaststellen toetsplan Constructie toetsmatrijs Vaststellen toetsmatrijs Constructie toets Vaststellen toets en toetsitem Vaststellen advies cesuur Vaststellingscommissie voor de afnemende onderwijsinstellingen Vaststellen cesuur van een Examencommissie van toets de afnemende onderwijsinstelling Vaststellen van de uitslag Examencommissie van en het bekend maken van de afnemende onderwijsinstelling de uitslag aan de deelnemer 7 8 9 * Examenbureau en Kwaliteitsmanager Vaststellingscommissie Toetsconstructeur Vaststellingscommissie Toetsconstructeur Vaststellingscommissie Examencommissie Datum gereed 15-03 Examencommissie Examencommissie Examencommissie Examencommissie Examencommissie 15-04 15-08 15-09 30* 15* Examencommissie 15* College directie College directie .. werkdagen voor het eerste toetsmoment Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 24 4.3 Procedure vaststellen toetsplan Stap 2 De kwaliteitsmanager Examenbank MBO Logistiek stelt in overleg met de instituten een voorstel op voor het toetsplan. De vaststellingscommissie MBO Logistiek stelt het toetsplan vast nadat is geconstateerd dat het toetsplan aan de eisen voldoet. De eisen waaraan dat toetsplan moet voldoen, staan in paragraaf 3.3 en zijn opgenomen in de checklist vaststellen toetsplan. Het vastgestelde toetsplan is de bron van toetsmatrijzen en de daarbij behorende toetsen. 4.4 Procedure vaststellen toetsmatrijzen Stap 4 De vaststellingscommissie stelt de matrijs vast indien als deze in orde is. Zij gebruikt daarbij de checklist vaststellen toetsmatrijs. Indien de beoordeling negatief is, wordt de matrijs geretourneerd aan de constructeur(s) met een gerichte opdracht de matrijs aan te passen. En verder: Matrijzen blijven geldig totdat zij herroepen worden. Op die wijze wordt een constante samenstelling van de toetsen gewaarborgd, doordat èlke toets op basis van dezelfde matrijs moet worden vastgesteld. Matrijzen kunnen worden herzien indien: a. de constructeurs of de examencommissie op basis van evaluatie tot de conclusie komen dat herziening gewenst is; b. kerntaken of werkprocessen gewijzigd zijn. 4.5 Procedure vaststellen toetsen en toetsitems Nadat de toetsmatrijzen zijn vastgesteld, zullen de toetsconstructeurs de toetsen gaan ontwikkelen en aan de vaststellingscommissie MBO Logistiek voorleggen. Onder ‘toets’ wordt steeds verstaan: de toets zèlf, een beoordelingsmodel met antwoorden, de toetsmatrijs, de scoringsvoorschriften, normering en het cesuurvoorstel. Onder een toetsitem verstaan we een toetsvraag en een beoordelingsmodel met antwoord. De toetsen en toetsitems worden beoordeeld aan de hand van de checklist vaststellen toetsen. Stap 6 De vaststellingscommissie MBO Logistiek stelt de toets en de toetsitems vast indien deze in orde zijn. Zij gebruiken daarbij de checklist vaststellen toets of de checklist vaststellen toetsitem. Daarbij wordt uitgegaan van de vastgestelde toetsmatrijs. Indien het oordeel negatief is, wordt de toets geretourneerd aan de constructeur(s) met de opdracht de toets aan te passen. De vaststellingscommissie MBO Logistiek bepaalt met het vaststellen van de toets tevens de voorlopige cesuur. Daartoe staat in de concepttoets reeds een voorstel van de toetsconstructeurs. Die voorlopige cesuur wordt automatisch de vastgestelde cesuur als er geen redenen zijn de voorlopige cesuur aan te passen. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 25 4.6 Procedure vaststellen cesuur (De cesuur is de grens tussen voldoende en onvoldoende en wordt meestal uitgedrukt in twee getallen: de hoogste score die nog nèt een onvoldoende is en de laagste score die nog nèt een voldoende is (voorbeeld: 34/35). Stap 8 Na afname, beoordeling en evaluatie wordt door de examinator de voorlopige cesuur gehanteerd bij het toekennen van het resultaat. Indien uit evaluatie blijkt dat het cesuurvoorstel moet worden aangepast, raadpleegt de examinator de examencommissie van het instituut en de examencommissie MBO Logistiek. De examencommissie van het instituut stelt dan een nieuwe cesuur vast. De examinator geeft aan dat een cesuurvoorstel moet worden aangepast indien: • één of meer vragen naar het oordeel van de examinator (blijkens de evaluatie) niet zouden moeten meetellen bij de beoordeling, bijvoorbeeld omdat zij niet of slecht functioneerden; • de examinator oordeelt dat er andere redenen zijn de cesuur aan te passen. Als er geen redenen zijn de voorlopige cesuur te wijzigen, is deze automatisch definitief geworden. In de bijlage is een handreiking voor het opstellen van de cesuur opgenomen. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 26 Bijlage 1 Checklist vaststellen toetsenplan Checklist vaststellen toetsenplan 2013-2015 Kwalificatie: Manager Opslag en Vervoer Crebo 91870 Kerntaken: 1. Organiseert processen in de opslagomgeving 2. Organiseert processen in de transportomgeving 3. Voert managementtaken uit De checklist is bestemd voor het bestuur van de Examenbank MBO Logistiek. Als het toetsenplan niet wordt vastgesteld, worden het teruggestuurd naar de constructeurs, tezamen met een advies. Checklist vaststellen toetsenplan voor kerntaken zoals hierboven beschreven. Constructeurs toetsenplan Datum check Check uitgevoerd door Handtekening voorzitter 1. 2. 3. 4. : : : : M. Huisman, P. Dabbekausen en F. Blaas 27 maart 2013 Het bestuur van de Examenbank MBO Logistiek A. Kroeze Controlepunt Reactie/opmerking/advies Zijn alle werkprocessen gerelateerd aan een toets? Passen de toetsvormen bij de betreffende prestatie indicatoren en de bijbehorende KIVA’s Is het toetsenplan duidelijk? Is het toetsenplan in overeenstemming met de informatie in het kwalificatiedossier van 1 augustus 2012? Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 27 Bijlage 2 Handreiking screenen toets en toetsitem • Leg de aangeboden toets c.q. toetitem naast de bijbehorende vastgestelde toetsmatrijs. Er moet een rechtstreeks verband zijn tussen item, toetsmatrijs en toetsplan. • Controleer per item of de items op de desbetreffende werkprocessen/prestatie indicatoren en resultaten slaan en of het beheersniveau juist is toegepast. • Leg de toets c.q. toetitem naast het beoordelingsmodel en controleer op onjuistheden. Let ook op mogelijke onredelijke toekenning van waarderingen. • Beoordeel of het cesuurvoorstel redelijk is. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 28 Bijlage 3 Checklist vaststellen toets en toetsitem De concepttoets (ook wel genoemd: toetsdossier) bestaat uit: • een vastgestelde toetsmatrijs (waarin ook de kolom “vragen in deze toets” ingevuld is); • de toets zelf; • het beoordelingsmodel; • scoringsvoorschriften en normering; • de voorlopige cesuur. De checklist is van toepassing op elke toetsvorm! De checklist is bestemd voor de voorbereidingsgroep. Als de toets niet wordt vastgesteld, wordt hij teruggestuurd naar de toetsconstructeurs, tezamen met een advies. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 29 Checklist vaststellen toets Betreft toets Toetsconstructeur Datum check Check uitgevoerd door : : : : 1….……………………………… 2………………………...……….. Datum vaststelling : Vastgesteld door : Controlepunt Reactie/opmerking/advies (Indien ‘nee’Æ toets retour naar constructeurs; niet verder gaan met 1. Is de toets compleet aangeleverd vaststellen) (vastgestelde matrijs, de toets zelf, beoordelingsmodel en voorlopige cesuur)? Validiteit (de toets dekt de inhoud en het niveau van het beoogde werkproces adequaat af) 2. Is de toets samengesteld conform de toetsmatrijs? 3. Zijn de toetsvragen/-opdrachten afgestemd op de inhoud van de prestatie indicatoren. KIVA’s en resultaten van het werkproces? 4. Sluiten de toetsvragen/-opdrachten aan bij het vereiste beheersniveau? Betrouwbaarheid (de beoordeling is zoveel mogelijk vrij van meetfouten) 5. Zijn de toetsvragen/-opdrachten maar op één manier te interpreteren? 6. Is de toets voorzien van correcte antwoorden en/of objectieve beoordelingscriteria? 7. Is de toets voorzien van duidelijke scoringsvoorschriften, dus inclusief deelantwoorden? 8. Is de toets voorzien van een duidelijke en redelijke normering, dus inclusief deelwaarderingen? 9. Is er in het beoordelingsmodel voldoende rekening gehouden met doorwerkfouten? 10. Gaat de voorbereidingsgroep akkoord met het cesuurvoorstel? Transparantie (de toets is overzichtelijk en toegankelijk voor deelnemers) 11. Is de toets voorzien van een duidelijke toetskop en heldere aanwijzingen voor de deelnemer? 12. Is de toets overzichtelijk van opzet (lay-out)? 13. Is de toets helder wat betreft taalgebruik? 14. Staan de te behalen (deel)scores bij de toetsvragen/-opdrachten vermeld? Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 30 Checklist vaststellen toetsitem Betreft toetsitem Itemconstructeur Datum check Check uitgevoerd door : : : : Datum vaststelling Vastgesteld door : : 1….……………………………… 2…………………...…………….. Controlepunt Reactie/opmerking/advies (Indien ‘nee’Æ toets retour naar constructeurs; niet verder gaan met Is de toetsvraag compleet vaststellen) aangeleverd (vastgestelde matrijs, het toetsitem zelf, beoordelingsmodel en voorlopige cesuur)? Validiteit (de toetsvraag dekt de inhoud en het niveau van het beoogde werkproces adequaat af) 1. 2. Is de toetsvraag samengesteld conform de toetsmatrijs? 4. Is de toetsvraag/-opdracht afgestemd op de inhoud van de prestatie indicatoren. KIVA’s en resultaten van het werkproces? 4. Sluiten de toetsvraag/-opdracht aan bij het vereiste beheersniveau? Betrouwbaarheid (de beoordeling is zoveel mogelijk vrij van meetfouten) 5. Is de toetsvraag/-opdracht maar op één manier te interpreteren? 6. Is de toetsvraag voorzien van correcte antwoorden en/of objectieve beoordelingscriteria? 7. Is er in het beoordelingsmodel voldoende rekening gehouden met doorwerkfouten? 8. Gaat de voorbereidingsgroep akkoord met het cesuurvoorstel? Transparantie (de toets is overzichtelijk en toegankelijk voor deelnemers) 9. Is de toetsvraag overzichtelijk van opzet (lay-out)? 10. Is de toetsvraag helder wat betreft taalgebruik? Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 31 Bijlage 4 Handreiking vaststellen voorlopige cesuur In de toetspraktijk onderscheiden we twee vormen van cesuurbepaling: • absolute cesuurbepaling; • relatieve cesuurbepaling. De volgende methode is slechts een voorbeeld: er bestaan meer methodes. Bij absolute cesuurbepaling wordt vanuit de leerstof bepaald waar de grens tussen een onvoldoende en voldoende score ligt. Voor afname wordt per toets vastgelegd welke beheersingsgraad vereist is om voor een voldoende in aanmerking te komen. Degene die de cesuur vaststelt, houdt rekening met de ingeschatte moeilijkheidsgraad en relevantie. Deze inschatting van de beheersingsgraad is een subjectieve inschatting. Er wordt achteraf niet gecorrigeerd aan de hand van de resultaten van de deelnemers. Bij deze vorm van cesuurbepaling zou het mogelijk kunnen zijn dat alle deelnemers zakken of alle deelnemers slagen. Bij relatieve cesuurbepaling wordt wel rekening gehouden met de prestaties van de deelnemers. Een relatieve cesuurbepaling wordt vaak onbewust toegepast: zijn de scores op een toets te hoog, dan ligt de cesuur ook hoog, presteert een groep slecht dan ligt de cesuur laag. Docenten vinden over het algemeen een zakpercentage van meer dan 25% niet te aanvaarden. Nadeel van deze wijze van cesuurbepaling is dat de deelnemers het niveau van het onderwijs bepalen. Dit nadeel wordt voor een belangrijk gedeelte ondervangen door de cesuur te relateren aan de items waarvan is gebleken dat zij goed functioneerden. Vaak wordt een combinatie van beide vormen van cesuurbepaling toegepast: vooraf wordt een voorlopige cesuur vastgesteld en na afname van de toets wordt op grond van de resultaten van de deelnemers de voorlopige cesuur al dan niet bijgesteld. Deze gemengde vorm bevat de volgende stappen: 1. Bepaal de maximale score van de toets door alle afzonderlijke scores bij elkaar op te tellen. 2. Bepaal de voorlopige cesuur: van alle items wordt (rekening houdend met de moeilijkheidsgraad en de relevantie van het item) aangegeven welke score een deelnemer zou moeten kunnen halen die nèt een voldoende zou moeten krijgen (“zesjesdeelnemer”). Bijvoorbeeld maximale score open vraag x is 6 punten. Een zesjesdeelnemer zou hier 3 punten moeten kunnen halen. De maximale score voor een meerkeuzevraag is meestal 4 punt. De ‘zesjesdeelnemer’ zal op dit item bijvoorbeeld 2,5 scoren. De afzonderlijke inschattingen per item worden bij elkaar opgeteld. Het totaal hiervan is de voorlopige cesuur. Dit totaal kan uitgedrukt worden in een percentage door het te delen door de maximale score. Een ervaringsgegeven is dat de cesuur meestal ligt rond de 60 % van de maximale score. 3. De voorlopige cesuur wordt uitgedrukt in een percentage en in het aantal punten dat nog net voldoende is. Deze voorlopige cesuur wordt schriftelijk vastgelegd. 4. Na afname van de toets wordt op grond van beschikbare evaluatiegegevens de kwaliteit van de toets nogmaals kritisch bekeken. Als er achteraf vragen bij zijn die toetstechnische mankementen vertonen, kan men besluiten deze niet te betrekken bij het vaststellen van de definitieve cesuur. 5. De definitieve cesuur wordt schriftelijk vastgesteld door de examencommissie van het college. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 32 Formulier bepaling voorlopige cesuur Dit formulier is geen vastgesteld formulier: het behoort bij de handreiking vaststelling voorlopige cesuur. Item 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Totaal Maximale score Inschatting score zesjesdeelnemer (a) (b) Cesuur % = totaal inschatting (b) gedeeld door maximale score (a) = ....... Voorlopige cesuur = ... punten Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 4: Vaststelling Versie oktober 2013 blz. 33 Inhoud hoofdstuk 5 5.1 5.2 5.3 5.4 5.5 Evaluatie Inleiding Evaluatie op het niveau van de deelnemer Evaluatie op het niveau van de onderwijsinstelling en het leerbedrijf Evaluatie op het niveau van de leverancier Plan van evaluatie Bijlagen 1. Tevredenheidsenquête deelnemers 2. Checklist toetsvraag Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 5: Bijlage Versie oktober 2013 blz. 34 5.1 Inleiding In dit hoofdstuk staat de evaluatie van de examinering en toetsing centraal. Alle betrokkenen kunnen relevante opmerkingen en verbeterpunten inbrengen in deze fase om de kwaliteit van de examinering en toetsing te verhogen. In paragraaf 5.5 is een evaluatieplan weergegeven. Zowel betrokkenen als deelnemers leveren in dit plan een bijdrage aan de evaluatie van de toetsing en examinering. Evaluatie vindt plaats op drie niveaus: 1. op het niveau van de deelnemers (5.2); 2. op het niveau van het de onderwijsinstelling en het leerbedrijf (5.3); 3. op het niveau van de leverancier (5.4). In 5.5 wordt een evaluatieplan uitgewerkt, waarin onderscheid gemaakt wordt tussen product- en procesevaluatie. 5.2 Evaluatie op het niveau van de deelnemer Deelnemers wordt gevraagd te oordelen over de examens. Het gaat daarbij om vragen betreffende de inhoud en de organisatie van de examens. Het instrument om het oordeel van de deelnemers te peilen is de ‘tevredenheidsenquête’, die steekproefsgewijs wordt afgenomen. Bijlage 1 geeft daarvan een voorbeeld. Daarnaast worden de deelnemers ook gevraagd om de BPV-opdrachten te beoordelen. De uitkomsten van de enquêtes zijn voor de examencommissie MBO Logistiek de bron voor kwaliteitsverbeteringtrajecten. De inhoud van de enquête is echter vormvrij; vaak worden de desbetreffende vragen reeds in een andere enquête gesteld. 5.3 Evaluatie op het niveau van de onderwijsinstelling en het leerbedrijf De onderwijsinstelling onderzoekt stelselmatig of het niveau en de inhoud van de examens overeenkomen met de vereisten uit het kwalificatiedossier. Dit onderzoek vindt plaats tijdens het lopende schooljaar en vooraf aan de vaststellingsprocedure van het toetsplan van het nieuwe schooljaar. De uitkomsten van de evaluatie zijn voor de examencommissie MBO Logistiek de bron voor kwaliteitsverbeteringtrajecten. Hiertoe worden verschillende instrumenten gebruikt: 1. de zelfevaluatie en tevredenheid, waarin alle stappen van het examenproces aan de orde komen; 2. verder wordt aanbevolen toetsconstructeurs door middel van toetsitemanalyses/ foutenanalyses inzicht te laten krijgen in het functioneren van hun toetsen. Daarnaast worden bij de onderwijsinstelling en het leerbedrijf de BPV-opdrachten geëvalueerd. 5.4 Evaluatie op het niveau van de leverancier De examenbank MBO Logistiek voert elke twee jaar een zelfevaluatie uit bij de afnemende onderwijsinstellingen, de toetsconstructeurs, de vaststellingscommissie en het examenbureau. Hiervoor worden tot nog toe de indicatoren gebruikt behorende bij de standaarden voor leveranciers. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 5: Bijlage Versie oktober 2013 blz. 35 5.5 Plan van evaluatie Actie Niveau deelnemers Niveau Onderwijsinstelling en leerbedrijf Niveau Leverancier Actor Planning Tevredenheidsenquête Examencommissie 1 x per jaar Soort evaluatie Product Evaluatie BPV opdrachten Examencommissie 1 x per 2 jaar Product Checklist zelfevaluatie Examencommissie 1 x per 2 jaar Proces Toetsitem-analyse/ Foutenanalyse Examencommissie 1 x per jaar Product Evaluatie BPV opdrachten Examencommissie 1 x per 2 jaar Product Zelfevaluatie Examenbank MTL Examencommissie 1 x per 2 jaar Product Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 5: Bijlage Versie oktober 2013 Resultaten Voor verbeteringsacties binnen de examencommissie. Resultaten archiveren. Rapportage aan instituten en de Raad van Toezicht. Voor verbeteringsacties binnen de examencommissie. Resultaten archiveren. Rapportage aan instituten en de Raad van Toezicht. Voor verbeteringsacties binnen de examencommissie. Resultaten archiveren. Rapportage aan instituten en de Raad van Toezicht. Voor verbeteringsacties binnen de examencommissie. Resultaten archiveren. Rapportage aan instituten en de Raad van Toezicht. Voor verbeteringsacties binnen de examencommissie. Resultaten archiveren. Rapportage aan instituten en de Raad van Toezicht. Voor verbeteringsacties binnen de examencommissie. Resultaten archiveren. Rapportage aan instituten en de Raad van Toezicht. blz. 36 Bijlage 1 Tevredenheidsenquête deelnemers College : ………………………………………………………………………………………………………………………. Opleiding : ………………………………………………………………………………………………………………………. Toetscode : ………………………………………………………………………………………………………………………. De schaalverdeling is als volgt: 1 = slecht, 4 = goed 1. Was de instructie duidelijk? 1 2 3 4 2. Wat is je mening over de beschikbare tijd voor de toets? 1 2 3 4 3. Waren er vragen/opdrachten, waarbij het niet duidelijk was wat er gevraagd werd? geen / enkele / meerdere 4. Waren er vragen/opdrachten bij, die gingen over stof die niet bestudeerd hoefde te worden? geen / enkele / meerdere 5. Kwamen de meeste onderwerpen, die bestudeerd moesten worden terug in het examen? geen / enkele / meerdere 6. Was het examen overzichtelijk van opzet? 1 2 3 4 7. Was het examen goed leesbaar? 1 2 3 4 8. Was duidelijk hoeveel punten per vraag je maximaal kon halen? 1 2 3 4 9. Was duidelijk hoeveel punten minimaal nodig waren om een voldoende te behalen 1 2 3 4 Opmerkingen over het examen: Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 5: Bijlage Versie oktober 2013 blz. 37 Bijlage 2 Checklist toetsvraag Betreft toetsvraag Datum evaluatie Check uitgevoerd door : : : Controlepunt Reactie/opmerking/advies Validiteit (de toetsvraag dekt de inhoud en het niveau van het werkproces adequaat af) 1 Is de toetsvraag/-opdracht afgestemd op de inhoud van de prestatie indicatoren en resultaten van het werkproces? 2 Sluiten de toetsvraag/-opdrachten aan bij het vereiste beheersniveau? Betrouwbaarheid (de beoordeling is zoveel mogelijk vrij van meetfouten) 3 Is de toetsvraag/-opdracht maar op één manier te interpreteren? 4 Is de toetsvraag voorzien van correcte antwoorden en/of objectieve beoordelingscriteria? 5 Is er in het beoordelingsmodel voldoende rekening gehouden met doorwerkfouten? Transparantie (de toets is overzichtelijk en toegankelijk voor deelnemers) 6 Is de toetsvraag overzichtelijk van opzet (lay-out)? 7. Is de toetsvraag helder wat betreft taalgebruik? Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 5: Bijlage Versie oktober 2013 blz. 38 Hoofdstuk 6 Begrippenlijst De Examenbank MBO Logistiek kent een begrippenlijst. De volgende begrippen echter staan daar niet in omdat zij te specifiek zijn. Het gaat om begrippen betreffende examinering. Alternatief Een alternatief is elk van de antwoordmogelijkheden bij een meerkeuzevraag. Antwoordmodel Een antwoordmodel is een opsomming van goede, soms van minder goede en foute antwoorden bij open vragen, bedoeld als richtlijn voor de beoordelaar. Het antwoordmodel is een onderdeel van het beoordelingsmodel. Beoordelaarsinstructie Beoordelaarsinstructies zijn algemene richtlijnen die gegeven worden over de wijze waarop de prestaties van de deelnemers beoordeeld moeten worden. Beoordelaarsinstructies moeten het optreden van beoordelaarseffecten tegengaan. De beoordelaarsinstructies zijn een onderdeel van het beoordelingsmodel. De beoordelaarsinstructies hebben betrekking op zaken als: • wijze van beoordelen/nakijken, bijvoorbeeld: nakijken per opgave in plaats van per toets; • richtlijnen voor de eerste en tweede corrector, bijvoorbeeld: geen aantekeningen maken op het werk van de deelnemer. Beoordelingsmodel Een beoordelingsmodel is een bij een openvraagtoets behorende lijst met richtlijnen voor beoordelaars. Het beoordelingsmodel bestaat uit een antwoordmodel, een scoringsvoorschrift en een beoordelaarsinstructie. Betrouwbaarheid De betrouwbaarheid is de mate waarin men staat kan maken op meetresultaten, dat wil zeggen de mate waarin de scores consistent, nauwkeurig en reproduceerbaar zijn, kortom vrij van meetfouten. Cesuur De grens tussen de hoogste toetsscore waaraan een onvoldoende wordt toegekend en de laagste toetsscore waaraan een voldoende wordt toegekend. Wat een “voldoende” is, moet in het examenreglement zijn opgenomen. Soms zal dat een cijfer zijn (het cijfer 6); soms zal dat het predikaat “voldoende” zijn. De wet schrijft daar niets over. Men zou dus kunnen kiezen voor een 5-puntsschaal, waarvan de 4 en de 5 “voldoende” zijn. Examen Het examen toetst of de examendeelnemer bij het voltooien van de opleiding voldoet aan de vereisten. Het examen kan bestaan uit afzonderlijke onderdelen. Het examen van beroepsopleidingen bestaat uit onderdelen die overeenkomen met de kerntaken en werkprocessen. Het examen van een beroepsopleiding is met gunstig gevolg afgelegd, indien alle toetsen van die opleiding met gunstig gevolg zijn afgelegd. Zie artikel 7.4.2., 7.4.3. WEB. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 6 Versie oktober 2013 blz. 39 Examencommissie MTL De commissie die belast is met verschillende taken rond examens. Die taken staan in het reglement vermeld. Het bestuur van de stichting benoemt de leden. Examencyclus Cyclus van uit te voeren activiteiten rondom examinering bestaande uit de activiteiten: voorbereiding, constructie, vaststelling, afname, uitslag en evaluatie. Examenonderdeel Een onderdeel van het examen. Examenonderdelen komen overeen met werkprocessen. Examenprogrammering Het gedeelte van de onderwijs- en examenregeling waarin zo concreet mogelijk de toetsing wordt omschreven in al zijn aspecten. Dit begrip komt niet in de WEB voor. Examenuitvoering De voorbereiding, afname en afhandeling van het examen volgens de regels die in de onderwijs- en examenregeling zijn vastgelegd. Item Synoniem voor opgave; een item is een onderdeel van een toets. Itembank Een verzameling geordende toetsvragen (items) waaruit volgens een toetsmatrijs een toets kan worden samengesteld. Het CITO noemt dit een opgavenbank; uit art. 7.4.8.WEB kan opgemaakt worden dat “opgave” gelijk is aan het begrip “toets”. Meerkeuzevraag Een meerkeuzevraag is een vraag waarbij de deelnemer het goede antwoord moet bepalen uit verschillende alternatieven. Normering/normstelling Beschrijving van de minimale prestatie van een examendeelnemer ten behoeve van de vaststelling of een kerntaak wordt beheerst. Binnen een kerntaak wordt vooraf bepaald welke uitslag door de examendeelnemer minimaal moet worden behaald om voor een voldoende beoordeling in aanmerking te komen. Indien het hierbij gaat om één toets, zal dit begrip identiek zijn aan het begrip cesuur. Objectiviteit Objectiviteit is de eigenschap die een toets heeft, als de persoon die de score vaststelt hierop geen invloed kan hebben. Open vraag Een open vraag is een vraagtype waarbij een deelnemer het antwoord zelf moet formuleren. Praktijktoetsing Toetsing van praktijkvaardigheden in een leer- of stagebedrijf of een examencentrum. Scoren Het volgens bepaalde regels toekennen van punten aan waargenomen prestaties (goede, gedeeltelijk goede en foute antwoorden). In plaats van “punten” kunnen hier ook andere vormen van waardering worden gelezen. Punten kunnen na een cesuurvaststelling worden omgezet in een uitslag. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 6 Versie oktober 2013 blz. 40 Scoringsvoorschrift Een scoringsvoorschrift is een onderdeel van het beoordelingsmodel. In het voorschrift worden vermeld: de maximaal haalbare toetsscore en de scorepunten en eventueel nog: de aftrekpunten en de bonuspunten, een en ander afhankelijk van onder andere goede of gedeeltelijk goede antwoorden. Het scoringsvoorschrift beschrijft welke antwoorden goed, welke gedeeltelijk goed en welke als fout moeten worden beschouwd. Indien mogelijk en nodig wordt omschreven wanneer bonuspunten worden toegekend, c.q. aftrekpunten in mindering worden gebracht. Toets Een toets vormt de afsluiting van een kerntaak. Van het behalen van een toets wordt een bewijsstuk uitgereikt. Zie artikel 7.1.2 WEB. Toetsconstructiegroep Toetsconstructiegroepen construeren items en toetsen aan de hand van een toetsmatrijs. Toetsconstructiegroepen (ook wel schrijfgroepen genoemd) bestaan vaak uit docenten die de inhoud van de betreffende kerntaak verzorgen (inhoudsdeskundig). Toetsconstructiegroepen kunnen gevormd worden per kerntaak, per opleiding, per branche of instellings-overstijgend (regionaal of landelijk). Toetsenbank Een verzameling toetsen. Zie de toelichting bij itembank. Toetsmatrijs Bouwplan voor een toets. Een toetsmatrijs geeft de spreiding binnen een toets aan; spreiding in de zin van onderwerpenspreiding en taxonomieverdeling. De taxonomie slaat op de beheersingsgraad, bijvoorbeeld “weten, inzien, toepassen”. Toetsservicesysteem Een itembanksysteem met extra faciliteiten. Een toetsservicesysteem is een geïntegreerd en (ten dele) geautomatiseerd stelsel van procedures voor: • het opslaan, beheren en onderhouden van itembanken, • het samenstellen van toetsen uit deze itembanken, • het oproepen en presenteren van de toets (op papier of via de computer), • het analyseren van toetsresultaten. Waar “item” staat, gebruikt de oorspronkelijke CITO-definitie het woord *opgave. Toetstermen Uitgewerkte werkprocessen. De werkprocessen worden zodanig bewerkt, dat duidelijk wordt hoe die getoetst kunnen worden. Ook wel: toetsdoelen, exameneisen of examenspecificaties. Validiteit De validiteit van een toets is de eigenschap dat de toets meet wat de constructeur bedoeld heeft ermee te meten. Aangezien een toets veel en uiteenlopende bedoelingen kan hebben, zijn er evenzoveel validiteiten te onderscheiden, die een toets in verschillende mate kan bezitten. In de literatuur komen veel verschillende benamingen en definities van validiteiten voor. Kwaliteitshandboek Examenbank MBO Logistiek, hoofdstuk 6 Versie oktober 2013 blz. 41
© Copyright 2024 ExpyDoc
