Examinering MBO Utrecht Jaarverslag 2013

Examinering MBO Utrecht
Jaarverslag 2013
Colofon
Uitgave
Versie jaarverslag examinering
Vastgesteld door de examencommissie op
Definitief vastgesteld door het College van Bestuur op
Opgesteld door
Kenmerk
: 25 maart 2014
: 1.0
: 25 maart 2014
: 25 maart 2014
: De Examencommissie
: U14.00341 OW40
Inhoudsopgave
pag.
Inleiding
3
1
Beleid examinering
1.1
Doelen op het gebied van beleid
1.2
Activiteiten en resultaten
1.3
Verbeteracties
4
2
Examenorganisatie
2.1
Doelen ten aanzien van de examenorganisatie
2.2
Activiteiten en resultaten
2.3
Verbeteracties
6
3
Kwaliteitszorg
3.1
Doelen op het gebied van kwaliteitszorg
3.2
Activiteiten en resultaten
3.3
Verbeteracties
4
Overige gegevens
4.1
Resultaat COE
4.2
Resultaat gediplomeerden
4.3
Klachten en Beroep
Jaarverslag examinering
7
9
pagina 2 van 9
Inleiding
De examencommissie van MBO Utrecht beschrijft in dit jaarverslag de examinering in 2013: de start
van het jaar, de doelen in 2013, de activiteiten die daarvoor zijn opgezet en de resultaten. In dit
jaarverslag is daarnaast een overzicht van diplomeringen en beroepsprocedures opgenomen.
In januari bestond de examencommissie MBO Utrecht nog geen half jaar. Na de oprichting in
september 2012 lag de prioriteit bij het opzetten en inrichten van een eigen examenorganisatie, die
verantwoordelijk is voor de aansturing van de examinering en de borging van de kwaliteit van de
examinering. Het ging daarbij om een examenorganisatie met de volgende kenmerken:
- onafhankelijk van het onderwijs,
- transparant voor alle betrokkenen,
- duidelijke verdeling van taken en verantwoordelijkheden,
- zicht op exameninstrumenten, afname en beoordelingsprocessen en diplomering,
- kaders voor de uitvoering van het proces van examinering en diplomering.
Het was nodig om de examenorganisatie opnieuw in te richten, omdat de taken op het niveau van
Amarantis centraal belegd waren en de examenorganisatie geschaald moest worden naar het niveau
van de veel kleinere zelfstandige instelling die MBO Utrecht nu is.
In januari was de examencommissie zelf nog in ontwikkeling en het verder ontwikkelen van de
examenorganisatie was in die situatie dan ook een uitdaging. Deze opdracht is vertaald in een plan
van aanpak met de focus op de kwaliteit van de examinering.
Het beleid was in 2013 erop gericht de examinering te laten voldoen aan de examenstandaarden van
de Inspectie van het Onderwijs, zoals die zijn omschreven in de Regeling standaarden
examenkwaliteit MBO 2012. Speerpunten daarbij waren het bemensen van de examenorganisatie
met deskundige/geschoolde medewerkers, kaders voor de uitvoering van de examinering ontwikkelen
en toezicht houden op de processen van examinering en diplomering.
Naast deze aanpak zijn aan het eind van 2013 gerichte verbeteracties ingezet.
Jaarverslag examinering
pagina 3 van 9
1. BELEID EXAMINERING
1.1. Doel
De examencommissie heeft in 2013 de volgende beleidsdoelen geformuleerd.
- Kaders examinering aangeven.
- Kwaliteitsborging door standaardisering.
- Betrokkenheid beroepenveld.
1.2. Activiteiten en resultaten
Kaderdocumenten
Er is gewerkt aan het ontwikkelen van kaders voor de examinering met het volgende resultaat.
- Visie examinering
MBO Utrecht is in 2012 gestart met het opstellen van een visie op examinering. In 2013 heeft dit
geresulteerd in het kaderdocument Visie op Examinering. Dit document is door het CvB
vastgesteld.
- Kwaliteitskader examinering en handboek examinering
De examencommissie heeft het kwaliteitshandboek voor competentiegerelateerde examens op
geldigheid en actualiteit getoetst en aangepast. Dit heeft geresulteerd in het document
Kwaliteitskader examinering en een nieuw Handboek examinering, waarin respectievelijk de
examentaken, werkprocessen en procedures voor zijn beschreven.
- Examenreglement
In 2013 is een examenreglement, waarin de kaders voor de afname van de examens zijn
aangegeven, opgeleverd.
- Regeling Beroep tegen Examenbeslissingen
Voor beroepszaken examenbeslissingen is een regeling opgesteld.
Standaardisering
Er zijn activiteiten opgezet op het gebied van kwaliteitsborging door standaardisering met het
volgende resultaat.
- Eenzelfde wijze van examinering voor dezelfde opleiding.
Binnen elke opleiding van MBO Utrecht wordt de examinering op één wijze uitgevoerd, ook als de
opleiding op meerdere locaties wordt aangeboden.
- Exameninstrumenten
 Beleid vastgesteld ten aanzien van het inkopen van exameninstrumenten in plaats van zelf te
construeren: ingekochte exameninstrumenten voor de proeven (kerntaken), Nederlands
(overige taalvaardigheden naast de COE´s), MVT. Een uitzondering wordt gemaakt voor
opleidingen die nog in ontwikkeling zijn of waarvoor geen examenleveranciers beschikbaar
zijn. Er is gestuurd op het inkopen van examens met als resultaat dat slechts bij een beperkt
zeer aantal opleidingen nog zelf examens geconstrueerd worden.
 Beleid vastgesteld ten aanzien van de beroepsgerichte eisen voor Nederlands, rekenen en
MVT: deze eisen worden geëxamineerd in de kerntaken.
- Overzicht examenleveranciers
De examencommissie heeft de inkoop van de exameninstrumenten geïnventariseerd, met het
doel de kwaliteit te bewaken en te borgen. Vervolgens is voor de generieke examenonderdelen
het aantal leveranciers beperkt, contracten beëindigd of niet verlengd.
- Centrale examinering van de generieke examenonderdelen
 Beleid vastgesteld ten aanzien van de COE: alle studenten doen mee aan de pilots. Daar
waar de planning van de COE in het nadeel is van een student, wordt met toestemming van
de examencommissie een instellingsexamen ingezet. Dit kan van toepassing zijn op BBLstudenten en extranei.
 Op basis van inventarisatie van de exameninstrumenten voor de generieke
instellingsexamens is een selectie gemaakt voor één leverancier.
 Beleid ingezet om instellingsexamens Nederlands en MVT te centraliseren. In 2013 zijn de
mogelijkheden onderzocht en waar mogelijk is op enkele locaties gestart met de
voorbereiding.
- Beleid vastgesteld t.a.v. afname en beoordeling van examens
 Vrijstellingen: er wordt geen vrijstelling voor examens verleend.
Jaarverslag examinering
pagina 4 van 9


Voorwaarden voor deelname aan examens. In artikel 8, en met name lid 1, van de
Onderwijsovereenkomst 2013-2014 is de volgende bepaling opgenomen: om deel te mogen
nemen aan het examen/de examens is de student verplicht de opleidingsactiviteiten volgens
het voor hem/haar geldende programma te volgen. Hiermee is voor studenten voldoende
duidelijk dat er voorwaarden gesteld worden.
Er is een regeling vastgesteld voor afname van de examens in de beroepspraktijk. Een proeve
van bekwaamheid (PvB) wordt in eerste instantie beoordeeld door een beoordelaar in de BPV
en de eindbeoordeling wordt gegeven door een bevoegde docent/assessor van de school. Bij
iedere beoordeling moet tenminste één docent betrokken zijn.
Betrokkenheid van het beroepenveld
Er is invulling gegeven aan de betrokkenheid van het beroepenveld.
- Beschrijving van de betrokkenheid van het beroepenveld bij het proces van examinering.
- Inventarisatie van de betrokkenheid van het beroepenveld bij beleid. Gebleken is dat de
betrokkenheid van het beroepenveld voornamelijk wordt vormgegeven middels het aanbieden van
een praktijkwerkplek als examenlocatie (examinering in de beroepspraktijk) en het mede
beoordelen van de examens. En bij enkele opleidingen participeert het beroepenveld in een
bedrijfscommissie. Besloten is de mogelijkheden voor de betrokkenheid van het beroepenveld bij
de beleidsvorming te onderzoeken en hier invulling aan te geven.
1.3. Verbeteracties
-
Evaluatie van de visie op examinering toetsen aan de actuele ontwikkelingen in het onderwijs. Het
doel is een lange termijn visie te formuleren.
De betrokkenheid van het beroepenveld bij de examinering binnen MBO Utrecht vergroten door:
 als klankbord op te treden bij de analyse van de evaluaties en het opstellen van
verbeterplannen en bij het aanpassen van het handboek examinering,
 als belanghebbende op te treden bij het onderzoek naar de examenkwaliteit, op school én in
de beroepspraktijk,
 een vertegenwoordiger uit de beroepspraktijk als lid op te nemen in de examencommissie.
Jaarverslag examinering
pagina 5 van 9
2. EXAMENORGANISATIE
2.1 Doelen
De doelen ten aanzien van de examenorganisatie waren:
- het verder ontwikkelen van de examenorganisatie,
- scholing van de examencommissie,
- scholing examenfunctionarissen.
2.2 Activiteiten en resultaten
Ontwikkelen van de examenorganisatie
In 2013 is de examenorganisatie aangepast en zijn de taken en bevoegdheden van de diverse
geledingen beschreven. De examenfunctionarissen zijn geïnformeerd over hun rol binnen de
examenorganisatie en hiervoor gefaciliteerd in de vorm van tijd, middelen, scholing en ondersteuning.
Ook zijn de kosten voor examinering op het gebied van de inzet van examenfunctionarissen in beeld
gebracht.
Scholing van de examencommissie
De examencommissie heeft geïnvesteerd in verbetering van het eigen functioneren middels reflectie,
begeleid door met een externe deskundige. Het resultaat was:
 Ondersteuning van de examencommissie door een examensecretaris. Dit betekent dat aan
het eind van 2013 de examenorganisatie op dit punt is aangepast.
 Het benoemen en beleggen van de examentaken binnen de examenorganisatie. De
examenprocessen en de sturing hiervan zijn opgenomen in een jaarplanning. De planning is
gericht op monitoring en beheersing van de examenprocessen.
Scholing examenfunctionarissen
- Gerichte scholing van alle medewerkers die betrokken zijn bij de examenorganisatie met
informatie over hun rol, taken en bevoegdheden.
- Training examenbureaus (en examensecretariaten).
- Deskundigheidsbevordering op het gebied van examinering door 3x per jaar op de scholingsdag
aan iedereen die daarvoor belangstelling heeft scholing aan te bieden.
- Gerichte scholing van:
 Assessoren. De behoefte aan scholing is groot. In april 2013 is gestart met de scholing. De
deelnemers hebben allemaal een evaluatieformulier ingevuld en de beoordeling was positief.
Er was behoefte aan een terugkomdag om de deskundigheid te delen en onderhouden. Nog
niet alle assessoren zijn geschoold.
 Examencommissie. Het resultaat is een verbeterplan.
 Vaststellers. De vaststellers die de scholing gevolgd hebben zijn gecertificeerd.
2.3 Verbeteracties
De taken en bevoegdheden van de diverse geledingen binnen de examenorganisatie zijn beschreven
en geïmplementeerd en dit vergde een grote tijdsinvestering. Hierdoor is de examencommissie niet of
nauwelijks toegekomen aan de evaluatie. Er zijn evaluatieformulieren ontwikkeld, die in 2013 deels
zijn uitgezet en ook reeds geleid hebben tot verbeteracties. Het is belangrijk om een meer
gestructureerde vorm te kiezen en dit in de tijd uit te zetten. De evaluatiegegevens worden vervolgens
verwerkt in beleid ten aanzien van de examenorganisatie en de uitvoering van het proces van
examinering. Dit leidt tot aanpassing van het handboek examinering voor 2014-2015.
Verbeteren van de communicatie binnen de examenorganisatie: meer persoonlijk contact en een
nieuwsbrief voor examenfunctionarissen met informatie over de besluiten van de examencommissie.m
Kosten examinering verder specificeren.
De scholing van de examenfunctionarissen wordt voortgezet met als doel:
- scholing van nieuwe examenfunctionarissen,
- scholing van alle assessoren.
Jaarverslag examinering
pagina 6 van 9
3. KWALITEITSZORG
3.1 Doelen
De examencommissie heeft in 2013 de volgende concrete doelen geformuleerd.
- Het beschikken over een instrumentarium waarmee per relevante eenheid inzichtelijk in beeld
wordt gebracht of de kwaliteitsaspecten van toetsing en examinering voldoen aan de door de
inspectie gestelde normen.
- Het systematisch monitoren of er wordt voldaan aan de normen en verbetertrajecten uitvoeren op
die punten waar dat nodig is (auditing).
- Het opzetten van een planning en controlcyclus om de kwaliteit van de examenprocessen te
borgen.
3.2 Activiteiten en resultaten
Procesarchitectuur examinering (PE)
In september 2013 is in het kader van kwaliteitsborging een projectgroep ingesteld, met als taak de
examinering binnen MBO Utrecht volledig te beschrijven en aan te sluiten bij de landelijk ontwikkelde
Procesarchitectuur Examinering (PE2.0). Uitgangspunt hierbij is meer inzicht in en grip op de
examinering te krijgen, door de werkzaamheden en rollen te laten uitvoeren volgens beschreven
procedures. Het doel is de basiskwaliteit van alle opleidingen te laten voldoen aan alle
examenstandaarden en de kwaliteit daadwerkelijk te verankeren in de organisatie en te borgen.
Het resultaat is een instrument voor kwaliteitsborging: MBO Utrecht heeft via het Servicepunt
Examinering MBO een eigen website procesarchitectuur examinering.
Dit kwaliteitsinstrument is ontwikkeld en geïmplementeerd met de volgende gebruikswaarden.
- Meer inzicht in en grip op de kwaliteitscyclus van de examinering, en zo de kwaliteit van de
examinering op de middellange termijn te verhogen en te borgen.
- Het faciliteren van de examencommissie als vertegenwoordiging van de instelling om in- en
extern makkelijker verantwoording af te leggen over de wijze waarop men binnen de eigen school
de kwaliteit van de examenprocessen borgt.
- Verder uitbreiden en verankeren van een gemeenschappelijk taalgebruik rondom de kwaliteit van
examinering in MBO Utrecht en hierbij aansluiting zoeken bij het begrippenkader zoals dat
ontwikkeld is .
- Digitale omgeving waarin alle informatie beschikbaar is t.a.v. examinering, examen producten,
examentaken, examentijden etc.
Examenplannen en exameninstrumenten
- Er is door de vaststellingscommissie een overzicht gegenereerd van alle bestaande en
vastgestelde examenplannen en exameninstrumenten. Wekelijks is de stand van zaken van het
overzicht besproken en waar nodig zijn acties uitgezet.
Uitgangspunt van het overzicht van examenplannen- en producten is geweest:
 van alle cohorten zijn de examenplannen vastgesteld,
 van alle cohorten die in het cursusjaar 2013/2014 examineren zijn er vastgestelde plannen én
exameninstrumenten (de examenbundel).
- Voor examinering bij MBO Utrecht wordt gewerkt met ingekochte examens. Om hier zicht op te
krijgen, heeft de examencommissie een inventarisatie van de ingekochte examens uitgezet. Het
resultaat is een overzicht van leveranciers en ingekochte exameninstrumenten. Dit is van belang
voor het proces van standaardisering.
Audit examinering
De examencommissie heeft in 2013 beleid ten aanzien van monitoring van de examinering
geformuleerd. Resultaat:
- Er is een check op de werkprocessen van de examenbureaus (en examensecretariaten)
uitgevoerd. De resultaten zijn besproken met de betrokken examenfunctionarissen en het
handboek examinering is bijgesteld.
- Aan het eind van 2013 is een auditcommissie ingesteld, die een plan van toezicht heeft opgesteld.
Jaarverslag examinering
pagina 7 van 9
Onderzoek Inspectie van het Onderwijs
De Inspectie van het Onderwijs voerde in 2013 een onderzoek naar de kwaliteitsverbetering uit. Dit
OKV had betrekking op de opbrengsten van de opleiding Sociaal-maatschappelijk dienstverlener
niveau 4, crebo 92670. De conclusie van het onderzoek was dat het onderwijs en de opbrengsten
onvoldoende waren. MBO Utrecht heeft besloten de opleiding niet meer aan te bieden per 1 augustus
2014. Alle nog ingeschreven studenten voor deze opleiding worden voor 1 januari 2015 gediplomeerd
of uitgeschreven. Op 1 januari 2015 stop de licentie voor deze opleiding voor minimaal 2 jaar.
Sturing examenprocessen
Er is een jaaragenda opgesteld waarin de examenprocessen in tijd zijn uitgezet. Deze jaaragenda is
vertaald naar een factsheet examinering om de sturing van de examenprocessen te monitoren.
3.3 Verbeteracties
Procesarchitectuur examinering (PE)
De website Procesarchitectuur Examinering moet verder gevuld worden met content, die sturing geeft
aan de uitvoering (richtlijnen, formats en dergelijke).
Monitoring en onderzoek plannen in de examencyclus
- Meetbare doelen voor de kwaliteit van examenprocessen formuleren, de evaluaties in tijd uitzetten
en gerichte audits plannen en uit voeren.
- Planning van de zelfevaluaties, het controleren van de verbeteracties en het organiseren van
gerichte controles op de uitvoering om de kwaliteit van de examinering te verhogen.
- Formats opstellen voor:
 evaluatie en documentatie van de examinering voor de jaarlijkse rapportage,
 de verantwoording van de verbetering.
- De kwaliteit van de examens bewaken en onderzoek laten doen naar de kwaliteit van de
processen en de resultaten. Signaleren van:
 mogelijke risico’s voor betrouwbaarheid, validiteit en transparantie,
 discrepanties tussen examenvisie en actuele wet- en regelgeving (WEB en
examenstandaarden).
- Voor monitoring en onderzoek van de examinering:
 een lange termijn plan opstellen,
 een jaarplan opstellen en prioriteiten benoemen voor de komende examencyclus
 de monitoring- en onderzoekstaken verdelen (of extern toekennen);
 maatregelen nemen om de betrouwbaarheid (onafhankelijkheid) van het onderzoek te
waarborgen.
- Plan van toezicht aanscherpen:
 Controle organiseren op:
o de naleving van afspraken, procedures en het gebruik van documenten, evaluaties en
dergelijke,
o de deskundigheid(sbevordering) van examenpersoneel,
o de aansturing van de examenprocessen.
 Meer interne audits uitvoeren in het kader van risicobeheersing.
 Evaluatieformulieren van examenkandidaten en assessoren analyseren om in beeld te
brengen of het beoogd effect gerealiseerd is.
Jaarverslag examinering
pagina 8 van 9
4. OVERIGE GEGEVENS
4.1 Resultaat COE
De Centraal Ontwikkelde Examens gaan een steeds grotere rol spelen binnen MBO Utrecht. In
schooljaar 2011-2012 is de eerste ervaring opgedaan met het centraal examineren voor Nederlands
en rekenen. In 2012 is de COE opgeschaald en in 2013 is dit verder uitgewerkt door de COE verplicht
te stellen voor alle BOL studenten.
In het kalenderjaar 2013 zijn 2332 COE-afnames geteld voor Nederlands en rekenen. Verspreid over
drie examenperiodes hebben studenten één of meer keer deelgenomen aan deze examens.
Per niveau (2F en 3F) is dit als volgt uit te spitsen voor Nederlands en rekenen:
COE-onderdeel
Nederlands 2F
Rekenen 2F
Nederlands 3F
Rekenen 3F
Aantal afnames
468
414
827
623
% met resultaat > 6
73%
44%
53%
22%
De examens zijn afgenomen op de Columbuslaan waar het voormalige OLC is ingericht als toets- en
examencentrum. Hier kunnen maximaal 50 studenten tegelijkertijd een examen maken.
Bij aanvang van een examensessie zijn de computers/examens ingelogd door de surveillant en
toetsleider, zodat de studenten na de algemene instructie gelijk kunnen starten.
Na afloop van een examen verstuurt de toetsleider het gemaakte werk via de examensoftware retour
naar Cito. Na enige tijd koppelt Cito voor heel MBO Utrecht de resultaten terug naar de toetsleider en
worden deze verspreid richting de teams.
Tijdens de examens houden de surveillant(en) en/of toetsleider toezicht, zodat alle examens rustig
verlopen. Technische storingen, onduidelijkheden bij vragen, of andere incidenten worden bijgehouden
en indien er sprake is van fraude wordt dit direct gemeld bij de betreffende teammanager en later
teruggekoppeld bij de examencommissie van MBO Utrecht. Zo is bijvoorbeeld bij vier studenten (nog
voor de start van het examen) de toegang/deelname ontzegd, omdat zij zich niet konden gedragen. In
deze gevallen heeft de betreffende teammanager de situatie afgehandeld.
4.2 Resultaat gediplomeerden
In 2013 zijn totaal 1270 diploma´s uitgereikt. In onderstaande tabel wordt de verdeling over de vier
opleidingsniveaus weergegeven.
Niveau opleiding
Niveau 1
Niveau 2
Niveau 3
Niveau 4
Eindtotaal aantal diploma’s
Totaal
87
234
256
693
1270
4.3 Klachten en Beroep
In 2013 zijn 6 klachten die betrekking hadden op de examinering ingediend. Deze klachten varieerden
van ontevreden over toetsen en examens, niet toegelaten tot een toets wegens te veel verzuim,
bezwaar tegen planning van panelgesprekken, bezwaar tegen beoordeling panelgesprek,
onvoldoende tijd om een toets te maken tot bezwaar tegen een tussentijdse wijziging in de boekjes
voor de Proeve van Bekwaamheid.
Eén student heeft beroep ingesteld bij de Commissie van Beroep en dit vervolgens weer ingetrokken
voordat het tot een behandeling door de Commissie kwam.
Conclusie: alle klachten over examinering zijn naar tevredenheid van de klagers opgelost door de
betreffende teammanager of de examencommissie.
Jaarverslag examinering
pagina 9 van 9

Download Report