Rapport Nulmeting Examencommissie

Examenorganisatie Summa College
Nulmeting van de Examencommissie en Examenraad
Datum:
Auteur(s):
Versie:
Status:
3 april 2014
Jesse Artz
1.0
Definitief
© 2014 Summa College
Examenorganisatie Summa College
Nulmeting van de Examencommissie en Examenraad
Versie
Datum
Omschrijving
Door
0.1
3 april 2014
Jesse Artz O&K
1.0
21 mei 2015
Concept rapport ter bespreking in
Besturingshart
Besproken in Besturingshart
Hans Bataille
Pagina:
2 van 10
Inhoud
1.
Inleiding
4
2.
Het onderzoek; de nulmeting Examencommissies en algemene reflectie
4
3.
Opbrengsten nulmeting
5
4.
Aanbevelingen
8
5.
Advies voor vervolg uniformering examenorganisatie
9
Examenorganisatie Summa College
Pagina:
3 van 10
1.
Inleiding
Korte situatieschets
Het Summa College heeft het afgelopen jaar verschillende acties ingezet om de
examenorganisatie te herinrichten conform de nieuwe rol en eisen die de wetgeving en het
Summa zelf vereist. De elf clusters van het Summa hebben dit schooljaar de opdracht gekregen
om een nieuwe of aangepaste Examencommissie samen te stellen en hiervoor een ambtelijk
secretaris te werven. Dit is gebeurd op basis van vastgestelde Summa kaderdocumenten.
Daarnaast is als gevolg van teamsupport onlangs ook de examenadministratie heringericht. De
administratie valt niet meer onder het cluster, maar wordt vanuit drie administraties
aangestuurd. Elk team heeft een docent met taken examinering die contact heeft met de
administratie. De taken die de administratie nu uitvoert, zijn puur administratief, in
tegenstelling tot hoe het bij sommige clusters voorheen was georganiseerd en een
examenbureau ook een inhoudelijke rol had. Dit gaat gepaard met de invoering van uniforme
processen en bijbehorende documenten met betrekking tot examinering.
Al deze ontwikkelingen hebben geleid tot het gaan monitoren en bestendigen van de inrichting
van de examenorganisatie. In dit stuk beperken we ons tot de Examencommissie. Echter, de
inrichting van de administratie met senior examenmedewerkers, taakdocenten examinering in
teams, invoering processen is op dit moment in ontwikkeling.
In dit rapport doen we verslag van het traject dat met de Examencommissies wordt doorlopen.
Er is afgesproken om een nulmeting uit te voeren, als basis voor verdere ondersteuning en
advies. Dit moet uitmonden in een professioneel functionerende Examencommissie die de
vereiste rol oppakt en taken uitvoert waardoor de kwaliteit van examinering adequaat geborgd
is.
De nulmeting bij de Examencommissie beoogde meerdere doelen. Ten eerste, om een algemeen
beeld te krijgen waar de Examencommissies staan. Ten tweede, een inventarisatie van gedeelde
en specifieke verbeterpunten van de commissies, om zodoende specifieke en generieke
ondersteuning te bieden. Ten derde, bewustwording over de taak, rol en positie van de
Examencommissie. En als laatste leidt de 0-meting tot aanbevelingen en advies voor de verdere
kwaliteitsverbetering en borging van examinering voor geheel Summa.
2.
Het onderzoek; de nulmeting Examencommissies en algemene reflectie
Aanpak
Er zijn twee digitale vragenlijsten voor de elf Examencommissies ontwikkeld en uitgezet. Eén
versie voor de ambtelijk secretaris en één versie voor de overige leden van de
Examencommissie. Met elke Examencommissie (of een afvaardiging van) is een interview
gehouden. De resultaten uit de digitale enquête dienden als opmaat voor het interview.
Elke Examencommissie heeft een terugkoppeling ontvangen over de belangrijkste bevindingen
en de gevraagde ondersteuning.
Acht van de elf commissies hebben hun concrete behoeften aangegeven. Afhankelijk van de
vragen worden deze op de korte of langere termijn opgepakt, via scholing, advies en/of
ontwikkeling van instrumentarium. De overige drie commissies hebben geen expliciete
behoeften aangegeven, maar zullen door middel van algemene scholing en ontwikkeling van
instrumentarium ondersteund worden.
Naast interviews met de Examencommissies, is er ook een interview gehouden met de
Examenraad.
Examenorganisatie Summa College
Pagina:
4 van 10
Uit de verschillende interviews kwam de examenadministratie als aandachtspunt in de borging
en veiligheid van examinering naar voren. Op basis van deze signalen is er ook gesproken met de
examenadministratie om hun bevindingen mee te nemen.
De interviews zijn gehouden door Hans Bataille (Summa), Jesse Artz en Alie Kamphuis (CINOP).
Ten aanzien van de enquête en het interview
Verschillende leden van de Examencommissies gaven aan moeite te hebben met het invullen van
de digitale enquête. De vraagstelling en de schaalindeling werd niet altijd begrepen. Dit heeft
bij sommigen geleid tot het invullen van vragen met n.v.t. of weet ik niet.
De respons op de enquêtes was hoog: 100% bij de ambtelijk secretarissen (n=11) en 94,4% bij de
leden van de Examencommissies (n=36). Niet alle leden van de Examencommissies hebben de
digitale enquête toegestuurd gekregen, omdat deze namen niet bekend waren bij de dienst
Onderwijs- & Studentencentrum. Vermoedelijk gaat het om 10 leden.
Daarnaast gaven verschillende mensen aan dat ook de vraagstelling in de interviews moeilijk
was. Men begreep niet altijd waar precies naar gevraagd werd. Met name de vragen over eisen
die je stelt aan de kwaliteiten van examenbetrokkkenen vond men verwarrend.
Op basis van de uitkomsten van de digitale enquête en op basis van de interviews met de
Examencommissies worden hieronder de belangrijkste en/of opvallendste bevindingen
teruggekoppeld. Let wel het gaat om een beeld wat is geschetst. De inrichting en borging kan in
de praktijk anders zijn.
Tevens volgt in dit rapport een algemene reflectie op de examenorganisatie. Deze reflectie is
ontstaan op basis de algemene indrukken die de nulmeting heeft opgeleverd, de gesprekken met
collega’s van het Summa, het gebruiken van systemen en documentatie, het met elkaar
bespreken van situaties en het reflecteren op bevindingen.
Bijlage 1:
Bijlage 2:
Bijlage 3:
Bijlage 4:
3.
uitkomsten digitale enquête Examencommissies en digitale enquête ambtelijk
secretarissen
interviewleidraad Examenraad
interviewleidraad Examencommissies
interviewverslagen 11 Examencommissies, Examenraad en examenadministratie
Opbrengsten nulmeting
Bevindingen digitale enquête
1. Evenredige verdeling van zeer ervaren, ervaren en minder ervaren leden van de
Examencommissie en ambtelijk secretarissen; In totaal vijf nieuwe ambtelijk secretarissen
(Opmerking: in principe is de rol van ambtelijk secretaris voor alle elf Examencommissies
nieuw, maar deze mensen hebben in het verleden al soortgelijke taken voor de
Examencommissie uitgevoerd en beschouwden zich daarom niet als nieuw). Tien nieuwe
leden van een Examencommissie.
2. Ongeveer 1/3 onervaren leden Examencommissie en ambtelijk secretarissen, met veelal
(jarenlange) ervaring in andere examineringsrollen.
3. Wisselende jaartaak van ambtelijk secretarissen, loopt uiteen van 0,2-0,6 fte, waarbij 0,5
fte het meest wordt genoemd. Leden Examencommissie geven vaak aan geen jaartaak te
hebben; het is een onderdeel van hun functie als teamleider of manager, directeur.
4. Het aantal keren dat Examencommissies vergaderen wisselt. Er zijn commissies die vier
keer of minder per schooljaar bij elkaar komen. En commissies die meer dan negen keer per
Examenorganisatie Summa College
Pagina:
5 van 10
5.
6.
schooljaar samenkomen. Slechts 21% van de leden Examencommissie en ambtelijk
secretarissen geeft aan PROTOS, het digitale examineringshandboek in complexe situaties
te gebruiken. De overige gebruiken het in eenvoudige situaties (34%) of weet er van maar
gebruikt het nog niet (38%), de overige 6% weet het niet of heeft de vraag niet beantwoord.
Veel ambtelijk secretarissen en leden van Examencommissies geven aan geen
inwerkprogramma of scholing te hebben gehad bij aanvang van hun rol.
Met name een aantal aansturingstaken die de Examencommissie heeft wordt door de
ambtelijk secretarissen niet gezien als een taak en verantwoordelijkheid die bij hun
takenpakket hoort. Anderen geven aan dat deze nog ontwikkeld moet worden.
(bijvoorbeeld inrichten van effectieve examenorganisatie, operationaliseren van visie en
kaders).
Bevindingen Interviews Examencommissie
De interviews met de Examencommissie laten het volgende algemene beeld zien:
1. Niet één Examencommissie binnen het Summa is hetzelfde. Elke Examencommissie is anders
van samenstelling, werkwijze, de taken die de ambtelijk secretaris uitvoert en de relatie
met subexamencommisie(s).
2. Examencommissies kunnen niet precies duiden waarom ze het op deze manier hebben
ingevuld. Thema’s als, efficiënt werken, juiste kwaliteiten in de commissie, borging van de
onafhankelijk, taakverdeling en betrokkenheid werkveld zijn veelal niet bewust in de
commissie besproken en is niet altijd bewust voor gekozen.
3. Examencommissies laten over het algemeen zien dat zij zelf goed zicht hebben op het
examineringsproces. Echter, deze zijn niet altijd uitgewerkt naar eigen taken en
verantwoordelijkheden. Met name thema’s als resultatenanalyse, kwaliteit van
examenfunctionarissen en het vastleggen van besluiten worden hierbij genoemd.
4. Examencommissies zijn zeer actief bezig met de kwaliteit of het verbeteren van de
kwaliteit van examinering. Examencommissies gaven aan dat de KIT-gesprekken hiervoor
een belangrijke aanleiding waren.
5. In de meeste gesprekken was een zeer actieve betrokkenheid van de geïnterviewden,
waarbij zichtbaar werd dat het interview direct benut werd voor het aanscherpen van de
eigen werkwijzen.
6. Examencommissies drijven vaak op de kracht van één of een beperkt aantal leden. Deze
individuen hebben het overzicht, zijn geïnformeerd en weten hoe ze moeten aanpakken. Dit
is een risico bij uitval en overdracht van werkzaamheden.
7. De Examencommissies zijn veelal niet op de hoogte van de Examenraad. Sommige leden
kennen de term Examenraad, maar geven aan niet te weten wat de Examenraad doet en
waarvoor deze bestaat.
8. De meeste Examencommissies hebben een duidelijk beeld van hoe ze de praktijk bij het
examineringsproces betrekken. In sommige commissies zit een afgevaardigde vanuit de
praktijk. De ervaring die de commissies hebben is dat zij de betrokkenheid van de praktijk
anders willen organiseren, bijvoorbeeld via praktijkbijeenkomsten. Bij verschillende
clusters is dat al zo georganiseerd.
9. De meeste Examencommissies hebben behoefte aan een goed planningsinstrument; een
jaarplan waarin de examenprocessen in de plan-do-check act cyclus worden beschreven en
daarbij flankerend de eigen planning van Examencommissies en eventuele
Subexamencommissies.
10. Verschillende Examencommissies hebben zichtbaar gemaakt dat zij niet zorgvuldig genoeg
gemaakte afspraken en/of besluiten vastleggen, terwijl ze wel degelijk monitoren en
terugkoppelingen krijgen.
Examenorganisatie Summa College
Pagina:
6 van 10
11. De resultatenanalyse en evaluatie is een terugkerend aandachtspunt in de
Examencommissies. Er wordt geanalyseerd en geëvalueerd, maar bij de meeste
Examencommissies is dit niet structureel, maar slechts op incidentbasis. Daarnaast, daar
waar analyses en evaluaties plaatsvinden is niet altijd inzichtelijk wat er mee wordt
gedaan. Bijvoorbeeld worden examens bijgesteld?
12. Bij kleinere clusters waar de examenadministratie onder ‘eigen beheer’ is, zijn er weinig
problemen met de afstemming over de administratieve afhandeling. Bij grote clusters wordt
aangegeven dat de administratie een zorgpunt is. Met name de houding en kennis over het
belang van examinering en het waarom bepaalde zaken zo moeten, is nog niet altijd
aanwezig bij de administratie.
13. De invulling van de onafhankelijkheid is bij de meeste commissies nog een aandachtspunt.
Deze wordt meestal door één schakel/lid gewaarborgd en in de meeste gevallen is dit de
ambtelijk secretaris of de manager onderwijs.
14. Bij twee van de elf clusters geeft het algemene beeld van het interview aanleiding tot meer
zorgen over de borging en kwaliteit van examinering. Het beeld wat deze clusters laten zien
is dat de volledige Examencommissie nog niet voldoende bewust is van de rol en taak van
de Examencommissie en daardoor nog veelal op de oude structuren de examenorganisatie
hebben ingericht.
15. De komst van de entree-opleidingen leidt tot het ontwikkelen van nieuw
exameninstrumentarium. De inrichting van de examenorganisatie en de samenwerking van
de clusters is hierin een aandachtspunt. Afhankelijk van landelijke ontwikkelingen kan hier
menskracht bij nodig zijn om exameninstrumentarium te ontwikkelen en het eventueel
herinrichten van de examenorganisatie.
Bevindingen interview Examenraad
Letterlijk verwoord geeft de Examenraad haar eigen rol kernachtig weer in onderstaande zin:
“Wij zijn met name reactief geweest in onze rol. We hebben als raad niet de intentie gehad om
de ‘luis in de pels’ te zijn van examinering.
De vraag is OF de Examenraad nodig is en ZO JA, hoe deze dan moet worden ingericht en met
welke mensen?”
Bevindingen gesprek examenadministratie
1. Met een beperkt aantal clusters verloopt de samenwerking goed, bij de overige clusters
verloopt het moeizaam.
2. Daar waar het moeizaam verloopt lijkt dit met name veroorzaakt te worden door een
gebrekkige informatiedeling en inrichting van samenwerkingsstructuren en –afspraken.
3. De examenprocessen zijn nog onvoldoende bekend in de teams. Hier wordt aan gewerkt,
maar zolang er nog niet aan die processen gehouden wordt, kan de administratie de
processen onvoldoende als handvat gebruiken en moeten ze doen wat ‘gevraagd’ wordt.
4. Het is onduidelijk wat je van elkaar mag verwachten administratie versus Examencommissie
en meer specifiek de rol van de ambtelijk secretaris.
Algemeen Reflectie examenorganisatie
•
De visie en het beleid zijn gedateerd (2009). Het is van belang deze zo spoedig mogelijk te
reviseren omdat dit de basis is van de inrichting van de examenorganisatie.
•
Er is geen duidelijke organisatie- en beslisstructuur ten aanzien van examinering. Wordt dit
gedaan in het besturingshart, door de Examenraad, de Examencommissies of MT van de
clusters? Bijvoorbeeld ten aanzien van het ontwikkelen van een nieuwe visie en beleid.
Examenorganisatie Summa College
Pagina:
7 van 10
•
•
•
•
•
4.
Er is heel veel materiaal (Summa breed) op PROTOS voorhanden, maar het is niet duidelijk
op basis van welke criteria deze ontwikkeld zijn, en wat de status is van deze documenten
(kader of interpretatie). Daarnaast is niet bekend of PROTOS zo wordt ingericht dat de
Examencommissies van de cluster hun eigen materiaal ‘er in kunnen zetten’. Dit is wel een
vereiste om de kwaliteit te borgen.
De ondersteuningsvraag en benodigde expertise om de examenorganisatie optimaal in te
richten is groot. Is er voldoende bezetting en kennis over het thema examinering bij O&K
om ondersteunend en adviserend te zijn aan directie en clusters?
Het is onduidelijk wat de rol en functie is van de Examenraad.
De examenadministratie is onlangs opnieuw ingericht. Er is nog onvoldoende kennis van het
examenproces aanwezig. Er is geen structurele (inhoudelijke) ondersteuning voor de senior
examenmedewerkers. Zij zijn onvoldoende geïnformeerd over de administratieve processen
ten aanzien van de borging van de kwaliteit van het examenproces. Bijvoorbeeld zorgen dat
je weet dat examens veilig moeten worden opgeborgen. De administratie wordt hier bij
ondersteund, maar het is nog in ontwikkeling en heeft tijd nodig om zich te ‘zetten’.
De ambtelijk secretaris is benoemd als een tijdelijke positie. In de organisatie is er
onduidelijkheid of dit zo blijft of verandert. Dit bepaalt de prioriteit en investering van
sommige clusters bij deze rol.
Aanbevelingen
1.
2.
3.
4.
5.
6.
Voorwaardelijke aanbeveling.
Om verder te gaan met de overige aanbevelingen, is het raadzaam om eerst een besluit te
nemen over HOE je de borging van de examenorganisatie wilt realiseren.
Ga je uniformeren en werken aan de cultuurverandering of richt je je nu alleen op de
structuurverandering (structuur versus cultuur).
Ontwikkel een nieuwe examineringsvisie. Herijk bestaande visie en beleid en werk deze uit
naar kaders en richtlijnen.
Richt de beslisstructuur ten aanzien van examinering opnieuw in. Met name de functie van
de Examenraad in relatie tot het besturingshart.
Scherp de examenorganisatie verder aan en werk aan de bewustwording van de
onafhankelijke rol van de betrokkenen in de examenorganisatie:
•
Rol Examenraad t.o.v. Examencommissie.
•
Verheldering rol Examencommissie t.o.v. Subexamencommissie - waarborgen van
onafhankelijkheid en kwaliteit.
•
Ontwerp een transparante beslisstructuur ten aanzien van examinering (Examenraadbesturingshart, onderwijsmanagers etc.).
•
Bemensing Examencommissie (grootte, onafhankelijkheid en kwaliteit).
•
Besluit nemen over de rol van de ambtelijk secretaris: structurele rol of nu alleen als
overbrugging?
•
Rollen, taken en bekwaamheidseisen van alle examenfunctionarissen (vaststellers,
beoordelaars etc).
Update het exameninstrumentarium.
Pas de exameninstrumenten aan de huidige normen aan (is al in gang gezet).
Zorg voor een geschikt middel waar Examencommissies hun exameninstrumentarium in
kunnen plaatsen:
Onderzoek of PROTOS de mogelijkheid heeft om hier schoolspecifieke documenten in te
plaatsten waardoor de kwaliteitsborging ondersteund wordt.
Examenorganisatie Summa College
Pagina:
8 van 10
7.
Draag zorg voor voldoende capaciteit en deskundigheid bij O&K ten behoeve van:
•
Macro: visie en kaders en vertaling beleid.
•
Meso: (on the job) ondersteuning van examenorganisatie clusters (advies &
professionalisering).
•
Micro: ondersteuning bij de ontwikkeling van exameninstrumentarium clusters.
8. Draag zorg voor voldoende deskundigheid en capaciteit bij de Examencommissie en
ambtelijk secretarissen:
•
Ondersteun Examencommissie bij de uitvoering van hun taken en rol door training onthe-job of via andere professionaliseringsvormen.
•
Ontwikkelen een inwerkprogramma voor nieuwe leden EXCIE en de ambtelijk secretaris
•
Maak voor nieuwe leden Examencommissies en/of ambtelijk secretarissen een
scholingsprogramma waarin voor hen de kapstok van examinering wordt toegelicht (het
examineringsproces, eisen vanuit de wet/inspectie, en kwaliteitseisen die Summa
stelt).
Belangrijk daarbij is aandacht voor het gebruik van PROTOS en het hanteren van
bepaalde specifieke documenten. Aanbeveling is om dit centraal op te pakken en
jaarlijks in twee dagdelen aan te bieden.
9. Stuur meer op samenwerking en afstemming tussen cluster en examenadministratie
•
Bijscholing examenadministratie op kennis. Sturing van management op samenwerking
(zowel bij administratie als bij het onderwijs).
10. Voer over een jaar een ontwikkelingsgerichte audit uit op het functioneren van de
examenorganisatie & ondersteun de Examencommissie.
5.
Advies voor vervolg uniformering examenorganisatie
Bovengenoemde aanbevelingen leiden tot het volgende advies. Zorg voordat je verder gaat met
het bestendigen en borgen van de examenorganisatie, voor:
1. Helderheid over de besluitvormingsstructuur van de examenorganisatie.
Wie neemt besluiten (personen/rollen en het bevoegd orgaan), hoe worden besluiten
genomen en op welke wijze zorgen we ervoor dat de besluiten worden nagekomen,
Van belang hierbij is de rol van de Examenraad in relatie tot de rol van het besturingshart.
Welk orgaan neemt de besluiten ten aanzien van examinering en heeft de toezichthoudende
rol? Wie neemt de beslissingen over bijvoorbeeld veranderingen in het examenreglement en
wie neemt het besluit over koers en beleid? Wie ziet tot op de kwaliteitsborging door de
Examencommissies? Wie benoemt de voorzitters van de Examencommissie?
Geadviseerd wordt te kiezen de examenorganisatie te positioneren naast de
schoolorganisatie en de Examenraad (vanuit het Besturingshart) de opdracht te geven de
toezichthoudende rol op de examenorganisatie uit te voeren. Hiermee wordt de
onafhankelijkheid van de borging van de kwaliteit van examinering gewaarborgd. Dit vraagt
een gedragsverandering van de leden van de Examencommissie omdat van hen verwacht
wordt vanuit een onafhankelijke rol te participeren in de commissie.
Teams blijven uiteraard verantwoordelijk voor de examinering zelf.
2.
Een principe-uitspraak over uniformeren van de examenorganisatie:
Hoe ver willen we uniformeren? Zijn de kaders over het WAT die er liggen voldoende of
gaan we naar meer gelijke positionering van het HOE (de Examencommissies en invulling
Examenorganisatie Summa College
Pagina:
9 van 10
van rollen en taken ten aanzien van examinering zoals de ambtelijk secretaris? zowel in de
lijnorganisatie, als in de examenorganisatie)?
Geadviseerd wordt de uniformering van de examenorganisatie verder door te zetten, en dit
geleidelijk te laten ontstaan in een periode van een jaar. De ambtelijk secretarissen krijgen
daarbij eenzelfde invulling van hun taken.
3.
Ontwikkel een Plan van Aanpak voor het vervolg van het traject.
Welke activiteiten, processen en producten moeten er gerealiseerd worden en welke
tijdpad staat daar voor. De aanbevelingen uit paragraaf 4 dienen als input.
Examenorganisatie Summa College
Pagina:
10 van 10

Download Report