INVLOED VAN LEERPROCESSEN OP DE EXAMENKWALITEIT 1

Running head: INVLOED VAN LEERPROCESSEN OP DE EXAMENKWALITEIT
Samen verantwoordelijk voor de examenkwaliteit
Invloed van teamleerprocessen op de examenkwaliteit
Liza Goos, 3953416
Universiteit Utrecht
Masterthesis Onderwijskunde
Rob Mioch, 1e beoordelaar
Nienke Moolenaar, 2e beoordelaar
Juni 2014
1
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
2
Samenvatting
Met dit onderzoek is onderzocht welke leerprocessen in teams van examinatoren een positieve
invloed hebben op de examenkwaliteit in het hoger onderwijs. In de reeds bestaande literatuur
zijn teamleerprocessen te onderscheiden in de drie predictoren: teamreflectie, teamactiviteiten
(waaronder plannen, feedback, grensoverschrijdende communicatie en experimenteren) en
borgen. In deze studie zijn na de analyse, anders dan in de tot nu toe bekende literatuur, de
predictoren teamreflectie, doelgericht werken, grensoverschrijdende communicatie en borgen
onderscheiden. Tevens is onderzocht of de inter-persoonlijke relatie tussen examinatoren van
invloed is op de relatie tussen teamleerprocessen en de examenkwaliteit. Deze studie bestond
uit een mixed method onderzoek waarbij de kwantitatieve data uit de vragenlijsten zijn
aangevuld en verdiept met een secundaire analyse van al eerder gehouden interviews. Voor de
kwantitatieve analyse hebben 35 examinatoren afkomstig uit 11 opleidingen binnen Saxion
Hogescholen de teamleerprocessen en inter-persoonlijke relatie binnen de opleiding
beoordeeld. De examenkwaliteit is beoordeeld door één lid van de examencommissie. De
relatie tussen teamleerprocessen en de examenkwaliteit is onderzocht door middel van een
multipele regressie. Naast de kwantitatieve analyse zijn transcripten van interviews gecodeerd
en systematisch geanalyseerd. Uiteindelijk bleek alleen teamreflectie een significante invloed te
hebben op de examenkwaliteit. Het effect van teamreflectie werd bij de analyse van de
interviews bevestigd. De overige teamleerprocessen bleken geen invloed te hebben op de
examenkwaliteit. Dit is tegenstrijdig met de kwalitatieve analyses waarin grensoverschrijdende
communicatie en doelgericht werken wel van belang werden geacht. Daarnaast bleek uit de
kwantitatieve analyse dat de inter-persoonlijke relatie binnen de teams niet van invloed was op
de relatie teamreflectie en examenkwaliteit. De kwalitatieve analyse gaf wel een indicatie dat
positieve wederzijdse afhankelijkheid van invloed is op de leerprocessen in een team.
Sleutelwoorden: teamleren, reflectie, kwaliteit, examens, afstudeerprogramma, hbo
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
3
Inleiding
In 2010 is er in Nederland ongerustheid ontstaan over de kwaliteit van de hbo-diploma’s.
Deze commotie ontstond toen de Onderwijsinspectie (2009) bij een aantal opleidingen incidenten
met afwijkende afstudeertrajecten signaleerde. Hoewel uit onderzoek van de Nederlands-Vlaamse
Accreditatieorganisatie (NVAO) bleek dat dit geen hbo-breed probleem was, ontstond het beeld dat
de waarde van de hbo-diploma’s weleens minder kon zijn dan waar eerder vanuit werd gegaan. De
NVAO, die door de overheid is opgericht om een objectief oordeel te geven over de kwaliteit van het
hoger onderwijs, heeft naar aanleiding van deze commotie strenger toezicht op het eindniveau van
opleidingen ingesteld (Onderwijsraad, 2010).
Aangezien het hoger onderwijs geen centrale examinering heeft, is binnen opleidingen een
belangrijke rol weggelegd voor examinatoren. Zij zijn de enige docenten die in het
afstudeerprogramma eindwerkstukken en assessments mogen beoordelen en zijn hierdoor van
grote invloed op het eindniveau waarop een student afstudeert. Waar vroeger de begeleiding en
beoordeling van het eindniveau vrijwel individueel verliep, worden examinatoren tegenwoordig
gestimuleerd om gezamenlijk verantwoordelijk te zijn voor de examenkwaliteit (Bruijn, van der
Vleuten, Cohen-Schotanus, Dunnewijk, & van Kalmthout, 2012). Deze verantwoordelijkheid
stimuleert examinatoren om met elkaar samen te werken. Uit onderzoek blijkt dat de wijze waarop
teams samenwerken van grote invloed is op hun prestaties (Swift & West, 1998; Decuyper, Dochy &
Van den Bossche, 2010).
In dit onderzoek is onderzocht welke invloed leerprocessen binnen een team examinatoren
hebben op de kwaliteit van het afstudeerprogramma1. Het afstudeerprogramma betreft de
verzameling van onderdelen in het toetsprogramma van een opleiding waarin de student laat zien te
beschikken over de eindkwalificaties van de opleiding. Vanuit maatschappelijk oogpunt is dit
onderzoek relevant, omdat de NVAO tijdens een accreditatie veel aandacht besteedt aan het
beleidsproces, maar weinig aan de kwaliteit van de interactie tussen mensen (Schijndel &
1
Binnen dit onderzoek wordt het begrip examenkwaliteit gebruikt voor de kwaliteit van het afstudeerprogramma.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
4
Kemenade, 2011). Deze interactie is volgens Brown (2004) cruciaal bij het slagen van een goed
examenbeleid. Het is voor hogescholen relevant om de visie van de examenkwaliteit hiermee uit te
breiden. Daarnaast heeft dit onderzoek ook wetenschappelijke waarde, omdat op dit moment nog
weinig bekend is over de invloed van teamleren op de resultaten van scholen (Mulford, 1998). Zowel
vanuit maatschappelijk als wetenschappelijk perspectief kan worden gesteld dat er behoefte is aan
meer informatie over de invloed van teamleerprocessen op de examenkwaliteit binnen opleidingen.
Theoretisch kader
Kwaliteit examens
Bij het behalen van de internationale graad ‘Bachelor’ moet een hbo-student kunnen
aantonen dat hij beschikt over de eindkwalificaties van de opleiding. Een afgestudeerde student
moet hierbij niet alleen voldoen aan de Nederlandse standaarden die aan het hbo zijn gesteld, maar
ook aan het internationale niveau en de eisen van het werkveld. Voor het niveau van de
bacheloropleiding wordt uitgegaan van de zogenaamde Dublin Descriptoren (zie Bijlage 1). Hierin
staat voor ieder niveau (Associate Degree, Bachelor, Master, Doctoraal) aangegeven welke invulling
de eindkwalificaties moeten hebben op het gebied van kennis en inzicht, toepassen van kennis en
inzicht, oordeelsvorming, communicatie en leervaardigheden.
Voor het kwalificeren van de behaalde eindkwalificaties is het belangrijk dat het
afstudeerprogramma van voldoende niveau is. Om de kwaliteit van dit afstudeerprogramma te
bepalen zijn er verschillende kwaliteitsstandaarden. Deze standaarden zijn door de verschuiving van
een traditionele testcultuur naar een assessmentcultuur sterk veranderd. Waar vroeger de kwaliteit
vooral achteraf werd bepaald door psychometrische normen, ligt in de assessmentcultuur meer de
nadruk op het vooraf garanderen van de inhoudelijke kwaliteit (edumetrie) (Streatmans & Sanders,
2001).
Baartman, Bastiaens, Kirschner en van der Vleuten (2007) beschrijven in hun studie dat door
het competentiegericht onderwijs problemen ontstaan bij eerdere kwaliteitscriteria zoals validiteit
en betrouwbaarheid van het afstuderen. Zo is validiteit door de ruime omschrijving lastig te vertalen
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
5
naar de praktijk en past het beoordelen van de betrouwbaarheid door gestandaardiseerde testen
niet in de authentieke en holistische benadering van het competentiegericht onderwijs. Baartman et
al. (2007) hebben aan de hand van hun literatuuronderzoek de kwaliteitscriteria op concrete wijze
vorm gegeven. Binnen dit onderzoek zijn deze kwaliteitscriteria gebruikt, omdat zij zowel zijn toe te
passen op summatieve als formatieve doeleinden in het afstudeerprogramma. Naast deze 12
kwaliteitscriteria heeft de Vereniging van Hogescholen in 2009 (HBO-raad, 2009) bepaald dat
studenten moeten beschikken over een onderzoekend vermogen. Om deze reden is deze
kwaliteitseis aan dit onderzoek toegevoegd. Aan de hand van de criteria uit Tabel 1 is de
examenkwaliteit vastgesteld. Examinatoren die betrokken zijn bij het afstudeerprogramma zijn
ervoor verantwoordelijk om deze kwaliteitscriteria zo goed mogelijk in programma terug te laten
komen.
Tabel 1
Kwaliteitcriteria gebaseerd op theoriestudie Baartman et al. (2007) en de HBO-Raad (2009).
Kwaliteitseis
Uitleg begrip
Onderwijsdoelen
Het afstudeerprogramma moet overeenstemmen met onderwijsdoelen.
Herhaalbaarheid
Een beslissing moet onafhankelijk zijn van de beoordelaar, taken of situaties.
Transparantie
Er moet een duidelijk beeld zijn wat er van de student wordt verwacht in het
afstudeerprogramma.
Acceptatie
Alle betrokkenen (studenten, beoordelaars, beroepspraktijk) dienen zich te
kunnen vinden in de kwaliteit van het afstudeerprogramma.
Vergelijkbaarheid
Het afstudeerprogramma moet op een verantwoordelijke wijze worden
uitgevoerd, waardoor uitkomsten met elkaar te vergelijken zijn.
Zelfsturend leren
Het afstudeerprogramma moet zelfregulerend leren stimuleren.
Betekenisvolheid
Een afstudeerprogramma moet voor alle betrokkenen een meerwaarde
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
6
hebben.
Cognitieve complexiteit
Het afstudeerprogramma moet de benodigde cognitieve vaardigheden
vertegenwoordigen die nodig zijn in het toekomstig beroep.
Authenticiteit
Het afstudeerprogramma moet overeenkomen met de beroepspraktijk.
Onderwijsgevolgen
Het afstudeerprogramma moet een bijdrage leveren aan het onderwijs.
Tijd en Kosten
De gevraagde inspanning van studenten en examinatoren moet in balans
staan met de opbrengsten.
Onderzoekend vermogen
Het afstudeerprogramma moet het onderzoekend vermogen van studenten
stimuleren.
Teamleren
Bij het streven naar een goed examenbeleid is het belangrijk dat examinatoren op een
professionele wijze met elkaar samenwerken. Decuyper et al. (2010) gaan in hun literatuurstudie in
op kenmerken die de effectiviteit van teams bepalen. Zij maken daarbij onderscheid in het delen van
informatie, het gezamenlijk construeren van kennis (co-constructie) en het bespreken van normen
en waarden (constructief conflict). Om tot dit gedrag te komen zijn er volgens Decuyper et al.
leerprocessen nodig die het gedrag in de juiste richting ondersteunen zoals teamreflectie,
teamactiviteiten en borging. De wisselwerking tussen teamreflectie en teamactiviteiten bepaalt
volgens Decuyper et al. (2010) in belangrijke mate de effectiviteit in teams. Het is volgens hen
belangrijk dat deze leerprocessen worden geborgd, zodat het wordt geïnstitutionaliseerd in de
organisatie. Daarnaast is de inter-persoonlijke relatie van invloed op het gezamenlijk proces, omdat
deze relatie bepaalt hoe teamleden zich opstellen in een team. Samen vormen deze kenmerken de
input en output voor een continu verbeterproces. In Figuur 1 worden de verschillende processen
weergegeven die hieronder uitgebreid beschreven worden.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
7
Input: Examenkwaliteit
Inter-persoonlijke relatie
Psychologische veiligheid
Cohesie
Wederzijdse afhankelijkheid
Leerprocessen
Team reflectie
Teamactiviteiten
Groepsvertrouwen
Borgen
Output: Examenkwaliteit
Figuur 1. Integratief model voor continue kwaliteitsverbetering van de examenkwaliteit in de
eindfase van de bacheloropleiding gebaseerd op het model van Decuyper et al. (2010).
Teamleerprocessen.
Teamreflectie. Teamreflectie is het reflecteren op successen en missers in het team en is
volgens de Decuyper et al. (2010) de belangrijkste indicator voor de effectiviteit van teams. Swift en
West (1998) maken onderscheid in drie typen reflectie, namelijk oppervlakkige, gemiddelde en
diepgaande reflectie (shallow, moderate and deep). Oppervlakkige reflectie is de eerste fase van
reflectie en wordt ook wel vergeleken met single-loop learning (Argyris & Schön, 1978). In deze fase
wordt vooral veel aandacht besteed aan het bespreken en beoordelen van de taak en
taakuitvoering. Bij ‘middelmatige reflectie’ is er daarnaast ook aandacht voor doelen, processen en
strategieën. Deze vorm van reflectie heeft kenmerken van double loop learning, omdat verbetering
plaatsvindt door achterliggende gedachten te bespreken (Argyris & Schön, 1978). Als laatste is er de
diepe reflectie, waarbij opvattingen en percepties van medewerkers ter discussie staan. Dit is te
vergelijken met het zogenaamde drieslagleren van Wierdsma en Swieringa (2002). Drieslag leren is
voor continue verbetering essentieel, omdat teams zich anders vaak vasthouden aan oude normen
en waarden.
Teamactiviteiten. Teamactiviteiten zijn de in- en output van wat er in de reflectiefase is
bedacht. Ideeën die bedacht zijn in de reflectiefase kunnen volgens Sessa en Londen (2008) leiden
tot teamactiviteiten waar planning centraal staat en teamactiviteiten waarbij er wordt gewerkt
vanuit een creatieve boost. Beide teamactiviteiten dienen een ander doel. Bij het werken vanuit een
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
8
creatieve boost komen volgens Sessa en Londen (2008) innovatieve ideeën tot stand, terwijl bij
geplande teamactiviteiten aandacht is voor planning en feedback. Geplande teamactiviteiten zorgen
voor gemeenschappelijke doelen, doordat de verbinding wordt gelegd tussen reflectie en actie.
Veelal worden de acties in het begin van een planning tot in detail gepland en vindt het vervolg
plaats aan de hand van feedback. Feedback is een belangrijk proces bij het behalen van doelen
(Crossan, Lane & White, 1999). De bovengenoemde teamactiviteiten kunnen beide weer leiden tot
reflectie. Ook kan input ontstaan wanneer teamleden kennis opdoen in andere contexten. Deze
grensoverschrijdende communicatie ondersteunt en verbetert de reflectiefase en wordt daarom in
dit onderzoek, in tegenstelling tot in het onderzoek van Decuyper et al. (2010) niet als apart
leerproces opgenomen.
Borgen. Door elkaar aan te spreken en afspraken vast te leggen wordt het werkproces van
het team geborgd. Verschillende maatregelen zorgen er hierbij voor dat het geleerde wordt
geïnstitutionaliseerd in de organisatie. Dit proces is volgens Cohen en Bacdayan (1994) vaak
problematisch in teams, omdat zij vaak terugvallen in oud gedrag. Door het leerproces te bewaken,
te controleren en te bespreken is de kans groot dat acties in de visie en cultuur van de organisaties
worden opgenomen.
Inter-persoonlijke relatie
De inter-persoonlijke relatie is de onderlinge relatie tussen personen uit een team. Deze
relatie is niet direct van invloed op de effectiviteit van een team maar is volgens Decuyper et al.
(2010) een voorwaarde die het leerproces kan vergemakkelijken. In een eerdere studie van Van den
Bossche, Gijselaers, Segers en Kirschner (2006) wordt onderscheid gemaakt in vier kenmerken die de
inter-persoonlijke
relatie
beïnvloeden:
psychologische
veiligheid,
cohesie,
wederzijdse
afhankelijkheid en groepsvertrouwen.
Psychologische veiligheid. Psychologische veiligheid beschrijft het sociale klimaat dat
bevorderlijk is voor het leergedrag van medewerkers. Dit sociale klimaat zorgt ervoor dat teamleden
eerder geneigd zijn om elkaar bijvoorbeeld feedback te geven (Edmondson, 1999).
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
9
Cohesie. Cohesie is de gezamenlijke verantwoordelijkheid om met elkaar de taak te
volbrengen. Daarbij wordt onderscheid gemaakt in sociale cohesie en taakcohesie. Taakcohesie is de
verantwoordelijkheid die teamleden voelen voor het behalen van de taak (Mullen & Copper, 1994).
Sociale cohesie speelt daarbij een grote rol, omdat mensen eerder bereid zijn elkaar te helpen
wanneer er een sociale band is (Sargent & Sue-Chan, 2001).
Wederzijdse afhankelijkheid. Wederzijdse afhankelijkheid is de houding van teamleden ten
opzichte van elkaar. Deze houding is van grote invloed op de interesse en motivatie van teamleden
om gezamenlijk doelen te behalen. Bij positieve wederzijdse afhankelijkheid zijn teamleden eerder
op zoek naar oplossingen en compromissen (Johnson & Johnson, 1994).
Groepsvertrouwen. Groepsvertrouwen is de collectieve overtuiging die groepsleden hebben
bij het teamleren. Een positieve beoordeling van teamactiviteiten blijkt vaak een voorspellende
waarde te hebben voor de collectieve motivatie en prestatie. Volgens Van der Kloet (2005) wordt
teamvertrouwen in grote mate bepaald doordat teamleden het gevoel hebben dat teamleden
deskundig, voorspelbaar, eerlijk en welwillend zijn.
Deze studie
Onderzoeksvraag
In dit onderzoek is gekeken naar het effect van teamleren op de examenkwaliteit. De vraag
die in dit onderzoek centraal staat is: ‘Wat is de invloed van teamleerprocessen van examinatoren
binnen hbo-opleidingen bij Saxion Hogescholen op de examenkwaliteit?’. Hierbij worden de volgende
deelvragen beantwoord:
1. Welke teamleerprocessen hebben een positieve invloed op de examenkwaliteit?
2. Worden teamleerprocessen beïnvloedt door de inter-persoonlijke relatie van teamleden?
Hypothese
Invloed teamleerprocessen op de examenkwaliteit. Volgens de literatuurstudie van
Decuyper et al. (2010) hebben alle teamleerprocessen die beschreven zijn in deze studie een
positieve invloed op de effectiviteit van teams. Het centrale proces bij teamleren is volgens
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
10
Decuyper et al. (2010) teamreflectie, omdat het zorgt voor kennisdeling en de verbetering van
teamactiviteiten. Dit is te ondersteunen door een grote hoeveelheid literatuur (Edmondson, 1999;
Sessa & London, 2008; Swift & West, 1998). De verwachting is dat teamactiviteiten (waaronder
plannen, feedback, grensoverschrijdende communicatie en experimenteren) en borgen een
positieve invloed hebben op de examenkwaliteit, waarbij teamreflectie de belangrijkste predictor is
voor de examenkwaliteit (zie Figuur 2). Dit leidt tot de volgende twee hypothesen:
Hypothese 1a: Er is een positief verband tussen teamleerprocessen en de examenkwaliteit
van een opleiding.
Hypothese 1b: Teamreflectie is de belangrijkste predictor voor de examenkwaliteit.
Inter-persoonlijke relatie en teamleerprocessen. Alhoewel de inter-persoonlijke relatie
volgens Edmondson (1999) niet direct van invloed is op de teamprestatie zal het de leerprocessen
tegemoet komen. Dit wekt de verwachting dat de relatie tussen leerprocessen en de
examenkwaliteit beïnvloedt wordt door de variabele ‘inter-persoonlijke relatie’ (zie Figuur 2). Dit
leidt tot de volgende hypothese:
Hypothese 2:
De relatie tussen teamleerprocessen en de examenkwaliteit wordt beïnvloed
door de mate waarin er sprake is van een positieve inter-persoonlijke relatie binnen
een team. De relatie tussen teamleerprocessen en de examenkwaliteit is sterker bij
teams die hoog scoren op de inter-persoonlijke relatie in vergelijking met teams
waar lager wordt gescoord op de inter-persoonlijke relatie.
Teamreflectie
+
Teamactiviteiten
Borgen
Examenkwaliteit
+
Inter-persoonlijke
relatie
Figuur 2. Conceptueel model over het effect van teamleerprocessen op de examenkwaliteit en de
invloed van de inter-persoonlijke relatie.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
11
Methode
Design
In deze studie is er sprake van een ‘concurrent mixed-method design’. De kwalitatieve en
kwantitatieve data zijn onafhankelijk en gelijktijdig van elkaar verzameld. De kwalitatieve data is
daarbij ondergeschikt aan de kwantitatieve data en werd gebruikt om de kwantitatieve gegevens
aan te vullen en te verduidelijken (Boeije, 2010). De kwantitatieve data is verzameld via digitale
vragenlijsten. Daarnaast is door middel van een secundaire analyse van eerder afgenomen de
interviews een aanvullende analyse gedaan om de primaire dataverzameling in dit onderzoek te
ondersteunen.
Participanten
De vragenlijst teamleren is afgenomen onder 46 examinatoren afkomstig uit 21 opleidingen
binnen Saxion Hogescholen. Hiervan zijn 10 opleidingen uitgesloten van dit onderzoek, omdat de
vragenlijst teamleerprocessen, inter-persoonlijke relatie of examenkwaliteit niet was ingevuld.
Uiteindelijk heeft de analyse plaatsgevonden onder 35 examinatoren afkomstig uit 11 opleidingen.
Gezien de formule van Tabachnick en Fidell (2007b) moeten er bij vier predictoren minimaal 82
respondenten hebben gereageerd. In deze studie hebben slechts 35 respondenten gereageerd
waardoor niet voldaan is aan dit criterium. Alle examinatoren die de vragenlijst hebben ingevuld zijn
betrokken bij het afstudeerprogramma binnen de opleiding. Per opleiding hebben gemiddeld drie
(SD=1,65) examinatoren de vragenlijst over teamleerprocessen en inter-persoonlijke relatie
ingevuld. Tevens heeft een lid van de examencommissie per opleiding een oordeel gegeven over de
kwaliteit van het afstudeerprogramma.
Daarnaast zijn drie interviewtranscripten geanalyseerd. De interviews zijn gehouden met
medewerkers die binnen de examencommissie of in een opleiding betrokken zijn bij het
afstudeerprogramma. De tekstanalyse richtte zich op de examinatoren binnen de opleiding. Van de
drie deelnemers uit het eerste interview, was er één examinator aanwezig. Bij het tweede interview
waren vier deelnemers aanwezig waarvan twee examinatoren. Zij werkten beide in dezelfde
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
12
opleiding, maar op een andere locatie. Bij het derde interview waren ook vier deelnemers aanwezig
waarvan één examinator.
Instrumenten
Vragenlijst teamleerprocessen. Voor het meten van de drie teamleerprocessen
teamreflectie, groepsactiviteiten en borgen is een vragenlijst samengesteld uit andere bestaande
vragenlijsten. Het eerste kenmerk teamreflectie, was onderverdeeld in oppervlakkige reflectie
(Schippers, Den Hartog & Koopman, 2005) en diepe reflectie (Bijlsma, 2009). Het deel oppervlakkige
reflectie was ingekort van 24 naar 6 vragen door de laagste factorladingen uit de vragenlijst van
Schippers et al. (2005) te verwijderen. Hiervoor is gekozen omdat het deel in verhouding met de rest
van de vragenlijst vrij lang was (24:51 vragen). Het tweede kenmerk groepsactiviteit was
onderverdeeld in plannen, feedback (Schippers et al., 2005), grens overschrijdende communicatie
(Wong, 2004) en experimenteren (Van Woerkom, 2003). Het derde kenmerk borgen is afkomstig uit
de vragenlijst van Bijlsma (2009). In totaal telde de vragenlijst voorafgaande aan het onderzoek 35
vragen.
Na het afnemen van de vragenlijsten is de data onderworpen aan een principale
factoranalyse met een varimax rotatie. In de scree plot werden aan de hand van het knikcriterium de
volgende vier predictoren onderscheiden: teamreflectie, doelgericht werken, grensoverschrijdende
communicatie en borgen. 11 items zijn verwijderd uit de vragenlijst omdat deze niet laadden op één
van deze factoren of een factorlading lager dan .30 hadden (zie Bijlage 5). Per predictor is in Tabel 2
een voorbeeld item opgenomen. In totaal telde de vragenlijst 22 vragen (zie Bijlage 2).
Tabel 2
Voorbeelditems van de predictoren uit de vragenlijst teamleren.
Predictor
Voorbeelditem
Teamreflectie
Binnen ons team examinatoren wordt regelmatig doorgevraagd op geuite
standpunten om elkaars denkwijzen te achterhalen.
Doelgericht werken
We gaan regelmatig na of onze doelstellingen nog zinvol zijn.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
13
Grensoverschrijdende
Ons team examinatoren zoekt ideeën/kennis bij mensen van buiten het
communicatie
team.
Borgen
Na evaluaties zorgen we ook dat opgedane inzichten en ervaringen op de
één of andere manier geborgd worden binnen ons team.
Bij de analyse bleek dat de factoren doelgericht werken (Kolmogorov-Smirnov D = 0.16, df = 35, p <
.05) en borgen (Kolmogorov-Smirnov D = 0.23, df = 35, p <.01) niet normaal verdeeld waren. De
schending van normaliteit staat de parametrische toetsen niet in de weg, maar er dient wel rekening
met dit gegeven te worden gehouden. De vier predictoren samen verklaren samen 60% van de
variantie in de data. De predictor teamreflectie ( = .77) heeft een voldoende betrouwbaarheid als
wordt gekeken naar de criteria van Bland en Altman (1997). De overige predictoren hebben een
matige betrouwbaarheid als wordt gekeken naar de criteria van Bland en Altman (1997): ‘doelgericht
werken’ ( = .70), ‘grensoverschrijdende communicatie’ ( = .70) en ‘borgen’ ( = .65).
Vragenlijst inter-persoonlijke relatie. Voor het meten van de inter-persoonlijke relatie is de
vragenlijst samengesteld uit andere bestaande vragenlijsten. In de vragenlijst zijn items opgenomen
voor het kenmerken psychologische vrijheid (Edmondson, 1999), sociale cohesie (Carless & de
Paola, 2000), taakcohesie (Sargent & Sue-Chan, 2001), wederzijdse afhankelijkheid (Van der Vegt &
Van de Vliert, 2005) en teamvertrouwen (Van der Kloet, 2005). In totaal telde dit deel van de
vragenlijst 33 vragen.
Na het afnemen van de vragenlijsten zijn de opmerkingen bij de vragen geanalyseerd. Hieruit
bleek dat negen vragen onduidelijk waren voor de respondenten. Deze items zijn om deze reden
verwijderd (zie Bijlage 5). Daarna is de data onderworpen aan een principale factoranalyse zonder
rotatie. In de scree plot was aan de hand van het knikcriterium één factor te herkennen, namelijk de
inter-persoonlijke relatie van het team. Vier vragen hadden een factorlading lager dan .30 en zijn
om deze reden verwijderd uit de vragenlijst (zie Bijlage 5). In totaal telde de vragenlijst 19 vragen (zie
Bijlage 3). Twee voorbeelditems uit de vragenlijst zijn: “Ik kan goed overweg met de teamleden uit
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
14
mijn team” en “In ons team doen wij goed ons best de doelen te behalen”. De factor interpersoonlijke relatie verklaarde 42% van de variantie in de data. De vragenlijst heeft een goede
betrouwbaarheid ( = .89) wanneer gekeken wordt naar het criteria van Bland en Altman (1997).
Bij de vragenlijst teamleerprocessen en inter-persoonlijke relatie is gekozen voor een
vijfpunt-likertschaal (1 = volledig mee oneens, 5= volledig mee eens), omdat deze schaal ook werd
gebruikt in de bestaande vragenlijsten.
Vragenlijst examenkwaliteit. Voor het meten van de kwaliteit van het afstudeerprogramma
is gebruik gemaakt van het zelfevaluatie-instrument van Baartman et al. (2007), bestaande uit 71
vragen. Voor het meten van de onderzoeksvaardigheden van de student zijn nog drie vragen
toegevoegd aan het instrument. Bij de vragenlijst examenkwaliteit is ook gekozen voor een
vijfpuntschaal (1 = helemaal niet van toepassing, 5= helemaal van toepassing). Een vijfpuntlikerschaal is een veel gebruikt instrument, omdat respondenten de mogelijkheid hebben om een
neutraal antwoord te kiezen. Dit neutrale antwoord is volgens Adelson en McCoach (2013) niet van
invloed op de resultaten.
Na het afnemen van de vragenlijsten zijn de opmerkingen bij de vragen geanalyseerd. Hieruit
bleek dat 16 vragen lastig waren te beantwoorden, omdat de respondenten de vragen niet begrepen
of omdat zij te weinig informatie hadden om deze vraag te beantwoorden. Deze items zijn
verwijderd (zie Bijlage 5). Daarna is de data onderworpen aan een principale factoranalyse zonder
rotatie. Uit de screeplot blijkt aan de hand van het knikcriterium dat er één factor is te herkennen,
namelijk ‘examenkwaliteit’. 16 items zijn verwijderd uit de vragenlijst omdat deze niet laadden op de
factor examenkwaliteit of een factorlading lager .30 hadden (zie Bijlage 5). In totaal telde de
vragenlijst na het verwijderen van de vragen nog 45 vragen (zie Bijlage 4). Twee voorbeeld items uit
de vragenlijst zijn: “De beoordelaars beoordelen alle studenten op dezelfde wijze.” en “Het
afstudeerprogramma vereist het denkniveau dat beginnend beroepsbeoefenaren nodig hebben.”
Bij de analyse bleek dat de afhankelijke variabele examenkwaliteit niet normaal verdeeld is
(Kolmogorov-Smirnov D=0.25, df=11, p<.01). Dit wordt waarschijnlijk veroorzaakt door de lage
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
15
hoeveelheid respondenten. De schending van normaliteit staat de parametrische toetsen niet in de
weg, maar er dient wel rekening te worden gehouden met dit gegeven. De factor examenkwaliteit
verklaart 47% van de variantie in de data. De vragenlijst heeft een goede betrouwbaarheid (  =.92)
als we kijken naar het geadviseerde criterium van 0.70 van Bland en Altman (1997).
Interviews. Om de kwantitatieve data in dit onderzoek aan te vullen, zijn naast de
vragenlijsten over teamleren transcripten van interviews geanalyseerd. De interviews zijn
afgenomen door leden van het programmateam ‘Duurzame borging eindniveau’. Dit
hogeschoolbrede programma is binnen Saxion Hogeschool opgericht om het eindniveau binnen de
gehele hogeschool te borgen. De interviews zijn allen afgenomen en uitgewerkt in januari 2014 en
diende om te achterhalen op welke wijze het eindniveau binnen het afstudeerprogramma wordt
geborgd. Door middel van een semigestructureerd interview van circa 2 uur hebben leden van het
programma dit inzichtelijk gemaakt (zie Bijlage 6). In de interviews zijn 84 fragmenten geselecteerd
en gecodeerd met de codeboom uit Bijlage 5. Om de betrouwbaarheid van het coderen te
beoordelen is de interboordelaarbetrouwbaarheid berekend. Deze bedroeg k = 0.63 wat duid op een
redelijk tot goede betrouwbaarheid (Fleiss & Levin, 2004).
Procedure
In het midden van de maand maart is naar alle voorzitters van de examencommissie het
verzoek verstuurd om de examenkwaliteit van de opleidingen die vallen onder de examencommissie
te beoordelen (zie Bijlage 8). Daarnaast stond daarin het verzoek om voor de desbetreffende
opleidingen vijf examinatoren uit het afstudeerprogramma te benaderen om de teamleerprocessen
en inter-persoonlijke relatie te beoordelen. De examencommissie is hiervoor gevraagd omdat zij
vanuit hun rol een onafhankelijk en objectief oordeel moeten geven over de kwaliteit van het
afstudeerniveau. Alle participanten hebben de vragenlijsten onafhankelijk van elkaar ingevuld. Om
de betrouwbaarheid en validiteit van de vragenlijst te vergroten hadden zowel examinatoren als de
examencommissie de mogelijkheid om opmerkingen bij vragen te plaatsen. Op deze wijze hebben zij
de mogelijkheid gehad om onduidelijkheden te vermelden of om toelichting te geven op hun
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
16
antwoord. De ingevulde vragenlijsten zijn door de onderzoeker geanalyseerd.
Naast de kwantitatieve analyse zijn drie interviewtranscripten geanalyseerd. Deze
interviewtranscripten dienden als ‘secundaire data’ en zijn in januari, voor aanvang van het
onderzoek, afgenomen. De interviews zijn gehouden op locatie binnen Saxion Hogescholen. Ieder
interview is afgenomen door een ander lid van het programmateam ‘Duurzame borging eindniveau’.
De gesprekken werden op band opgenomen en vervolgens getranscribeerd. Voor dit onderzoek zijn
de transcripties van de interviews opnieuw geanalyseerd.
Analyse
Voordat de data is geanalyseerd zijn een aantal voorbereidende analyses uitgevoerd. Met
een principale componentenanalyse (PCA) is eerst getoetst of de variabelen uit het theoretisch
kader overeenkwamen met de gestelde constructen. Dit werd zowel gedaan voor de vragenlijst over
teamleerprocessen, inter-persoonlijke relatie als voor de
vragenlijst over de examenkwaliteit.
Hierbij is eerst een analyse gedaan met de gehele sample en daarna met de subsample. Voor het
bepalen van factoren werd gebruik gemaakt van een scree plot. Daarna werd aan de hand van de
Cronbach’s alpha de betrouwbaarheid berekend en hierbij is rekening gehouden met de gestelde
criteria van Bland en Altman (1997).
Invloed teamleerprocessen op de examenkwaliteit. Om de eerste onderzoeksvraag te
beantwoorden werd allereerst de gemiddelde score berekend van de vier predictoren
(teamreflectie, doelgericht werken, grensoverschrijdende communicatie en borgen) en de
afhankelijke variabele examenkwaliteit. Met een meervoudige regressie is nagegaan of er een
positief significante invloed is van teamprocessen op de examenkwaliteit.
Inter-persoonlijke relatie en teamleerprocessen. Voor de tweede onderzoeksvraag is
gekeken of de relatie tussen teamleerprocessen en de examenkwaliteit wordt beïnvloed door de
mate waarin er sprake is van een positieve inter-persoonlijke relatie binnen een team. In dit geval is
de inter-persoonlijke relatie een moderator variabele. Voor de analyse moest deze moderator
variabele en de teamleerprocessen die een significante invloed hebben op de examenkwaliteit
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
17
worden gecentraliseerd. Vervolgens is een interactievariabele berekend. Door middel van een
multipele regressie is achterhaald of de variabele inter-persoonlijke relatie daadwerkelijk een
moderator variabele is.
Interviews. Om beide deelvragen aan te vullen en te valideren zijn drie transcripten van
interviews geanalyseerd. Voor de analyse zijn alleen de interviews geselecteerd van opleidingen die
hebben gereageerd op de vragenlijst. Bij de analyse van de kwalitatieve gegevens ging het om
secundaire gegevens. Niet alle informatie uit het interviews werden relevant geacht, omdat deze
voor andere doeleinden zijn gebruikt. Volgens Heaton (2010) is het daarom belangrijk om eisen te
stellen aan de selecties. Voor de analyse werden alleen de eenheden geselecteerd die voldeden aan
twee opgestelde criteria. Ten eerste werd alleen de tekst van werknemers geselecteerd die in de rol
van examinator actief betrokken waren bij het afstudeerprogramma. Ten tweede werden alleen de
tekstfragmenten geselecteerd die gaan over de wijze waarop teamleerprocessen tussen
examinatoren plaatsvinden. Teamleerprocessen zijn daarbij het collectieve leerprocessen die de
effectiviteit van een team bepalen (Decuyper et al., 2010). Uit de studie van Heaton (2000) blijkt dat
de grounded theory de meest toegepaste vorm is voor secundaire analyses. Hierbij is gebruik
gemaakt van de theorie van Glaser (1992) waarbij de tekst eerst open is gecodeerd en daarna axiaal
en selectief. Bij het axiaal coderen is hierbij rekening gehouden met de predictoren die in de
kwantitatieve analyse naar voren zijn gekomen (zie Bijlage 5 voor de codeboom). Na het analyseren
van de data zijn de gevonden concepten met elkaar in verband gebracht.
Resultaten
Beschrijvende statistieken
Het
gemiddelde
(M)
en
de
standaardafwijking
(SD)
van
de
examenkwaliteit,
teamleerprocessen en inter-persoonlijke relatie is weergegeven in Tabel 3. De data is hierbij
gesorteerd op de hoogte van de score op de examenkwaliteit.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
18
Tabel 3
Beschrijvende statistieken van de examenkwaliteit, teamleerprocessen en inter-persoonlijke relatie
van alle opleidingen.
Teamleerprocessen
Teamreflectie
Doelgericht
werken
Interpersoonlijke
relatie
O1
1
EK2
2,32
N3
2
M
2.89
SD
0.16
M
3.00
SD
0.57
Grensoverschrijdende
communicatie
M
SD
3.25
0.08
Borgen
2
2,96
3
2.44
0.67
2.53
0.23
2.67
0.29
2.92
0.38
3.48
0.36
3
3,38
6
3.06
0.21
3.00
0.72
3.33
0.77
3.38
0.41
3.63
0.36
4
3,55
2
3.11
0.16
3.20
0.57
3.62
0.18
3.38
0.18
4.17
0.08
5
3,98
3
3.30
0.13
2.93
0.12
3.17
0.29
3.00
0.40
4.48
0.32
6
4,06
2
3.89
0.16
3.20
0.30
3.50
0.16
3.50
0.71
3.78
1.26
7
4,17
2
3.28
0.39
3.00
0.57
2.62
0.53
3.88
0.53
3.44
0.63
8
4,26
7
3.14
0.29
3.00
0.57
3.57
0.40
3.14
0.13
4.08
0.29
9
4,30
3
3.59
0.51
3.40
0.87
3.50
1.39
3.67
0.14
4.04
0.45
10
4,32
2
3.60
0.47
2.70
0.99
3.75
0.71
4.38
0.53
3.89
0.63
11
4,45
3
3.74
0.53
4.27
0.23
3.75
0.87
3.42
0.38
4.30
0.36
M
3.13
SD
0.18
M
3.72
SD
0.24
Note. 1 = opleiding 2 = de examenkwaliteit is beoordeeld door een lid uit de examencommissie, 3 =
vragenlijst ingevuld door examinatoren
Verband tussen teamleerprocessen en de examenkwaliteit
In
combinatie
verklaren
de
vier
factoren
teamreflectie,
doelgericht
werken,
grensoverschrijdende communicatie en borgen 39% van de totale variantie examenkwaliteit, R2 =
.39, F(5, 29) = 3,73, p = .01. In Tabel 4 is per predictor de invloed op examenkwaliteit aangegeven.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
19
Tabel 4
Ongestandaardiseerde (B), gestandaardiseerde (ß ) en gekwadrateerde semi-partiële correlaties (Sr2)
van iedere predictor in de het regressiemodel voorspellende de examenkwaliteit.
B [95% CI]
ß
Sr2
Teamreflectie
.68 [.17, 1.04]*
.54
.17
Doelgericht werken
-.02 [-.38, .33]
-.03
-.04
Grensoverschrijdende communicatie
-.09 [-.45, .27]
-.10
-.05
Borgen
.23 [-.45, .27]
.18
.17
Factoren
Note. N=35. CI= betrouwbaarheidsinterval
* p <.05. **p<.01.
Teamreflectie. Alleen teamreflectie blijkt een significante invloed te hebben op de
examenkwaliteit B = .68, p < .05. Volgens Cohen (1988) kan het effect van teamreflectie op de
examenkwaliteit worden gezien als sterk (f2 = 51). Ook in de kwalitatieve analyse gaven
examinatoren aan dat zij het van belang achten om te reflecteren op processen en resultaten. Door
een kritische dialoog te voeren worden begeleiding- en beoordelingsprocessen beter op elkaar
afgestemd. Hierdoor ontstaat er volgens hen een cultuur waarin iedereen zich verantwoordelijk
voelt voor de kwaliteit. Hoewel opleidingen teamreflectie zien als een investering, ontbreekt vaak de
tijd, zie bijvoorbeeld het volgende citaat: “Het is lastig om (…) daar voldoende tijd voor vrij te maken
en daar herhaling in te krijgen zodat je die beoordelingssystematiek tussen elkaars oren krijgt.”
Opleidingen geven wel aan dat het investeren in teamreflectie nodig is om samen tot een goede
beoordeling te komen.
Grensoverschrijdende communicatie. Grensoverschrijdende communicatie heeft geen
significante invloed op de examenkwaliteit B = -.09, p > .05. Dit wordt tegengesproken in de
kwalitatieve analyses. Examinatoren vinden het een meerwaarde om informatie met andere
opleidingen uit te wisselen. Hierdoor kan van elkaars fouten en kwaliteiten worden geleerd en er
ontstaat volgens hen een bredere visie op het afstudeerprogramma. Uit de interviews blijkt dat de
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
20
uitwisseling met andere opleidingen nog beperkt is: “Ik merk dat in de transitieprocessen waar wij
nu in zitten, mensen heel erg de neiging hebben om het zelf op te lossen (..) dat is gewoon heel
vervelend.” De uitwisseling is vaak beperkt, omdat het organisatorisch lastig is te organiseren.
Doelgericht werken en borgen. De twee predictoren doelgericht werken B = -.03, p > .05 en
borgen B = .23, p > .05 blijken geen significante invloed te hebben op de examenkwaliteit. In de
kwalitatieve analyse worden deze twee predictoren vaak samen benoemd. Er wordt dan gesproken
over een zogenaamde ‘plan-do-check-act (pdca) cyclus’ van Deming (1993). De pdca-cyclus is een
kwaliteitsmethodiek die aangeeft op welke wijze er wordt gewerkt aan kwaliteitsverbeteringen. Er
ontstaat volgens een examinator problemen in deze kwaliteitscyclus door het gebrek aan ‘focus’. Er
wordt daarbij te weinig gewerkt met lange termijndoelstellingen. De waan van de dag bepaalt dan
waaraan gewerkt wordt, waardoor na een jaar dezelfde problemen opnieuw moeten worden
opgelost. Om de processen beter te borgen is het volgens de geïnterviewden van belang om aan een
beperkt aantal doelen te werken, zie bijvoorbeeld het volgende citaat: “Neem nou kleine stapjes (..)
met kleine stapjes kom je ook waar je wezen wilt.” Een andere opleiding geeft aan dat zij de
processen juist goed borgen en checken, omdat zij werken met een specifieke vraagstelling in
evaluaties. Het systematisch werken aan doelen stimuleert volgens de geïnterviewden bovendien
teamreflectie.
Invloed en verband inter-persoonlijke relatie
Uit de resultaten in Tabel 5 blijkt dat er geen effect is van inter-persoonlijke relatie op de
examenkwaliteit. Dit betekent dat de inter-persoonlijke relatie geen moderator variabele is.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
21
Tabel 5
Ongestandaardiseerde (B), gestandaardiseerde (ß ) en gekwadrateerde semi-partiële correlaties (Sr2)
van de moderator inter-persoonlijke relatie op de relatie tussen teamreflectie en examenkwaliteit.
B [95% CI]
ß
Sr2
Inter-persoonlijke relatie
-.03[-.33, .20]
-.02
-.08
Teamreflectie
.58 [.18, .65]
.29
.03
-.17 [-.22, .60]
-.15
.02
Factoren
Teamleerprocessen x teamreflectie
Note. N=35. CI= betrouwbaarheidsinterval
* p <.05. **p<.01.
Zoals ook eerder in de literatuurstudie is beschreven, blijkt uit de kwalitatieve analyse dat ‘positieve
wederzijdse afhankelijkheid’ van belang wordt geacht om teamleerprocessen effectief te laten
verlopen. Volgens de geïnterviewden zorgt wederzijdse afhankelijkheid ervoor dat iedereen zich
verantwoordelijk voelt voor de examenkwaliteit. De afgelopen jaren lijkt er een verandering plaats
te vinden met betrekking tot deze wederzijdse afhankelijkheid, zie het volgende citaat: “Het idee van
‘koning in een eigen klas, wat vijfentwintig jaar nog wel behoorlijk heerste hier, dat is allang
verlaten.” Teamleden voelen zich meer gezamenlijk verantwoordelijk. Toch kan wederzijdse
afhankelijkheid in sommige opleidingen nog wel groeien: “Dat zie je toch wel (…) een marktplaats
met kraampjes waarbij iemand zich heel verantwoordelijk voelt voor een kraampje maar niet voor de
hele markt”. In de interviews worden twee elementen benoemd die volgens de examinatoren van
invloed zijn op deze wederzijdse afhankelijkheid. Enerzijds wordt het van belang geacht dat taken en
rollen goed op elkaar zijn afgestemd. Dit zorgt er volgens een examinator voor dat: “je geen
koninkrijkjes krijgt binnen opleidingen.” Anderzijds wordt het belangrijk gevonden dat examinatoren
elkaar aanspreken op hun rol en taak en dat er op een professionele wijze met elkaar wordt
gecommuniceerd.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
22
Discussie
Samenvatting van de resultaten
In dit onderzoek werd onderzocht of er een positieve invloed is van teamleerprocessen op
de examenkwaliteit. De analyse toonde een sterk significante relatie aan tussen teamreflectie en de
examenkwaliteit. Deze conclusie werd in de analyse van de interviews ondersteund. De factoren
doelgericht werken, grensoverschrijdende communicatie en borgen bleken geen significant effect te
hebben op de examenkwaliteit. Om de gevonden resultaten aan te vullen en te verdiepen zijn drie
interviews geanalyseerd. Hieruit bleek dat doelgericht werken en grensoverschrijdende
communicatie door de examinatoren wel van belang worden geacht. Als tweede onderzoeksvraag
werd onderzocht of de relatie teamreflectie en de examenkwaliteit sterker is wanneer teams hoog
scoren op de inter-persoonlijke relatie in vergelijking met teams die lager scoren. Uit de
kwantitatieve analyse bleek dat de inter-persoonlijke relatie niet als moderator variabele optreedt
tussen teamreflectie en de examenkwaliteit. De kwalitatieve analyse gaf wel een indicatie dat
positieve wederzijdse afhankelijkheid van invloed is op de leerprocessen in een team.
Opvallende resultaten
Teamreflectie. Teamreflectie is volgens deze studie van invloed op de examenkwaliteit. Net
zoals in de studie van Decuyper et al. (2010) bleek ook in deze studie teamreflectie centraal te staan.
Door teamreflectie hebben teams een beter beeld van hun sterke en zwakke kanten, anticiperen zij
sneller op veranderingen in de omgeving en is er meer aandacht voor de lange termijn.
Teamreflectie is vooral belangrijk in een werkomgeving die gekenmerkt wordt door autonomie en
complexe taken (Swift & West, 1968). Door de assessmentcultuur en aangescherpte eisen in het
hoger onderwijs is het afstudeerprogramma in complexiteit toegenomen. Assessments zijn niet
gestandaardiseerd, waardoor teams moeten nadenken over hoe zij de eindkwalificaties van de
opleiding willen toetsen en beoordelen. Teams hebben hierbij enerzijds veel keuzevrijheid, maar
moeten wel voldoen aan de eisen van het afstudeerniveau. Uit onderzoek van Baartman (2008)
kwam naar voren dat innovatieve teams beter in staat zijn zelfevaluaties uit te voeren om daarmee
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
23
een hoger (examen)kwaliteit genereren. Een probleem waar veel teams tegen aanlopen is dat er
geen tijd wordt gemaakt om met elkaar te reflecteren.
Grensoverschrijdende communicatie. Een opvallend resultaat is dat grensoverschrijdende
communicatie geen invloed heeft op de examenkwaliteit, terwijl in de interviews wordt aangegeven
dat dit wel een meerwaarde is. Ook de theorie wijst uit dat het een meerwaarde is om met andere
domeinen perspectieven uit te wisselen (Wenger, 1988). Baartman (2008) toont in haar studie aan
dat teams die informatie met externen uitwisselen vaak beter scoren op hun (examen)kwaliteit. Een
mogelijke verklaring voor het ontbreken van een significant effect is dat grensoverschrijdende
communicatie alleen van invloed is als er ook gereflecteerd wordt op de opgedane ervaring en
kennis in een team. Een andere verklaring is dat grensoverschrijdende communicatie nog niet veel in
de praktijk wordt gebracht. Opleidingen geven wel aan dat zij kennis en informatie uitwisselen met
het werkveld, maar nog niet zozeer met andere opleidingen binnen de organisatie. Dit gebeurt
weinig omdat hier geen tijd voor is. Mogelijk moet dit proces beter gefaciliteerd worden.
Doelgericht werken en borgen. Een ander opvallend resultaat is dat predictoren doelgericht
werken en borgen niet van invloed zijn op de examenkwaliteit, terwijl in de interviews wordt
aangegeven dat dit wel van belang is. In de interviews wordt verwezen naar de plan-do-check-act
(pdca) cyclus van Deming (1993). Dit model wordt binnen het hbo gehanteerd en ondervangt zowel
de predictoren doelgericht werken als borgen. De pdca-cyclus bestaat uit vier fases: plan (het
(bij)stellen van doelen en plannen), do (het uitvoeren van activiteiten), check (evalueren) en act
(corrigeren plannen en eventueel aanpassen). Examinatoren gaven aan dat doelen die gesteld
worden niet helder en concreet zijn en/of dat er geen sprake is van evaluatie en verbetering. Het is
volgens Stevens (2005) van belang dat doelen collectief worden vastgesteld, zodat ieder zich
betrokken voelt bij het (verbeter)proces. Om tot heldere doelen te komen is het essentieel dat
opleidingen een duidelijk uitgesproken visie hebben over de ideale situatie (Baartman, 2008).
Bovendien is het volgens Stevens (2005) van belang dat plannen worden geëvalueerd, omdat er
anders vrij weinig wordt geleerd van (verbeter)initiatieven. Een mogelijke verklaring voor het
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
24
ontbreken van een relatie is allereerst omdat er bij beide factoren geen sprake is van een
normaalverdeling en een lage Cronbach’s alpha, waardoor de resultaten mogelijk geen betrouwbaar
beeld geven. Daarnaast kan het ook zijn dat doelgericht werken en borgen alleen van invloed zijn als
deze collectief in het team worden besproken en geëvalueerd.
Inter-persoonlijke relatie. De inter-persoonlijke relatie bleek vanuit de kwantitatieve analyse
geen effect te hebben op de relatie tussen teamleerprocessen en de examenkwaliteit. In de
kwalitatieve analyse wordt positieve wederzijdse afhankelijkheid wel als een element gezien die
invloed kan hebben op teamleerprocessen. Positieve wederzijdse afhankelijkheid ontstaat in een
team waarbij medewerkers zich afhankelijk van elkaar voelen om effectief te functioneren (Johnson,
1981). Examinatoren geven aan dat de veranderende structuur hen de afgelopen jaren stimuleert
om het werk beter op elkaar af te stemmen. Examinatoren benoemen hierbij wel dat het van belang
is dat mensen elkaar durven aan te spreken. Aanspreekgedrag is niet in de kwantitatieve analyse
meegenomen, maar wordt wel in de kwalitatieve analyse benoemd. Iemand aanspreken heeft niet
zozeer direct effect op het resultaat, maar kan de gedragingen die daar wel effect op hebben
verbeteren. Uit onderzoek van den Berg (z.j.) blijkt dat wederzijdse afhankelijkheid dit
aanspreekgedrag stimuleert. Ook het delen van informatie, duidelijke structuren en regels en
conflicttolerantie dragen bij aan het aanspreekgedrag tussen teamleden. Hierbij gaat het dus
enerzijds om duidelijke structuren en rollen en anderzijds om een cultuur waarbij men het
aannemelijk vindt dat er meningverschillen zijn en dat deze openlijk worden besproken. Een
opvallend resultaat uit de studie van den Berg is dat collegialiteit niet bijdraagt aan de wijze waarop
mensen elkaar aanspreken. Een mogelijke verklaring is dat bij een goede collegialiteit collega’s bang
zijn om de band met collega’s te beschadigen. Mogelijk is de vragenlijst in deze studie nog te veel
gericht op collegialiteit, waardoor de inter-persoonlijke relatie niet van invloed is op de relatie
teamreflectie en examenkwaliteit.
Beperkingen
Vragenlijst. Na het versturen van de vragenlijst reageerden een aantal opleidingen negatief
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
25
op de vragenlijst ‘teamleren’. Dit ontstond voornamelijk omdat er onduidelijkheid bestond over het
woord ‘team’. Examinatoren binnen het afstudeerprogramma werken veelal niet in teamverband en
om die reden bracht het woord ‘team’ veel verwarring. Door middel van de reminder (zie Bijlage 5)
is getracht deze verwarring weg te nemen. De onduidelijkheid over de vragenlijst kan gevolgen
hebben voor de betrouwbaarheid van de gegevens. De resultaten waren mogelijk anders geweest
als de vragen beter hadden aangesloten op de belevingswereld van de examinatoren. Daarnaast
hebben de predictoren allen een Cronbach’s alpha onder de geaccepteerde grens van .80. Dit wijst
erop dat de betrouwbaarheid van de vragenlijst beperkt is. Bij herhaling van dit onderzoek wordt
aanbevolen een nieuwe vragenlijst op te stellen en een pilot uit te voeren bij de doelgroep. Als
laatste is de assumptie van normaliteit geschonden bij de predictoren doelgericht werken en borgen
en bij de afhankelijke variabele examenkwaliteit. Ook dit is van invloed op de betrouwbaarheid en
validiteit van de resultaten.
Respondenten. Zoals al eerder bij de methode is beschreven was het aantal respondenten
laag. Hierdoor is dit onderzoek niet representatief voor de gehele populatie binnen Saxion
Hogescholen.
Interview. Het interview is voor andere doeleinden gebruikt. Hierdoor sluit de
operationalisering van de vragen niet geheel aan bij deze studie. Dit kan invloed hebben gehad op de
resultaten. De Cohen’s Kappa van de kwalitatieve analyse bleek redelijk tot goed. Hoewel de
betrouwbaarheid van de codering voldoende lijkt, is het raadzaam om hier in een vervolgstudie
aandacht aan te besteden. Bovendien zijn er slechts drie interviews geanalyseerd, waardoor de
resultaten niet zijn te generaliseren voor de gehele hogeschool.
Implicaties praktijk
Tijd
voor
reflectie
en
evalueren.
Door
de
paradigmashift
van
individuele
verantwoordelijkheid naar gedeelde verantwoordelijkheid voelen examinatoren de noodzaak om
met elkaar te reflecteren. Het is daarbij belangrijk dat er zowel wordt gereflecteerd op de inhoud
van de taken (single loop learning), de processen (double loop learning) als op de perspectieven van
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
26
teamleden (drieslag leren). Volgens Argyris en Schön (1978) zorgt deze wijze van reflecteren ervoor
dat processen steeds efficiënter verlopen. Door ook opvattingen en percepties in de
reflectieprocessen te betrekken, is de kans volgens Wierdsma en Swieringa (2002) groot dat de
verbeteringen duurzaam beklijven in de opleiding. Geïnterviewden geven aan dat er (te) weinig
wordt gereflecteerd door tijdsgebrek. Opleidingen die systematisch evaluaties hebben ingebouwd in
het systeem, merken wel dat reflectie eerder plaatsvindt. Aangeraden wordt om het belang van
teamreflectie in de opleiding te benadrukken en hier systematisch tijd in te investeren.
Faciliteren informatiedeling binnen en buiten de organisatie. Hoewel examinatoren
aangeven dat zij het een meerwaarde vinden om informatie met andere opleidingen en het
werkveld uit te wisselen, blijkt dit organisatorisch vaak erg lastig. Vooral de uitwisseling met andere
opleidingen is zeer tijdsintensief. Het is aan te bevelen om een systeem te stimuleren waarin kennis
en informatie met elkaar wordt gedeeld (Wenger, 1988). De programmagroep ‘borging eindniveau’
tracht binnen de organisatie een makelaarsfunctie te vervullen. Mogelijk liggen hier kansen voor het
verbeteren van de grensoverschrijdende communicatie.
Werk met een beperkt aantal gemeenschappelijke doelen. Om doelgericht te werken aan
verbeteringen is het belangrijk dat opleidingen weten wat zij willen bereiken (Baartman, 2008).
Volgens Stringfield, Reynolds en Schaffer (2008), die onderzoek deden naar betrouwbare
schoolgemeenschappen, werken scholen het meest effectief als teams aan een beperkt aantal,
duidelijk geformuleerde en gemeenschappelijke doelen werken.
Stimuleer wederzijdse afhankelijkheid met aanspreekgedrag. De afgelopen jaren hebben
veel
opleidingen
geïnvesteerd
in
het
duidelijk
afstemmen
van
rollen,
taken
en
verantwoordelijkheden binnen de opleiding. Hoewel opleidingen ervaren dat het is verbetert, vraagt
het volgens hen wel een cultuur waarin docenten elkaar durven aan te spreken en zelf ook
aanspreekbaar zijn. Volgens de geïnterviewden is het belangrijk dat er tijd wordt geïnvesteerd in het
stimuleren van deze cultuur. Dit kan door bijvoorbeeld te investeren in reflectie en een open dialoog
met elkaar te voeren. Wierdsma (1999) beschrijft in zijn studie de zogenaamde plek der moeite. De
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
27
plek der moeite is volgens hem nodig als er sprake is van een transitieproces, waarbij de nieuwe
patronen in de organisatie in de cultuur moeten worden opgenomen. Deze processen zijn vaak erg
complex en vragen volgens Wierdsma (1999) om de zogenaamde ‘waartoe-vragen’. Hierbij is het
belangrijk dat er binnen het team zowel sprake is van veiligheid en een open dialoog. Daarnaast is
confrontatie belangrijk wanneer dat nodig is en het delen van ervaringen met elkaar.
Implicaties voor vervolgonderzoek
Bij herhaling van dit onderzoek is het aan te raden om een nieuwe vragenlijst op te stellen
betreffende het thema teamleren. De vragenlijst in dit onderzoek gaf geen eenduidig beeld met de
kwalitatieve analyses. In een vervolgonderzoek is het aan te raden om eerst een explorerend
onderzoek te doen naar teamleerprocessen die van belang worden geacht en daarna een vragenlijst
op te stellen.
De kwalitatieve analyse gaf aan dat de wederzijdse afhankelijkheid binnen een opleiding van
belang is. Bij een vervolgstudie is het aan te raden om juist de interactie van diverse actoren binnen
de opleiding te onderzoeken, omdat dit uiteindelijk samen de wederzijdse afhankelijkheid binnen
een team bepaalt.
Het onderzoek is uitgevoerd onder een selecte groep respondenten binnen Saxion
Hogescholen. Het is interessant om meer opleidingen te onderzoeken, zodat de resultaten
gegeneraliseerd kunnen worden voor de gehele populatie.
Dit onderzoek geeft aan dat er een positieve relatie is tussen teamreflectie en
examenkwaliteit. In een vervolgonderzoek is het interessant om te bekijken op welke wijze
teamreflectie binnen een team kan worden gestimuleerd. Het is daarbij belangrijk om de
organisatorische en tijdaspecten mee te nemen, omdat dit vaak als een probleem wordt gezien
binnen teams.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
28
Conclusie
In dit onderzoek werd onderzocht wat de invloed is van leerprocessen binnen teams
examinatoren op de kwaliteit van het afstudeerprogramma. In dit onderzoek bleek er een positieve
relatie te bestaan tussen teamreflectie en de examenkwaliteit. De analyse van de interviews sloot
hierop aan. Examinatoren hebben de behoefte om met elkaar te reflecteren, zodat het
afstudeerprogramma kan worden verbeterd. Uit de kwantitatieve analyse bleek dat de
teamleerprocessen doelgericht werken, grensoverschrijdende communicatie en borgen geen invloed
hebben op de examenkwaliteit. Dit werd niet ondersteund vanuit de kwalitatieve analyses.
Examinatoren gaven aan dat doelgericht werken en grensoverschrijdende communicatie wel degelijk
factoren zijn die een bijdrage leveren aan kwaliteitsverbetering. Ook het aanspreken van elkaar op
verantwoordelijkheden wordt van belang geacht. Deze factor is niet meegenomen in het
kwalitatieve onderzoek. Voor Saxion Hogescholen betekent dit dat er kansen liggen door te
investeren in teamreflectie. Daarnaast laat de kwalitatieve analyse het beeld zien dat het belangrijk
is om de communicatie tussen opleidingen te stimuleren en als team te werken aan concrete
collectieve doelen en deze systematisch te evalueren. Daarnaast is het volgens examinatoren
belangrijk om een cultuur te creëren waarin examinatoren elkaar kritisch aanspreken en zelf ook
aanspreekbaar zijn. Om op basis van de kwalitatieve gegevens een uitspraak te doen over de
effectiviteit van de leerprocessen is het van belang dat er meer onderzoek wordt gedaan.
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
29
Literatuur
Adelson, J., & McCoach, B. (2010). Measuring the mathematical attitudes of elementary students:
the effects of a 4-point or 5-point likert-type scale. Educational and Psychological , 70(5),
796-807. doi:10.1177/0016986210363076
Argyris, C., & Schön, D. (1978). Organisational learning: A theory of action perspective.
doi:10.2307/40183951
Baartman, L., Bastiaens, T., Kirschner, P., & Van der Vleuten, C. (2007). Evaluation assessment
quality in competence-based education: A qualitative comparison of two frameworks.
Geraadpleegd op http://www.elsevier.com/wps/find/journaldescription.cws_home/706817/
description#description
Baartman, L.K.J. (2008). ‘Assessing the assessment’. Development and use of quality criteria for
Competence Assessment Programmes. Proefschrift Universiteit Utrecht. Geraadpleegd op
http://dspace.library.uu.nl/handle/1874/27155
Bijlsma, T. (2009).Teamleren bij de Nederlandse krijgsmacht (proefschrift). Tilburg: Universiteit van
Tilburg. Geraadpleegd op http://hbo-kennisbank.uvt.nl/cgi/nda/show.cgi?did=2781.
Brown, G. (2004). Teachers conceptions of assessment: implications for policy and professional
development. Assessment in Education, 11(3), 301-318. doi:10.1080/0969594042000304609
Bruijn, J., van der Vleuten, C., Cohen-Schotanus, J., Dunnewijk, M., & van Kalmthout, F. (2012).
Vreemde ogen dwingen: Eindrapport Commissie externe validering examenkwaliteit hoger
beroepsonderwijs. Van: http://www.hbo-raad.nl/component/content/article/29/992.
Bland, J., & Altman D. (1995). Comparing methods of measurement: why plotting difference against
standard method is misleading. Lancet, 5(7), 346-1085. Doi: 10.1016/S0140-6736(95)917489
Boeije, L. (2010). Analysis in Qualitative Research. Londen, Engeland: Sage Publications.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences. New Jersey, Verenigde
Staten: Lawrence Erlbaum.
Cohen, M., & Bacdayan, P. (1994). Organizational routines are stored as procedural memory:
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
30
Evidence from a laboratory study. Organization Science, 5(4), 554–568. doi:
10.1287/orsc.5.4.554
Crossan, M., Lane, H., & White, R. (1999). An organizational learning framework: from
intuition to institution. Academy of Management Review, 24(3), 522–537. doi:
10.5465/AMR.1999.2202135
Decuyper, S., Dochy, F., & Van den Bossche, P. (2010). Grasping the dynamic complexity of team
learning: An integrative model for effective team learning in organisations. Educational
Research Review, 5(2), 111-133. doi: 10.1016/j.edurev.2010.02.002
Deming, W. (1993) The New Economics, for Industry, Government, Education. Institute of
Technology: Massachusetts.
Edmondson, A. (1999). Psychological safety and learning behavior in work teams. Administrative
Science Quarterly, 44(2), 350–383. doi: 10.2307/2666999
Fleiss, J., & Levin, B. (2004). The measurement of interrater agreement: Statistical methods for rates
and proportions (3st ed.). doi:10.1002/0471445428.ch18
HBO-raad (2009). Kwaliteit als opdracht. Den Haag, HBO Raad. Geraadpleegd op
http://www.vereniginghogescholen.nl/standpunten/doc_view/1013-kwaliteit-als-opdracht.
Heaton, J. (2000). Secondary analysis of quilitative data: a review of the literature. York: Social Policy
Research Unit, University of York. Geraadpleegd op http://www.esrc.ac.uk/my-esrc/grants/
R000222918/outputs/Download/70fef56f-8423-4d20-969e-2cf95bc23f53.
Inspectie van het Onderwijs (2009). Boekhouder of wakend oog. Verslag van een onderzoek bij
examencommissies in het hoger onderwijs over de garantie van het niveau.
Inspectierapport 2009. Geraadpleegd op http://www.onderwijsinspectie.nl/
actueel/publicaties/Boekhouder+of+wakend+oog.html.
Johnson, R., & Johnson, D. (1994). An overview of cooperative learning. Baltimore, Verenigde staten:
Paul H Brookes Publishing.
Ministerie van OCW (2006) De Dublin descriptoren. Geraadpleegd op
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
31
www.minocw.nl/documenten/dublin-descriptoren-beschrijving-20060608.pdf.
Mulford, B. (1998) Organisational learning and educational change. A. Hargreaves, A. Lieberman, M.
Fullan, & D. Hopkins. (eds). International Handbook of Educational Change. Norwell, MA:
Kluwer.
Mullen, B., & Copper, C. (1994). The relation between group cohesiveness and performance: An
integration. Psychological Bulletin, 115(2), 210–227. Doi: 10.1037//0033-2909.115.2.210
Sargent L, & Sue-Chan C. (2001). Does diversity affect group efficacy? The intervening role of
cohesion and task interdependence. Small Group Research, 32(4), 426 - 451. Doi:
10.1177/104649640103200403
Schippers, M., Den Hartog, D., & Koopman, P. (2005). Reflexiviteit van teams: ontwikkeling van een
instrument. Gedrag en organisatie, 18(2), 83-102.
Schijndel, B., & Kemande, E. (2011). Hoe goed is het nieuwe accreditatiestelsel? Thema Hoger
Onderwijs 4(11), 6-10.
Sessa, V., & London, M. (2008). Interventions to Stimulate Group Learning in Organizations
Journal of Management Development, 27, 554-573. Doi: 10.1108/02621710810877820
Straetmans, G. & Sanders, P. (2001). Beoordelen van competenties van docenten. Den Haag:
HBO-raad 2001.
Stringfield, S., Reynolds, D., & Schaffer, E. (2008). Improving secondary students academic
achievement through a focus on reform reliability: 4- and 9-year findings from the High
Reliability Schools project. School Effectiveness and School Improvement, 19, 409-428.
Swift, T., & West, M. (1998), Reflexivity and group processes: research and practice. Sheffield,
Engeland: University of Sheffield.
Van den Bossche, P., Gijselaers, W. Segers, M., & Kirschner, P. (2006). Social and cognitive
factors driving teamwork in collaborative learning environments: Team learning beliefs and
behaviors. Small Group Research, 37(5), 490-521.
Van den Berg (z.j). Aanspreekgedrag en aanspreekbaarheid van werknemers Relaties met de
INVLOED VAN TEAMLEERPROCESSEN OP DE EXAMENKWALITEIT
32
variabelen persoonlijkheid, ervaren taakinterdependentie, reflexiviteit, leiderschapsstijl en
organisatiecultuur. Universiteit van Amsterdam. Geraadpleegd op
http://dare.uva.nl/document/125484
Van der Vegt, G., & Van de Vliert, E. (2005). Effects of perceived skill dissimilarity and task
interdependence on helping in work teams. Journal of Management, 31(1), 73–89. Doi:
10.1177/0149206304271382
Van Woerkom, M (2004). The concept of critical reflection and its implications for human
resource development. Advances in developing human resources, 6, 178-192.
Doi: 10.1177/1523422304263328
Wierdsma, A., & Swieringa, J. (2002) Lerend organiseren: als meer van hetzelfde niet helpt. Houten,
Nederland: Stenfert Kroese.
Wierdsma, A. (1999). Co-creatie van verandering. Delft, Nederland: Eburon.
Wenger, E. (1998). Communities of practice. Learning, meaning, and identity. Cambridge, Engeland:
Cambridge University Press.
Wong, S., (2004), Distal and local group learning: performance trade-offs and tensions,
organization Science, vol. 15, nr. 6, 645-656. Doi: 10.1287/orsc.1040.0080

Download Report