Stenden Hogeschool Postbus 1298 8900 CG LEEUWARDEN

> Retouradres Postbus 2730 3500 GS Utrecht
Stenden Hogeschool
Postbus 1298
8900 CG LEEUWARDEN
Locatie Utrecht
Park Voorn 4
Postbus 2730
3500 GS Utrecht
T 088 669 6060
F 088 669 6050
www.onderwijsinspectie.nl
Onze referentie
4329043
Uw referentie
Datum
Betreft
8 mei 2014
Graadverlening in het buitenland
Kopie aan
Ministerie van OCW
Geachte heer,
Met referte aan uw brieven d.d. 31 oktober 2013 (kenmerk 481/002) en d.d.
7 februari 2014 (kenmerk 47/02) berichten we u hierbij over onze bevindingen en
conclusies ten aanzien van de realisering van de afgesproken maatregelen voor
de borging van het eindniveau van de zittende studenten (gestart vóór september
2012) aan de opleidingen van Stenden op de buitenlandse sites. De bevindingen
zijn op 15 april 2014 met u besproken. Daarna heeft u schriftelijk gemeld (brief
24 april 2014, kenmerk 166/002) geen feitelijke onjuistheden aangetroffen te
hebben. Wel heeft u enkele specifieke punten over de uitvoering van de 60 ec
maatregel op schrift gesteld. Een punt daarvan (het aantal verwachte studenten
dat in september 2014 naar Stenden Nederland komt) hebben we verwerkt. Zo
ook is uw toelichting over de opzet van en de relatie tussen de uitkomsten van de
interne en externe audit 2013 in de conclusies opgenomen.
Om de conclusies te plaatsen in de context van het onderzoekstraject tot dusver,
geven we eerst een korte samenvatting van de voorgeschiedenis.
Korte terugblik
In het najaar van 2011 heeft de inspectie onderzoek gedaan naar de opleidingen
van Stenden in het buitenland. Doel van het onderzoek was te beoordelen of
Stenden de kwaliteit van deze opleidingen voldoende waarborgt en handelt
volgens de criteria waaraan graadverlening door een Nederlandse instelling op een
buitenlandse vestiging moet voldoen (zie de notitie Nederlands Hoger Onderwijs in
het buitenland, wat er wel en niet kan). Het betrof de opleiding International
Hospitality Management in Zuid Afrika, Qatar, Bali en Thailand en de opleidingen
International Business Management en Tourism Management in Qatar.
Het rapport is in februari 2012 verschenen en bevatte de volgende conclusies over
de opleidingen op de buitenlandse sites:
- De gediplomeerde studenten van de opleidingen IHM en ITM hebben hun
opleiding geheel in het buitenland gevolgd en zijn niet voor een kwart (60
ec) van hun opleiding naar Nederland gekomen.
- Stenden heeft veel inspanningen verricht om de kwaliteit van het
onderwijs op de buitenlandse sites te waarborgen, maar er zijn nog veel
verbeteringen nodig. Zo zijn er lacunes in het Shared Responsibilities
Shared Benefits Document (SRBD), en niet alle werkprocessen zijn in de
praktijk geïmplementeerd. Vooral de inhoud, begeleiding en beoordeling
Pagina 1 van 7
Locatie Utrecht
Datum
8 mei 2014
Onze referentie
4329043
-
-
van het praktijkgedeelte (IHM) en de afstudeerprocedures zijn
onvoldoende gewaarborgd.
De Onderwijs- en Examen Regelingen (OER-en) voor de opleidingen in het
buitenland zijn onvolledig en de examencommissies voeren in beperkte
mate hun wettelijke taak ten aanzien van de buitenlandse vestigingen uit.
De Nederlandse examencommissies verlenen geen vrijstellingen voor het
in het buitenland gevolgde onderwijs.
Naar aanleiding van deze conclusies werd afgesproken dat het College van
Bestuur onmiddellijk zou stoppen met de graadverlening aan nieuwe studenten
aan de buitenlandse sites die hun opleiding volledig in het buitenland doen en dat
u in de informatievoorziening aan (potentiële) studenten op de sites duidelijk zou
maken dat van studenten verwacht wordt dat zij een kwart (60 ec) van de
opleiding in Nederland zouden gaan volgen. Daarnaast heeft u met de toenmalige
staatssecretaris van OCW afspraken gemaakt over de Nederlandse graadverlening
aan zittende studenten (gestart vóór september 2012) op de buitenlandse sites.
Omdat in alle redelijkheid deze studenten niet verplicht konden worden om 60 ec
in Nederland te volgen, heeft u onderstaande maatregelen voorgesteld voor de
borging van het eindniveau van deze studenten op de sites (brief 27 februari
2012, kenmerk 128/002):
- Alle scripties zullen beoordeeld worden door een derde externe
beoordelaar. Na een eventuele negatieve beoordeling door deze externe
beoordelaar wordt geen vrijstelling en dus geen graad verleend.
- De reflectie van de student op de bereikte eindkwalificaties in de stage
wordt op dezelfde manier en met dezelfde gevolgen beoordeeld als de
scriptie.
- Jaarlijks wordt door een externe assessor in opdracht van de
examencommissie een audit gedaan op de sites, waar de controle op de
borging van de procedures van het toetssysteem onderdeel van uitmaakt.
Het rapport van de audit vormt de basis voor het verantwoord vrijstellen
van programmaonderdelen, anders dan stage en scriptie. Indien omissies
geconstateerd worden, worden geen vrijstellingen verleend totdat deze
omissies zijn hersteld.
Op 22 maart 1012 heeft de staatssecretaris laten weten akkoord te gaan met de
voorgestelde afspraken en de inspectie verzocht deze te monitoren (brief 22
maart, referentie 387488). De inspectie heeft u vervolgens gevraagd (brief 5 juni
2012, 3284657/22EX)) per 1 oktober 2012 informatie aan te leveren over de
wijze waarop u de gemaakte afspraken over de borging van het eindniveau heeft
uitgevoerd en/of zal uitvoeren op de verschillende sites. Bovendien bent u
gevraagd de inspectie voor 22 juni 2012 te informeren over de wijze waarop u
potentiële studenten voorlicht over de eisen die worden gesteld aan het verkrijgen
van een Nederlands getuigschrift, waaronder de te volgen 60 ec in Nederland.
Op grond van de informatie die u in juni 2012 verzonden heeft (brief + materiaal
21 juni, kenmerk 350/002) heeft de inspectie geconcludeerd dat u potentiële
studenten van de buitenlandse vestigingen helder en correct informeert over de
Pagina 2 van 7
Locatie Utrecht
Datum
8 mei 2014
Onze referentie
4329043
verplichting een kwart van de opleiding in Nederland te volgen. De ‘Nederlandse
periode’ geldt voor studenten die instromen vanaf september 2012 en zal
plaatsvinden in het derde of vierde jaar van de opleiding. De eerste studenten van
de sites worden verwacht in september 2014. Uit uw informatie van oktober 2013
blijkt dat er in september 85 studenten (prognose) naar Nederland zullen komen.
Het gaat om 48 studenten IHM, 11 studenten TM en 23 studenten IBMS uit Qatar
en 3 studenten IHM uit Thailand. Het aantal verwachte studenten is in april 2014
naar beneden bijgesteld naar 66 studenten.
Op grond van de informatie die u in oktober 2012 verzonden heeft (brief +
materiaal 1 oktober 2012, kenmerk 487/002) heeft de inspectie geconcludeerd
dat u de invoering van diverse maatregelen adequaat ter hand heeft genomen,
maar dat de werkelijke effectuering van de maatregelen met name in 2012- 2013
zal plaatsvinden. Er waren op dat moment namelijk nog geen diploma’s uitgereikt
en de externe audit had nog niet plaatsgevonden. Wel had u betrokkenen
geïnformeerd, geschoold, leden van examencommissies op de sites aangesteld,
verantwoordelijkheden vastgelegd, externe deskundigen voor de beoordeling van
scripties en stage aangesteld en diverse procedures vastgelegd. Vooruitlopend op
de beoordeling van scripties door externe deskundigen, hebben Nederlandse
examinatoren van de opleiding IHM 12 scripties beoordeeld. Twee scripties zijn
hierbij afgekeurd en hebben op dat moment niet tot graadverlening geleid. Tot
slot heeft u aangegeven dat u naast de externe audit in opdracht van de
examencommissie, jaarlijks een interne audit naar het toetssysteem op de sites
uit zal voeren, startende in de periode januari 2013.
De inspectie heeft daarop geconcludeerd (brief 16 oktober 2012,
kenmerk3413490/22EX) dat ze na een jaar, wanneer de werkelijke uitvoering van
de voorgenomen maatregelen zijn beslag heeft gekregen en de audits hebben
plaatsgevonden, opnieuw zal kijken naar de wijze waarop u de afgesproken
maatregelen gerealiseerd heeft.
U heeft ons vervolgens geïnformeerd op 31 oktober 2013 (brief kenmerk
481/002) over het aantal afgestudeerden met een Nederlandse graad, de
beoordeling van afstudeerscripties en stagereflecties over de
vrijstellingenprocedure en de interne audit die plaatsgevonden heeft tussen apriljuni 2013 op alle buitenlandse vestigingen. En op 7 februari 2014 (kenmerk
47/002) heeft u ons geïnformeerd over de externe audit van de NQA. Hieronder
volgen onze bevindingen.
Bevindingen maart 2014
Sinds december 2012 heeft Stenden 108 Nederlandse graden verleend aan
studenten van de buitenlandse sites. Het betrof 23 studenten van de opleiding
IHM, waarvan 14 studenten uit Qatar en 9 uit Zuid Afrika, drie studenten van de
opleiding Tourism Management, allen uit Qatar en 82 studenten van de opleiding
IBMS, ook uit Qatar.
Deze studenten hebben de graad verkregen nadat ze zich als extraneus
ingeschreven hebben bij Stenden Nederland en nadat de Nederlandse
Pagina 3 van 7
Locatie Utrecht
Datum
8 mei 2014
Onze referentie
4329043
examencommissie van de betreffende opleiding een vrijstelling heeft verleend van
240 ec. Naast de 108 verleende vrijstellingen, zijn vier vrijstellingsaanvragen
(IHM, Qatar) negatief beoordeeld.
Vrijstellingsprocedure
Alle drie de opleidingen hebben een vrijstellingenprocedure opgesteld en deze is
door de betreffende examencommissie vastgesteld. De procedure bevat de
voorwaarden waaronder en criteria waarmee vrijstellingen van 240 ec verleend
mogen worden. Voorwaarden zijn dat het programma gelijk is aan het programma
in Nederland en dat de jaarlijkse audit is uitgevoerd. Bovendien moet de
‘Procedure en –vereisten inzake kwaliteitsborging onderwijs en diplomering sites’
zoals is vastgesteld door het CvB onverkort worden uitgevoerd en nageleefd. De
in de vrijstellingsprocedure opgenomen criteria zijn onder meer: inschrijving als
extraneus in Nederland, aanwezigheid van documenten (toelatingsbrief,
getekende cijferlijsten) en voldoende beoordelingen van de externe examinatoren.
We hebben negen voorbeelden van vrijstellingsprocedures van studenten van
verschillende opleidingen bekeken. Op basis van dit dossieronderzoek concluderen
we dat de vrijstellingsprocedure conform de intern gemaakt afspraken is gevolgd
en dat de vereiste documenten aanwezig zijn.
Beoordeling scriptie en stage
Voor de borging van het eindniveau van de zittende studenten zijn door de drie
Nederlandse examencommissies externe beoordelaars aangesteld voor een extra
beoordeling van de scripties en stagereflecties. Uit de Cv’s blijkt dat het om
deskundigen uit het betreffende veld gaat. We hebben van elke opleiding drie
scriptie en drie stage beoordelingen bekeken (in totaal 18 beoordelingen). Deze
beoordelingen zijn omvattend en maken een gedegen indruk.
Van de in totaal 104 aangevraagde externe scriptie beoordelingen zijn zes
scripties onvoldoende beoordeeld, van de in totaal 120 aangevraagde
beoordelingen van stagereflecties zijn er tien onvoldoende bevonden. We
constateren dat deze externe beoordelingen zorgvuldig zijn uitgevoerd.
Interne en externe audit
De derde afspraak luidde dat er een externe audit zou plaatsvinden. U heeft
besloten eerst ook een interne audit uit te laten voeren. Deze is uitgevoerd in
april-juni 2013. Deze interne auditcommissie is kritisch. Zij rapporteert dat tal van
afspraken niet uitgevoerd worden, dat er verschillen zijn in programma en
toetsing die niet voldoende gedocumenteerd zijn, dat het contact tussen de
examencommissies op de sites en Nederland minimaal is, en dat de Head of
Schools in Nederland slecht op de hoogte zijn van onderwijsresultaten. U heeft
naar aanleiding van deze audit een werkgroep ingesteld onder leiding van de per 1
juli aangestelde Head of Sites om de geconstateerde omissies weg te nemen.
Deze werkgroep dient een integraal plan van aanpak aan te leveren en
maandelijks aan de CvB te rapporteren.
In februari 2014 hebben we een update van de stand van zaken van de acties van
deze werkgroep ontvangen. Daaruit blijkt dat in de drie opleidingen in januari
Pagina 4 van 7
Locatie Utrecht
Datum
8 mei 2014
Onze referentie
4329043
2014 vele acties zijn gestart, lopen of afgerond zijn. Het gaat om acties als een
nieuwe module evaluatie opstellen, de toetscommissie versterken, change
documents verzamelen of een internationale conferentie voor de module
coördinatoren van IHM organiseren.
In de afspraken die in februari 2012 met de staatssecretaris gemaakt werden,
wordt een positief audit rapport van een (externe) assessor als voorwaarde
gesteld voor het verlenen van vrijstellingen van 240 ec. De afspraak luidt: “De
resultaten van deze audit worden gerapporteerd en dit rapport vormt de basis
voor het verantwoord vrijstellen van programmaonderdelen, anders dan stage en
scriptie. Indien omissies geconstateerd worden, zullen deze gerapporteerd worden
aan de Head of Schools in Nederland en worden geen vrijstellingen gegeven totdat
deze zijn hersteld.”
De externe audit, in opdracht van de examencommissies uitgevoerd door de NQA,
heeft plaatsgevonden op 2 december 2013. De opdracht luidde conform de
afspraken met de staatssecretaris: “In hoeverre is er sprake van borging van de
kwaliteit van toetsing en examinering ten aanzien van de programma’s IBMS, IHM
en ITM voor zover deze op de Stenden sites wordt uitgevoerd”. Het valt op dat in
tegenstelling tot de afspraak met de staatssecretaris (“Jaarlijks wordt door een
externe assessor in opdracht van de examencommissie een audit gedaan op de
sites….”) de audit niet is uitgevoerd op de verschillende sites, maar vanuit
Nederland. Het panel baseert zich op drie bronnen: het Shared Responsibilities
Shared Benefits Document (SRBD), interviews met de relatiemanagers en leden
van de Nederlandse examencommissies van de drie opleidingen en assessment
materiaal van het tweede jaar van de drie opleidingen in Qatar en Zuid Afrika. Het
is niet duidelijk waarom er geen assessment materiaal van de locaties Thailand en
Bali bestudeerd is.
Het panel geeft aan:
In het SRSB document zijn de verantwoordelijkheden van de functionarissen
op de sites en in Nederland duidelijk beschreven, zo bijvoorbeeld die van de
examencommissies. Ook is het in het SRSB document beschreven framework
voor aanpassingen van het programma aan de lokale context op de sites,
voldoende om eventuele aanpassingen valideren. Het is duidelijk op welk
niveau en onder welke voorwaarden het de sites is toegestaan het programma
aan te passen.
Uit de gesprekken met relatiemanagers en leden van examencommissies in
Nederland blijkt dat de sites ‘basically’ de programma’s, inclusief de
assessments overnemen zoals ze in Nederland uitgevoerd worden. En uit de
bestudering van verschillende modulen van het tweede jaar blijkt dat
veranderingen goed gedocumenteerd worden in Change Documents. Wel moet
er meer aandacht besteed worden aan wie welke veranderingen goedkeurt.
Dit verloopt niet altijd conform het SRSB document. Ook bleek dat de
verschillende opleidingen verschillende criteria hanteren bij de beoordeling
van aanpassingen aan het Nederlandse programma.
Pagina 5 van 7
Locatie Utrecht
Datum
8 mei 2014
Onze referentie
4329043
-
-
De examencommissies zijn zich er van bewust dat de kwaliteit van de
opleidingen op de sites gelijk moet zijn aan die in Nederland. De jaarlijkse
audits van de examencommissies naar de uitvoering van de taken van de
examencommissies op de sites, de Quality Desk en het opstellen van een
verslag over de kwaliteit van de toetsen zijn goede instrumenten voor de
borging van de kwaliteit.
Uit het assessment materiaal van het tweede jaar blijkt dat enkele zaken niet
helemaal correct zijn en dat de feedback van de examinatoren nogal mager is.
De algemene conclusie van het panel is dat het systeem van kwaliteitszorg
voldoende is. Het panel eindigt met een aantal aanbevelingen om het systeem
verder te versterken. U heeft in uw brief van februari 2014 aangegeven met welke
acties u deze aanbevelingen opvolgt. Deze acties zijn duidelijk en concreet. De
inspectie mist echter een verklaring voor een aantal in het oog springende
verschillen tussen de bevindingen van de interne en de externe audit, en voor het
weglaten uit de audit van de sites in Azië.
Conclusies
De beoordeling van de scripties en stagereflecties van studenten op de sites door
externe deskundigen wordt deskundig en serieus uitgevoerd. Dit betekent dat een
cruciaal element in de borging van het eindniveau van deze studenten op orde is.
Ook concluderen we dat de vrijstellingsprocedure overeenkomt met de afspraken
die u gemaakt heeft met de staatssecretaris en dat deze correct gehanteerd is bij
de in 2013 aangevraagde vrijstellingen.
De uitkomst van de externe audit op de sites is weliswaar positief over de borging
van de kwaliteit van toetsing en examinering, maar we hebben enkele
kanttekeningen bij het proces en de resultaten van de afgenomen audits.
Allereerst constateren we dat de externe audit tamelijk laat heeft plaatsgevonden,
waardoor sinds het inspectierapport van begin 2012 een flink aantal (zittende)
studenten is afgestudeerd zonder dat u volledig kon instaan voor de kwaliteit van
de vrijstellingsprocedure (à 240 ec). Ook is het panel dat de externe audit heeft
uitgevoerd niet op de sites zelf geweest en baseert het zich uitsluitend op
documenten die vanuit het buitenland zijn aangeleverd en gesprekken met
Nederlandse medewerkers. Vervolgens heeft de audit zich gericht op Qatar en
Zuid-Afrika, en niet op Bali en Thailand. Inmiddels heeft u toegelicht dat de
examencommissies ervoor gekozen hebben de externe audit in een bepaalde
opbouw van inhoud en tijd te doen plaatsvinden. De eerste audit heeft pas na
enige tijd plaatsgevonden, omdat de verbeteringen pas toen daadwerkelijk
geëffectueerd konden zijn. De volgende audit zal op de sites zelf plaatsvinden. In
dit kader heeft u gemeld dat de site in Thailand inmiddels is opgeheven, vanwege
een te gering aantal studenten.
Wat de resultaten van de audit betreft concluderen we dat deze lastig zijn te
duiden. We constateren een tegenstijdigheid in de uitvoering en de uitkomsten
van de interne en die van de externe audit. De interne audit, die op de sites zelf is
Pagina 6 van 7
Locatie Utrecht
Datum
8 mei 2014
Onze referentie
4329043
uitgevoerd, is gedetailleerder en kritischer dan de externe audit. Op grond van de
interne audit kunnen de examencommissies, die de vrijstellingen van 240 ec
verlenen niet goed waarmaken dat zij voldoende op de hoogte zijn van de
programmaonderdelen en bijbehorende toetsing, met uitzondering van scriptie en
stage.
U heeft in april aangegeven dat de discrepantie tussen de uitkomsten van de
beide audits te verklaren is door het verschil in aard en karakter van de beide
audits. De interne auditsstandaarden zijn er op gericht ‘een lerende en zich
verbeterende organisatie’ te faciliteren en dus heel kritisch.
Tegelijkertijd constateren we ook dat u zowel de uitkomsten van de interne als de
externe audit serieus hebt genomen en verbeteracties hebt geformuleerd. Ook
bent u van plan de interne en externe audits jaarlijks te laten plaatsvinden.
Vervolg
We zien geen reden tot vervolgonderzoek. De borging van het eindniveau van
zittende studenten is op orde. Maar omdat de aanpak van de externe audit nogal
licht is geweest en er nog verschillende lichtingen studenten zullen afstuderen
voordat de nieuwe aanpak met de verplichte 60 ec in Nederland zal plaatsvinden,
vragen we u de komende externe audit spoedig en scherp uit te laten voeren. Dit
heeft u inmiddels gedaan. De opdrachtformulering daartoe hebben we op 15 april
2014 ontvangen. We beschouwen hiermee het onderzoek als afgesloten.
Met vriendelijke groet,
drs. H.M. Martijnse
directeur toezicht hoger onderwijs
Pagina 7 van 7

Download Report