Evaluatie JOB-monitor 2014, dd. 9 september 2014 *nieuw

NOTULEN EVALUATIE JOB- EN LAKS-MONITOR 2014
Onderwerp:
Datum:
Tijd:
Locatie:
Aanwezig:
Afwezig:
Evaluatie JOB-monitor 2014 met Gebruikersplatform
Dinsdag 9 september 2014
11.00 tot 13.00
Het Huis Utrecht, Boorstraat 107, Utrecht
Linjo de Kruijf (Grafisch Lyceum Utrecht), Ronald Rondas (ROC Arcus), Kitty
Mathijsen (ROC Koning Willem I College), Bob Leunk (ROC van Amsterdam
en Flevoland), Marianne Maasland (Regio College), Hedy Beumkes (Albeda
College), Karin Dekkers (Sint Lucas), Anne-Marie Gootjes (Media College),
Peter Thewissen (ROC Leeuwenborgh), Clara Verblauw (Horizon College),
Froukje Wartenbergh (ResearchNed), Danny Brukx(ResearchNed), Jettie
Lensen (JOB)
Gerda Broens (ROC Nijmegen), Lammert Folkerts (ROC van Twente), Peter
van der Blom (Media College), Tessy Duncker (ROC Tilburg), Pollyan van
Swigchem (Graafschap College), Marlies Kooijmans (Rijn Ijssel), Belinda de
Boer (AOC de Groene Welle), Joyce Jacobs (ResearchNed)
Algemeen:
1. Jettie vraagt alle deelnemers van het platform aan te geven hoe de instellingen de resultaten
van de JOB-monitor hebben verwerkt. Alle leden geven aan hoe zij de resultaten op hun
instelling hebben verwerkt en wat er mee wordt gedaan. Een overzicht:
- Er wordt veel gebruik gemaakt van de voorlopige resultaten. Deze worden in de
instellingen verspreid naar de verschillende afdelingen/teams. De resultaten worden
geanalyseerd ter verbetering van de kwaliteitszorg. Ook wordt het CvB ingelicht over de
resultaten.
- Binnen de instelling worden de verschillende teams/locaties/afdelingen met elkaar
vergeleken. Teams/afdelingen dienen (soms verplicht) de resultaten te gebruiken bij
zelfevaluatie.
- De meeste instellingen gaan vooral aan de slag met de voorlopige resultaten. Als de
definitieve data beschikbaar zijn dienen die als controle voor de voorlopige data. Bijna
altijd komen deze data overeen. De definitieve instellingsrapportage wordt in sommige
gevallen nog rondgestuurd naar de verschillende afdelingen/CvB.
- De voorlopige resultaten zijn in sommige gevallen gebruikt voor het bezoek van de
inspectie in mei. Hierbij zijn trends aangetoond ten opzichte van eerdere metingen.
- De meeste instellingen analyseren trends. De ervaring is dat de zaken die goed gaan, vaak
goed blijven. Andersom geldt dit ook. Ook zien de meeste instellingen dat hun eigen
resultaten redelijk overeenkomen met de landelijke resultaten. Een aantal instellingen
geven aan een positieve trend te signaleren.
- In de meeste gevallen worden de resultaten ook teruggekoppeld aan de studenten(raden)
en in sommige gevallen ook aan de ondernemingsraad. De manier van terugkoppeling
verschilt van algemene presentaties tot gesprekken binnen de teams/afdelingen.
- In sommige gevallen worden de resultaten ook actief vergeleken met andere instellingen
binnen de regio. Een voorbeeld hiervan zijn Albeda en Zadkine die op teamniveau
resultaten hebben uitgewisseld en zo kijken wat de teams van de verschillende
-
-
instellingen van elkaar kunnen leren. Maar ook het Regio College kijkt bijvoorbeeld naar
andere instellingen binnen de regio.
In de meeste gevallen worden er concrete doelstellingen verbonden aan de resultaten,
zoals een verbeterplan op ROC Leeuwenborgh, of het terugbetalen van ongebruikte
boeken op het ROC van Amsterdam (hierbij is wel nauwkeurig nagegaan of de boeken
ook echt niet meer op de lijst hoeven te staan).
In sommige gevallen wordt er op instellingen intern data uitgesplitst op aanvraag binnen
de instelling.
Informatievoorziening:
2. Informatievoorziening was over het algemeen goed. Iedereen wist waar de informatie moest
worden gevonden en hoe ze JOB en ResearchNed konden bereiken bij vragen. Alleen over
de informatiebijeenkomst van 24 september 2014 zijn de instellingen minder tevreden. Jettie
wijt dit aan een combinatie van het nieuwe team van medewerkers en bestuur bij JOB (die
toen net aangesteld waren) in combinatie met de onrust die ontstond rondom de
aankondiging van de nieuwe online tool (die op dat moment alleen nog instellingen met
elkaar kon vergelijken)
Communicatie en aanlevering labels:
3. Communicatie met JOB en ResearchNed was goed en positief.
4. Het aanleveren van de labels is over het algemeen goed gegaan. De enkele problemen die er
waren lagen vooral intern bij de instellingen. ResearchNed heeft dit in alle gevallen op kunnen
lossen.
Vragenlijst:
5. Resultaten evaluatieformulieren en suggesties voor verbetering:
a. Vragenlijst wordt te lang bevonden. Jettie wil weten wat er volgens het platform uit
de vragenlijst kan. Alles wat gevraagd wordt blijkt toch relevant te zijn. Dat houdt
dan ook in dat de vragenlijst niet echt korter kan. Jettie merkt ook op dat de
vragenlijst geroute wordt, en dat dus niet alle studenten alle 70 vragen moeten
beantwoorden. Froukje (RN) vraagt of het een optie is om de eigen vragen eruit te
halen, maar die moeten er volgens het platform in blijven. De vragenlijst kan dus niet
echt korter.
b. Uit het evaluatieformulier blijkt dat sommige instellingen aan hebben gegeven dat het
voor niveau 1 en 2 studenten soms lastig blijkt om de vragenlijst in te vullen. Jettie
geeft aan dat de vragenlijst van 2014 is getest bij niveau-1- en 2-studenten. Daarnaast
is bij de editie van 2012 de vragenlijst nog doorgenomen met het Steunpunt Taal en
Rekenen MBO om te kijken of de gebruikte taal in de vragenlijst voor alle niveaus
geschikt was. Men is het er over eens dat nog simpelere bewoordingen niet het
verschil gaan maken. Bovendien kunnen de studenten de vragenlijst in meerdere
keren invullen. Er is dus weinig te doen aan het feit dat studenten op niveau 1 en 2
wat eerder afhaken bij een dergelijke vragenlijst dan studenten met een hoger niveau.
c. Jettie geeft aan de vragenlijst komend jaar voor de zomer van 2015 af te willen
hebben. Bob Leunk (ROCvA) geeft aan de vragenlijst wel samen in overleg met het
gebruikersplatform door te willen spreken. Hier wordt positief op gereageerd vanuit
de rest van het platform. Jettie zal een bijeenkomst plannen in oktober of november
om de vragenlijst in zijn geheel door te nemen. Voor deze bijeenkomst zullen naast
het gebruikersplatform ook andere contactpersonen van de JOB-monitor worden
benaderd. Actiepunt 1
Afnameperiode:
6. Omdat iedereen vooral gebruik maakt van de voorlopige resultaten vraagt Jettie of het
wenselijk is om wellicht eerder met de definitieve data te komen. Dat houdt dan wel in dat
de afnameperiode wat ingekort zou moeten worden, omdat er nu eenmaal een
verwerkingstijd zit tussen het veldwerk en het leveren van (voorlopige) resultaten. De
meningen over dit onderwerp zijn verdeeld. Enkele instellingen zijn van mening dat de
afnameperiode wel wat korter kan, anderen geven aan die extra weken nodig te hebben voor
het behalen van een goede respons en het bereiken van zoveel mogelijk studenten. Men is
het er wel over eens dat er aan het einde van een afnameperiode altijd nog een inhaalslag
wordt gemaakt, en dat het niet uitmaakt wanneer de periode van afname afloopt.
Incentives:
7. Zowel uit het evaluatieformulier als binnen het gebruikersplatform wordt aangegeven dat
incentives wat betreft de instellingen weinig zin hebben. Voor JOB is het echter wel een
leuke manier is om JOB op de kaart te zetten. Jettie zal kijken of incentives in 2016 wenselijk
zijn voor JOB. Voorwaarde is dat het de contactpersonen niet te veel werk moet kosten om
de incentives bij de juiste studenten te krijgen.
Inloggen met BSN:
8. Gebruik van BSN, inlogfaciliteit en verantwoording anonimiteit naar studenten toe:
a. Bij veel instellingen zijn er in ieder geval enkele klachten binnengekomen over het
inloggen met het BSN. Ook bij JOB hebben we het afgelopen jaar hier vragen over
moeten beantwoorden. Jettie geeft aan dat er weinig alternatieven zijn voor het
inloggen met BSN. Of de vragenlijst wordt nog langer omdat studenten zelf de
gegevens moeten aanleveren, of instellingen moeten de data aanleveren wat veel tijd
en geld zou kosten. Bovendien is in beide gevallen de kwaliteit van de data minder
betrouwbaar dan wanneer de data uit BRON worden gehaald. De gegevens kunnen
daarentegen makkelijk uit BRON gehaald worden en de data zijn up-to-date.
Conclusie is dus dat de JOB-monitor gebruik zal blijven maken van het inloggen via
BSN. Voorwaarde is wel dat de communicatie rondom het inloggen duidelijk blijft en
waar mogelijk nog duidelijker wordt. Bijvoorbeeld aangeven bij de start van de
enquête dat de monitor absoluut anoniem is. Ook studentenraden kunnen een
actieve rol spelen bij het informeren van hun achterban over de anonimiteit van de
JOB-monitor.
b. Een vervelende bijkomstigheid van de inlogfaciliteit van DUO was dat als studenten
tweemaal op de “verder” knop drukte, ze tien minuten moesten wachten. Dit kwam
omdat er geen “tussenpagina” zichtbaar werd tussen de tijd dat de student van de
inlogpagina naar de vragenlijst werd gestuurd. Voor het systeem was de student dus
al actief bezig in de vragenlijst, en men kan niet twee keer de vragenlijst activeren.
Daarom logde het systeem de student bij het geval van meerdere doorklik pogingen
weer uit en moest de student 10 minuten wachten. Jettie gaat vragen aan DUO of
hiervoor een oplossing voor gevonden kan worden in de vorm van een tussenpagina
of zandloper oid. Actiepunt 2
c. Jettie vraagt of in de communicatie naar studenten toe misschien niet meer
gesproken moet worden van BSN-nummer maar van onderwijsnummer. In principe
zijn deze nummers hetzelfde. De leden van het gebruikersplatform geven aan dat dit
geen goed idee is, en dat je vooral eerlijk en duidelijk moet zijn naar de student toe.
Het inloggen met het BSN zal dus blijven zoals het nu is, en de communicatie
hierover zal waar mogelijk nog worden aangescherpt.
Databestanden en rapportages:
9. Uit de evaluatieformulieren blijkt vooral dat gebruikers tevreden zijn over de aangeleverde
databestanden. Zoals eerder aangegeven worden de definitieve instellingsrapportages en
bestanden vaak ter controle van de voorlopige databestanden gebruikt. Maar de voorlopige
cijfers zijn dan vaak al teruggekoppeld naar de teams en/of CvB. Ondanks dat de er vooral
gebruik wordt gemaakt van de voorlopige databestanden zijn de meningen binnen het
platform verdeeld over het aanleveren van één definitief databestand dat dan eerder geleverd
zal worden. Zie hiervoor ook punt 6.
10. Online tool:
a. Jettie geeft aan hoe de keuze voor OiG vorig jaar is gemaakt. Omdat er veel
ontevredenheid was over KIWI wilde JOB een andere tool die ook door studenten
gebruikt kon worden. Met een team van nieuwe medewerkers is in overleg met het
bestuur van JOB besloten om met OiG in zee te gaan. Zij gaven aan de data op een
gebruiksvriendelijke manier te kunnen weergeven. Toen bleek dat dit alleen op
instellingsniveau mogelijk was en dat de gebruikers hier nauwelijks wat aan hadden is
er gekeken naar een oplossing. Uiteindelijk is het ook mogelijk om
opleidingsrichtingen per instelling te vergelijken. Omdat de online tool in een korte
tijd enorm is ontwikkeld zijn er een aantal kinderziektes die nog verholpen moeten
worden. Zo worden op dit moment nieuwe controles op de data uitgevoerd. Uit
eerdere controles bleek dat zo’n 10 tot 15% van de data niet goed was ingeladen.
Gek genoeg waren dit geen structurele fouten, waardoor de controles extra lang
duurden. Momenteel zijn de laatste controles uitgevoerd en alles moet nu kloppen.
b. Grootste bezwaar dat in de evaluatieformulieren wordt meegegeven is dat de labels
per school er niet in staan. Jettie legt uit dat dit een gevolg is van de keuze die JOB
heeft gemaakt voor OiG. Er komen in de toekomst dus ook geen labels in. Tijdens
de bijeenkomst van het gebruikersplatform op 14 januari is al duidelijk gemaakt dat
het niet gaat lukken om labels in de tool toe te voegen omdat niet elke instelling de
zelfde labels aanlevert. Bovendien zijn er genoeg mogelijkheden om de resultaten per
label op andere manieren er uit te halen.
c. Clara Verblauw (Horizon College) vraagt zich af of studenten wat hebben aan de
manier waarop de online tool nu is opgebouwd. Jettie geeft aan dat het project van
de online tool niet ‘af’ is en dat JOB hard bezig is om het werken met de tool onder
de aandacht van studenten te brengen. Inmiddels is er een mailing naar alle
studentenraden verstuurd waarin met een stappenplan wordt uitgelegd hoe
studenten de tool kunnen gebruiken en informatie hieruit kunnen halen ten behoeve
van het samenstellen van speerpunten. Ook hebben alle studentenraden een
inlogcode en een landelijk rapport ontvangen. Het stappenplan is ook terug te vinden
op de portal.
Promotie JOB-monitor
11. Het promotiemateriaal dat JOB levert om de JOB-monitor onder de aandacht te brengen
wordt wel gebruikt, maar de meeste instellingen geven aan dat de voornaamste reden van de
bekendheid van de JOB-monitor onder studenten is dat de monitor klassikaal wordt
ingeroosterd. Verreweg de meeste instellingen roosteren de monitor klassikaal in. De
posters en het online filmpje worden wel gebruikt, maar hebben volgens de meesten weinig
effect. Jettie geeft aan dat de bestuursleden van JOB wel vaak hebben teruggekregen dat
studenten JOB herkennen van de JOB-monitor “met die olifant”. De olifant als symbool voor
de JOB-monitor is erg geslaagd, vinden ook de instellingen. Gesuggereerd wordt dat de JOBmonitor olifant ook in 2016 goed gebruikt kan worden.
Anne-Marie Gootjes (Mediacollege) geeft aan dat wat betreft social media er nog wel meer
kan gebeuren met de JOB-monitor. Jettie is het met haar eens en geeft aan dat hier in 2016
nog meer aandacht naartoe zal gaan.
12. De landelijk rapportage is inmiddels naar alle studentenraden verstuurd. Andere
geïnteresseerden hebben op de landelijke presentatie een exemplaar gekregen. Het is altijd
mogelijk om rapporten op te vragen bij JOB en inmiddels is dit ook al gebeurd. Op de
website van JOB staat ook hoe je een exemplaar kan aanvragen.
13. De bijeenkomsten rond de JOB-monitor:
a. De kick-off was een leuke middag, maar niet meer dan dat. Voor de instelling waar de
kick-off wordt georganiseerd is het leuk en voor JOB zelf ook als exposure. Maar “er
begint een onderzoek” is niet echt nieuws en de rest van de instellingen krijgen weinig
mee van de kick-off.
b. Op de landelijke presentatie is alom positief gereageerd. Het was een goede bijeenkomst
met veel studenten en beleidsmakers waarbij er veel aandacht ging naar de inhoud.
Presentatie en locatie waren goed geregeld.
14. W.V.T.T.K.:
a. Vanuit het platform wordt gevraagd of andere instellingen de vraag over toetsing
gebruiken voor de examinering. Andere leden geven aan dat zij voor de beoordeling
van de examinering gebruik maken van eigen vragenlijst omdat studenten bij het
beantwoorden van vragen geen onderscheid maken tussen tussentijdse toetsen en
examens.
b. Er wordt gevraagd of er wel eens door ResearchNed is gekeken naar een verband
tussen respons en tevredenheid. ResearchNed geeft aan dat dit niet het geval is.
Vervolgens komt de vraag of er dan wel eens is gekeken naar regionalisering.
ResearchNed geeft aan dat dit niet in de analyse zit omdat zeker de grote instellingen
niet tot één regio gerekend kunnen worden.
c. Jettie geeft aan dat het voor JOB en ResearchNed belangrijk en waardevol is geweest
om op via het gebruikersplatform feedback te krijgen op het verloop van het project.
Daarnaast is het gebruikersplatform ook bedoeld om zelf zaken aan te kaarten,
elkaar vragen te stellen en zelf een agenda te maken. Omdat de agenda vaak al alle
onderwerpen die op dat moment relevant waren bevatte, kwamen er weinig
agendapunten vanuit de leden zelf. Jettie benadrukt dat het ook belangrijk is dat
iedereen op de bijeenkomst aanwezig is. De meesten aanwezigen zijn altijd aanwezig,
maar voor sommige leden geldt dat er op het laatste moment werd afgezegd, hoewel
de data al aan het begin van het jaar bekend waren. Jettie geeft aan dat dit voor het
komende platform niet wenselijk is.
d. Jettie bedankt tot slot iedereen voor de komst naar het gebruikersplatform het
afgelopen jaar.
Actiepunten:
Wie?
1.
JOB organiseert een bijeenkomst waarin de vragenlijst besproken en
herzien wordt (gepland op eind okt/begin nov).
JOB
2.
Met DUO wordt een oplossing besproken voor het 10 minuten
wachten als je te snel doorklikt.
JOB

Download Report