Eindrapportage Projecten programma Toetsing en

Eindrapportage
Projecten programma Toetsing en Toetsgestuurd Leren
Digitaal toetsen met beelden, een extra dimensie
Eindrapportage mei 2014
Penvoerende instelling: UMC Utrecht, divisie Beeld
Projectleider: Prof. dr. J.P.J. van Schaik
Projectsecretaris en contactpersoon SURF: drs. A. van der Gijp
De eindrapportage is een zelfstandig leesbaar document, met een evaluatief karakter. Dit betekent
dat een lezer, die geen van de andere stukken over het Project gelezen of gezien heeft, zich een goed
beeld moet kunnen vormen van het gehele project. Uit de rapportage dient eenvoudig af te leiden zijn
hoe de bereikte eindresultaten zich verhouden tot het Controlling Document.
Bij elke publicatie van de (eind)resultaten van het project dient de Projectuitvoerder melding te
maken van de medefinanciering van Stichting SURF. Daartoe dient hij de tekst zoals opgenomen in
Bijlage 6 van de Subsidievoorwaarden in zijn publicatie op te nemen.
1
Samenvatting
Het hoofddoel van het project was het optimaliseren van de kwaliteit en efficiëntie en het uitbreiden
van de mogelijkheden van toetsing van beeldinterpretatievaardigheden in de voortgangstoets in de
specialistenopleiding radiologie met behulp van authentieke 2D- en 3D-beeldvragen in een digitaal
toetsprogramma.
In het project zijn randvoorwaarden voor de organisatie en ICT infrastructuur voor de digitale toets
met beelden geschept. Er is een ontwerp gemaakt voor de digitale toets en de docenten zijn getraind
in het maken van de digitale beeldvragen. Er zijn veel tests en pilots uitgevoerd om de toetsafnames
uiteindelijk optimaal te laten verlopen. Dit proces is uiteindelijk driemaal doorlopen als voorbereiding
op de afname van drie digitale voortgangstoetsen radiologie. De in totaal 1106 toetsafnames zijn
succesvol verlopen. Na de toetsafnames vonden er evaluaties plaats op deelnemers-, docent- en
projectniveau. Er is een structuur opgezet voor een itembank en er zijn nieuwe feedbackmodules
ontwikkeld. Een deel van de nieuwe feedbackmodules is reeds ingezet. Er is een advies geschreven
over de manier van implementatie van de feedbackmodules en de itembank.
Uit het project kunnen we concluderen dat digitaal toetsen met beelden veilig en betrouwbaar op grote
schaal kan worden uitgevoerd en dat de implementatie hiervan de kwaliteit van toetsen met beelden
kan verbeteren. De resultaten van het project zijn duurzaam, omdat de digitale voortgangstoets
radiologie voortaan onderdeel zal zijn van het reguliere toetsprogramma in de medisch specialistische
vervolgopleiding radiologie.
2
Inleiding
Opzet en doel van het project
Het hoofddoel van het project is het optimaliseren van de kwaliteit en efficiëntie en het uitbreiden van
de mogelijkheden van toetsing van beeldinterpretatievaardigheden in de voortgangstoets in de
specialistenopleiding radiologie met behulp van authentieke 2D- en 3D-beeldvragen in een digitaal
toetsprogramma. Daarmee zal (in elk geval op langere termijn) de gepercipieerde werkdruk door
opleiders bij voortgangstoetsing kunnen afnemen. De verhoging van de authenticiteit van de toetsing
kan motiverend werken naar de deelnemers en daarmee indirect bijdragen aan hun studiesucces. Om
dit doel te realiseren wordt een overdraagbaar prototype digitaal toetsontwerp en een procesgericht
feedbacksysteem geënt op beeldinterpretatievaardigheden ontwikkeld en geïmplementeerd in de
landelijke opleiding radiologie. Het feedbacksysteem koppelt, gebaseerd op het idee van learning
analytics, het handelingsproces van aios tijdens beeldinterpretatie in een rapportage terug. Dat werkt
studiesucces in de hand.
In het project vonden eerst voorbereidende werkzaamheden plaats, zoals opstellen van de eisen voor
de ICT infrastructuur en de realisatie hiervan (werkpakket 1), het herontwerpen van de toets
(werkpakket 2) en het selecteren van belangrijke parameters voor feedback (werkpakket 3).
Vervolgens werden er verscheidene pilots uitgevoerd en is de digitale voortgangstoets met 2D en 3D
beelden uiteindelijk digitaal afgenomen (werkpakket 4). Tot slot zijn de resultaten geëvalueerd
(werkpakket 5).
Belangrijkste te behalen resultaten
Het beoogde resultaat van het projectvoorstel was om het digitaal toetsen van 2D- en 3Dbeeldinterpretatievaardigheden te integreren in landelijke voortgangstoetsing, in dit geval de landelijke
VGT radiologie. Dit met behulp van het toetsontwerp en met de vraagtypen waarmee deze vaardigheid
zo optimaal mogelijk getoetst kan worden. Daarnaast wordt het toetssysteem voorzien van een
feedbacksysteem, dat de deelnemers specifieke feedback geeft over hun
beeldinterpretatievaardigheden.
De volgende concrete resultaten / deliverables werden beoogd te behalen:
1. Een toetsmatrijs met te dekken onderwerpen en vaardigheden in de toetsing van
beeldinterpretatievaardigheden.
2. Vraagtypen die geschikt zijn om beeldinterpretatievaardigheden te meten.
3. Scoremodel voor de 2D- en 3D-vragen van de voortgangstoets radiologie.
4. Een training over toetsconstructie, in het bijzonder gericht op het construeren van toetsen met
beeldvragen.
5. Een structuur van een digitale itembank met 2D- en 3D-beeldvragen
6. Een beschrijving van het feedbacksysteem gericht op een innovatieve manier van
procesmatige feedback geven op beeldinterpretatievaardigheden.
7. Een format voor terugrapportage van de feedback op beeldinterpretatievaardigheden.
8. Rapportage resultaten systeemkwaliteit, psychometrische kwaliteit, en tevredenheid van aios,
opleiders en examencommissieleden met de herontworpen digitale voortgangstoets en het
feedbacksysteem in dit project.
9. Handboek ‘Landelijke digitale toetsing met 2D- en 3D-beelden’, waarin de kennis uit het
project gebundeld wordt.
Participerende instellingen
Stuurgroepleden:
3
Prof. Dr. M. Maas, voorzitter onderwijscommissie Nederlandse Vereniging voor Radiologie (NVvR)
Prof. Dr. Th. J. ten Cate, hoogleraar medische onderwijskunde UMC Utrecht en voorzitter van de
Nederlandse Vereniging voor Medisch Onderwijs (NVMO)
Prof. Dr. J.S. Laméris, (tot begin 2014) divisievoorzitter en hoofd van de afdeling radiologie in het AMC
Dr. A.J. Smeets, radioloog (St. Elizabeth ziekenhuis Tilburg) en (tot eind 2013) voorzitter NVvR
Dr. J.A. Vos, radioloog (St. Antonius ziekenhuis Nieuwegein) en voorzitter examencommissie NVvR
Projectleider:
Prof. Dr. J.P.J. van Schaik (UMCU), hoogleraar radiologie, in het bijzonder onderwijs en opleiding
Co-projectleider Amsterdam
Drs. C.A. Tipker (AMC), radiodiagnostisch laborant en wetenschappelijk docent
Co-projectleider Utrecht
Dr. M.F. van der Schaaf (UU, Faculteit Sociale Wetenschappen, Educational Sciences), universitair
onderwijskundig onderzoeker en docent
Projectsecretaris
Drs. A. van der Gijp (UMCU), radioloog in opleiding en promovenda medisch onderwijs
Projectgroep:
Prof. Dr. A.D.C. Jaarsma (AMC), hoogleraar Evidence-Based Education
Drs. J.W. van den Berg (AMC), arts en promovendus medisch onderwijs
Drs. C.A. Tipker AMC), radiodiagnostisch laborant en wetenschappelijk docent
Drs. K. de Crom (AMC), adviseur onderwijstechnologie, focus gebieden digitaal toetsen,
projectmanagement en computer-mens interactie
Prof. Dr. J.P.J. van Schaik (UMCU), hoogleraar radiologie, in het bijzonder onderwijs en opleiding
Dr. I.C. van der Schaaf (UMCU), radioloog
Dhr. P.J. van der Schoot (UMCU), adviseur ICT
Drs. C. Mol (UMCU), onderzoeker Image Sciences Institute
Dr. Ir. K.L. Vincken (UMCU), universitair hoofddocent Image Sciences Institute
Drs. C.J. Ravesloot (UMCU), radioloog in opleiding en promovenda medisch onderwijs
Drs. A. van der Gijp (UMCU), radioloog in opleiding en promovenda medisch onderwijs
Dr. M.F. van der Schaaf (UU, Faculteit Sociale Wetenschappen, Educational Sciences, universitair
hoofddocent
Dr. D.R. Rutgers (UMCU), radioloog en lid van de examencommissie van de NVvR (later toegetreden
als nieuw projectlid)
Projectperiode
1 Maart 2012 t/m 31 April 2014 (incl. verlenging van 2 maanden)
Begroting en subsidie
Totale projectbegroting: € 553.392
Toegekende subsidie: € 364.000
4
Beschrijving per werkpakket
Per werkpakket: een inhoudelijk evaluatief verslag van de activiteiten en resultaten/deliverables die
zijn uitgevoerd respectievelijk bereikt, afgezet tegen de afspraken die zijn gemaakt in het Controlling
Document.
In deze paragraaf wordt per werkpakket beschreven welke activiteiten zijn uitgevoerd conform het
controlling document en op welke punten de activiteiten afwijken van het controlling document.
In bijlage 2 is een overzicht opgenomen met de deliverables die opgeleverd zijn per werkpakket.
Werkpakket 1
Randvoorwaarden:
De voorwaarden m.b.t. infrastructuur van toetszalen, netwerk- en systeembeheer, toetssoftware,
uitwisseling van toetscontent en het faciliteren van een nakijkmodel zijn in kaart gebracht.
Ontwikkeling:
De gebruikte toetslocaties zijn in kaart gebracht en beoordeeld op geschiktheid voor het afnemen van
testen op grote schaal. Veiligheid omtrent gebruik van beelddata voor en tijdens de toets is
procedureel opgezet, met speciale aandacht voor anonimisatie van patiëntendata. Er is een begin
gemaakt met faciliteren van een itembank voor beelddata, met name de eisen die aan VQuest gesteld
worden zijn uitgewerkt.
Toepassing:
Stresstests zijn uitgevoerd op 4 verschillende niveaus van toetsafname. De software is getest op
gebruiksvriendelijkheid en veiligheid van antwoorden. Het reviewproces voor het werken met grote
datasets is in kaart gebracht.
De volgende punten wijken af van het controlling document:
De functionaliteit voor het inrichten van een itembank via VQuest is nog in ontwikkeling.
De volgende punten zijn extra uitgevoerd:
-De beveiliging van de toets in een netwerkomgeving is op meerdere manieren getest: met externe
software (Kioware) en d.m.v. group policy (Windows).
-twee pilots in het AMC tijdens het blok ‘3D mens’ van de basisopleiding geneeskunde.
Werkpakket 2
De volgende punten zijn uitgewerkt conform het Controlling Document:
Resultaten
1. Resultaten
betrouwbaarheidsanalyses, dekking
toetsmatrijs en uitkomsten
factoranalyse
2. Resultaten vragenlijsten deelnemers
(aios en opleiders)
Deliverables
Hoofdstuk 2 in het handboek ‘Landelijke digitale toetsing met 2D- en 3Dbeelden’
3.Nieuwe vraagtypen voor 2D- en 3Dbeeldvragen met psychometrische
kwaliteit (onderscheidend vermogen,
moeilijkheidsgraad)
- Document met vraagtypen die geschikt zijn om
beeldinterpretatievaardigheden te meten
4.Toetsontwerp: toetsmatrijs
6. Docenttraining met evaluatie
- Een toetsmatrijs met te dekken onderwerpen en vaardigheden in de
toetsing van beeldinterpretatievaardigheden
- Document met scoremodel voor de 2D- en 3D-vragen van de
voortgangstoets radiologie.
- Een training over toetsconstructie van 2D- en 3D-beeldvragen
7.Structuur itembank
- Een structuur van een digitale itembank met 2D- en 3D-beeldvragen
5.Toetsontwerp: scoremodel
5
Randvoorwaarden:
Een randvoorwaarde voor WP2 was het opstellen van het studentmodel. Dit heeft deels
plaatsgevonden in het Surf project toetsing in Beeld.
ECD
1. Studentmodel
(SURF project
‘Toetsing in
beeld’, lopend
onderzoek)
Kernvraag
Wat houden
beeldinterpretatievaardigheden
in? Wat willen we toetsen?
Methode
Literatuurstudie en
empirisch onderzoek
in het lopende SURF
project ‘Toetsing in
beeld’
Deliverable
Beschrijving van het construct en de
ontwikkeling van
beeldinterpretatievaardigheden (deze
deliverable is onderdeel van het
SURF project Toetsing in beeld).
Ontwikkeling:
De ontwikkeling van WP2 vond plaats via de procesgang van het Evidence Centered Design (ECD) van
Mislevy. De volgende stappen zijn uitgevoerd:
ECD
2. Taakdomein
3. Bewijsmodel
4. Assemblage
Kernvraag
Welke (toets)vragen (zowel
inhoudelijk en qua vorm) zijn
nodig om informatie te krijgen
over de
beeldinterpretatievaardigheden
van de AIOS?
Welke essentiële
taakkenmerken moet het
toetsprogramma (VQuest)
daarvoor hebben?
Wat telt als bewijs voor
beeldinterpretatievaardigheden
en hoe interpreteren we dit
bewijs?
Methode
Literatuurstudie
Item en toetsanalyse
op bestaande data
Deliverable
Een toetsmatrijs met te dekken
onderwerpen en vaardigheden in de
toetsing van
beeldinterpretatievaardigheden.
Vraagtypen die geschikt zijn om
beeldinterpretatievaardigheden te
meten.
Item- en toetsanalyse
op bestaande data
Scoringsregels en nakijkmodel van
de voortgangstoets radiologie met
2D- en 3D-vragen.
Een samengestelde voortgangstoets
met 2D- en 3D-beeldvragen.
Hoeveel taken en welke soort
taken zijn nodig in de complete
toets?
(welke vragen en in welke
volgorde van moeilijkheid etc.)
Training en
toetsconstructie met
leden van de
examencommissie
radiologie
Een training over toetsconstructie.
Een basis van een digitale itembank
met 2D- en 3D-beeldvragen worden
opgeleverd, waarin in ieder geval
voldoende beeldvragen voor de
eerste landelijke digitale
voortgangstoets opgenomen zullen
zijn.
De digitale itembank zal een database
bevatten waarin kwaliteitsindicatoren
per vraag kunnen worden opgenomen
na toetsafname
Toepassing:
De toepassing van WP2 is terug te vinden in de uiteindelijk ontwikkelde toets. Dit is conform fase 5 in
het ECD uitgevoerd.
ECD
5. Presentatie (zie
werkpakket 4)
Kernvraag
Hoe wordt de toets
gepresenteerd, hoe ziet de toets
eruit?
Wat zou de afnamesituatie
Methode
Gebruik maken van
ervaringen tijdens
pilots
Gebruik maken van
Deliverable
Een gebruiksvriendelijk en intuïtief
interface voor toetsafname en
toetsconstructie
6
moeten zijn?
Wat zijn technische, materiële
voorwaarden om taakuitvoering
op te roepen?
Hoe kunnen de scores effectief
gepresenteerd worden
gegevens uit de
literatuur.
Specificaties over een overzichtelijke
en effectieve manier van score
representatie
De volgende punten wijken af van het controlling document:
Geen
De volgende punten zijn extra uitgevoerd:
Voor de training van examencommissieleden is accreditatie verleend.
Werkpakket 3
De volgende punten zijn uitgewerkt conform het Controlling Document:
Randvoorwaarden: betekenisvolle parameters zijn gedefinieerd aan de hand van literatuuronderzoek.
Verschillende manieren van rapporteren en visualiseren van de parameters zijn voorgesteld.
Ontwikkeling: De extractie van de parameters is gerealiseerd door middel van een logfile-script, dat de
ruwe data omzet in de betekenisvolle parameters.
Toepassing: De logfiles zijn omgezet in parameters door middel van het logfile programma.
De volgende punten wijken af van het controlling document:
De rapportages zijn nog niet verspreid onder aios en opleiders.
De volgende punten zijn extra uitgevoerd:
-Er is een advies geschreven voor de examencommissie waarin aangedragen wordt welke
feedbackmogelijkheden er zijn en hoe deze optimaal ingezet kunnen worden.
-er is een feedbackmodule ontwikkeld en toegepast waarmee de gegeven antwoorden, juiste
antwoorden en scores automatisch gegenereerd kunnen worden en per e-mail naar de deelnemers
gestuurd kunnen worden.
Werkpakket 4
De volgende punten zijn uitgewerkt conform het Controlling Document:
Randvoorwaarden: Pilots en drie digitale afnamen van de voortgangstoets hebben geleid tot
aanscherping van de randvoorwaarden van toetsafname (wp 1), zowel qua ICT infrastructuur als
organisatie. Overall is geconcludeerd dat tijdens alle toetsafnamen aan de gestelde randvoorwaarden
is voldaan.
Ontwikkeling: Implementatie van de digitale voortgangstoets heeft waardevolle informatie opgeleverd
met betrekking tot de presentatie van de toets(resultaten) en toetsinhoud. Deze informatie is in WP1,
WP2 en WP3 gebruikt om de workflow, de (feedback op de) digitale voortgangstoets en VQuest te
optimaliseren.
Toepassing: naast verschillende pilots, zijn drie digitale voortgangstoetsen afgenomen. Iedere afname
van de voortgangstoets had zijn eigen specifieke aandachtspunten, maar overall zijn de toetsafnamen
succesvol te noemen.
De volgende punten wijken af van het controlling document:
Geen.
De volgende punten zijn extra uitgevoerd:
-een extra afname van de voortgangstoets in april 2014
- concept incidenten en calamiteitenplan
Werkpakket 5a
De volgende punten zijn uitgewerkt conform het Controlling Document:
Randvoorwaarden: de kwaliteitsindicatoren en bijbehorende parameters die nodig zijn voor de
evaluatie van de toetskwaliteit zijn vastgesteld en beschreven in het handboek H5a.
Ontwikkeling: op basis van de benodigde parameters is een gebruikersevaluatie (in de vorm van een
enquête) en een item- en toetsanalyseplan opgesteld.
7
Toepassing: de vragenlijsten zijn afgenomen en geanalyseerd. De itemanalyse per toets is uitgevoerd.
De kwaliteit van de digitale beeldvragen is vergeleken met de kwaliteit van de schriftelijke
beeldvragen.
De volgende punten wijken af van het controlling document:
Er is geen aparte gebruikersevaluatie ontwikkeld en afgenomen voor het feedbacksysteem, omdat
deze niet in de voorgenomen vorm is toegepast onder de aios. Er is wel een gebruikersevaluatie
ontwikkeld voor de evaluatie van de ontwikkelde feedbackmodule bij studenten, maar dit valt niet
onder dit project.
De volgende punten zijn extra uitgevoerd:
Na elke digitale voortgangstoets werd er een evaluatiebijeenkomst gehouden met de projectgroep en
met leden uit de staande organisatie om de belangrijkste evaluatiepunten te bespreken en plannen te
maken voor verdere kwaliteitsverbetering.
Werkpakket 5b
De volgende punten zijn uitgewerkt conform het Controlling Document:
Randvoorwaarden: definities van de itembank, het feedbacksysteem en de relatie met de
ontwikkelgroep van VQuest zijn vastgelegd en deels beschreven in het advies aan de
examencommissie en deels in de licentieovereenkomst. Ook de kosten voor de nieuwe digitale
voortgangstoets zijn bepaald en deze zijn vergelijkbaar met de huidige kosten. De licentiekosten zijn
vastgelegd in de licentieovereenkomst.
Ontwikkeling: op basis van resultaten van de vragenlijsten en ervaringen van de toets zijn voortdurend
aanpassingen gedaan in het toetssysteem en in de organisatie
Toepassing: Er is een licentie opgesteld voor de examencommissie. De overdracht naar de staande
organisatie heeft grotendeels al geleidelijk plaatsgevonden tijdens de voorbereidingen van de derde
digitale voortgangstoets. Op de overdrachtsvergadering van 12 juni a.s. zal de officiële overdracht
plaatsvinden.
De volgende punten zijn extra uitgevoerd:
Er is een advies geschreven voor de examencommissie waarin onder andere de draaiboeken zijn
opgenomen ten behoeve van de borging van het project.
8
Overige zaken
Kennisdisseminatie
Er is veel aan kennisdisseminatie gedaan, zowel op nationaal als op internationaal niveau. De
disseminatie vond voornamelijk plaats op onderwijskundige en radiologische congressen en
bijeenkomsten. Als afsluitende disseminatieactiviteit is er een symposium georganiseerd in
samenwerking met het project Toetsing in Beeld. Tevens is er een handboek gemaakt met de
belangrijkste projectresultaten, zodat de kennis die is opgedaan tijdens dit project niet verloren gaat.
Lijst met disseminatieactiviteiten
-Er is geparticipeerd in alle projectbijeenkomsten van SURF.
-Er is een publieksversie van het projectvoorstel gemaakt en deze is uitgedeeld aan belangrijke
betrokkenen, bijvoorbeeld uit de Nederlandse Vereniging van de Radiologie. Eén van de projectleden is
aangewezen als PR-coördinator om disseminatie activiteiten aan te sturen.
-De examencommissie heeft een uitgebreide demo gehad van het programma en was erg enthousiast
-Eén van de leden van de junior NVvR (belangenbehartiging van de radiologen in opleiding) is als
contactpersoon voor de projectgroep aangewezen en heeft een individuele uitleg over het project en
een demo van het programma gekregen.
-Op 27 september is er tijdens de algemene ledenvergadering van de junior NVvR (hierin zijn alle aios
radiologie vertegenwoordigd) een presentatie gehouden over de digitalisering van de VGT.
-Tijdens de radiologendagen (jaarlijks congres) op 26 en 27 september werd het project onder de
aandacht gebracht middels een stand. Aios en andere geïnteresseerden werden in de gelegenheid
gesteld om te oefenen met het toetsprogramma. Er waren vier computers met een oefentoets
waarmee de aios alle functionaliteiten van het toetsprogramma konden uitproberen. Er werd ook een
instructiefilmpje getoond en er werden flyers uitgedeeld. Er was zeer veel animo, de stand werd steeds
druk bezocht.
-alle leden van de NVvR werden tevens op de hoogte gebracht van het project via de nieuwsbrief van
de NVvR.
-alle aios en opleiders hebben apart een e-mail gekregen waarin de nieuwe ontwikkelingen nogmaals
aangekondigd werden en waarin aangekondigd werd dat er een stand zou zijn op de radiologendagen.
-Tijdens de EARLI studiereis is het projectteam vertegenwoordigd door 2 projectleden.
-Tijdens de training voor de examencommissieleden hebben zij nader kennisgemaakt met het project
en met het toetsprogramma (hands-on).
-Op het NVMO congres waren vele projectleden aanwezig en hebben hier kennis opgedaan over
digitalisering van toetsing (o.a. over het IMS systeem).
-Enkele projectleden zijn naar het RSNA congres in Chicago geweest. Hier zijn vooral ideeën opgedaan
over het gebruik van systemen waarmee gemakkelijk data uitgewisseld kunnen worden (MIRC) en
systemen voor metadatering van radiologische beelden (radlex).
-de digitale VGT op 19 april kreeg aandacht op de site van het AMC en het UMCU
-bericht in de nieuwsbrief van de NVvR
-Artikel over de eerste digitale afname in het tijdschrift ‘Discours’ (zie bijlage ‘discours12radiologietoets’). Discours is een tijdschrift voor co-assistenten, arts-assistenten en hun opleiders in de
AMC-opleidingsregio.
-pecha cucha voor De onderwijsdagen gemaakt
-presentatie eerste projectresultaten op de RSNA (groot radiologisch congres in de VS). Tevens een
congres waar veel contacten kunnen worden opgedaan voor het verspreiden van onze ideeën en
promoten van VQuest.
-Presentatie over VQuest op de public meets private dag van het UMC Utrecht waar academici en de
private sector bij elkaar kwamen om ideeën uit te wisselen.
9
-Presentatie over de resultaten van de VGT op de Ottawa conference (conferentie over toetsing in
medical education).
-Presentatie over de eerste resultaten van de VGT op het ECR congres (Europees radiologisch congres)
-Handboek met projectresultaten – zowel digitaal als op schrift
-Symposium met presentaties over de projectresultaten (i.s.m. het project Toetsing in Beeld) en een
workshop over werken met VQuest
-Presentatie projectresultaten op het CAA congres in Zeist
In onderstaande tabel zijn de disseminatie-activiteiten samengevat.
Activiteit / middel
Doelgroep
Datum / periode
Publieksversie project
Diverse stakeholders
1e kwartaal
Demo toetsprogramma
Examencommissie
6 maart 2012
Demo toetsprogramma
Junior NVvR
Maart 2012
Algemene leden vergadering junior
NVvR (info over het project)
Junior NVvR / aios
27 september 2012
Congres radiologendagen
Aios / opleiders / leden NVvR
26 en 27 september 2012
Nieuwsbrief NVvR
Leden NVvR
Augustus 2012
E-mail met vooraankondiging over
toetsafname
Aios en opleiders
September 2012
EARLI Sig 1, Brussel
SURF expertisenetwerk
28-31 augustus 2012
Training examencommissie
Leden examencommissie
13 november 2012
NVMO, Maastricht
Medici/onderwijskundigen
15-16 november 2012
RSNA, Chicago
Radiologen
25-30 november 2012
Nieuwsberichten internetsite
AMC/UMCU (zie bijlage 4 en 5)
Werknemers AMC/UMC
19 april 2013
Nieuwsbrief NVvR
Radiologen en aios
26 april 2013
Artikel Discours
Werknemers AMC
Juni 2013
Presentatie RSNA, Chicago
Radiologen / radiologen in
opleiding / wetenschappers
30 nov – 7 dec 2013
Pecha Kucha – De onderwijsdagen
Geïnteresseerden in onderwijs
Nov 2013
Presentatie Public Meets Private
dag UMC
Publieke en private sector
(academie en bedrijven)
11 oktober 2013
Presentatie ECR, Wenen
Radiologen / radiologen in
opleiding / wetenschappers
6-10 maart 2014
Presentatie Ottawa Conference
Geïnteresseerden in toetsing
binnen medische educatie
25-29 april 2014
Symposium ism Toetsing in beeld
SURF projectleiders en
geïnteresseerden in (digitalisering
van) radiologisch onderwijs
18 maart 2014
Handboek
Iedereen die meer wil weten over
implementatie van digitale toetsing
met beelden
31 mei 2014
Presentatie CAA
Geïnteresseerden in digitaal
toetsen
30 juni 2014
10
Effectmetingen
Studie-uitval:
Deze projectaanvraag had als subdoel de formatieve functie van de VGT te verbeteren. In de literatuur
is voldoende bewijs dat formatieve toetsing grote impact heeft op ontwikkelingen en prestaties. De
verwachting is dat een authentiekere toets leidt tot een betere acceptatie van de toets en de motivatie
tot dieper leren stimuleert (Gulikers, J, (2006).Authenticity is in the eye of the beholder. Academisch
proefschrift. Heerlen: Open Universiteit). Dit geldt ook voor de AIOS die goed presteren. Ook zij zijn
gebaat bij een formatief toetsmiddel dat de werkelijkheid zo veel mogelijk weerspiegelt, zodat dit een
waardering is van de verrichte studieactiviteiten en een stimulans geeft om deze studieactiviteiten
voort te zetten.
Aangezien we verwachten dat een effect op studie-uitval niet tijdens de projectperiode te detecteren
zou zijn en een verandering in studie-uitval bovendien aan veel andere factoren toegeschreven kan
worden, hebben we gekozen om de perceptie van de deelnemers over de authenticiteit van de toets en
de acceptatie van de toets als (afgeleide) effectmaten te hanteren. In de enquête hebben we de
deelnemers op deze onderdelen bevraagd. De resultaten laten zien dat de deelnemers de authenticiteit
van de toets beter vonden door de digitale afname: ruim 70% van de deelnemers wilde dat de toets
vaker met behulp van VQuest wordt afgenomen, ongeveer 18 % was neutraal. Ook vonden de meeste
deelnemers dat digitale toetsafname beter aansluit bij de klinische praktijk: slechts 8% was het
oneens met deze stelling.
Werkdrukvermindering
Het opstellen van 2D- en 3D-beeldvragen is een arbeidsintensieve aangelegenheid. Dit komt deels
doordat het zoeken van geschikte casuïstiek veel tijd kost. Daarnaast wordt bij elke vraag een
uitgebreide review cyclus doorlopen, wat een forse tijdsinvestering met zich mee brengt. In deze
projectaanvraag wordt een fundament gelegd voor een in de toekomst te ontwikkelen itembank,
hetgeen werkdruk vermindering in de hand kan werken. De structuur van de itembank zal vrijelijk
beschikbaar zijn en kan gebruikt worden door andere instellingen die radiologische
beeldinterpretatievaardigheden willen toetsen.
Daarnaast is de ervaring dat er naar aanleiding van de itemanalyses en het commentaar van de AIOS
steeds een aantal toetsvragen vervalt, terwijl het zoeken van casuïstiek en het opstellen van deze
vragen wel veel tijd heeft gekost. In de toekomstige itembank zullen kwaliteitsindicatoren en de
moeilijkheidsgraad na de eerste toetsafname worden geregistreerd. Het samenstellen van de volgende
toets zal daardoor efficiënter verlopen. Immers de kwaliteit en moeilijkheid van de vragen zijn op
voorhand bekend en toetsvragen kunnen dan zo nodig worden aangepast of komen te vervallen. De
verwachting is dat er minder toetsvragen achteraf zullen vervallen.
Tijdens de projectperiode is een structuur voor de itembank opgesteld, maar nog niet in gebruik
genomen. We hebben het effect hiervan op de werkdruk van de examencommissieleden dan ook niet
kunnen meten tijdens de projectperiode. Daarnaast is de verwachting dat de digitale toets
aanvankelijk juist extra tijd kost voor de examencommissie. Om toch een indruk te krijgen van de
verwachte gepercipieerde werkdruk van de digitale toetsing voor de examencommissie hebben we
gemeten hoe positief de examencommissie tegenover de digitale toetsing staat (en stond voorafgaand
aan het project). De redenatie hierachter is dat als je je werk leuk vindt, je minder werkdruk
percipieert. We hebben hen een korte vragenlijst voorgelegd met vragen over hun mening en houding
ten aanzien van digitaal toetsen en hun motivatie voor het maken van digitale toetsvragen. De
vragenlijst is ontwikkeld en door de stuurgroep en het aanspreekpunt van de examencommissie
goedgekeurd. De vragenlijst is verstuurd naar alle examencommissieleden die tijdens 1 of 2 van de
digitale voortgangstoetsen in de examencommissie zaten. De enquête is ingevuld door 43% van de
examencommissieleden die hebben meegedaan bij de toets constructie van één of meer digitale
voortgangstoetsen. De respondenten hadden reeds een positieve houding ten opzichte van digitaal
toetsen voorafgaand aan het project (gemiddelde score van 4 uit 5), maar deze houding bleef
vergelijkbaar tijdens het project (gem. 4,2 uit 5). De respondenten zijn gemotiveerd om digitale
11
toetsvragen te maken en vinden de digitale VGT een kwaliteitsverbetering (beiden 3,8). De
digitalisering heeft volgens de respondenten wel gezorgd voor meer werk (4,2), maar de meeste
respondenten vinden het de tijdsinvestering waard, gezien de kwaliteitsverbetering (3,8).
Concluderend is uit deze enquête gebleken dat de examencommissieleden gemotiveerd zijn om 3D
beeldvragen te maken, men de digitalisering een kwaliteitsverbetering vindt en men vindt dat de extra
tijdsinvestering in verhouding staat tot de kwaliteitsverbetering.
Psychometrische kwaliteit
De geschatte betrouwbaarheid van beide digitale voortgangstoetsen was hoog (Cronbachs alpha rond
.90) en vergelijkbaar met de betrouwbaarheid van de voorgaande schriftelijke voortgangstoetsen (.87
tot .96). De betrouwbaarheid van de 3D vragen was bij beide toetsen, indien gecorrigeerd voor het
aantal vragen, iets hoger dan de betrouwbaarheid van de 2D vragen. In de eerste digitale VGT werd er
hoger gescoord op de 3D beeldvragen dan op de 2D beeldvragen en in de tweede digitale VGT was er
bijna geen verschil.
Systeemkwaliteit
Er zijn steeds verscheidene tests uitgevoerd om de systeemkwaliteit te meten.
Alle tests kunnen onderverdeeld worden in twee categorieën: op student- en op docentniveau. Met
studentniveau wordt bedoeld het gebruik van VQuest voor het afnemen van toetsen of het inkijken van
gemaakte toetsen. Met docentniveau wordt bedoeld het samenstellen van nieuwe toetsvragen, toetsen
en het nakijken van antwoorden. Als een test op studentniveau geslaagd is, betekent dit dat de
omgeving geschikt is om VQuest als toetsmiddel in te zetten. Omdat de eisen (zoals wachttijd en
stabiliteit) bij het inkijken minder streng zijn dan voor het afnemen, worden alle eisen op
studentniveau bepaald in de zin dat het afnemen op grote schaal zonder problemen plaats kan vinden.
De studentniveau test wordt op 4 manieren uitgevoerd:
a. op een los werkstation, data lokaal
Deze test is geslaagd.
b. op een los werkstation, data op het netwerk
Deze test is geslaagd. Er wordt geen gebruik gemaakt van draadloze verbindingen (bij
afwezigheid van een bedraad netwerk, zoals laptops, wordt de toets per USB stick verspreid).
c. in een netwerk van werkstations, data lokaal
Deze test is geslaagd. Verschil met b is dat er nu meerdere toetsen tegelijk antwoorden en
logfiles naar de server sturen. Dat blijkt geen probleem.
d. in een netwerk van werkstations, data op het netwerk
Deze test is geslaagd. (Zie opmerking bij b voor draadloze laptops).
Bij elke test wordt gekeken naar de volgende punten:
1. opstarttijd VQuest
Deze test is geslaagd. De opstarttijd is minimaal.
2. laadtijd 3D dataset van een bepaalde afmeting
De maximale laadtijd voor een 3D dataset is ongeveer 10 sec. Niet elk werkstation of laptop
haalt deze limiet. Dit is ondervangen door het tonen van een laadbalk die langzaam vol loopt.
Daarmee wordt de langzame laadtijd geaccepteerd door de gebruiker. Dit geldt nog niet voor
het laden van overlays (de rode structuren die zichtbaar worden bij een benoemvraag).
3. snelheid datamanipulatie (aanwijsvraag, window-leveling en scrollen)
Deze test is geslaagd, de waardering uit de evaluatie is voldoende.
4. stabiliteit van het systeem
Deze test is geslaagd. Bij alle grote toetsen zijn er geen noemenswaardige aantallen systemen
uitgevallen. VQuest kan crashen bij een verkeerd opgestelde toets, maar dat blijkt dan al in
docentmodus. In elke situatie wanneer dit gebeurt, wordt dit meteen doorgegeven aan het
12
ontwikkelteam. Daarmee wordt de foutenanalyse en stabiliteit van VQuest elke versie weer
hoger.
5. betrouwbaarheid opslaan van antwoorden
Deze test is geslaagd. Voor alle zekerheid worden de antwoorden tegenwoordig op 2 plaatsen
weggeschreven: naar de server en lokaal. Op het einde van de toets worden alle lokale
antwoorden als back-up nogmaals weggeschreven naar de server. Controle leert dat deze
back-up niet gebruikt hoeft te worden, omdat er geen verschillen zijn tussen de antwoorden op
server en de back-up. Het systeem kost nauwelijks extra bandbreedte, dus voorlopig houden
we deze voorziening overeind (voor het geval dat er ooit iets mis gaat op de server of het
netwerk).
Na de ervaringen in de VU wordt voortaan ook op docentniveau getest. Dit houdt in dat een
afgevaardigde van de examencommissie de toets steeds ter plaatse test. Dit om ervoor te zorgen dat
alle beelden goed beoordeelbaar zijn. De kwaliteit van de beelden wordt getest op:
1. Grootte / resolutie van het beeld  evt. kunnen loze ruimten aan de zijkanten van de
afbeelding nog verder worden geminimaliseerd
2. Mate van hinder door reflectie van het folie aan de randen  evt. aan te passen door de
afbeeldingen te verplaatsen in de lay out
3. Mate van hinder door lichtinval (experimenteren met alternatieve ‘sfeerverlichting’)
Exploitatieplan/implementatieplan
Daadwerkelijk gebruik van de projectresultaten
Het belangrijkste resultaat van het project is dat de nieuwe, digitale voortgangstoets onderdeel is
geworden van het reguliere toets programma en voortgezet zal worden door de staande organisatie.
Tijdens de projectperiode zijn al veel stappen in het implementatieproces gezet. Na de projectperiode
zal de nieuwe opzet overgenomen worden door de NVvR en in het bijzonder de examencommissie.
Omdat deze bestuursorganen deelnamen in het project en de examencommissie tijdens de
projectperiode de nieuwe manier van toetsing eigen zullen maken, wordt verwacht dat de overgang na
het project geen grote problemen oplevert. De nieuwe opzet zal naar verwachting minstens 10 jaar
volwaardig deel uitmaken van de opleiding en aangeboden worden aan honderden aios per jaar.
Daarnaast kan een soortgelijk systeem met beeldvragen ingevoerd worden op diverse andere niveaus
van de opleiding radiologie (coassistenten en mogelijk zelfs de specialisten radiologie), andere
medische specialistenopleidingen (orthopedie, neurologie, chirurgie, dermatologie, pathologie) en zelfs
in andere vakgebieden (kunst, geologie, biologie).
De feedbackmogelijkheden die in VQuest mogelijk zijn worden nog niet optimaal gebruikt. Indien de
onderzoeksresultaten van de visuele feedbackmodules positief blijven uitvallen (zie SURF-project
ImageMe, learning analytics tender) kan dit hopelijk in de toekomst een stimulans zijn voor de
examencommissie om hier gebruik van te maken. De itembank wordt nog niet ingezet om bestaande
toetsvragen opnieuw te gebruiken, omdat de examencommissie de toetsvragen traditioneel bekend
maakt aan de deelnemers zodat deze voor zelfstudie gebruikt willen worden. In het adviesrapport is
het nut van de itembank voor zowel de kwaliteit als de efficiëntie van het vragen maken beschreven en
een voorzet voor de structuur van de itembank opgenomen. Dit advies kan dan door
examencommissie gebruikt worden om de voor- en nadelen van de itembank met elkaar af te wegen
en vormt meteen een leidraad voor implementatie ervan. Ook over de implementatie van de
feedbackmodule is een advies opgesteld.
Inbedding in de organisatie
13
Na het project zal de verantwoordelijkheid voor het maken van toetsvragen en de coördinatie van de
VGT onveranderd bij de examencommissie van de NVvR liggen. Het beheer van de toetsvragen (en het
bijbehorende beeldmateriaal) zal terug worden overgedragen aan de examencommissie. Het beheer
zal naar verwachting wel ondersteund worden door het VQuest team. Het uitvoeren van de
toetsanalyses zal onveranderd onder de verantwoordelijkheid van de NVvR vallen. De organisatie van
de voortgangstoets wordt terug overgedragen aan de NVvR. Om dit te bewerkstelligen is een volledig
draaiboek gemaakt voor de voorbereidingen, de afname en de resultaatverwerking van de toets. In dit
draaiboek zijn ook de verantwoordelijkheden van de verschillende betrokkenen beschreven. Hoewel
het NVvR bureau al een groot deel van de taken voor zijn rekening heeft genomen tijdens de laatste
(derde) digitale toets, zullen nu ook de overige taken door het bureau opgepakt moeten worden. Op
12 juni a.s. is de laatste evaluatievergadering van de derde digitale VGT gepland en dan zal ook de
definitieve overdracht gepland worden (van de organisatie van de digitale toets) naar de staande
organisatie. Het bureau zal dan alle documentatie ontvangen (zover zij deze nog niet in bezit hebben),
die nodig zijn voor de organisatie van de toets. Vanaf dat moment zal het NVvR bureau dan ook
eigenaar worden van het draaiboek. De verantwoordelijk medewerker van het NVvR bureau is nauw
betrokken geweest bij de ontwikkeling van het draaiboek en bij de organisatie van de
voortgangstoetsen tijdens het project, zodat zij reeds op de hoogte is van het takenpakket. Om
continuïteit en kwaliteit te waarborgen zijn twee contactpersonen uit het projectteam aangewezen (één
uit het AMC en één uit het UMCU) die tijdens de organisatie van de komende digitale toets
gecontacteerd kunnen worden bij vragen.
14
Evaluatie en lessons learned
Evaluatiepunten
Tijdsplanning
Het project is grotendeels verlopen binnen de tijdsplanning. Doordat veel disseminatieactiviteiten aan
het eind van het project of net daarna plaatsvonden is het project twee maanden verlengd. De
tussendeliverables en deliverables zijn steeds op tijd opgeleverd. Twee tussendeliverables zijn
vervallen na overleg met het SURF projectmanagement, omdat deze deliverables inhoudelijk te veel
zouden gaan lijken op kort daarvoor opgeleverde deliverables in de betreffende werkpakketten. Het
opstellen van de tussendeliverables tijdens het project kostte vrij veel tijd, maar sommige
tussendeliverables konden aan het eind van het project gebruikt worden voor het handboek, zodat de
tijdsinvestering zich op deze manier deels heeft terugbetaald.
Budget
Tijdens het project was er steeds sprake van onderuitputting. Dit kwam doordat veel facturen lang op
zich lieten wachten. Vooral de facturen die via het AMC kwamen waren steeds erg vertraagd. Dit had
te maken met de betrokkenheid van een onafhankelijk bedrijf dat het financiële projectmanagement
van het AMC onder zijn hoede heeft, waardoor de facturen over veel schijven moesten gaan en de
lijnen bepaald niet kort waren. In alle instanties duurde het erg lang voordat declaraties van
projectleden bij de bedrijfsbureaus binnen waren. Dit zorgde voor een enorme vertraging. Verdere
toelichting over de financiële eindrapportage is gegeven onder het kopje ‘afsluitende financiële
verantwoording’.
Samenwerking en communicatie
Bij aanvang van het project was in het UMC reeds meerdere jaren ervaring met de digitale afname van
radiologietoetsen bij studenten geneeskunde. In het AMC was dit echter niet het geval. Het AMC heeft
deze hele organisatie en ICT infrastructuur weten op te bouwen in korte tijd, wat een grote organisatie
is geweest. De onderlinge samenwerking tussen het UMC, UU en het AMC was erg goed: projectleden
kwamen zeer regelmatig ‘bij elkaar over de vloer’ voor vergaderingen, tests en uitleg over de ICT
infrastructuur en het toetsprogramma. Toen de VU TenT in beeld kwam gingen projectleden
gezamenlijk naar de VU. Verder is er heel veel mailcontact en telefonisch contact onderling geweest.
De gezamenlijke disseminatieactiviteiten hebben het groepsgevoel verder versterkt en zorgden voor
een zeer goede sfeer in de groep.
Commitment
De commitment voor het project is uitermate groot. Veel projectleden hebben op avonden en in het
weekend gewerkt om deadlines te halen. Dit komt waarschijnlijk door de positieve sfeer in de
projectgroep en de positieve ontvangst van de projectresultaten door andere betrokkenen. Daarnaast
speelt waarschijnlijk ook mee dat het belang van slagen van het project groot is.
Risico`s
Tijdens de projectperiode is één van de acht risico`s opgetreden:
Mogelijk risico: ICT infrastructuur ontoereikend door wijzigingen bij migratie PC`s in het AMC. De
migratie brengt ongetwijfeld veranderingen met zich mee. Dit zou negatieve gevolgen kunnen
hebben op de ICT infrastructuur die nodig is voor de toetsafnames.
Kans: gemiddeld
15
Maatregel: Er is een projectlid van de ADICT betrokken, zodat de randvoorwaarden die nodig zijn
voor het project meegenomen kunnen worden bij de migratie.
De migratie van de computers in het AMC van de ICTO naar de ADICT was aanvankelijk uitgesteld tot
de zomer 2013, maar enkele weken voor de eerste digitale toets bleek toch één van de zalen
gemigreerd te worden vóór 19 april 2013. Na veel overleg en discussies hierover konden we
uiteindelijk toch geen gebruik maken van deze zaal (hoewel deze zaal al ruim van te voren
gereserveerd was). Uiteindelijk is dit opgevangen in het UMC Utrecht. Hier is een tweetal extra zalen
gereserveerd en ingericht als toetszaal. Een mooie bijkomstigheid was dat het aantal deelnemers per
locatie nu gelijk getrokken was, zodat de belasting beter verdeeld was.
Dit risico bleef na de eerste digitale toetsafname actief (de rest van de migratie zou in de zomer
plaatsvinden) en dit zou grote consequenties hebben voor de tweede digitale toetsafname (opnieuw
veel extra werk om de toetsafname te realiseren, zoals nieuwe testen toetsprogramma, distributie van
de toets, beveiliging). Aangezien er andere nadelen zaten aan de toetsafname in het AMC en UMC
(twee locaties met veel zalen, waardoor zeer arbeidsintensieve organisatie en wisselende
toetsomstandigheden), was de kans groot dat dit geen oplossing zou zijn voor de lange termijn en dat
zou erg zonde zijn van de tijdsinvestering. Daarom hebben we geïnventariseerd of het mogelijk was
om uit te wijken naar de VU en dit bleek een werkbare oplossing.
Lessons learned
Behoudens de inhoudelijk en organisatorische lessen, zijn er ook veel lessen geleerd op het gebied van
projectmanagement en verandermanagement.
-Projectmanagement kost veel tijd. Dit werd in dit project gedaan door de gedelegeerd projectleider en
de co-projectleiders uit het AMC en de UU, terwijl dit projectleden waren die ook veel inhoudelijke
taken hadden in het project. Het aanstellen van een projectmanager zou de werklast bij de
projectleden kunnen hebben verlicht.
-Een goede sfeer in het projectteam is cruciaal. Het team was zeer gedreven en sociaal en de sfeer
was zeer goed, zodat regelmatig een stapje extra gezet werd om bepaalde doelen te behalen.
-Van te voren goed nadenken over welke kosten door welke instantie gedragen zullen worden tijdens
het project. Is het bijvoorbeeld wel nodig dat kosten die eerder door de staande organisatie gemaakt
worden tijdens het project door de projectorganisatie worden gedragen? Als deze kosten niet
overgenomen worden kun je de subsidiegelden direct inzetten voor alleen de projectontwikkeling en de
vele personele uren die hierin gaan zitten.
-Het is belangrijk om de staande organisatie zoveel mogelijk te betrekken in de projectontwikkelingen,
zodat de veranderingen in de toekomst ook gedragen worden in de staande organisatie. Daarom is in
de loop van het project een examencommissielid toegevoegd aan het projectteam en is hij samen met
de verantwoordelijk werknemer van het NVvR bureau bij projectvergaderingen aanwezig geweest.
-Het bleek dat de staande organisatie wel bereid was te veranderen, maar alleen stapje voor stapje.
Mogelijk kwam dit onder andere doordat er aanvankelijk geen leden uit de examencommissie zitting
hadden in de projectgroep (alleen in de stuurgroep). Hierdoor kregen zij initiatieven voor nieuwe
ontwikkelingen in eerste instantie vaak als laatste mee, bijvoorbeeld tijdens een training, terwijl het
uiteindelijk hun toets is en verantwoordelijk zijn voor de uitvoer ervan. Nadat we in overleg met de
examencommissie besloten hadden om één lid deel te laten nemen aan de projectvergaderingen als lid
van de projectgroep werden de implementatiestappen groter en de lijnen met de betrokken
examenleden kleiner. Dit heeft de implementatie sterk bevorderd.
16
- Het afnemen van een digitale toets met beelddata op grote schaal vergt een nauwkeurige en
realistische planning van alle verschillende stappen: data verzamelen, vragen maken, vragen
reviewen, uiteindelijke toets samenstellen, geschikte zaal vinden en inrichten volgens
veiligheidsrichtlijnen, toets meermalen testen op lokatie, toets afname volgens schema, binnen
afzienbare tijd resultaten verwerken en terugkoppelen. Het is niet moeilijk in te zien dat deze stappen
onderling sterk afhankelijk en consecutief zijn. Om niet in tijdnood te komen en een periode van
extreme werkdruk te creëren, is het noodzakelijk ruim te plannen.
Conclusies
1) Digitaal toetsen met beelden kan veilig en betrouwbaar op grote schaal op diverse locaties
geïmplementeerd worden, mits een reële planning door alle betrokkenen wordt ondersteund en
nageleefd.
2) De kwaliteit van digitaal toetsen met radiologische beelden m.b.v. VQuest is op meerdere
(kwaliteits-)aspecten beter ten opzichte van schriftelijke toetsing.
3) De digitale voortgangstoets radiologie is onderdeel geworden van het reguliere toetsprogramma in
de vervolgopleiding radiologie.
4) De structuur voor de itembank en de feedbackmethoden zijn in dit project ontwikkeld en in een
advies aan de staande organisatie wordt aangegeven hoe dit te implementeren.
17
Afsluitende financiële verantwoording
Zie bijlage voor de financiële rapportage.
IBAN:
BIC:
NL69RABO0143774735
RABONL2U
Kenmerk: project nummer R2464
Toelichting
Er is wat verschuiving opgetreden in de budgetten. We hebben budget overgehouden op de post
materieel, doordat de kosten van de zaalhuur waren inbegroot, maar ten behoeve van de borging van
het project zijn deze facturen na de eerste voortgangstoets verder voldaan door het NVvR bureau. Zij
zullen deze kosten ook na de projectperiode moeten voldoen. Aan de andere kant was er juist budget
te kort op de post personele uren. Er werden sowieso al meer uren gemaakt dan inbegroot, maar
daarnaast zijn er tijdens de twee maanden verlenging van het project ook nog veel personele uren in
het project gestopt. Deze personele uren hebben we na overleg met het SURF projectmanagement
deels kunnen compenseren met het overgebleven budget van de materiele kosten, de post onvoorzien
en de accountantskosten. De disseminatie post leek aanvankelijk nogal weinig benut. Deels komt dit
doordat het zwaartepunt van de disseminatieactiviteiten in de laatste projectperiode lag. Daarnaast
bleek bij een inventarisatie van de gedeclareerde kosten tbv disseminatie per projectlid dat een groot
deel van de declaraties niet waren doorgekomen in het systeem (vanuit zowel het AMC, de UU als
intern in het UMCU). Als gevolg hiervan konden deze kosten pas in de laatste periode worden
opgenomen in de financiële eindrapportage.
18
Bijlage 1 Standlijnenoverzicht
Evaluatie planning
Het project is twee maanden verlengd in verband met disseminatieactiviteiten die na februari 2014
plaatsvonden. De disseminatieactiviteiten hadden hun zwaartepunt in het laatste deel van het project,
doordat de eerste resultaten van het project pas in de tweede helft van het project beschikbaar waren
(na de eerste digitale voortgangstoets van april 2013) en deze resultaten niet eerder ingediend konden
worden bij congressen. De verlenging van twee maanden gaf ons tegelijkertijd de mogelijkheid om ook
de derde digitale voortgangstoets nog te ondersteunen, zodat de overdracht naar de staande
organisatie geleidelijk kon verlopen. Alle fasen binnen de werkpakketten zijn binnen de projectperiode
doorlopen (groen gearceerd). De rood gearceerde gebieden zijn de maanden waarin de landelijke
voortgangstoets radiologie plaats heeft gevonden. De witte kruisjes zijn momenten dat er
tussendeliverables zijn opgeleverd en de zwarte kruisjes de momenten dat er einddeliverables
opgeleverd zijn. De tussendeliverables waren waardevol voor het verspreiden van werklast, omdat
hierdoor de projectresultaten al tijdens het project in stukjes waren opgeschreven. In de laatste
periode, waarin de handboeken geschreven moesten worden en de derde digitale VGT ondersteund
moesten worden, was het erg behulpzaam dat er reeds twee handboek hoofdstukken geschreven
waren en dat er meerdere tussendeliverables waren om uit te putten voor het schrijven van de overige
hoofdstukken.
2012
M
2013
A
M
J
J
A
S
O
N
D
2014
J
F
M
A
M
J
J
A
S
O
N
D
J
F
Planning werkpakket 1
Randvoorwaarden
x
Ontwikkeling
x
x
Toepassing
Opstellen deliverables
x
Verlenging maart/april
M A
Opstellen deliverables / disseminatie
x
2012
M
2013
A
M
J
J
A
S
O
N
D
J
2014
F
M
A
M
J
J
A
S
O
N
D
J
F
Planning werkpakket 2
Randvoorwaarden
Ontwikkeling
x
x
x
Toepassing
Opstellen deliverables
Verlenging maart/april
x
x
M A
Opstellen deliverables / disseminatie
19
2012
2013
M
A
M
J
J
2014
A
S
O
N
D
J
F
M
A
M
J
J
A
S
O
N
D
J
F
Planning werkpakket 3
Randvoorwaarden
x
Ontwikkeling
x
x
Toepassing
Opstellen deliverables
x
Verlenging maart/april
M A
Opstellen deliverables / disseminatie
x
2012
M
2013
A
M
J
J
A
S
O
N
D
2014
J
F
M
A
M
J
J
A
S
O
N
D
J
F
Planning werkpakket 4
Randvoorwaarden
Ontwikkeling
x
x
Toepassing
x
X
Opstellen deliverables
Verlenging maart/april
M A
Opstellen deliverables / disseminatie
x
2012
M
2013
A
M
J
J
A
S
O
N
D
J
2014
F
M
A
M
J
J
A
S
O
N
D
J
F
Planning werkpakket 5
a) Evaluatie
Randvoorwaarden
Ontwikkeling
x
x
x
Toepassing
Opstellen deliverables
x
Verlenging maart/april
Opstellen deliverables / disseminatie
x
20
b) Borging
Randvoorwaarden
Ontwikkeling
x
x
Toepassing
Opstellen deliverables
Verlenging maart/april
M A
Opstellen deliverables / disseminatie
x
21
Bijlage 2 Opgeleverde deliverables
In onderstaande tabel is weergegeven welke deliverables er waren opgenomen in het Controlling
Document en of deze zijn opgeleverd. Twee tussendeliverables zijn vervallen na overleg met het SURF
projectmanagement, omdat deze deliverables inhoudelijk te veel zouden gaan lijken op kort daarvoor
opgeleverde deliverables in de betreffende werkpakketten. Twee van de einddeliverables zijn niet apart
opgeleverd, maar zijn ingebed in het handboek. In onderstaand overzicht is te zien op welke
(tussen)deliverables dit van toepassing is.
WP
1
TD/ED*
TD
ED
2
TD
ED
3
TD
ED
4
TD
Deliverables
Werkdocument eisen ICT infrastructuur en organisatie
Werkdocument beschrijving beveiliging, patiëntveiligheid,
review proces
Eventuele aanpassingen tussendeliverables 1 en 2
Hoofdstuk 1 in het handboek ‘Landelijke digitale toetsing
met 2D- en 3D-beelden’
Concept studentmodel, op basis van resultaten SURF
project ‘Toetsing in beeld’
Concept taakmodel: vraagtypen en toetsmatrijs
Werkdocument docenttraining
Eerste indicatie geschikte vraagtypen obv 1e digitale VGT
Hoofdstuk 2 in het handboek ‘Landelijke digitale toetsing
met 2D- en 3D-beelden’
Document met vraagtypen die geschikt zijn om
beeldinterpretatievaardigheden te meten
Een toetsmatrijs met te dekken onderwerpen en
vaardigheden in de toetsing van
beeldinterpretatievaardigheden
Document met scoremodel voor de 2D- en 3D-vragen van
de voortgangstoets radiologie.
Een training over toetsconstructie van 2D- en 3Dbeeldvragen
Een structuur van een digitale itembank met 2D- en 3Dbeeldvragen
Concept betekenisvolle parameters
Concept formats rapportage feedback
Betekenisvolle parameters, aangepast nav 1e pilot
Hoofdstuk 3 in het handboek ‘Landelijke digitale toetsing
met 2D- en 3D-beelden’
Een geschikt format voor terug rapportage van de feedback
op beeldinterpretatievaardigheden
Beschrijving van het feedbacksysteem gericht op een
nieuwe manier van procesmatige feedback geven op
beeldinterpretatievaardigheden
Concept presentatie van de toets voor 1e pilot VGT
Ervaringen pilot digitale VGT (technisch en organisatie)
Tweede concept presentatie van de toets nav ervaringen 1e
pilot VGT
Ervaringen digitale VGT (technisch en organisatie)
Deadline
31 Augustus 2012
31 December 2012
Opgeleverd?
J
J
31 Juli 2013
1e versie: 31 mei
2013
J
1e N
(vervallen)
2e versie: 28
februari 2014
2e: J
30 Juni 2012
J
31 December 2012
31 Juli 2013
31 Juli 2013
31 December 2013
J
J
J
J
31 December 2013
J
30 April 2013
J
31 December 2013
J
30 April 2013
J
30 April 2013
J
30 November 2012
31 Maart 2013
31 Oktober 2013
28 Februari 2014
J
J
J
J
31 Juli 2013
J
28 Februari 2014
J (handboek)
28 Februari 2013
31 Mei 2013
30 September
2013
31 December 2013
J
J
J
J
22
Hoofdstuk 4 in het handboek ‘Landelijke digitale toetsing
met 2D- en 3D-beelden’
5a
TD
Werkdocument toetsanalyseplan
Concept vragenlijst gebruikersevaluatie
Vragenlijst gebruikersevaluatie met evt aanpassingen
ED
Hoofdstuk 5a in het handboek ‘Landelijke digitale toetsing
met 2D- en 3D-beelden’
Rapport met resultaten tevredenheidonderzoek
5b
TD
Concept definities beheer- onderhoud en
kwaliteitsbewaking itembank en feedbacksysteem
Concept definities relatie ontwikkelgroep VQuest
Werkdocument beschrijving inrichting organisatie, beheer,
onderhoud en kwaliteitsbewaking itembank en
feedbacksysteem
ED
Hoofdstuk 5b in het handboek ‘Landelijke digitale toetsing
met 2D- en 3D-beelden’
*TD = tussendeliverable, ED = einddeliverable
ED
28 Februari 2014
J
31 Januari 2013
30 April 2013
30 November 2013
30 September
2013
28 Februari 2014
31 December 2012
J
J
J
J
31 December 2012
30 Juni 2013
J
N, (vervallen)
28 Februari 2014
J
J (handboek)
J
23

Download Report