Beleidsnotitie Portfolio-assessment in de HBO-Verpleegkunde 10 mei 2011 Definitieve versie Aangepast augustus 2012 Aangepast maart 2014 Klankbordgroep portfolio-assessment HBO-Verpleegkunde Woord vooraf In deze notitie wordt het beleid beschreven voor portfolio-assessment in de HBO-V. Deze beleidsnotitie is in eerste instantie gericht aan het management, de curriculumraad en docenten HBOV. In tweede instantie vormt deze notitie het document waarmee toekomstige portfolio assessoren docenten en professionals uit de directe beroepspraktijk - zich kunnen voorbereiden op de portfolioassessmenttraining van de HBO-V. Op basis van verbeterpunten die naar voren komen uit de evaluatie van het portfolio-assessment zal deze notitie herzien worden. Deze beleidsnotitie is ontwikkeld door de klankbordgroep portfolio-assessment van de HBO-V 1, in dialoog met het management, de curriculumraad en het duaal overleg 2. Synchroon aan deze beleidsnotitie is tevens een studentenhandleiding portfolio-assessment HBO-V ontwikkeld. In het bijzonder willen wij Rianne Sell, Marije Gouw, Robert van der Gaag, Gerda van Hooijdonk en Linda Kurpershoek bedanken voor de input die zij geleverd hebben voor het formuleren van de gedragsindicatoren. De klankbordgroep portfolio-assessment HBO-V Juli 2012: De notitie is aangepast op basis van de volgende documenten: • Toetsbeleid 2011-2015, IvG 2011-2015 (september 2011) • Toetsplan HBO-V (voltijd, duaal en deeltijd) 2011-2012 • Opleidingsprofiel Bachelor tot verpleegkundige, juni 2012 Maart 2014 De notitie is aangepast op basis van wijziging in curriculum wat betreft stagebeoordeling 1 Leden van deze klankbordgroep zijn: Marjon van Sorge, Laura Daeter, Monique van de Berg-Warnaar, Corine de Lange en Monique de Bruijn-Smolders 2 Leden van het duaal overleg betreffen professionals uit de directe beroepspraktijk Portfolio-assessment HBO-V, 2 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Inhoud 1. Beleidskaders ......................................................................................................................... 6 1.1 Externe beleidskaders ....................................................................................................... 6 1.2 Interne beleidskaders ........................................................................................................ 6 2. Theoretisch kader ................................................................................................................... 8 2.1 Assessment in algemene zin ............................................................................................. 8 2.2 Assessment in het onderwijs ............................................................................................ 8 2.3 Doel assessment in het onderwijs..................................................................................... 9 2.4 Invloed assessment op het leerproces............................................................................... 9 2.5 Leereffecten portfolio-assessment in het Hoger Onderwijs ........................................... 11 2.6 Portfolio-assessment in de HBO-V ................................................................................ 11 2.7 Competenties portfolio-assessment 1 tot en met 4 ......................................................... 11 2.8 Inbedding portfolio-assessment in leerlijnen HBO-V .................................................... 12 2.9 Portfolio-assessment in relatie tot leerproces en leeraanbod ......................................... 13 3. Borging kwaliteitscriteria portfolio-assessment in de HBO-V ............................................ 13 3.1 Het bewaken van validiteit en betrouwbaarheid ............................................................ 13 3.2 Het ontwikkelen van intersubjectiviteit.......................................................................... 15 3.3 De valkuilen bij het beoordelen ..................................................................................... 15 4. Werkwijze portfolio-assessment in de HBO-V .................................................................... 17 5. Evaluatie portfolio-assessment in de HBO-V ...................................................................... 18 Referenties ................................................................................................................................ 19 Portfolio-assessment HBO-V, 3 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Inleiding In de HBO-V staat de verwerving van competenties van Verpleegkundige niveau 5 centraal. Het competentiebegrip verwijst naar een integratie van kennis, vaardigheden en houding (Westera, 2001) die kan worden toegepast in een specifieke arbeidscontext. Met andere woorden, het gaat binnen de HBO-V om het verwerven van de competenties van verpleegkundige niveau 5, die in staat (blijven) stellen tot effectief beroepsgedrag. De verschillende toetsvormen die in de HBO-V worden gehanteerd, zijn er dan ook op gericht om het niveau van één of meer competenties van verpleegkundige niveau 5 te meten bij studenten. Van belang voor toetsvormen met als doel competentiemeting is dat er sprake is van predictieve validiteit (Straetmans in Dochy en De Rijke, 1995; Hendriks en Schoonman, 2006, Beleidsnota toetsing, Hogeschool Rotterdam IVG juni 2007). Dit is het geval als er sprake is van voorspellend vermogen ten opzichte van toekomstige situaties, studiesucces of succes in de beroepspraktijk. Om de predictieve validiteit te kunnen garanderen zijn competentiegerichte toetsvormen sterk verbonden met concrete beroepscontexten. Sinds de looptijd van het nieuwe curriculum Verpleegkunde - dat vanaf studiejaar 2010-2011 fasegewijs wordt ingevoerd - is een aantal nieuwe toetsvormen geïmplementeerd; bijvoorbeeld beroepsprodukten en korte praktijkbeoordelingen. Nieuwe toetsvormen die stuk voor stuk verwacht worden te voorspellen in hoeverre een student in staat is effectief beroepsgedrag uit te (blijven) oefenen. Deze toetsen zijn dan ook allemaal in beginsel predictief valide. De toetsvormen zoals deze op dit moment worden ingezet, worden door de docent – binnenschoolsbeoordeeld. Een toetsvorm waarin de hogeschool en de praktijk tot een gezamenlijk oordeel komen zijn de stagebeoordeling en het portfolio-assessment. Met deze twee toetsvormen wordt beoordeeld of de student verband ziet tussen theorie en praktijk; dat de student een transfer kan maken tussen het geleerde op school en het handelen in de werksituatie. Ook wordt het vermogen tot generaliseren beoordeeld; kan de student het geleerde toepassen in een nieuwe leer- of werksituatie. De stagebeoordeling vindt plaats door werkbegeleiders (buitenschools) en docenten (binnenschools) samen na iedere stageperiode. De student beschrijft zijn ontwikkeling in het startdocument en neemt daarin op aan welke competenties en leeractiviteiten hij deze periode werkzaam is en wat hij wilt bereiken. In de beoordeling wordt op basis van 360 graden feedback en een reflectie hierop door de student de voortgang beoordeeld en. In het eindassessment (vierdejaar) wordt het vermogen tot transfer en het vermogen tot generaliseren getoetst als een overall beoordeling ( integraal beoordelingsmoment) tot startende beroepsbeoefenaar. Een overall beoordeling die wordt uitgevoerd door paktijkbegeleiders (buitenschools) en docenten (binnenschools) samen. Om hieraan tegemoet te komen, heeft de HBO-V een integraal beoordelingsmoment (IBM) (naar Hendriks en Schoonman, 2006) ingezet; een beoordeling waarbinnen gelijktijdig een cluster van competenties beoordeeld wordt aan de hand van diverse bewijzen. Twee assessoren; een vanuit de praktijk en een vanuit de theorie, zullen in dit IBM gezamenlijk één beoordeling uitspreken. Voor een integraal beoordelingsmoment waarin zowel de hogeschool als de praktijk als beoordelaar optreden is het van belang een geschikte toetsvorm te kiezen. Een toetsvorm waarover de praktijk en de hogeschool met elkaar kunnen communiceren en die zij beiden goed kunnen beoordelen De HBO-V hoeft als integraal beoordelingsmoment een zogenaamd portfolio-assessment, ingezet. Als basisdocument is hiervoor de beleidsnotitie portfolio-assessment van de masteropleiding Verpleegkunde gebruikt (2007) de verschillende portfolio-assessment vormen binnen IVG, waaronder die in de MGZ en GGZ, het beleid van de Hogeschool Rotterdam en de literatuur als uitgangspunten zijn gebruikt. Deze notitie start met het schetsen van de externe en interne beleidskaders. Daarna wordt ingegaan op assessment in de brede zin van het woord, om vervolgens definitie en doel van het portfolio- Portfolio-assessment HBO-V, 4 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 assessment voor de HBO-V te bepalen. Dan wordt ingezoomd op verschillende toetsvormen die in de literatuur beschreven worden en zoals deze in de HBO-V gehanteerd worden. Tot slot wordt stilgestaan bij het portfolio-assessment; uitgangspunten voor opzet, werkwijze en evaluatie worden besproken. Portfolio-assessment HBO-V, 5 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 1. Beleidskaders 1.1 Externe beleidskaders In het algemeen gaan beleidsuitspraken binnen het Instituut voor Gezondheidszorg (IVG) uit van externe kaders zoals beschreven in de Wet op het Hoger Onderwijs (WHW) en de Nederlands Vlaamse Accreditatieorganisatie (NVAO). Deze beleidsnotitie sluit hier dan ook op aan. 1.2 Interne beleidskaders Hogeschool Rotterdam heeft haar onderwijskundige kaders vastgelegd in het Rotterdams Onderwijs Model (ROM) 3. Op basis van het ROM is het Rotterdams Toetsmodel 4 ontwikkeld. Deze documenten zijn leidend geweest voor het opstellen van het toetsbeleid van het Instituut voor Gezondheidszorg 5. Dit toetsbeleid bestaat uit een samenhangend stelsel van kwaliteitszorg, waarin maatregelen en voorzieningen zijn getroffen om de kwaliteit van toetsing en examinering te bewaken en te bevorderen. Met dit toetsbeleid beoogt het Instituut voor Gezondheidszorg, ten behoeve van effectieve en efficiënte toetsing, dat in iedere opleiding: • • • • • • • de kwaliteit van de toetsing bewaakt; kan aantonen dat elke competentie wordt beoordeeld; verschillende typen leerdoelen en verschillende soorten toetsen gebruikt; inhoud en niveau van de toetsen corresponderen met inhoud en diepgang van de programmaonderdelen; werkt met heldere beoordelingscriteria; student ïnformeert over de beoordelingscriteria; student gerichte feedback geeft op de gemaakte toetsen. In het toetsbeleid IvG wordt gesproken over een krachtige toetsomgeving als een omgeving die compleet en rijk is. Dit is het geval als er sprake is van een mix aan toetsvormen die: • • • • • past bij de verschillende werkvormen die worden gebruikt en de competenties die bereikt moeten worden; aansluit bij de beroepspraktijk (levensecht is); uitdaagt tot gewenst leergedrag binnen de Hogeschool Rotterdam; tot activiteiten, samenwerking en zelfstandig leren; coachen benut (feedback van docenten en reflectie door studenten); een groeiend besef van de eigen bekwaamheid in competenties geeft. Specifiek met betrekking tot het portfolio-assessment wordt in het toetsbeleid IvG en in Toetsen op zijn Rotterdams vermeld dat het portfolio als toetsvorm past in deze vernieuwde visie op toetsen en beoordelen. Het portfolio-assessment sluit immers aan bij een mix aan toetsvormen. Met het portfolioassessment wordt de student uitgedaagd actief bewijzen voor de competenties te verzamelen die hij beheerst, wat leidt tot een actieve leerhouding. Met het portfolio-assessment kan de student zijn beheersing van competenties aantonen. Feedback die de student ontvangt van zijn assessoren, in het portfolio-assessment, kan hij/zij gebruiken voor reflectie op het leerproces. Om de kwaliteit van toetsing en toets te kunnen bewaken en bevorderen is - onder andere - in het najaar van 2007 het expertisecentrum toetsing en toets (ECTA) opgericht (Hogeschool Rotterdam, 2007). Het ECTA heeft specifiek met betrekking tot de kwaliteit van het assessment binnen IVG en 3 Daarom werken wij met het Rotterdams Onderwijs Model, 2010 Toetsen op zijn Rotterdams. Rotterdams toetsmodel 2.0, 2012 5 Toetsbeleid IvG, 2011-2015 4 Portfolio-assessment HBO-V, 6 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 “draaiboek toets” ontwikkeld dat wordt gebruikt bij de evaluatie van het portfolio-assessment binnen de HBO-V. Naast de interne beleidskaders op Hogeschool- en op Instituutsniveau gelden de beleidskaders voor toetsing binnen de HBO-V. Deze zijn vastgelegd in het onderwijs- en examenreglement, het inhoudelijk opleidingskader HBO-V en in het toetsplan HBO-V 6. 6 Toetsplan HBO-V (voltijd, duaal en deeltijd), 2011-2012 Portfolio-assessment HBO-V, 7 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 2. Theoretisch kader 2.1 Assessment in algemene zin De huidige maatschappij stelt steeds hogere eisen aan professionals en aan de organisaties waar zij werken. De toenemende mate van globalisering, de groeiende hoeveelheid van informatie die op ons afkomt en de snelheid waarmee kennisveroudering plaatsvindt zijn enkele ontwikkelingen die een belangrijke invloed hebben op het professionele leven (Dochy en Nickmans, 2006; Hendriks en Schoonman, 2006; Segers, 2004). Genoemde auteurs beschrijven dat professionals - in tegenstelling tot voorheen - steeds meer verwacht worden levenslang te blijven leren, willen zij effectief beroepsgedrag kunnen blijven vertonen. Kennis verwerven is om deze reden binnen het Hoger onderwijs geen doel meer op zich. Wat de beroepsbeoefenaar met de verworven kennis kan, is focus geworden. Om deze reden richten Hogescholen zich niet meer uitsluitend op het overdragen van kennis en vaardigheden, maar meer op het ontwikkelen van zogenaamde beroepscompetenties. (Dochy en Nickmans, 2006; Hendriks en Schoonman, 2006; Segers, 2004). Met het verleggen van het aandachtspunt binnen het Hoger Onderwijs - van het verwerven van kennis naar het ontwikkelen van beroepscompetenties - zijn er aansluitende nieuwe werkvormen ontwikkeld. Werkvormen, specifiek gericht op het werken aan een beroepsgerichte taak. Daarna heeft het Hoger Onderwijs zich gericht op toetsing van competentiegericht onderwijs: toetsing in het bijzonder gericht op het nagaan of studenten competent zijn om in de beroepspraktijk effectief te functioneren en de relevante beroepstaken daar te kunnen uitvoeren (Hendriks en Schoonman, 2006). Met de invoering van gepaste toetsing van competentiegericht onderwijs is het begrip assessment geïntroduceerd. Het assessment is in eerste instantie ontwikkeld in het bedrijfsleven. In het begin van de 20ste eeuw kreeg het bedrijfsleven interesse om op basis van zogenaamde psychotechnische proeven het beste personeelslid te selecteren voor een functie. Aanvankelijk werd alleen gekeken naar capaciteiten, maar geleidelijk aan drong door dat ook de persoonlijkheid van belang is bij selectie voor een bepaalde functie. Om ook op basis van karaktereigenschappen te kunnen selecteren was er behoefte aan tests die een totaalbeeld konden geven van een persoon. Het resultaat was een individuele gedragsgerichte evaluatiemanier die via simulaties en opdrachten de persoonlijkheid als één geheel probeerde te meten; het assessment center (Dochy, 2006). Het eerste assessment center is opgericht door het Duitse leger na de tweede wereldoorlog, met als doel mensen te screenen op competenties voor een officiersfunctie. In een toets center wordt op een gestandaardiseerde wijze informatie verzameld over het gedrag; of dit overeenkomt met het gedrag dat wordt verwacht in de latere beroepssituatie. Assessment centers hebben hun nut bewezen als selectie-instrument voor het bedrijfsleven. Het onderwijs heeft dit overgenomen met als doel naast selectie van capabele studenten, ook ontwikkeling van deze studenten te kunnen meten, en bevorderen. 2.2 Assessment in het onderwijs Het begrip assessment wordt in enge en in brede zin gebruikt. In enge zin gaat het specifiek om het beoordelen van gedrag (Hendriks en Schoonman, 2006). In brede zin wordt bedoeld het beoordelen van competenties van studenten, op basis van een combinatie van meerdere toetsvormen en meerdere beoordelaars (Hendriks en Schoonman, 2006; Sinke, 2006). Genoemde auteurs zien het assessment als een alternatieve vorm van toetsen en beoordelen, naast traditionele toetsvormen. Zij pleiten dan ook niet voor het afschaffen van bestaande toetsvormen, maar wel voor het aanvullen hiervan met andere vormen; om tot een verantwoord, integratief, oordeel te kunnen komen. Portfolio-assessment HBO-V, 8 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 2.3 Doel assessment in het onderwijs Assessment wordt in eerste instantie gebruikt om verworven competenties te meten. Assessment heeft dan ook een kwalificerende ofwel summatieve functie. Een summatief assessment resulteert in een eindoordeel; geslaagd/niet geslaagd, dan wel een cijfer. In tweede instantie wordt assessment ingezet om het leergedrag van de student te sturen, naar meer zelfsturing en in de richting van de gewenste competenties (dit betreft een formatieve; een diagnostische of sturende functie) (Dochy, 2005). 2.4 Invloed assessment op het leerproces De relevantie van een assessment is afhankelijk van de zeggingskracht van de situatie waarin het resultaat is opgeleverd. Deze zeggingskracht is groter naarmate de toetssituatie overeenkomt met de prestaties in de beroepspraktijk zelf (Hendriks en Schoonman, 2006; Sinke, 2006). Genoemde auteurs beschrijven een groot aantal assessment vormen die hieraan in meer of mindere mate voldoen. Sinke (2006) beschrijft dat de overeenkomst tussen een assessment en de beroepspraktijk afhankelijk is van de mate van twee criteria: levensechtheid en functionaliteit. Vergelijk ook Straetmans (1995), die toetsvormen indeelt naar natuurgetrouwheid en omvattendheid. Levensechtheid gaat over de beleving van de situatie door de student. Met functioneel bedoelt Sinke de mate waarin de student daadwerkelijk de volledige verantwoordelijkheid krijgt voor een te leveren product of dienst. In tabel 1 staan de verschillende toetsvormen die zowel Hendriks en Schoonman (2006), als Sinke (2006) benoemen als geschikt om prestaties in de beroepspraktijk te meten. Ze zijn gerangschikt van meest geschikt tot minst geschikt op basis van de criteria levensechtheid en functionaliteit. In de laatste kolom wordt aangegeven welke verschillende summatieve toetsvormen op dit moment binnen de HBO-V worden ingezet. Tabel 1 Geschikte summatieve toetsvormen voor het meten van competenties, gerangschikt van meest levensecht/functioneel naar minst levensecht/functioneel (Deel I) Toetsvormen Toelichting Inbedding in HBO-V Arbeidsproef ofwel performance toets / work sample test. Een toetsvorm waarbij de student in een bepaalde situatie geplaatst wordt, waar specifiek gedrag opgeroepen wordt en waarbij het gedrag van de student systematisch wordt geobserveerd. Heeft betrekking op het gebruik van kennis bij het oplossen van beroepsproblemen. Aan de hand van casuïstiek worden vragen gesteld. Een gevalsbeschrijving, door de student, die op een aantal punten is uitgewerkt. De student laat in de beschrijving zien hoe hij ter werk is gegaan, hoe hij zich daarbij voelde, wat het resultaat was en of hij dit na reflectie anders had willen doen. Het resultaat van het oplossen van een beroepsprobleem. Een nabootsing van het werkveld, bijvoorbeeld door een computer, of door een acteur. Gericht op het toetsen van concrete vaardigheden Korte Praktijk Beoordeling (KPB) Overall toets Casustoets Beroepsproduct Simulatie-toets Simulator Computersimulatie Geïntegreerd in kennistoets Casestudie Beroepsprodukt Beroepsgerichte opdracht Sociale vaardigheden met behulp van simulatie patiënt X X Portfolio-assessment HBO-V, 9 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Tabel 1 Geschikte toetsvormen voor het meten van competenties, gerangschikt van meest levensecht/functioneel naar minst levensecht/functioneel (Deel 2) Voortgangstoets Procesverslag Presentatie Portfolio-assessment Peer-assessment Co-assessment Een toets afhankelijk van het beroepsprofiel en heeft betrekking op alle voorwaardelijke kennisinhouden die iemand moet beheersen om competent beroepstaken te kunnen uitvoeren. Gericht op de beschrijving van activiteiten die zijn uitgevoerd om een bepaald doel te bereiken. De student laat zien hoe hij te werk is gegaan, en wat het resultaat was. Daarnaast is het doel dat de student vragen uit het publiek kan beantwoorden en een discussie kan leiden. In een persoonlijk dossier beschrijft een student hoe deze aan diens competentieontwikkeling werkt. Aan de hand van het portfolio kan de competentieontwikkeling van studenten worden beoordeeld. Onderlinge beoordeling van studenten. Behalve een docent beoordelen meerdere studenten een product. Kennistoets PMG Stagebeoordeling & presentaties in de les Toegepast vanaf schooljaar 2010 voor eerste jaar en derde jaar Vanaf 2011 voor alle leerjaren Action Learning Vanaf 2013 leerjaar 2 & 3 voortgangsassessment Gebaseerd op: Sinke (2006) en Hendriks en Schoonman (2006). Tabel 1 laat zien dat op dit moment het merendeel van de toetsvormen zoals benoemd door Hendriks en Schoonman (2006) en Sinke (2006), binnen de HBO-V wordt ingezet. In figuur 1 worden de toetsvormen zoals de HBO-V deze inzet nog eens zo weergegeven, naar gelang deze kennis, vaardigheden en/of houding toetsen, met betrekking tot een competentie. Figuur 1. Toetsvormen HBO-V ingedeeld naar kennis, vaardigheden en/of houding als te toetsen facet(ten) van een competentie. (BS= binnenschools) Portfolio-assessment HBO-V, 10 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Figuur 1 laat zien dat zowel kennis, vaardigheden als houding binnen de HBO-V getoetst worden. Het portfolio-assessment is een afsluitende overall beoordeling, door praktijk en theorie samen. Daarnaast wordt houding meer systematisch getoetst worden door een self-assessment aan het portfolio te koppelen. Om studenten langzaam aan meer vertrouwd en geoefend te laten geraken met het portfolio en met reflecteren hierop is portfolio-gebaseerd leren in zijn geheel verankert in de studentgestuurde lijn. Het portfolio-assessment, in combinatie met het self-assessment voorziet in een afsluitende, integratieve, toetsvorm die zich in een keer op een groot scala aan competenties kan richten. 2.5 Leereffecten portfolio-assessment in het Hoger Onderwijs In de laatste tien jaar heeft portfolio gebaseerd leren zich enorm verspreid onder alle gezondheidszorgopleidingen, op bachelor en op masternivau. Recente reviews bevestigen dat portfolio-assessment het studiesucces en het zelfsturend leren verbetert, reflecteren bevordert, de begeleiding tussen mentor en student bevordert, en de transfer tussen theorie en praktijk (Buckley, Coleman, Davison, Khan, Zamora, Malick, Morley, Pollard, Ashcroft, Popovic & Sayers, 2009; Driessen, Van Tartwijk, J., Van der Vleuten, C. & Wass, V (2007); McCready, T. (2006). Samenvattend kan gesteld worden dat het aanvullen van de bestaande toetsvormen in de HBO-V met het portfolio-assessment – in combinatie met het self-assessment – leidt tot een krachtige toetsomgeving, zoals gedefinieerd in de beleidsnota toetsing Hogeschool Rotterdam, juni 2007. Hiermee wordt bedoeld een toetsomgeving die compleet, rijk en levensecht is, uitdaagt tot actief en zelfstandig leren, coaching benut en een groeiend besef van de eigen bekwaamheid tot gevolg heeft. Een krachtige toetsomgeving die in staat is zowel kennis, vaardigheden als houding met betrekking tot competenties bij studenten te meten. Daarnaast is het portfolio-assessment in staat het prestatieniveau van studenten met betrekking tot meerdere competenties tegelijk - in theorie en praktijk - in een beoordelingsmoment integraal te beoordelen. 2.6 Portfolio-assessment in de HBO-V Het portfolio-assessment wordt ingezet aan het einde van het eerstejaar (portfolio-assessment 1) summatief. (Portfolio) assessment 2 & 3 betreft een peerbeoordeling op de Dublin Descriptoren; oordeelsvorming, leervaardigheid en communicatie. Portfolio-assessment 4 heeft louter een summatieve functie, omdat het hier de afronding van de HBO-V betreft. In elk leerjaar neemt de student in het startdocument zijn beginsituatie op voor komende leerperiode, wat uitgewerkt zal worden in de leeractiviteiten. Bij een onvoldoende beoordeling van het portfolio-assessment wordt de student uitgenodigd aan de eerstvolgende herkansing deel te nemen. 2.7 Competenties portfolio-assessment 1 tot en met 4 De competenties worden getoetst in het portfolio-assessment. Per leerjaar is het gewenste handelingsniveau beschreven in de cursushandleidingen. Van studenten wordt verwacht dat zij zich aan het einde van leerjaar 1 bekwaamd hebben in de rol van zorgverlener en in de rol van beroepsbeoefenaar. De competenties 1, 2, 3 en 12 worden aan het eind van de stageperiode beoordeeld door zowel begeleider uit praktijk en de instellingsdocent. Deze 4 competenties worden summatief getoetst in het portfolio-assessment met behulp van door de student geschreven (kritische) beroepspraktijksituaties en een criteriumgericht-interview met 1 assessor (Studieloopbaancoach). In leerjaar twee & drie wordt in het assessment getoetst of de student zich heeft ontwikkeld op de Dublin descriptoren; oordeelsvorming, leervaardigheid en communicatie (stap 6 tabel 2). Deze competenties worden getoetst en leiden tot een plan van aanpak voor het volgende leerjaar. Er wordt een cijfer toegekend als aan de gestelde criteria is voldaan. Portfolio-assessment HBO-V, 11 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Tevens vindt er voor lerjaar 2 en 3 een stagebeoordeling plaats op competenties 1 tot en met 5 in de rol van zorgverlener en regisseur door zowel begeleider uit praktijk en de instellingsdocent. In leerjaar 4 moeten de competenties 6, 7, 8, 9, 10, 11 & 12 met minimaal een voldoende worden aangetoond in het portfolio-assessment. Tevens vind er een stagebeoordeling plaats op competenties 1 tot en met 5 door zowel begeleider uit praktijk en de instellingsdocent. Een positieve stagebeoordeling is voorwaarde voor deelname aan het eindassessment. 2.8 Inbedding portfolio-assessment in leerlijnen HBO-V Geënt op het Rotterdams Onderwijsmodel onderkent de HBO-V drie leerlijnen, te weten de kennisgestuurde lijn, de praktijkgestuurde lijn en de studentgestuurde lijn. Een portfolio-assessment toetst aan de hand van het portfolio in hoeverre de student zich heeft bekwaamd in de competenties van verpleegkundige niveau 5. De aanleg van een portfolio wordt gestuurd en doorontwikkeld door de student door middel van een aantal vaststaande stappen die vallen onder portfolio-gebaseerd leren. Portfolio-gebaseerd leren bestaat uit de 7 kerncomponenten van zelfsturend leren (zie tabel 3). In de HBO-V valt het portfolio-gebaseerd leren en hiermee dus ook het portfolio-assessment onder de studentgestuurde leerlijn. Het portfolio-assessment toetst in hoeverre een student zijn/haar competenties heeft behaald en in hoeverre hierbij het portfolio-gebaseerd leren effectief is geweest. In een portfolio-assessment wordt dan ook feedback gegeven in relatie tot portfolio gebaseerd leren; in hoeverre een student het toekomstige leren kan verbeteren. Tabel 2. Kernelementen van zelfsturend leren volgens Knowles, Holton & Swanson, 2005, gekoppeld aan leeractiviteiten uit de studentgestuurde leerlijn HBO-V 7 Kernelementen Leeractiviteiten studentgestuurde leerlijn HBO-V zelfsturend leren 1 Diagnosticeren Plan van aanpak van leerbehoeften 2 Formuleren Startdocument van leerdoelen 3 Identificatie van benodigde bronnen Startdocument 4 Implementatie Actief opzoeken en ondergaan van leerervaringen, op school en in de dagelijkse beroepspraktijk van gepaste leerstrategieën 5 Leercontract Startdocument 6 Evaluatie van het leerproces Reflectie, op leerervaringen 360 graden feedback (Vertalen naar stap 1) Criterium gericht interview op basis van beroepskritische situatie 7 De onderwijzer als facilitator Koppeling aan een studieloopbaancoach & instellingsdocent Portfolio-assessment HBO-V, 12 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 2.9 Portfolio-assessment in relatie tot leerproces en leeraanbod Mocht uit het portfolio-assessment blijken dat een of meer competenties niet behaald zijn door een student, dan wordt in eerste instantie beoordeeld door de assessoren hoe het leerproces verbeterd zou kunnen worden voor het toekomstige leren. Dit wordt als feedback meegegeven aan de student. Mocht het zo zijn dat een groot aantal studenten structureel een bepaalde competentie niet blijkt te behalen, dan is het van belang in het evaluatieproces van de portfolio-assessmentprocedure na te gaan wat het precies is dat studenten blijken niet kunnen behalen. Indien studenten een bepaalde indicator bijvoorbeeld niet in zijn geheel kunnen behalen in de beroepspraktijk, zou dit opgelost kunnen worden door hierop een beroepsprodukt of KPB af te stemmen. Een andere mogelijkheid is de betreffende gedragsindicator in het vervolg anders te formuleren, of minder zwaar. 3. Borging kwaliteitscriteria portfolio-assessment in de HBO-V De volgende kwaliteitscriteria (Sinke, 2006; Beleidsnota toetsing, Hogeschool Rotterdam 2007) worden gehanteerd bij de ontwikkeling, de implementatie, de uitvoering en de evaluatie van het portfolio-assessment in de HBO-V: Het bewaken van validiteit en betrouwbaarheid; Het ontwikkelen van intersubjectiviteit; De valkuilen bij het beoordelen; Het gebruik van stappenplannen; De kwaliteit van assessoren Hieronder wordt beschreven wat precies onder deze kwaliteitscriteria voor het portfolio-assessment wordt verstaan en hoe deze systematisch en cyclisch nageleefd zullen worden in de HBO-V . 3.1 Het bewaken van validiteit en betrouwbaarheid Validiteit Het assessment is valide als deze meet wat het ook werkelijk beoogt te meten. Hiervoor is het noodzakelijk dat… 1. is vastgesteld welke competenties essentieel zijn voor het beroep van verpleegkundige niveau 5 en dat hieraan inherent gedragsindicatoren zijn ontwikkeld, met onvoldoende, voldoende en goed criteria (behaviorally anchored rating scales (bars). De competenties zijn in de HBO-V vastgelegd in het competentieprofiel HBO-V. Het competentieprofiel dient als uitgangspunt voor de gedragsindicatoren. Onvoldoende, voldoende en goed-criteria voor de leerjaren 1 en 3 zijn reeds door de klankbordgroep portfolio-assessment geformuleerd in dialoog met professionals uit de beroepspraktijk (zie bijlage 1) voor respectievelijk een competentie uitgewerkt in gedragsindicatoren met BARS en de hierbij behorende leeswijzer. 2. kritische beroepssituaties zijn onderscheiden die representatief zijn voor authentieke beroepssituaties. Dit wordt in de HBO-V gedaan door de student een zogenaamde kritische situatie te laten uitschrijven. In een kritische situatiebeschrijving laat de student zien bekwaam te zijn. Een kritische situatie onderscheidt zich van andere situaties doordat de student van mening is dat specifiek hierin heel duidelijk competentie in het handelen naar voren komt. In een kritische situatie handelt de student “op zijn best”; specifiek met betrekking tot de te beoordelen competentie. Indien mogelijk kan de student ook één kritische situatie koppelen aan meer competenties. Portfolio-assessment HBO-V, 13 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Betrouwbaarheid Het assessment is betrouwbaar indien: 1. De scores consistent, nauwkeurig en reproduceerbaar zijn. Dit is het geval indien • er gebruik wordt gemaakt van een methodenmix; • beoordelingsaspecten specifiek, duidelijk en valide zijn; • er minstens sprake is van twee beoordelaars die onafhankelijk van elkaar werken; 2.Er sprake is van transparantie: het is betrokkenen duidelijk welke doelen het assessment beoogt te meten, op welke wijze getoetst wordt en hoe de prestaties worden beoordeeld; • Procedures en de inhoud van het assessment zijn gestandaardiseerd door gedragsindicatoren met BARS te ontwikkelen en door ze vast te leggen in deze beleidsnotitie. • Het portfolio wordt zowel schriftelijk als mondeling beoordeeld door twee onafhankelijke assessoren, een vanuit de theorie en een vanuit de praktijk. 3. Het assessment efficiënt is: de door middel van toetsing verkregen informatie weegt op tegen de benodigde investering, vooral qua tijd. De HBO-V zal aan bovenstaande kwaliteitseisen voldoen door het portfolio-assessment enkel te gebruiken als aanvulling bij de bestaande toetsvormen. Kwaliteit assessoren Alle assessoren worden getraind. In deze training zullen de competenties van de toekomstige assessoren op een adequate wijze onderzocht en erkend worden. In onderstaande tabel worden de competenties die een assessor dient te bezitten, weergegeven. Tabel 3 Competentieprofiel assessor Communicatief vaardig Een assessor kan helder en alert communiceren met studenten en co-assessoren en kan daarop reflecteren, met als doel wederzijds begrip en consensus ten aanzien van het toepassen van criteria. Zakelijke houding Een assessor kan en wil beoordelen en hanteert daarbij een onafhankelijke en zakelijke opstelling. Ervaring in het competentiedomein Een assessor heeft kennis van en ervaring met het te beoordelen competentiedomein en kan daardoor de organisatie van het assessment beoordelen op validiteit en betrouwbaarheid. Objectieve waarnemer Een assessor is in staat om gedrag waar te nemen, objectief te registreren, te classificeren, te beoordelen en er waarde aan toe te kennen en deze om te zetten in advies aan de kandidaat. Eigen oordeelsvorming Een assessor kan reflecteren op zijn eigen oordeelsvorming en kan duidelijk maken wat zijn eigen valkuilen en beperkingen zijn. Hij is in staat in overleg met collega’s tot een intersubjectieve beoordeling te komen. Bron: Hendriks en Schoonman, 2006 Portfolio-assessment HBO-V, 14 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Opgemerkt dient te worden dat de validiteit en betrouwbaarheid van alle overige toetsvormen en producten ieder voor zich bijdragen aan de totale validiteit en betrouwbaarheid van het portfolioassessment, immers het betreft een integratieve beoordeling, direct op competentieniveau. 3.2 Het ontwikkelen van intersubjectiviteit Zoals eerder genoemd kunnen validiteit en betrouwbaarheid geborgd worden door bepaalde eisen te stellen aan de meetinstrumenten en de toetsprocedure. Dit helpt de assessoren betrouwbaar en valide te beoordelen. Een derde voorwaarde voor valide en betrouwbaar beoordelen is de deskundigheid van de assessoren zelf; deze dient op niveau te zijn ofwel gebracht te worden door een toetstraining. Deze training bestaat uit een training van een dag. Daarna is het van belang de deskundigheid op peil te houden en verder door te ontwikkelen door voortdurend aandacht te besteden aan kwaliteit, en aan de zogenaamde intersubjectiviteit. Intersubjectiviteit is de overeenstemming tussen de oordelen van verschillende beoordelaars die met dezelfde competentieindicatoren de competenties van hetzelfde individu beoordelen (Sinke, 2006). De mate van overeenstemming tussen de oordelen van verschillende assessoren wordt bepaald door: • • • • de eenduidigheid van het competentieprofiel en de hierbij behorende gedragsindicatoren; de mate waarin de beoordelaars zelf eerder ervaring hebben opgedaan in situaties waarin de competenties worden ingezet die beoordeeld worden in het assessment; de intensiteit en frequentie waarmee beoordelaars hun interpretaties van competentie-indicatoren en waarnemingen expliciet uitwisselen en op elkaar afstemmen. de consistentie tussen beoordelingen wordt vergroot door “moderatie”, door voortdurend overleg tussen beoordelaars (Sinke, 2006). Om deze intersubjectiviteit te kunnen ontwikkelen worden alle assessoren gezamenlijk getraind, in een dag. Ten tweede zal de HBO-V de intersubjectiviteit op peil houden en blijven doorontwikkelen door het met regelmaat inzetten van evaluaties en terugkomtrainingen. 3.3 De valkuilen bij het beoordelen Uit onderstaande tabel (Sinke, 2006) kan afgelezen worden met welke beoordelingsfouten in een toets rekening gehouden dient te worden, en dus ook in een portfolio-assessment: De HBO-V wil bovenstaande valkuilen zo veel mogelijk voorkomen door in de training voor assessoren de assessoren hiervan bewust te maken. Tabel 4 Mogelijke beoordelingsfouten in een toets Centrale tendentie Geen extreem hoge of lage scores geven, maar voornamelijk het midden van de beoordelingsschaal gebruiken. Contaminatie-effect Het gebruiken van een beoordeling voor een ander doeleinde dan waarvoor de beoordeling eigenlijk bedoeld is (bv, een docent die een goede indruk wil maken door zijn studenten hoge of juist lage cijfers te geven). Doelredenering Naar een eindresultaat toe redeneren om te komen tot een positieve of negatieve beoordeling. Portfolio-assessment HBO-V, 15 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Eerste indruk Een eerste indruk laten meewegen bij latere waarnemingen. Generaliseren Op grond van slechts een enkele “gedraging” een algemeen oordeel geven. Halo-effect Vanwege de positieve beoordeling van (aspecten van) een enkele competentie ook de (aspecten van) andere competenties positief beoordelen. Horn-effect Vanwege de negatieve beoordeling van (aspecten van) een enkele competentie ook (aspecten van) de andere competenties negatief beoordelen. Nabijheid Personen waar men meer contact mee heeft, positiever beoordelen. Projectie Het eigen gedrag tot norm verheffen. Recentheid Een recente gebeurtenis te sterk laten meewegen. Relatie Iets ten onrechte positief beoordelen om de relatie niet te verstoren. Selectieve waarneming Zien of horen wat men wil zien of horen. Sequentie-effect De resultaten van de ene beoordeling gevolgen laten hebben voor een andere beoordeling (bv. na enkele goede studenten een matige student als slecht beoordelen). Toegeeflijkheid Eerder hoger dan lager beoordelen. Strengheid en mildheid Consequent streng of mild beoordelen. Vooroordelen of stereotiepen Ervan uitgaan dat bepaalde eigenschappen of kenmerken van personen bij elkaar horen. Vroegere oordelen Vroegere oordelen een rol laten spelen. Bron: Sinke, 2006 Portfolio-assessment HBO-V, 16 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 4. Werkwijze portfolio-assessment in de HBO-V Hieronder is de werkwijze van het portfolio-assessment, zoals in deze beleidsnotitie bepaald is op basis van bestaande interne- en externe beleidskaders en op basis van het geschetste theoretisch kader, nog eens overzichtelijk weergegeven. In het portfolio-eindassessment wordt gewerkt met twee beoordelaars; een uit de praktijk en een uit de theorie. Een assesssor vanuit de praktijk is een vertegenwoordiger van de beroepsgroep verpleegkundigen niveau 5. De tweede assessor is een vertegenwoordiger van de Hogeschool Rotterdam. Opgemerkt dient te worden dat om hun onafhankelijkheid tegenover de student te kunnen bewaren deze assessoren geen directe studie- of werkrelatie onderhouden met de te assessen student. Dit houdt in dat de assessor uit de praktijk geen werkbegeleider is van de student op de leerwerkplek en voor de assessor van de Hogeschool geldt dat deze geen studieloopbaancoach is van de student. Een assessor dient in een toetssetting te kunnen functioneren en dient daartoe te beschikken over competenties voor een assessor (zie tabel 5) De beoordeling van het portfolio-assesment bestaat uit 2 onderdelen: 1. Pre-assessmentfase Het oordeel go/no go, gebaseerd op de conclusies van de assessoren na de bestudering van het portfolio-assessmentdossier. In dit toetsdossier zitten de volgende documenten: Een self-toets per competentie: de student reflecteert op zijn functioneren door het beschrijven van kritische situaties die kenmerkend zijn voor één of meer competenties en waaruit effectief gedrag blijkt. Ook zijn de effecten van de toepassing van de competenties beschreven. Er wordt gebruik gemaakt van de methode STAR (situatie, taken, activiteiten, resultaat). In elke kritische situatie verwijst de student naar aanvullende bewijzen; studentprestaties zoals verzameld op school of in de beroepspraktijk. Te denken valt aan literatuurstudies, notulen van voortgangsgesprekken, powerpoints van presentaties/lessen zoals ontwikkeld en/of gegeven. Bij het ontbreken van documenten is er geen assessment 2. Assessmentfase Tijdens het assesment stellen de assessoren vragen over het assesmentdossier. Deze vragen kunnen zijn: • ter verduidelijking; • naar conceptuele onderbouwing; • naar de toepassing van de competenties; • naar rolopvatting, visie; • naar verpleegkundige dilemma’s; • naar ontbrekende thema’s. Het portfolio-assessment HBO-V in de leerjaren 1en 4 is selectief beoordelend (summatief). In leerjaar 2& 3 is het (portfolio)-assessment diagnostisch, dan wel sturend. Het doel van portfolio-assessment 2 & 3 is te peilen in hoeverre de student op niveau functioneert. Portfolio-assessments 1 en 4 zijn summatief omdat wordt vastgesteld of het vereiste competentieniveau en de hieraan ten grondslag liggende conceptuele onderbouwing overtuigend is aangetoond. De student behaalt voor elk portfolioassessment EC’s. Voor portfolio-assessment 1 gaat het in totaal om 1 EC’s, Voor leerjaar twee en drie is dit ook 1 EC respectievelijk 2 EC en voor leerjaar vier zijn dit 14 EC’s. Het portfolio-assessment is naast summatief beoordelend ook formatief beoordelend (diagnostisch of sturend), namelijk bij het niet of ten dele voldoen aan de criteria worden de geconstateerde tekorten gediagnosticeerd en de student krijgt hierover advies hoe dit mee te nemen in het vervolg van zijn studie; in zijn persoonlijk ontwikkel- en activiteitenplan. Portfolio-assessment HBO-V, 17 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Bij het niet behalen van een toets vertaalt de student de knelpunten in leerdoelen en leeractiviteiten in het plan van aanpak en verwerkt dit in zijn startdocument. Indien de student geen plan van aanpak heeft dan bereidt hij zich voor op een herkansing. De assessor is uitvoerder van de daadwerkelijke examinering van studenten, conform de procedure zoals die is vastgesteld door de examencommissie, onder verantwoordelijkheid van de directie van het IvG. De assessor wordt aangewezen en in zijn rol functioneel aangestuurd door de examencommissie. De assessor vult voor elke te beoordelen student een beoordelingsformulier in en legt verantwoording af aan de examencommissie. Het beoordelen van een portfolio-assessmentdossier De assessor beoordeelt de waarde van het portfolio-assessmentdossier en de daarin opgenomen bekwaamheidsbewijzen aan de hand van verschillende criteria: authenticiteit, actualiteit, relevantie, hoeveelheid en verscheidenheid van de bewijzen. De assessor beoordeelt de competenties van de deelnemer aan de hand van een criteriumgericht interview. Beoordelen Communiceren De assessor… Aan het einde van het portfolio-assessment: De assessor geeft de beoordeelde feedback op het resultaat en het proces. Hij checkt of de beoordeelde de feedback begrepen heeft. beoordeelt het portfolio-assessment aan de hand van een gestandaardiseerd beoordelingsformulier. beslist of een student onvoldoende, voldoende of goed heeft gescoord op de te beoordelen competenties. stelt zijn beoordeling vast. overlegt met de co-assessor en komt met de coassessor tot een eindoordeel. Na het portfolio-assessment: De assessor stelt het eindrapport op aan de hand van een beoordelingsprotocol; dit bestaat uit de beoordeling en een studie-advies. Dit rapport wordt zowel naar de student als naar zijn studieloopbaancoach gemaild. In dit rapport wordt de mogelijkheid geboden aan de student om nader mondeling overleg te hebben over de inhoud van dit rapport. De assessor zorgt ervoor dat de registratie en terugkoppeling ervan volgens het interne kwaliteitssysteem verloopt. 5. Evaluatie portfolio-assessment in de HBO-V Evaluatieplan Het vastgestelde beleid moet op effect beoordeeld kunnen worden. De evaluatie wordt verankerd in het systeem van kwaliteitszorg, in het algemeen van IVG en in het bijzonder voor toetsing en toets. (planning en control cyclus; jaarverslagen/rapportages; opname in accreditatieschema) en draagt bij aan het waarborgen van de kwaliteit. De evaluatie van het portfolio-assessment HBO-V vindt plaats aan de hand van vragenlijsten voor studenten en voor docenten (zie bijlagen 2 en 3). Het expertisecentrum toetsing en assessment is bij deze evaluatie betrokken. De evaluatie van portfolio- assessments is uitgezet voor leerjaar één en vier. Deze worden verwerkt, gecommuniceerd en afgestemd. Verbeterpunten worden omgezet in acties. Er worden modereerbijeenkomsten georganiseerd met assessoren om verbeterpunten te verwerken. Gedragsindicatoren bijstellen voor lopende cohorten, handleidingen bijstellen voor lopende cohorten. Portfolio-assessment HBO-V, 18 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Referenties Buckley, S., Coleman, J. Davison, I., Khan, K.S., Zmora, J. Malick, S., Morley, D. Pollard, D. Ashcroft, T., Popovic, C. & Sayers, J. (2009). The educational effects of portfolios on undergraduate student learning: A Best Evidence Medical Education (BEME) systematic review. BEME Guide No.11. Medical Teacher, 31, 282-298. Burch, V.C. & Seggie, J.L. (2008). Use of a structured interview to assess portfoliobased learning. Medical Education, 42, 894-900. Cluitmans, J. en Klarus, R. (2005). Competentiebeoordeling: een pleidooi voor congruentie. Tijdschrift voor Hoger Onderwijs, 23, 221-238. College van Bestuur Hogeschool Rotterdam Agenda nr 5 21 januari 2008. Werken aan attractief en intensief onderwijs. Rotterdam, Hogeschool Rotterdam. de Bruijn-Smolders, M. (2010). Studieloopbaancoaching en het portfolio-assessment in de Masteropleiding ANP (2010). Hogeschool Rotterdam: Rotterdam de Bruijn-Smolders, M. (2010). Leereffecten portfolio-assessment. Tijdschrift Onderwijs en Gezondheidszorg, 4, 22-26. Dochy, F.J.R.C. en T.R. de Rijke (1995). Assessment centers. Nieuwe toepassingen in HBO-V, onderwijs en HRM. Utrecht. Uitgeverij LEMMA BV Dochy, F. en G. Nickmans (2005). Competentiegericht opleiden en toetsen. Theorie en praktijk van flexibel leren. Utrecht. LEMMA BV Driessen, E., Van Tartwijk, J., Van der Vleuten, C. & Wass, V. (2007). Portfolios in medical education: why do they meet with mixed succes? A systematic review. Medical Education, 41, 1224-1233. Hendriks, P. en Schoonman, W. (2006). Handboek Assessment Deel I, Gedragsproeven. Ontwikkeling, implementatie en evaluatie. Assen: Van Gorcum. Hogeschool Rotterdam, dienst strategie en onderwijsontwikkeling (2005). Waarom werken wij met het Rotterdams Onderwijs Model? Rotterdam, Hogeschool Rotterdam Hogeschool Rotterdam, Instituut voor Gezondheidszorg (2007). Beleidsnota toetsen en beoordelen 2007-2012. Hogeschool Rotterdam, Onderwijs & Kwaliteit (2010). Toetsen op z’n Rotterdams Hogeschool Rotterdam, Instituut voor Gezondheidszorg (2 november 2010, versie 1 concept). Beleidsnota toetsen en beoordelen 2010-2012. Inspectie van het onderwijs (2003). Het gebruik van het portfolio als nieuwe toetsvorm in het hoger onderwijs Eindverslag portfolio-onderzoek. Instituut IVG (11 februari 2008) Herordende strategische notitie. Rotterdam, Instituut IVG Knowles, M.S, Holton, E.F & Swanson, R.A. (2005). The Adult Learner. The definitive Portfolio-assessment HBO-V, 19 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Classic in Adult Education end Human Resource Management. London: Elsevier Butterworth Heinemann. McCready, T. (2007). Portfolios and the assessment of competence in nursing: A literature review. International Journal of Nursing Studies, 44, 143-151. Minnaert, A. & Janssen, P.J. (1999). The additive effect of regulatory activities on top of intelligence in relation to academic performance in higher education. Learning and Instruction, 9, 77-91. Schoonman, W. Assessment centers. Versie 1.5 www.psytech.nl Segers, M. ( 2004). Assessment en leren als twee-eenheid: onderzoek naar de impact van assessment op leren. Tijdschrift voor Hoger Onderwijs. 22 (4) 188-219 Sinke, G.P.J. (2006). Aan de slag met assessment. Toetsen en beoordelen in een competentiegerichte leeromgeving. Onderwijsadviesbureau drs. M.A.F. Dekkers bv, Nuenen. Straetmans, G., Sluijsmans, D., Bolhuis, B. en Merriënboer, J. van (2003). Integratie van instructie en assessment in competentiegericht onderwijs. Tijdschrift voor Hoger Onderwijs 21, 171-197. Strijbos, J., Meeus, W. en Libotton, A. (2006). Portfolio in de lerarenopleiding: bevordert het instrument zelfsturing tijdens het leerproces? Tijdschrift voor Hoger Onderwijs 24, 96-110. Weijzen, S. en Hurk, M. van den (2006). Wat is de overeenstemming tussen competentiebeoordeling door middel van portfolio en het oordeel over competent handelen in de praktijk? Tijdschrift voor Hoger Onderwijs, 24, 81-95. Zimmerman, B.J. (2008). Investigating Self-Regulation and Motivation: Historical Background, Methodological Developments and Future Prospects. American Educational Journal, 45, 166-183 Portfolio-assessment HBO-V, 20 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Bijlage 1 Leeswijzer Gedragsindicatoren HBO V portfolio-assessment Toelichting totstandkoming indicatoren Een eerste versie van deze gedragsindicatoren zijn geformuleerd door de leden van de klanbordgroep portfolio-assessment HBO-V: Marjon van Sorge; Laura Daeter; Monique van de Berg; Corine de Lange; Monique de Bruijn-Smolders. op basis van: -de EVC prestatie/indicatoren; niveau 1 = niveau A, niveau 2= niveau B en niveau 3 = niveau C; -het competentieprofiel HBO V waaronder de gedragsindicatoren; -het document met definiëring van “ complexe zorg” , “ niet-complexe zorg” , “ zorg vertonen op aanvraag” , “op initiatief” en dergelijke (zie ook de studentenhandleidingen portfolio-assessment); -techniek voor aanmaken gedragsindicatoren (BARS; behavorially anchored rating scales) (psytech). Deze eerste versie is vervolgens face to face, individueel en per indicator, doorgenomen met de volgende stakeholders uit de praktijk: Rianne Sell ; Marije Gouw; Robert van der Gaag; Gerda van Hooijdonk; Linda Kurpershoek. Bovengenoemden hebben daarnaast ook feedback op deze indicatoren van hun achterban gevraagd en aan ons doorgegeven. Op basis van deze feedback, die eensluidend was, is de eerste versie van de gedragsindicatoren aangepast. Dit heeft geresulteerd in een tweede versie, die is ingediend bij de curriculumraad. Toelichting op de formulering van gedragsindicatoren in het algemeen De gedragsindicatoren zijn geconcretiseerd in onvoldoende, voldoende en goed-criteria. Direct afgeleid van de EVC-prestatie-indicatoren (en dus van de competenties), maar niet op specifieke lesinhoud gericht. Reden hiervoor is dat het lesprogramma er op deze wijze altijd invalt. Mochten lessen en toetsen wijzigen qua inhoud, dan heeft dit geen consequenties voor de gedragsindicator, immers, de competentie die behaald moet worden en dus ook de hierbij passende gedragsindicatoren, blijven dezelfde. Hoe deze gedragsindicatoren “ gelezen” zouden moeten worden, daarvoor is een eerste aanzet gemaakt in de gesprekken zoals gehad met de praktijk. In deze gesprekken is heel precies doorgenomen wat we met elkaar (theorie en praktijk) verstaan onder deze gedragsindicatoren. Deze afstemming wordt nader ingevuld in de training voor assessoren die nog plaats gaat vinden en daarnaast in de portfolio-assessments zelf, als theorie en praktijk eenmaal gezamenlijk gaan beoordelen. Op deze manier wordt interbeoordelaarsbetrouwbaarheid gecreëerd; beoordelaars uit de praktijk en uit de theorie kijken op een steeds meer eenduidige wijze naar de beoordelingscriteria, waardoor de beoordeling en ook de begeleiding van studenten, door de praktijk en door de Hogeschool, eenduidig wordt. Toelichting op de onvoldoende/voldoende/goed formuleringen Het portfolio-assessment is specifiek gericht op toetsing van transfer tussen theorie en praktijk, een onafhankelijk docent- en een praktijkassessor spreken om deze reden gezamenlijk een oordeel uit. Om deze reden zijn de BARS (onvoldoende, voldoende en goed-criteria) allemaal gedefinieerd op toepassings- of inzichtsniveau, en niet op kennisniveau. Indien dit niet mogelijk was, omdat het toepassingsniveau een eerste begin betreft, is het onvoldoende criterium wel in kennis uitgedrukt. Er is een onderscheid gemaakt in onvoldoende, voldoende en goed op basis van het document van de HBO V over (niet-)complexe zorgverlening zoals dit gedefinieerd is per leerjaar: in leerjaar 1 is voldoende; “ uitvoeren op aanvraag” en goed = “ uitvoeren op eigen initiatief” . Of het gaat om “ op aanvraag” of “ op eigen initiatief” is te bepalen aan de hand van het STAR-interview. Ook gaat het in leerjaar 1 om eenvoudige hulpvragen. In leerjaar 3 gaat het bij voldoende om “ uitvoeren” en bij goed om “ontwikkelen” , steeds betreffende complexe zorg. Onvoldoende criteria zijn positief geformuleerd: getracht is aan te geven wat studenten wel kunnen, ook al is dit onvoldoende. Portfolio-assessment HBO-V, 22 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Bijlage 2 Portfolio assessmentmeter STUDENT Wat is je oordeel over de volgende onderdelen van het portfolio-assessment? Helemaal mee eens Betrouwbaarheid en validiteit Het portfolio assessment sluit goed aan bij… 1 de competenties die getoetst zijn. 2 de gedragsindicatoren die zijn beoordeeld. 3 eerder behandelde lesstof. 4 eerdere toetsen zoals afgenomen tijdens de opleiding. 5 De moeilijkheidsgraad van het aanmaken van het portfolio voldoet. 6 De moeilijkheidsgraad van het STAR-interview voldoet. 7 Het portfolio-assessment differentieert tussen studenten die de stof wel of niet beheersen (studenten die de stof beheersen behalen voor het portfolioassessment een voldoende, en andersom). Toetsomstandigheden 8 Eventuele praktijksituaties die vanuit de assessoren ingebracht zijn, zijn herkenbaar. 9 De gedragsindicatoren waarop beoordeeld wordt, zijn duidelijk. 10 De door de assessoren gegeven feedback geeft inzicht in hoeverre ik competent ben in de getoetste competenties. 11 De door de assessoren gegeven feedback geeft inzicht in hoe de beoordeling tot stand is gekomen. 12 De door de assessoren gegeven feedback geeft inzicht in de wijze waarop ik mijn leerproces zou kunnen verbeteren, voor volgend studiejaar. Bruikbaarheidprocedures 13 De informatie die ik voorafgaande aan dit portfolio-assessment heb gehad, was voldoende. 14 Het portfolio-assessmentrooster was op tijd beschikbaar. 15 De beoordelingsruimte was in orde. 16 De beschikbare tijd voor het STAR-interview was voldoende. Docenten 17 De inhoudelijke deskundigheid van de bij het portfolio-assessment betrokken docenten is in orde. 18 De inhoudelijke deskundigheid van de bij het portfolio-assessment betrokken praktijkassessoren is in orde. Studenten 19 Ik heb mezelf goed voorbereid op het portfolio-assessment. 20 Ik was geslaagd / niet geslaagd voor dit portfolio-assessment. 21 Zelf had ik me ook het oordeel geslaagd/niet geslaagd gegeven (zie 20). Leereffecten aanleggen portfolio Doordat ik een portfolio moest aanleggen… 22 ben ik gerichter bewijzen gaan verzamelen voor het behalen van mijn leerdoelen. 23 …ben ik bewust geworden van mijn leerrendement tot nu toe. 24 …heb ik inzicht gekregen in wat ik komend studiejaar nog moet leren. 25 …ben ik tot de conclusie gekomen dat ik in het vervolg eerder moet beginnen met het inrichten van het portfolio. Helemaal mee oneens 1 1 1 1 1 1 1 2 2 2 2 2 2 2 3 3 3 3 3 3 3 4 4 4 4 4 4 4 5 5 5 5 5 5 5 6 6 6 6 6 6 6 7 7 7 7 7 7 7 1 2 3 4 5 6 7 1 1 2 2 3 3 4 4 5 5 6 6 7 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 (streep door wat niet van toepassing is). 1 2 3 4 5 6 7 1 1 2 2 3 3 4 4 5 5 6 6 7 7 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6 6 6 7 7 7 Portfolio-assessment HBO-V, 23 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 26 27 28 29 30 31 ben ik meer gaan reflecteren. ben ik meer geoefend geraakt in reflecteren. heb ik meer inzicht gekregen in competentiegericht leren. ben ik meer op zoek gegaan naar logische verbanden. ben ik meer bewust aan de slag geweest met mijn leerproces. Anders, namelijk… Leereffecten STAR-interview 32 Doordat ik een STAR-interview heb afgelegd… 33 …ben ik mij bewust geworden van mijn leerrendement van de te beoordelen studieperiode. 34 …heb ik inzicht gekregen in mijn leervragen voor de komende studieperiode. 35 heb ik meer inzicht gekregen in competentiegericht leren. 36 heb ik geoefend in argumenteren op basis van evidence. 37 heb ik meer vertrouwen gekregen in mijn kennis en kunde. 38 heb ik geleerd overstijgend te denken. Leereffecten algemeen 39 Als ik het portfolio assessment vergelijk met de overige toetsvormen binnen de opleiding, vind ik deze het meest leerzaam Tevredenheid algemeen 40 In het algemeen ben ik tevreden over het portfolio-assessment. 1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 4 4 4 4 4 5 5 5 5 5 6 6 6 6 6 7 7 7 7 7 1 1 2 2 3 3 4 4 5 5 6 6 7 7 1 2 3 4 5 6 7 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 5 5 5 5 6 6 6 6 7 7 7 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 41. Welke suggesties voor verbeteringen van het portfolio-assessment wil je ons nog meegeven? ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… HARTELIJK DANK VOOR HET INVULLEN Portfolio-assessment HBO-V, 24 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014 Bijlage 3 Portfolio assessmentmeter ASSESSOR Wat is uw oordeel over de volgende aspecten van het portfolio-assessment? Helemaal mee eens Betrouwbaarheid en validiteit Het portfolio assessment sluit goed aan bij… 1 de competenties die getoetst zijn. 2 de gedragsindicatoren die beoordeeld zijn. 3 eerder behandelde lesstof. 4 eerdere toetsen zoals reeds afgenomen zijn gedurende de opleiding. 5 De moeilijkheidsgraad van het aanmaken van het portfolio voldoet. 6 De moeilijkheidsgraad van het STAR-interview voldoet. 7 Het portfolio-assessment differentieert tussen studenten die de stof wel of niet beheersen (studenten die de stof beheersen behalen voor het portfolioassessment een voldoende, en andersom). Toetsomstandigheden 8 Eventuele situaties die ik naar voren heb gebracht in het STAR-interview, zijn herkenbaar gebleken voor de student. 9 De gedragsindicatoren zijn duidelijk. Bruikbaarheidprocedures 10 De informatievoorziening die ik voorafgaande aan dit portfolio-assessment heb gehad over het portfolio-assessment was voldoende. 11 Het portfolio-assessmentrooster was op tijd beschikbaar. 12 De beoordelingsruimte was in orde. 13 De beschikbare tijd voor het STAR-interview was voldoende. 14 Mijn mede-assessor en ik kwamen overeen in beoordeling. Tevredenheid algemeen 15 In het algemeen ben ik tevreden over het portfolio-assessment. Helemaal mee oneens 1 1 1 1 1 1 1 2 2 2 2 2 2 2 3 3 3 3 3 3 3 4 4 4 4 4 4 4 5 5 5 5 5 5 5 6 6 6 6 6 6 6 7 7 7 7 7 7 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 5 5 5 5 6 6 6 6 7 7 7 7 1 2 3 4 5 6 7 16 Waar bent u werkzaam? (Gelieve aan te kruisen wat van toepassing is). Hogeschool Rotterdam Beroepspraktijk 17 Suggesties ter verbetering van het volgende portfolio-assessment: ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… ……………………………………………………………………………………………………………………… HARTELIJK DANK VOOR HET INVULLEN ……………………………………………………………. Portfolio-assessment HBO-V, 25 10 mei 2011, definitieve versie, bijgesteld 3 juli 2012, bijgesteld 20 maart 2014
© Copyright 2024 ExpyDoc
