Barbara_Devilee_onderzoeksvoorstel-11_mei

Onderzoeksvoorstel Barbara Devilee onderzoeksvoorstel Barbara Devilee jumping to conclusions werktitel Master Teaching and Learning in Higher Education Vrije Universiteit -‐ 1 -‐ Onderzoeksvoorstel Barbara Devilee Samenvatting 3 Inleiding Praktische aanleiding Schets van de praktische context 3 3 3 Probleemanalyse 5 Conceptueel kader 6 Probleemstelling onderzoeksvragen doelstelling 7 7 7 Methode Onderzoeksontwerp Gegevensverzameling documentatie opleiding MIC onderzoeksrapporten studenten interviews met docenten Gegevensanalyse documentatie opleiding MIC onderzoeksrapporten studenten interviews met docenten 8 8 8 8 9 9 10 10 10 11 Validiteit triangulatie van bronnen interviews met docenten kwaliteit van de uitkomst reflectie op eigen positie als onderzoeker 11 11 12 12 12 Verwachte uitkomsten 13 Geraadpleegde literatuur 14 Bijlage I interviewschema docenten 15 Bijlage II planning 16 -‐ 2 -‐ Onderzoeksvoorstel Barbara Devilee Samenvatting In dit onderzoek staan twee problemen centraal: studenten van het afstudeerprofiel Redactie en Media Productie van opleiding Media, Informatie en Communicatie zijn niet in staat om een goede conclusie te schrijven. De opleiding en geeft studenten te weinig en geen passende richtlijnen om een goede conclusie te kunnen schrijven.
Door middel van een documentanalyse, raadpleging van literatuur over onderzoekmethodologie, een gefundeerde theorie-‐analyse van de onderzoeksrapporten van studenten en interviews met docenten, worden de knelpunten in de conclusies van de onderzoeksrapporten geanalyseerd en geduid. Dit onderzoek heeft tot doel om te beschrijven welke elementen een conclusie van een onderzoek aan de opleiding MIC moet bevatten en aan welke criteria deze moeten voldoen. Inleiding Praktische aanleiding Het afstudeerprofiel Redactie-‐ en Mediaproductie (RMP) van de opleiding Media Informatie en Communicatie (MIC) aan de Hogeschool van Amsterdam (HvA) bereidt studenten voor op een carrière binnen de creatieve industrie. Na afronding van hun studie hopen de studenten aan de slag te gaan in een functie als productiemedewerker bij een televisieprogramma, acquirerend redacteur bij een uitgeverij of social-‐mediaspecialist bij een online magazine. In die functies wordt van hen verwacht dat zij gegevens over doelgroepen, trends en (formats van) mediaproducten verzamelen en analyseren en op basis daarvan adviezen formuleren over de producten en diensten van deze bedrijven. Deze adviezen moeten gebaseerd zijn op onderzoek. Om de studenten de benodigde onderzoeksvaardigheden bij te brengen, werken zij aan authentieke opdrachten uit het werkveld. Studenten schrijven onderzoeksrapporten met als doel een advies uit te brengen voor het ontwikkelen of verbeteren van een mediaconcept. Dit kan bijvoorbeeld een applicatie zijn voor het digitale schoolbord bij een educatief televisieprogramma of een digitaal magazine voor de klanten van een zorgverzekeraar. Docenten van de opleiding klagen over de kwaliteit van de onderzoeksrapporten en met name over de slechte kwaliteit van de conclusies die studenten formuleren. In de documentatie over de onderzoeksmodules ontbreekt een goede omschrijving van de elementen die het hoofdstuk conclusie zou moeten bevatten en de criteria waaraan deze zouden moeten voldoen. Uit eigen ervaring kan ik zeggen dat de richtlijnen voor mij ook onvoldoende houvast bieden om de studenten uit te leggen wat er van ze verwacht wordt in dat hoofdstuk. Het is dus niet zo vreemd dat de conclusies die de studenten schrijven slecht van kwaliteit zijn. Doel van dit onderzoek is de richtlijnen voor een conclusie zodanig te formuleren dat deze studenten meer houvast bieden bij het schrijven van een conclusie en docenten bij het begeleiden van de studenten daarbij. Schets van de praktische context Het afstudeerprofiel Redactie en Media Productie maakt deel uit van de opleiding -‐ 3 -‐ Onderzoeksvoorstel Barbara Devilee Media-‐ Informatie en Communicatie van de Hogeschool van Amsterdam. Bij dit afstudeerprofiel staan momenteel ongeveer 800 studenten ingeschreven. Er zijn drieëndertig docenten werkzaam, waarvan er drie specifiek zijn aangesteld als docent onderzoek. Het onderwijs in onderzoeksvaardigheden is verweven door het hele curriculum van het afstudeerprofiel. De lessen waarin aandacht wordt besteed aan onderzoeksvaardigheden worden daarom ook door andere docenten gegeven dan alleen door de docenten onderzoek. De studenten van het afstudeerprofiel RMP hebben in de propedeutische fase van de opleiding hebben studenten ook onderwijs in onderzoeksvaardigheden doorlopen. Het onderzoeksvaardighedenonderwijs is vaak onderdeel van projectonderwijs waarin studenten in groepsverband authentieke projectopdrachten voor een opdrachtgever uit het werkveld uitvoeren. De opleiding maakt in die opdrachten een duidelijk onderscheid tussen deskresearch en fieldresearch. Door middel van het deskresearch zoeken studenten uit wat er al bekend over de gedefinieerde onderzoeksvraag, ze maken bijvoorbeeld een trendanalyse en analyseren best practices. Voor het fieldresearch passen zij met name en kwalitatieve onderzoeksmethoden toe zoals interviews, panelgesprekken en prototyping. Het is namelijk vaak nodig te achterhalen wat de mening van de gebruiker is over een mediaconcept. Dat laat zich beter onderzoeken door middel van kwalitatieve onderzoeksmethodes. Wanneer gebruik gemaakt wordt van kwantitatieve gegevens beperkt zich dat tot beschrijvende statistiek van bijvoorbeeld de doelgroep. Voor de projecten binnen het onderwijs zijn de probleemstelling en methoden van onderzoek veelal van tevoren vastgesteld door de docenten. Binnen ieder project wordt aandacht besteed aan een andere onderzoeksmethode. Dit heeft als doel dat studenten zich gedurende deze eerste twee jaar bekwamen in de meest voorkomende methodes en technieken van onderzoek in het vakgebied. In het derde jaar voeren de studenten voor de eerste maal een individuele onderzoeksopdracht uit. Ditmaal kunnen zij zelf een onderwerp bepalen, waarbij zij zich laten inspireren door actuele problematiek binnen het werkveld. Dit is de eerste keer dat zij zelfstandig alle fasen van het onderzoek doorlopen: van het formuleren van een probleemstelling tot en met het schrijven van de conclusies en het advies. Voorbeelden van onderwerpen voor deze onderzoeksopdrachten zijn: hoe waarderen de lezers van de VIVA de modepagina’s? Hoe kan nu.nl meer bezoekers trekken? Hoe moet een digitale versie van de ‘Linda’ eruit zien? De indeling van de onderzoeksrapporten staat grotendeels vast. Er wordt wederom nadrukkelijk onderscheid gemaakt tussen deskresearch en fieldresearch en de hoofdstukindeling staat grotendeels vast: een rapport bestaat uit een inleiding, een hoofdstuk methoden en technieken, een interne analyse, waarin het probleem van de opdrachtgever geanalyseerd wordt; een externe analyse bestaande uit een doelgroepanalyse, een trendanalyse en ander benodigde analysen; en de hoofdstukken resultaten, conclusie, advies en evaluatie. De richtlijnen voor deze indeling hebben tot doel de studenten op een gestructureerde wijze te laten werken aan het onderzoek. Door het rapport in vaste -‐ 4 -‐ Onderzoeksvoorstel Barbara Devilee hoofdstukken te verdelen kunnen studenten aan deelopdrachten werken waarop ze tussentijds feedback krijgen. Studenten en docenten worden geacht zich aan deze richtlijnen te houden. Probleemanalyse Docenten klagen vaak over de slechte kwaliteit van de onderzoeksrapporten een veel gehoorde klacht is dat het hoofdstuk conclusie onder de maat is. Docenten benoemen onder andere de oppervlakkige analyse als knelpunt, een voorbeeld daarvan is: "Het blijkt dus dat je bij het maken van een 'app' voor het digitale schoolbord met veel dingen rekening moet houden." Docenten verwachten dat studenten op dit niveau in staat zijn om een beargumenteerde keuze van relevante resultaten te formuleren en deze in de conclusie te beschrijven. Op basis van deze conclusie geven de studenten een advies over een te realiseren of verbeteren mediaproduct, in dit geval de ontwikkeling van de app. Ook valt docenten op dat studenten niet of zeer slecht in staat zijn om de bevindingen uit desk-‐ en fieldresearch met elkaar te verbinden. Vaak is de conclusie niet meer dan een samenvatting of opsomming van de bevindingen uit verschillende analyses, in plaats van een synthese ervan. De docenten hebben duidelijk andere opvattingen over hoe een goede conclusie eruit moet zien. In de documentatie van het onderzoeksvaardighedenonderwijs: de modulehandleidingen, de PowerPointpresentaties van de lessen en de beoordelingsformulieren wordt vrijwel geen aandacht besteed aan de richtlijnen voor een goede conclusie. In deze documenten zijn de volgende richtlijnen te vinden: -‐ een conclusie is de beantwoording van de probleemstelling -‐ een conclusie is geen samenvatting van de resultaten -‐ een conclusie is analytisch -‐ een conclusie is compact In de handleiding voor de module onderzoek van het derde jaar van afstudeerprofiel RMP wordt ook de volgende richtlijn genoemd: -‐ koppeling met literatuur hoofdstuk/deskresearch is erg belangrijk Deze richtlijn komt niet voor in handleidingen en beoordelingsformulieren van andere modules die de studenten eerder volgden. Het voorgeschreven handboek over het verrichten van onderzoek Wat is onderzoek van Verhoeven (2007, p. 276) is beknopt in de uitleg over de conclusie. Bij het trekken van de conclusie verbind je de onderzoeksresultaten met de probleemstelling en geef je antwoord op de centrale vraag van je onderzoek. Je interpreteert dus de resultaten aan de hand van je probleemstelling. Ook ga je in op de vraag of je met deze antwoorden je onderzoeksdoel kunt bereiken. Conclusies trekken is dus niet simpelweg samenvatten van de resultaten: er komt meer bij kijken! De richtlijnen die worden gegeven in de documentatie van de opleiding en de voorgeschreven literatuur zijn niet alleen summier ze sluiten slecht aan bij -‐ 5 -‐ Onderzoeksvoorstel Barbara Devilee het type onderzoek dat de studenten bij het afstudeerprofiel RMP verrichten. Ze sluiten eerder aan bij theoriegericht onderzoek, terwijl de studenten praktijkgericht onderzoek uitvoeren omdat zij werken aan de ontwikkeling of verbetering van een mediaproduct. Praktijkgericht onderzoek vraagt om een andere opzet voor en rapportage van het onderzoek en dus om andere richtlijnen. Conceptueel kader Het is opvallend hoe weinig aandacht wordt besteed aan 'de conclusie' van een onderzoeksrapport in methodologische handboeken. Deze boeken behandelen over het algemeen iedere stap van het onderzoek doen maar geven nauwelijks of geen informatie over de inhoud van een conclusie en de criteria waaraan deze moet voldoen. In boeken als 'Het ontwerpen van onderzoek' van Verschuren en Doorewaard (2007) en Methoden en Technieken van onderzoek van Schreuder-‐
Peters (2012) is zelfs geen apart hoofdstuk of een aparte paragraaf opgenomen over 'de conclusie'. Sommige auteurs maken een onderscheid tussen theorie-‐ en praktijkgericht onderzoek (Aken & Andriessen, 2011; Andriessen, 2000; Klapwijk, 2013; Tavecchio & Gerrebrands, 2012; van Burg, 2011; Verschuren, 2009) en zijn van mening dat dit onderscheid leidt tot verschillen in methodologie en kwaliteitseisen aan het onderzoek. Het onderscheid zit hem daarin dat het bij praktijkgericht onderzoek niet blijft bij het verklaren en beschrijven van problemen maar dat het praktijkgerichte onderzoek ook moet leiden tot mogelijke oplossingen voor veldproblemen. Praktijkgericht onderzoek richt zich op het oplossen van een handelingsprobleem, theoriegericht onderzoek richt zich op het oplossen van kennisprobleem. Dat betekent dat de inhoudelijke elementen en de kwaliteitseisen waaraan deze moeten voldoen van conclusies van theoriegericht onderzoek niet één op één te vertalen zijn naar elementen en criteria voor conclusies van praktijkgericht onderzoek. Bij praktijkgericht onderzoek dient de conclusie als argumentatie voor het advies dat wordt gegeven. De elementen van een conclusie dienen passend te zijn voor het soort onderzoek. Volgens Verschuren is het gros van de methodologische handboeken expliciet of impliciet geschreven vanuit en voor theoriegericht onderzoek. Het kan dus zijn dat de richtlijnen voor conclusies voor praktijkgericht onderzoek anders zouden moeten zijn dan die voor theoriegericht onderzoek. Omdat er binnen methodologische handboeken slechts heel summier aandacht besteed wordt aan het hoofdstuk conclusie van een onderzoek, worden in dit onderzoek de richtlijnen en criteria voor deze conclusie afgeleid uit de eisen en criteria van de andere onderdelen van een onderzoeksrapport. Hiervoor worden zowel methodologische handboeken geraadpleegd die zijn gericht op theoriegericht onderzoek als handboeken die specifiek gericht zijn praktijkgericht onderzoek. -‐ 6 -‐ Onderzoeksvoorstel Barbara Devilee Probleemstelling In dit onderzoek staan twee problemen centraal: studenten van het afstudeerprofiel Redactie en Media Productie van opleiding Media, Informatie en Communicatie zijn niet in staat om een goede conclusie te schrijven. De opleiding en geeft studenten te weinig en geen passende richtlijnen om een goede conclusie te kunnen schrijven. Om te achterhalen wat de knelpunten zijn in de conclusies die door de studenten geschreven zijn is het van belang om deze conclusies in samenhang met de andere onderdelen van het onderzoek. Met name de formulering en interne logica van de probleemstelling is van grote invloed op de kwaliteit van onderzoek en dus op de daaruit voortvloeiende conclusie (Oost, 1999; Verschuren, 2012). Omdat de kwaliteit van een conclusie voor een groot deel afhankelijk is van kwaliteit van andere onderdelen van een onderzoek, moet ook gekeken worden naar andere delen van de onderzoeksrapporten. onderzoeksvragen Aan de hand van de probleemstelling zijn vijf onderzoeksvragen geformuleerd. 1. Wat kan uit de bestaande literatuur over onderzoeksmethodologie worden afgeleid over de richtlijnen en kwaliteitscriteria voor het schrijven van de conclusie van een onderzoek? 2. Komen de richtlijnen en kwaliteitscriteria van het afstudeerprofiel RMP – zowel zoals deze staan omschreven in de documentatie als zoals docenten deze overbrengen -‐ overeen met de richtlijnen en kwaliteitscriteria uit de literatuur? 3. Zijn de richtlijnen en kwaliteitscriteria van het afstudeerprofiel RMP passend voor het soort onderzoek dat studenten verrichten? 4. Is in de conclusies die studenten RMP schrijven de uitwerking van deze richtlijnen en kwaliteitscriteria terug te vinden? 5. Wat is de kwaliteit van de conclusies die de studenten van het afstudeerprofiel RMP schrijven? doelstelling Aan de hand van de beantwoording van bovenstaande vragen kan gewerkt worden aan het doel van dit onderzoek. Namelijk het opstellen van passende richtlijnen voor de conclusie van het onderzoek dat studenten bij het afstudeerprofiel RMP doen; een degelijke beschrijving van de elementen waaruit een conclusie opgebouwd dient te zijn en van de kwaliteitscriteria waaraan deze moeten voldoen. -‐ 7 -‐ Onderzoeksvoorstel Barbara Devilee Methode Onderzoeksontwerp Een kenmerk van kwalitatief onderzoek is dat de processen van data-‐verzameling en data-‐analyse niet opeenvolgend zijn, maar simultaan verlopen, in een iteratief proces, waarin de analyse van een deel van de data de onderzoeker kan doen besluiten om meer data te verzamelen (Boeije, 2005). Dit onderzoek bestaat uit vier onderdelen die gelijktijdig uitgevoerd worden: een documentanalyse van documenten van de opleiding MIC, een literatuurstudie van methodologische handboeken, een gefundeerde theorieanalyse van de onderzoeksrapporten en interviews met de docenten onderzoek van het afstudeerprofiel RMP. Een uitgangspunt van de gefundeerde theorie-‐analyse is die van de constante vergelijking. De bevindingen van de analyse van de onderzoeksrapporten wordt vergeleken met de uitkomsten van de interviews en met relevante concepten uit de literatuur. Daarom zal in dit onderzoek de analyse van de rapporten worden afgewisseld met het raadplegen van literatuur en met de interviews met de docenten. Dit is ook terug te zien in het schema en planning van dit onderzoek in bijlage II. Gegevensverzameling documentatie opleiding MIC
De documentatie van de modules met een onderzoekselement binnen de propedeuse van de opleiding MIC en het afstudeerprofiel RMP, de modulehandleidingen, de beoordelingsformulieren en de lesopzetten, worden van de digitale werkomgeving gedownload. literatuur
In eerste instantie is het boek Wat is onderzoek van Nel Verhoeven geraadpleegd, dit boek is voorgeschreven voor de studenten van de opleiding MIC. In dit boek is wordt slechts summier aandacht besteed aan de conclusie van een onderzoek. Daarom zijn vervolgens andere methodologische handboeken geraadpleegd. Daarbij is als volgt te werk gegaan. In de online catalogus van de Hogeschool van Amsterdam is gezocht naar literatuur met de zoektermen: 'onderzoek', 'methoden', 'methoden en technieken' methodologie. In eerste instantie is de zoekactie beperkt tot Nederlandstalige literatuur. Er is een selectie gemaakt van die methodologieboeken die gericht zijn op beschrijving van het gehele proces van het opzetten en uitvoeren van een onderzoek. Boeken die heel gericht één methode behandelen bijvoorbeeld de case study of regressie-‐analyse, zijn buiten beschouwing gehouden. Binnen de selecte van boeken is gezocht naar die fragmenten die richtlijnen voor het schrijven vaneen conclusie van een onderzoek geven. Dit bleek een onderbelicht aspect. Daarom is besloten om de richtlijnen zelf af te leiden uit de literatuur. Door het bestuderen van de methodologische literatuur werd duidelijk dat sommige onderzoekers een duidelijk onderscheid maken tussen theoriegericht onderzoek en praktijkgericht onderzoek (Aken & Andriessen, 2011; Griffioen & Wortman, 2013; Tavecchio & Gerrebrands, 2012; Verschuren, 2009). Dit zou van invloed zijn op de -‐ 8 -‐ Onderzoeksvoorstel Barbara Devilee opzet van het onderzoek en daarom waarschijnlijk ook op de richtlijnen voor een conclusie. Daarom is ook gezocht naar methodologische handboeken die zich specifiek richten op praktijkgericht onderzoek. Dit is gebeurd door de relevante bronnen in de doorgenomen literatuur te raadplegen. onderzoeksrapporten studenten
Voor de gefundeerde theorieanalyse de onderzoeksrapporten gebruikt van derdejaars studenten. De module onderzoek werd in het eerste blok van het derde jaar aangeboden aan 262 studenten verdeeld over negen klassen van gemiddeld 30 studenten. 150 studenten hebben bij de eerste inlevermogelijkheid een onderzoeksrapport in hardcopy ingeleverd. Van deze 150 rapporten zijn er 70 met een voldoende beoordeeld en 80 met een onvoldoende (HvA, 2014). Voor de gegevensanalyse zijn de digitale versies van de rapporten nodig. Deze zijn op verschillende manieren verzameld: een deel van de rapporten is aangeleverd door de docenten, daarnaast is een aantal rapporten gedownload van de digitale leer werkomgeving (dlwo) van de opleiding. In totaal zijn 35 onderzoeksrapporten verzameld. 25 rapporten die bij eerste mogelijkheid zijn ingeleverd, daarvan waren er 12 met een voldoende en 13 met een onvoldoende beoordeeld. Tien rapporten waren van herkansers, daarvan waren er vijf met een voldoende beoordeeld en vijf met een onvoldoende beoordeeld. De 35 rapporten vormen een representatieve afspiegeling van het werk dat de studenten inleveren, doordat ze verzameld zijn in de verschillende klassen en er zowel rapporten met een voldoende beoordeling als met een onvoldoende beoordeling worden verzameld. Ook zijn rapporten van herkansers (van het vorige studiejaar) opgenomen in de selectie omdat ongeveer 30% van studenten deze module niet afrondt in het derde studiejaar. Deze selectie van 35 rapporten biedt voldoende aanknopingspunten om een kwalitatieve beschrijving te geven van de problematiek en te komen tot een verzadiging van de analyse. interviews met docenten
Er worden drie semigestructureerde interviews afgenomen bij de drie onderzoeksdocenten van het afstudeerprofiel RMP. De interviews worden afzonderlijk afgenomen en op audio vastgelegd. De vragen voor het interview zijn van tevoren geformuleerd, de antwoordmogelijkheden niet. De vragenlijst in concept is opgenomen in de bijlage van dit onderzoek. Dit is een concept omdat uit de gefundeerde theorieanalyse concepten naar voren kunnen komen die ik in de interviews wil bespreken. Deze vragenlijst in concept wordt voorafgaand aan de interviews met de definitieve deelnemers voorgelegd aan een andere docent om na te gaan of de vragen duidelijk geformuleerd zijn en of deze bijdragen aan de beantwoording van de probleemstelling. Dit kan aanleiding geven om vragen aan te passen. -‐ 9 -‐ Onderzoeksvoorstel Barbara Devilee Gegevensanalyse documentatie opleiding MIC
In de documentanalyse wordt de documentatie van de verschillende modules met een onderzoekselement met elkaar vergeleken. Er wordt gericht gezocht naar omschrijvingen en de beoordelingscriteria van de conclusie. Aan de hand van deze analyse kunnen de richtlijnen worden beschreven die de opleiding de studenten stelt aan een conclusie van een onderzoeksrapport. literatuur
Met de bestudering van de literatuur over methodologische handboeken wordt achterhaald welke richtlijnen bestaan voor het schrijven van conclusies. De theorie uit deze handboeken helpt tevens bij het analyseren en benoemen van knelpunten in de conclusies. Als eerste wordt gezocht naar hoofdstukken of paragrafen die specifiek gewijd zijn aan het hoofdstuk conclusies. Vaak wordt hier slechts summier aandacht aan besteed en is het noodzakelijk om richtlijnen ten aanzien van een conclusie af te leiden uit richtlijnen voor andere onderdelen van een onderzoek. onderzoeksrapporten studenten
De bevindingen uit de literatuurstudie en de documentatie van de opleiding over 'de conclusie' van een onderzoek dienen als kader om de onderzoeksrapporten van de studenten te analyseren. Dit wordt gedaan middels gefundeerde theorie-‐analyse van vijfendertig onderzoeksrapporten van derdejaars studenten van het afstudeerprofiel RMP. De gefundeerde theorie-‐analyse biedt inzicht in de richtlijnen die de opleiding heeft ten aanzien van de conclusies van onderzoeksrapporten, zodat deze vergeleken kunnen worden met de richtlijnen in de literatuur en de opvattingen van de docenten over deze richtlijnen. Daarnaast biedt de analyse inzicht in de knelpunten van de conclusies geschreven door studenten. Deze knelpunten worden gecodeerd en gecategoriseerd en deze categorisering dient als instrument om de kwaliteit van conclusies te meten. De onderzoeksrapporten van de studenten worden geanalyseerd volgens de principes van een gefundeerde theorieanalyse. Dit gebeurt in drie fasen: open coderen, axiaal coderen en selectief coderen. Gedurende het proces van coderen, schrijf ik analytische memo's waarin ik tussentijdse bevindingen noteer en een voorlopige verklaring formuleer. In de eerste fase, het open coderen, ken ik zelf codes toe aan de knelpunten die ik tegenkom in de rapporten, bijvoorbeeld: "foutieve gevolgtrekking " of " "alleen een samenvatting van de resultaten". Deze fase kan worden afgerond wanneer nieuwe fragmenten onder bestaande codes kunnen worden ondergebracht en het niet noodzakelijk is nieuwe codes te bedenken. Wanneer dit punt van verzadiging is bereikt, worden de codes gecategoriseerd en in een codeboom weergegeven. Deze schematische weergave van categorieën en subcategorieën wordt gebruikt voor het coderen van de volgende onderzoeksrapporten (deze worden axiaal, of thematisch) gecodeerd. Daarmee wordt de eerste fase van coderen getoetst en wordt nagegaan of er inderdaad sprake is van verzadiging. Op het moment dat zich duidelijke -‐ 10 -‐ Onderzoeksvoorstel Barbara Devilee categorieën en subcategorieën aftekenen wordt gekeken of zich hierin patronen voordoen. Dit is de fase van het selectieve coderen. In deze fases kunnen de analytische memo's worden aangescherpt en vormen deze het begin van de beantwoording van de probleemstelling. interviews met docenten
Uit de interviews worden de relevante tekstfragmenten geselecteerd en getranscribeerd. Het betreft die fragmenten waaruit de opvattingen van de docenten over richtlijnen voor de conclusie van een onderzoek blijken. Na ieder interview wordt een memo geschreven met daarin de belangrijkste bevindingen die voortkomen uit he interviews. Deze memo's dienen als basis voor de beschrijving van de resultaten van het onderzoek. Validiteit Transparantie en navolgbaarheid van gevolgde procedures en beredeneringen dragen bij aan de validiteit van een onderzoek. In dit onderzoek wordt dit nagestreefd door gedurende het onderzoek in methodologische memo's de procedures zo nauwkeurig mogelijk te beschrijven en door in analytische memo's de beredeneringen zo helder mogelijk op te schrijven. triangulatie van bronnen
Voor de beantwoording van de onderzoeksvragen over de knelpunten in de conclusies die studenten schrijven, wordt gebruik gemaakt van meerdere bronnen: de literatuur, de onderzoeksrapporten van de studenten en de interviews met de docenten onderzoek. De uitkomsten van de verschillende bronnen worden, zoals gebruikelijk is binnen de gefundeerde theorie benadering, constant met elkaar vergeleken, deze vergelijkingen worden uitgewerkt in analytische memo's. Wanneer meerdere bronnen bijdragen aan eenzelfde conclusie, is sprake van convergentie van de onderzoeksresultaten. Dit draagt bij aan de constructvaliditeit van het onderzoek (van Burg, 2011). Het gebruik van meerdere bronnen wordt ook wel triangulatie van bronnen genoemd. analyse van de onderzoeksrapporten
De bevindingen uit de analyse van de onderzoeksrapporten worden op twee wijzen gevalideerd, namelijk door ze in de interviews voor te leggen aan de docenten onderzoek en door de categorisering van de knelpunten te toetsen bij twee collega's. In de interviews leg ik de docenten onderzoek drie conclusies voor met de vraag of zij hiervan de knelpunten kunnen aangeven. Ze maken daarbij geen gebruik van de categorieën die ik heb opgesteld aan de hand van de gefundeerde theorie-‐analyse. De knelpunten die zij signaleren, worden vergeleken met de knelpunten zoals ik die zelf heb omschreven. Ook wordt categorisering van knelpunten die is opgesteld op basis van de gefundeerde theorie-‐analyse gevalideerd door twee collega-‐docenten. Zij bekijken en beoordelen ieder acht conclusies die eerder door mij zijn beoordeeld aan de hand deze categorieën en geven aan of ze vinden dat de categorieën juist zijn geformuleerd en van toepassing zijn. In de acht geselecteerde conclusies die voor deze validering worden geselecteerd, moeten alle categorieën tenminste twee keer -‐ 11 -‐ Onderzoeksvoorstel Barbara Devilee voorkomen. Aan de hand van deze validering kunnen de categorieën en de definities van deze categorieën worden aangescherpt. interviews met docenten
De validiteit van de interviews wordt verhoogd door een proefinterview af te nemen. Zo kan getoetst worden of de vragen die zijn opgesteld worden geïnterpreteerd zoals bedoeld. En kan worden nagegaan of de uitkomsten van het interview bijdragen aan de beantwoording van probleemstelling. Wanneer dit niet het geval is, moeten de interviewvragen zodanig worden bijgesteld, dat dit wel gebeurt. Daarnaast worden de uitspraken van geïnterviewde docenten aan hen voorgelegd (per mail) om te na te gaan of zij zich kunnen vinden in de beschrijving ervan. Indien zij niet akkoord gaan worden de uitspraken bijgesteld. kwaliteit van de uitkomst
Het uiteindelijke resultaat van dit onderzoek is een gedegen beschrijving van de elementen waaruit een conclusie bestaat en de criteria waaraan deze moet voldoen Om een uitspraak te doen over de validiteit van het onderzoek, wordt de uitkomst van dit onderzoek voorgelegd aan een expertpanel van vier onderzoeksdocenten van de opleiding MIC die niet werkzaam zijn bij het afstudeerprofiel RMP. Dit kan nog leiden tot aanpassingen in de beschrijving. reflectie op eigen positie als onderzoeker
Het onderzoek vindt plaats aan de opleiding Media, Informatie en Communicatie van de HvA, de opleiding waar ik nu zes jaar werkzaam ben als docent. Dat heeft als voordeel dat ik het curriculum goed ken en dat ik gemakkelijk toegang heb tot de bronnen die ik wil bestuderen en de docenten die ik wil interviewen. De docenten die meewerken aan het onderzoek doen dat omdat zij het eveneens een relevant onderwerp vinden. Het is echter lastiger om met enige afstand te kijken naar problemen of vragen binnen een setting waar je zelf werkzaam bent. Desondanks denk ik dat wel te kunnen omdat ik zelf geen docent onderzoek ben en geen les geef in de module waarvan de rapporten zijn geselecteerd. Ik ben goed op de hoogte van de inhoud en ontwerp van het onderwijs en weet waarom bepaalde keuzes zijn gemaakt. Dat kan er voor zorgen dat ik als onderzoeker een blinde vlek kan hebben voor eigen ‘fouten’ in de interpretatie van de uitkomsten. Daarom is het belangrijk om de uitkomsten van dit onderzoek voor te leggen aan een expertpanel van onderzoeksdocenten die niet werkzaam zijn bij het afstudeerprofiel RMP. -‐ 12 -‐ Onderzoeksvoorstel Barbara Devilee Verwachte uitkomsten Ik vermoed dat de uitkomsten van dit onderzoek leiden tot de aanbeveling om het format van de onderzoeksrapporten bij het afstudeerprofiel RMP en wellicht van de opleiding MIC te herzien. Zo wordt bijvoorbeeld in het boek Praktijkgericht onderzoek van Verschuren (2009) en in het handboek Ontwerpgericht wetenschappelijk onderzoek (Aken & Andriessen, 2011) helemaal niet gesproken over een conclusie. Hierin wordt voorgesteld dat de resultaten van het onderzoek worden vertaald in ontwerpcriteria voor een interventie. Deze ontwerpcriteria vormen de basis voor het advies aan de opdrachtgever voor een nieuw ontwerp of een herontwerp van een product of dienst. Een dergelijke opzet van een hoofdstuk conclusie lijkt beter aan te sluiten bij het type onderzoek dat de studenten RMP verrichten. Dit zou kunnen betekenen dat het ook de keuze moet worden gemaakt om niet langer gebruik te maken van het boek Wat is Onderzoek (Verhoeven, 2007)maar een ander methodologisch handboek voor te schrijven. Uit een eerste analyse van de onderzoeksrapporten van de studenten blijkt dat in veel gevallen de centrale vraag geen kennisvraag is maar een doelstelling met een vraagteken erachter. Dit heeft als gevolg dat het onderscheid tussen conclusie en advies wegvalt. Studenten en docenten zouden er op gewezen moten worden dat een probleemstelling of centrale vraag een kennisvraag zou moeten zijn, waarvan de beantwoording bijdraagt aan het behalen van de doelstelling van het onderzoek. -‐ 13 -‐ Onderzoeksvoorstel Barbara Devilee Geraadpleegde literatuur Aken, J. E., & Andriessen, D. (2011). Handboek ontwerpgericht wetenschappelijk onderzoek: wetenschap met effect: Boom Lemma uitgevers. Andriessen, D., Onstenk, J., Delnooz, P. Smeijsters, H., Peij, S. (2000). Gedragscode praktijkgericht onderzoek voor het hbo. Advies van de Commisie Gedragscode Prakijktgericht Onderzoek in het hbo: HBO raad vereniging van Hogescholen. Boeije, H. (2005). Analyseren in kwalitatief onderzoek. Amsterdam: Boom onderwijs. Griffioen, D., & Wortman, O. (2013). Onderzoek in het onderwijs van de Hogeschool van Amsterdam: op weg naar diversiteit in een uniform model. Tijdschrijft voor Hoger Onderwijs, 1, 16-‐31. HvA. (2014). P1-‐rendement RMP H12-‐H13.xls [data-‐file]. Klapwijk, R. (2013). Ontwerpgericht onderzoek past bij hogescholen Retrieved 18-‐04-‐2014, 2014, from http://www.hobeon.nl/actueel/weblogs/weblogs_item/t/ontwerpgericht
_onderzoek_past_bij_hogescholen Oost, H. (1999). De kwaliteit van probleemstellingen in dissertaties: een evaluatie van de wijze waarop vormtechnische aspecten van probleemstellingen worden uitgewerkt: WCC. Schreuder Peters, R. (2012). Methoden en Technieken van onderzoek. Den Haag: Academic Service. Tavecchio, L., & Gerrebrands, M. (2012). Bewijsvoering binnen praktijkgericht onderzoek: methodologische en wetenschapstheoretische reflecties op de onderbouwing van professionele interventies: Boom Lemma Uitgevers. van Burg, E. (2011). Hoofdstuk 9: Kwaliteitscriteria voor ontwerpgericht wetenschappelijk onderzoek1. Verhoeven, N. (2007). Wat is onderzoek? Praktijkboek methoden en technieken voor het hoger onderwijs. Amsterdam: Boom Onderwijs. Verschuren, P. J. M. (2009). Praktijkgericht onderzoek: ontwerp van organisatie-‐en beleidsonderzoek. Amsterdam: Boom. Verschuren, P. J. M. (2012). Probleemstelling voor een onderzoek: Spectrum. Verschuren, P. J. M., & Doorewaard, H. (2007). Het ontwerpen van een onderzoek: Lemma. -‐ 14 -‐ Onderzoeksvoorstel Barbara Devilee Bijlage I interviewschema docenten concept 1. Wat is volgens jou de functie van de conclusie in de onderzoeksrapporten van de studenten RMP? 2. Uit welke elementen zou deze volgens jou moeten bestaan? > Doorvragen op de elementen die de geïnterviewde noemt 3. Je hebt intussen al heel wat conclusies van onderzoeksrapporten moeten beoordelen, waar let jij dan op? 4. Wat vind je in zijn algemeenheid van de kwaliteit van de conclusies die studenten RMP? 5. Hoe zou jij het type onderzoek dat studenten bij RMP verrichten, typeren? 6. Is het type onderzoek van invloed op de functie van de conclusie? Zo ja op welke wijze? 7. Op welke manier besteed jij binnen het onderwijs in onderzoeksvaardigheden aandacht aan de conclusie? 8. Stellen studenten vragen over de conclusie? Zo ja welke vragen? 9. welke richtlijnen geef jij de studenten ten aanzien van het schrijven van de conclusie? 10. Wat vind je van de richtlijnen die vanuit de opleiding gegeven worden ? (richtlijnen voorleggen) -‐ 15 -‐ Onderzoeksvoorstel Barbara Devilee Bijlage II planning gegevens/deelnemers literatuur onderzoekmethodologie handleiding, beoordelingsformulier, voorgeschreven literatuur onderzoeksrapporten codelijst Activiteit fragmenten selecteren over de richtlijnen voor een conclusie in een onderzoek informatie selecteren over elementen en criteria conclusie open coderen tot verzadiging Categoriseren docent semigestructureerd interview onderzoeksrapporten coderen met behulp van codeboom (axiaal coderen), ontbrekende codes toevoegen tot verzadiging semigestructureerd interview docent onderzoeksrapporten docent getranscribeerde tekstfragmenten interviews literatuur onderzoekmethodologie analytische memo's docenten die zijn resultaat week beschrijving van richtlijnen waaraan een conclusie van een onderzoek moet voldoen. voorlopige beschrijving van conclusie en criteria memo's codelijst memo codeboom memo's selectie van relevante fragmenten getrancribeerd aangescherpte codeboom memo's 03/03-‐ 23 /4 30 uur 17/3-‐23 /3 8 uur 24 /3 -‐ 6/4 3/3-‐ 6/4l 28 uur 7/4 -‐13/4 4 uur 7/4 – 20/4 32 uur 21-‐27 april 4 uur selectie van relevante fragmenten getrancribeerd memo's axiaal coderen tot kernconcept, verzadiging en codeboom hoofdcategorieën en aanscherpen subcategorieën memo's 25 april – 5 mei vakantie semigestructureerd transcriptie van interview relevante fragmenten memo vergelijken met aangepaste lijst van codeboom: valideren van en beschrijving lijst met meest relevante meest relevante categorieën categorieën memo relevante fragmenten beschrijving van selecteren vergelijken elementen van een met uitkomsten andere conclusie en de methodes criteria waar deze aan moet voldoen. inleiding schrijven samenvoegen beschrijving van de elementen van de conclusie en de kwaliteitscriteria. voorleggen uitspraken uit evt. aanpassingen in -‐ 16 -‐ uren 12 uur 12/4-‐25/4 12 uur 6/5-‐18/5 8 uur 6/5-‐18/5 12 uur 18/5-‐ 9/6 9/6-‐16/6 12 uur 8 uur 14 uur 7/6-‐16/6 2 uur Onderzoeksvoorstel Barbara Devilee geïnterviewd interviews expertpanel voorleggen uitkomsten onderzoek methodologische memo's samenvoegen teksten these teksten these teksten these Bas en Rose teksten these redigeren eindredactie verwerken commentar Bas en Rose -‐ 17 -‐ formulering uitspraken kritiekpunten en aanvullingen voor hoofdstuk discussie hfs methoden en technieken resultaten conclusie en discussie these 9/6-‐16/6 4 uur 16/6-‐30/6 40 uur 30 /6-‐ 4/7 40 uur 4/7-‐11/7 40 uur 11/7 18/7 11/7 18/7 18/7 25/7 40 uur 40 uur

Download Report