18-3-2014 Programma workshop The proof of the pudding is in the eating Leerstraffen als erkende interventie 10 jaar ontwikkeling, implementatie en onderzoek Presentatie en discussie met de deelnemers • • • • • • Rol Raad voor de Kinderbescherming Omslag naar What works/evidence based Erkenningcommissie: 2 systemen Voorbeeld Tools4U Voorbeeld SoCool Lessons learned Ton Eijken, Ruth Bolt & Han Spanjaard 2 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 Doelgroep: 12-18 jarigen die een leerstraf hebben gekregen (van OM of kinderrechter) 3 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 4 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 Rol Raad voor de Kinderbescherming Waar komen we vandaan? • Raadsonderzoek en advies (raadsonderzoeker) • Begeleiden leerstraf (coördinator taakstraffen) Begin jaren 80: taakstraffen, SOVA Arnold Bartels (PI): SoVa effectief (1986) • • • • 5 Ontwikkelen, zorgen voor erkende interventies Inkopen Inrichten en onderhoud kwaliteitssysteem Dataverzameling tbv kwaliteitsbewaking en onderzoek Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 Daarna: Wildgroei D Wild i van interventies/trainingen: i t ti /t i i Ruim 100 leerstraffen voor jeugd • • • • • 6 Overlap tussen trainingen Aanbod vaak verschillend per regio Uitvoering varieert per trainer Situatie ongelijk voor cliënten Bereiken doelen interventie en effect op recidive onbekend Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 1 18-3-2014 Wat stond ons voor ogen? What works-beginselen • Omslag op basis van ‘what works’-benadering en ‘evidence based’ werken • Naar een beperkt en gericht aanbod dat alle relevante criminogene factoren bestrijkt • Zodat evaluatieonderzoek uitvoerbaar en kwaliteitszorg mogelijk is • Gedragsinterventies richten zich op de criminogene factoren en zijn - in theorie en/of bewezen - effectief in termen van recidivevermindering • Instellen van een Erkenningscommissie 1. Risicobeginsel: wie (interventie afhankelijk van recidiverisico) 2. Behoeftebeginsel: wat (veranderbare factoren) 3. Responsiviteit: hoe (moti atie stijl van (motivatie, an le leren en en (on-)mogelijkheden om hiervan te profiteren) 4. Behandelmodaliteit (evidence based) 5. Programma-integriteit (getoetste theorie, uitvoering volgens programma) 6. Professionaliteit (opleiding, training, inter/supervisie) Assessment RNR-Model: Risk, Needs, Responsivity Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 7 8 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 10 criteria Erkenningscommissie Gedragsinterventies Justitie • Ingesteld in 2005 door de minister van Justitie • Beoordeelt de kwaliteit en effectiviteit van ambulante en intramurale gedragsinterventies • Voor zowel minder- als meerderjarige justitiabelen • Met 10 kwaliteitscriteria • Een 10-tal (justitie)organisaties kunnen gedragsinterventies indienen Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 9 Ex ante beoordeling = kan leiden tot minder recidive Tussentijdse beoordeling = doeltreffend? Ex post beoordeling = effectief en recidive verminderend -> erkenning verlengd (met 3 jaar) -> nader ingevuld n.a.v. ervaringen met tussentijdse beoordeling -> > erkend (voor 5 jaar) -> voorlopig erkend (voor 2 jaar) -> niet erkend, verdere uitwerking gewenst 11 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 1. Theoretische onderbouwing: De gedragsinterventie is gebaseerd op een analyse van het delictgedrag en een expliciet veranderingsmodel waarvan de werking wetenschappelijk is aangetoond. 2. Selectie van justitiabelen: Het type justitiabele waarop de gedragsinterventie zich richt wordt duidelijk gespecificeerd en geselecteerd. 3. Dynamische criminogene factoren en protectieve factoren: De gedragsinterventie is gericht op het beïnvloeden van veranderbare risicofactoren en op protectieve factoren die samenhangen met het criminele gedrag. 4. Effectieve (behandel)methoden: Er worden (behandel)methoden toegepast die aantoonbaar effectief of veelbelovend zijn. j 5. Vaardigheden: De aanpak is mede gericht op het leren van praktische, sociale en probleemoplossende vaardigheden. 6. Fasering, intensiteit en duur: De intensiteit en duur van de gedragsinterventie sluit aan bij de problematiek van de deelnemer. 7. Betrokkenheid en motivatie: Betrokkenheid van de deelnemer bij de gedragsinterventie en motivatie voor deelname moeten worden bevorderd en gestimuleerd. 8. Continuïteit: Er moeten duidelijke verbindingen zijn tussen de gedragsinterventie en de totale begeleiding van de justitiabele. 9. Interventie-integriteit: De gedragsinterventie wordt zo uitgevoerd als het bedoeld is. 10. Evaluatie: Een doorlopende evaluatie geeft inzicht in de effectiviteit van de gedragsinterventie. 10 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 Erkenningscommissie (jeugd)interventies • In 2007/2008 van start gegaan (NJI, RIVM) • Onafhankelijke landelijke commissie die interventies voor jeugd beoordeelt op kwaliteit en effectiviteit • Werkterrein: jeugdzorg, jeugdwelzijn, jeugdgezondheidszorg, preventie met als doel van de interventies risico’s/problemen verminderen 12 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 2 18-3-2014 Vergelijking Niveau I Niveau II Niveau III Niveau IV Theoretisch goed onderbouwd Waarschijnlijk effectief = effectiviteit enigszins aannemelijk Bewezen effectief = effectiviteit sterk aannemelijk Kosten effectief Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 13 Van ex ante erkend naar doeltreffend en effectief Preontwikkeling Ontwikkeling en testen van het programma Indiening gedragsinterventie bij Erkenningscommissie Indienen van aanvraag bij het departement, inschatten behoefte en haalbaarheid gedragsinterventie met Reality Check Realiseren van (deel van) set van opgestelde randvoorwaarden voor implementatie Opstellen Reality Check: stand van zaken op realisatie van benodigde randvoorwaarden t.a.v. haalbaarheid en inpasbaarheid 15 • Ex ante erkend EGJ ≈ waarschijnlijk effectief EI • Ex post erkend EGJ ≈ bewezen effectief • Systeem EGJ lijkt meer dwingend en stimuleert monitoring, kwaliteitszorg en evaluatieonderzoek: je moet je blijven verantwoorden • Door implementatie-ervaringen systeem EGJ iets aangepast -> invoering reality check -> tussenfase doeltreffendheid toets (voorafgaand aan effectonderzoek) • Systeem EI is vooral voor kennisopbouw en ter info naar gebruikers/inkopers van interventies: beoordeelde interventies komen in databank effectieve jeugdinterventies Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 14 Landelijke menukaart 2012 Gedragsinterventies als leerstraf Implementatie uitvoering en bepalen evaluatiemoment Cognitieve sociale vaardigheden Agressie regulatie Tools4U TACt Groep So-Cool TACt-i Omgaan met middelen gebruik Seksuele omgang Stay-away (incl. variant voor lvb) Respect Limits 16 Voorbeeld Tools4U Tools4U(plus) • Training cognitieve sociale vaardigheden (600 jongeren/jaar) • Erkend in 2007 • Procesevaluatie in 2009: -> aanbeveling om uitvoering eerst op niveau te brengen en knelpunten te verbeteren • Proces- en doeltreffendheidsonderzoek in 2011/2012: -> uitvoering zoals bedoeld en doeltreffend • Verlenging erkenning in 2013 • Effectonderzoek in 2013-2015 -> onderzoek met controlegroep lijkt te lukken • individuele training gericht op het leren van enkele cognitieve en sociale vaardigheden ter vermindering van de kans op recidive • Vaardigheden 17 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 > om risicovolle situaties een prosociale wijze op te lossen > zodat jeugdige zich beter kan wapenen tegen (andere) risicofactoren • 8 (of 12) bijeenkomsten van 1,5 uur • In plus-variant vier extra trainingsbijeenkomsten gericht op vaardigheden van ouders (monitoring en oplossen van problemen) 18 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 3 18-3-2014 Onderzoek Programma-integriteit en werkzame factoren: • Procesevaluatie: wordt de interventie uitgevoerd zoals bedoeld? > Selectie en toeleiding doelgroep > Uitvoering interventie > Monitoring • Modeltrouw (uitvoering volgens handleiding en richtlijnen), o.a. – een goede structurering van de interventie (duidelijke doelstelling, planning en fasering); – een goede ‘fit’ fit van de aanpak met het probleem en de hulpvraag; – uitvoering van de interventie zoals deze uitgevoerd hoort te worden; • Doeltreffendheid: plus: leidt interventie tot verandering op beoogde parameters? • Competentie, o.a.: • Effectiviteit: plus: vergelijking met controlegroep • Overig: – aansluiten bij de motivatie van de cliënt; – goede kwaliteit van de relatie cliënt-behandelaar; – professionaliteit (goede opleiding en training) van de behandelaar; – goede werkomstandigheden van de behandelaar (zoals draaglijke caseload, goede ondersteuning,veiligheid van de hulpverlener). > Verandering op beoogde parameters > Recidive Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 19 Procesevaluatie TOOLS4U 2009/10 (1) Bosma, A., Asscher, J., Laan, P. van der & Stams, G.J. (2011) Indicering onduidelijk en niet eenduidig ¾ Implementatie LIJ Onterechte exclusie: de instroom voor Tools4U bleef achter bij de verwachtingen ¾ Implementatie LIJ, afstemming indicatiecriteria, voorlichting Tools4U Onterechte inclusie (jongeren met te veel problematiek) ¾ Implementatie LIJ ¾ Overleg met GD-er over indicatie: Tools4U i.c.m. JR of andere gedragsinterventie Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 21 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 20 Procesevaluatie TOOLS4U 2009/10 (2) Bosma, A., Asscher, J., Laan, P. van der & Stams, G.J. (2011) Deelname ouders niet optimaal (intake, evaluatie; Tools4Uplus) ¾ Brochures voor jongere en ouders ¾ Raadsonderzoekers en de coördinatoren taakstraffen motiveren ouders Uitvoering soms wel, soms niet conform de handleiding ¾ Samenstelling van top 10 van activiteiten die de trainer minimaal moet ondernemen ¾ Bijscholing en supervisie ¾ Tussentijdse analyse van kwaliteit uitvoering a.d.h.v. analyse rapportageformulieren Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 22 Beschermende factoren Hoog Midden Risicofactoren Laag Het LIJ maakt een inschatting van: Laag Midden Hoog School Werk • Algemeen Recidive Risico (ARR) • Criminogene factoren (risico- en beschermende factoren) (DRP) • Signalen van >psychosociale problemen >psychische stoornissen (o.a. kans op schade aan zichzelf) • Responsiviteit ¾ Betere advisering effectieve maatregelen/interventies door toepassing what worksbeginselen ¾ Betere samenwerking / informatieoverdracht en -beheer in de keten 23 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 Gezin Vrije tijd Relaties Domein kent geen beschermende factoren Alcohol- en drugsgebruik en gokken Domein kent geen beschermende factoren Geestelijke Gezondheid Attitude Agressie Vaardigheden 4 18-3-2014 RAADSONDERZOEKER ARR LIJ Top 10 van activiteiten Tools4U • • • • • • • • • Gezin LIJ (enkele items) Na ½ uur kennismaking in de eerste bijeenkomst de weekkaart Delictbespreking in de tweede bijeenkomst Trainingsplan bespreken in de derde bijeenkomst op basis van competentieanalyse en delictanalyse (deze drie documenten gaan voor de derde bijeenkomst naar supervisor) Na het bespreken van het trainingsplan iedere bijeenkomst een of meer gedragsoefeningen d f i Tussen de bijeenkomsten altijd een opdracht voor thuis inzetten De technieken en hulpmiddelen uit de handleiding worden doelgericht (gekoppeld aan de gestelde doelen) ingezet Plusvariant: in bijeenkomst 2 doet de trainer de beeldschermenopdracht en een gedragsoefening, in bijeenkomst 3 ook minimaal 1 gedragsoefening In de laatste bijeenkomst geeft de jongere een presentatie (voorbereiden in de voorlaatste bijeenkomst) Doelen worden beoordeeld door trainer en jongere in eindrapportage, met evaluatieformulier voor jongere en ouders Trainer maakt opnames voor eigen ontwikkeling (supervisie en beoordeling) Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 25 Doeltreffendheidsonderzoek (Van der Stouwe, T., Asscher, J. & Stams, G.J., 2013) Onderzoeksvragen: • Wordt de juiste doelgroep bereikt? Start Tools4U JONGERE OUDERS CBSA VSOG (Competentie Belevingsschaal voor Adolescenten) (Verkorte schaal voor ouderlijk gedrag) TRAINER Delictanalyse Competentie analyse Trainingsplan bijeen nkomsten • Vaardigheden LIJ (PI Research, 2011) CBSA Afsluiting Tools4U GAS VSOG Evaluatie formulier Evaluatie formulier GAS Monitor 26 RNR D o e l t r e f f e n d h e i d Succesfactoren welslagen onderzoek • Goede afstemming tussen opdrachtgever onderzoek (WODC), opdrachtgever Tools4U (RvdK), onderzoekers (UVA) en ontwikkelaar (PI Research) • Wordt het p programma g uitgevoerd g zoals bedoeld? • Laten de deelnemers de verwachte ontwikkelingen op de programmadoelen zien? • Geïntegreerde vragenlijst en dataverzameling • Studenten die vragenlijsten ter plekke afnemen ¾ Dossieranalyse bij een derde van alle jongeren die Tools4U kregen van mei 2011 tot mei 2012. • Goede communicatie en samenwerking met trainers ¾ Vragenlijsten bij jongeren, trainers en ouders bij aanvang en afloop van 115 Tools4U trainingen (mei en oktober 2012) Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 27 28 Uitvoering Enkele uitkomsten doeltreffendheidsonderzoek Doelgroep • Geen aanwijzingen voor onterechte exclusie (werden wel gevonden in onderzoekje door Regterschot-Von Lindheim en Spanjaard, p j 2012)) • Instrumentarium (LIJ) was meestal gebruikt (eindfase landelijke uitrol) • Wel soms contra-indicaties (te veel andere problemen) (worden mogelijk aangepakt middels JR-maatregel en/of andere hulp) 29 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 (op basis van trainerrapportage en rapportage van de deelnemende jongeren ) De belangrijkste technieken uit de Top 10 en de verplichte onderdelen van Tools4U worden in voldoende mate ingezet, ruim boven de 60% norm (Durlak en DuPré, 2008). Alleen het opgeven van de huiswerkopdrachten en de aanwezigheid van het ouderevaluatieformulier halen deze norm niet. Deelname ouders aan Plusvariant en eindgesprek Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 5 18-3-2014 Programma-integriteit en veranderingen Doeltreffendheid Jongeren laten verbeteringen zien t.a.v. • denkfouten (HIT) • impulsiviteit (APSD) • sociale informatieverwerking (SIP-AEQ) • coping (UCL) • competentiebeleving (CBSA) • domeinen gezin en vaardigheden (LIJ) Ouders laten amper veranderingen zien na afloop van de trainingen Als trainers meer Top 10 – technieken inzetten, laten de jongeren meer positieve veranderingen zien tav: • het toekennen van vijandige bedoelingen • negatieve emotionele reacties • actief aanpakken van problemen Ook Positieve effecten bij spijbelaars Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 31 Effectonderzoek Tools4U Voorbeeld SoCool • • • • Uitvoering door UvA RCT niet mogelijk Wel Tools4U groep vergelijken met controlegroep Ruime oversampling controlegroep (voor matching en vanwege eventuele uitval) • Onderzoek loopt goed maar is wel arbeidsintensief • Looptijd 2013-2015 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 33 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 32 • Training cognitieve sociale, vaardigheden voor lvb-ers (250 jongeren/jaar) • Voorlopig erkend in 2011; herindiening 2013 • Is status van volledige erkenning gezien stand van wetenschap LVB mogelijk? • Daarom: praktijkonderzoek voor doorontwikkeling en herindiening in 2012/ 2013: • Resultaat: 13 verbeterpunten • Erkend in 2013 (score van 13 naar 17, max = 20) tot 2018 • Aantonen doeltreffendheid Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 34 Praktijkonderzoek Praktijkonderzoek • Analyse van elementen waarop betere score niet mogelijk is (stand van wetenschap) • Vraagstellig gebaseerd op opmerkingen erkenningscommissie • 15 jongeren • Instroom aanvankelijk moeizaam; beter na meer inspanningen en instellen beloning bij deelname aan alle vragenlijsten • Praktische resultaten o.a.: o Selectie o Dynamische criminogene en protectieve factoren o Fasering en intensiteit o Continuiteit Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 o Belang match met trainer o Betrokkenheid ouders moeizaam of heel goed o Effect merkbaar o Minder praten, meer doen (leuke dingen) o Huiswerk niet altijd duidelijk Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 6 18-3-2014 Theoretische onderbouwing: De gedragsinterventie is gebaseerd op een analyse van het delictgedrag en een expliciet veranderingsmodel waarvan de werking wetenschappelijk is aangetoond. Selectie van justitiabelen: Het type justitiabele waarop de gedragsinterventie zich richt wordt duidelijk gespecificeerd en geselecteerd. Dynamische criminogene factoren en protectieve factoren: De gedragsinterventie is gericht op het beïnvloeden van veranderbare risicofactoren en op protectieve factoren die samenhangen met het criminele gedrag. Effectieve (behandel)methoden: Er worden (behandel)methoden toegepast die aantoonbaar effectief of veelbelovend zijn. Vaardigheden: De aanpak is mede gericht op het leren van praktische, sociale en probleemoplossende vaardigheden. Fasering, intensiteit en duur: De intensiteit en duur van de gedragsinterventie sluit aan bij de problematiek van de deelnemer. Betrokkenheid en motivatie: Betrokkenheid van de deelnemer bij de gedragsinterventie en motivatie voor deelname moeten worden bevorderd en gestimuleerd. Continuïteit: Er moeten duidelijke verbindingen zijn tussen de gedragsinterventie en de totale begeleiding van de justitiabele. Interventie‐integriteit: De gedragsinterventie wordt zo uitgevoerd als het bedoeld is. Evaluatie: Een doorlopende evaluatie geeft inzicht in de effectiviteit van de gedragsinterventie. • • • • • • • • • • 1 1 1 2 1 2 1 1 • • 2 2 • 1 2 • 2 2 1 2 2 2 1 1 • • • • • • • • 39 • • • 38 Niet alles kan van te voren tot in detail voorgekookt worden: ervaring in de praktijk moet leiden tot aanvulling en bijstelling van bedachte richtlijnen Dit geldt ook voor de erkenningscommissie Een toetsingscommissie/erkenningscommissie dient ook ‘te praten’ met het veld (Door)ontwikkeling en implementatie vergt intensieve samenwerking tussen opdrachtgever (2x), ontwikkelaars, aanbieders en onderzoekers Probeer instrumenten (voor- en nameting) te vinden die ook voor de invulling van de interventie en het meten van halen van doelen van belang zijn (Æ vergroot de kans dat uitvoerders hiermee doorgaan) Richt een monitor in met deze instrumenten. Maak – m.b.v. data uit de monitor – tussentijdse analyses Het erkenningsproces waarin je tussendoor nieuwe/verbeterde producten – op basis van praktijkvorderingen – moet indienen, leidt tot verbetering Het erkenningsproces vraagt om continue planning / monitoring van de stappen die gezet moeten worden Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 Hartelijk dank voor jullie aandacht!! Lessons learned (2) • Lessons learned (1) Per uitvoering is een erkende gedraginterventie duurder, maar er is meer garantie op succes (mits ingezet op juiste wijze en voor juiste doelgroep) Implementeer een gedragsinterventie als een onderdeel van een pakket en betrek ketenpartners Beoordelingssysteem voor trainers en trainingen maakt dat met argumenten trainers hun licentie al dan niet behouden (er zijn trainers afgevallen) Duidelijke selectie leidt tot betere inclusie en exclusie Onderzoek en ontwikkeling leidt tot wat moet er minimaal in de uitvoering (bv ‘top 10’) terug te vinden zijn Doe actieonderzoek, procesevaluatie, doeltreffendheid, effectiviteit in de juiste volgorde / op het juiste moment Gebruik eventueel eerst een reality check/quick scan Implementatie van een doorontwikkelde interventie is lastiger dan het implementeren van een geheel nieuwe interventie Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 Ton Eijken ([email protected]) Ruth Bolt ([email protected]) Han Spanjaard ([email protected]) 40 Congres Jeugd in Onderzoek The proof of the pudding is in the eating | 10 maart 2014 7
© Copyright 2024 ExpyDoc
