Twee methoden om het effect van sociale wijkteams te analyseren Al een aantal jaren wordt er in verschillende gemeenten geëxperimenteerd met de inzet van sociale wijkteams: samenwerking tussen professionals van verschillende zorgorganisaties in een wijk. De idee is dat deze samenwerking een positieve kosten-baten uitkomst zouden hebben. Om dit te meten, zijn er in Nederland twee methoden [1] gebruikt: de maatschappelijke kostenbaten analyse (veel toegepast door het bureau LPBL) en de effectenarena (veel gebruikt door het bureau Verweij Jonker). In dit document gaan we in op de verschillen tussen de twee methoden. De opbouw is als volgt: De methodiek van het bureau Verweij-Jonker ....................................................................................... 1 De methodiek van het bureau LPBL ........................................................................................................ 2 De voordelen van het gebruik van de Verweij-Jonker methode............................................................. 3 De nadelen van het gebruik van de Verweij-Jonker methode ................................................................ 3 De voordelen van het gebruik van de MKBA .......................................................................................... 3 De nadelen van het gebruik van de MKBA .............................................................................................. 3 Overeenkomstige voor- en nadelen van beide methoden ..................................................................... 4 De methodiek van het bureau Verweij-Jonker Het bureau Verweij-Jonker (VJ) heeft verschillende rapporten geschreven over de meervoudige opbrengsten van sociale wijkteams. Zie bijvoorbeeld "Goede hulp is veel waard" en "Het is de integrale aanpak die werkt". De methodiek van VJ kenmerkt zich door een analyse van casussen. Bij iedere casus wordt de ‘buurtteam’ aanpak beschreven en het referentie-alternatief (wat zou er gebeurd zijn als er doorgegaan was op de oude manier). Dit wordt gedaan middels gesprekken met professionals. Vervolgens worden aan de inzet in beide gevallen standaardprijskaartjes gehangen (middels de ‘effectencalculator’). Op deze manier wordt inzichtelijk wat de aanpak met een sociaal team kost, en wat de oude situatie zou hebben gekost. VJ richt zich daarmee op de analyse van de daadwerkelijke effecten. Een typische presentatie van één casus ziet er als volgt uit: De methodiek van het bureau LPBL Een ander, veel gebruikte methodiek bij de evaluatie van sociale teams, is de Maatschappelijke Kosten Baten Analyse (MKBA)[1]. Het bureau LPBL heeft deze methodiek met name gebruikt; een voorbeeld van een analyse is een MKBA naar de effecten van 4,5 jaar Frontlijnteamaanpak in Heechterp-Schieringen. Ook hebben ze een meta-analyse van een aantal uitgevoerde MKBA's gepubliceerd. Als eerste stap wordt de effectenarena gebruikt om tot een kwalitatieve analyse van de te verwachten effecten te komen (beleidstheorie). Vervolgens wordt op dossierniveau ad random een steekproef getrokken (60-80 casussen). Deze casussen worden met de professionals geanalyseerd op effecten in vergelijking met de nul-situatie (de beleidstheorie is hier een middel om de volledigheid van de effecten te toetsen). Vervolgens worden deze casussen gebruikt als basis voor een algemene aggregatie/generalisatie naar team- en gebiedsniveau. De casussen-analyse wordt – indien beschikbaar – aangevuld met andere gegevens extern beschikbaar (bijvoorbeeld over jeugdbeschermingsmaatregelen of over uithuisplaatsingen). Een typische presentatie van de MKBA ziet er als volgt uit: De voordelen van het gebruik van de Verweij-Jonker methode 1) door de verhalende stijl middels casuspresentatie geeft een transparant zicht op het effect van de invoering van een sociaal team. 2) door het koppelen van euro’s aan de professionele inzet worden de daadwerkelijke kosten van beide aanpakken helder. a) de methode werkt niet met aannames over effecten in de toekomst, waardoor de gepresenteerde uitkomsten een zuiver beeld geven. b) tevens worden er geen monetaire waarden gekoppeld aan de immateriële waarden. Dit biedt ruimte voor de lezer om zelf de afweging te maken tussen de verschillende waarden die door een sociaal team gecreëerd worden. De nadelen van het gebruik van de Verweij-Jonker methode Specifiek nadeel van deze methode is dat, door de focus op de casussen, er geen conclusie kan worden getrokken over het totale effect voor de stakeholders. De voordelen van het gebruik van de MKBA 1. Er van uitgaande dat LPBL wetenschappelijk de juiste wijze van steekproef heeft getrokken (ad random, een juiste hoeveelheid uit de totale populatie), bestaat wel degelijk de mogelijkheid om te generaliseren. 2. Het sterke punt van LPBL is dat zij middels triangulatie hun bevindingen proberen te valideren. Zo werd in het gebied Heechterp-Schieringen (Leeuwarden) een duidelijke terugval in het aantal huisuitzettingen zichtbaar: van 17 in 2008 naar 11 in 2011, een daling van bijna 40%. Het totaal aantal huisuitzettingen bij de betrokken corporaties daalde eveneens, maar met slechts 20%. Omdat zowel uit de casussen helder werd dat de uit huis zettingen verminderen als uit de externe gegevens, rekent LPBL de daling toe aan het sociale team. Hierin zit natuurlijk altijd een onzekerheid. De nadelen van het gebruik van de MKBA 1. Een nadeel van de MKBA is dat ze met hypotheses werken door de echte effecten door te denken naar grotere maatschappelijke effecten. Deze worden ook gemonetariseerd en meegenomen in de totale baten. Een voorbeeld van een ‘gedurfde’ hypothese komt weer uit de rapportage van Heechterp-Schieringen: “De verwachting is dat bij kinderen in de betrokken huishoudens schooluitval afneemt. De inschatting is dat door de verbeterde gezinssituatie en zaken als huiswerkbegeleiding, mentoren et cetera de schooluitval met 2% gereduceerd kan worden. Op termijn zou dat 1 extra startkwalificatie per jaar betekenen. Ieder kind, dat een startkwalificatie haalt, komt overeen met een maatschappelijke baat van ongeveer € 70.000 NCW. Het grootste deel (circa € 60.000) zijn baten op lange termijn, het moment dat dit kind de arbeidsmarkt betreedt. De baten zijn opgebouwd uit een een grotere kans op hoger loon en een lagere kans op een uitkering, alternatieve scholing en criminaliteit.” 2. Naast het nadeel van het hypothetische karakter, is het ook onmogelijk om de volledigheid van de maatschappelijke effecten te reconstrueren. Hierdoor kunnen belangrijke baten, maar ook kosten ontbreken, die de uitkomst ten voor- of nadele beïnvloeden[2]. Door je op de zichtbare effecten te concentreren vermijd je dit nadeel, maar mis je mogelijke effecten die wellicht wel plaatsvinden. Samenvattend: daar waar VJ bewust kiest om zich te richten op de analyse van casussen, om zodoende het hypothetische karakter van de kosten en baten tot een minimum te beperken, gaat LPBL een stap verder door juist wel de casussen te aggregeren naar gebiedsniveau en hypothetische maatschappelijke baten in het totale kosten-batenplaatje mee te nemen. Overeenkomstige voor- en nadelen van beide methoden 1. Nadeel van beide methodes is dat er vaak met aannames over de referentieaanpak wordt gewerkt. Dat komt omdat de onderzoeker vaak op één tijdstip de evaluatie uitvoert, waardoor gegevens over het verleden (als het team al operationeel is) of het effect (als het team nog moet gaan werken), ontbreken. Longitudinaal onderzoek is daarom wenselijk. 2. Ten tweede worden in de huidige analyse (en ook in genoemde voorbeeldstudies) verschillende effecten genoemd, waarbij kritisch gekeken moet worden naar of die direct een gevolg zijn van het ST. Zo wordt in de evaluatie als belangrijk pluspunt genoemd het direct kunnen handelen, in plaats van het wachten op een indicatie van het CIZ. Wat zou het effect zijn geweest als het ST er niet was geweest, maar verschillende organisaties niet op het CIZ hoefden te wachten? Anders gezegd, welke resultaten zijn puur aan het ST toe te schrijven[3]? In het model van Maas (2009) heet dit ‘impact’: het is de uitkomst van het ST minus ‘wat anders ook gebeurd zou zijn’. ___________________________________________ Noten [1] Er zijn nog meer methoden, Maas (2009) toont in haar proefschrift een overzicht van 30 kwantitatieve methoden. [2] Een recente studie van N. Mouter (2014) bevestigt dat besluitvormers – meer dan in de status quo – moeten communiceren dat zij een belangrijke maar geen absolute waarde toekennen aan de MKBA in het besluitvormingsproces. [3] ‘it is a matter of evaluation that is dependent on the interests, the background, the available information, and the knowledge of different evaluators’ (Dentchev, 2007) References Dentchev, N. (2007). Corporate social performance. Business & Society, 46(1), 104-116. Maas, K., (2009). Corporate social performance : From output measurement to impact measurement, Rotterdam Mouter, N., (2014). Cost-benefit analysis in practice, Delft: Trail Thesis Series