BRM ONDERZOEKSMETHODIEK REKENKAMER ROTTERDAM 14 MEI 2014 Op 14 mei 2014 vond bij de NBA de BoardRoom Meeting plaats over onderzoeksmethodiek bij de Rekenkamer Rotterdam. Er waren ruim twintig deelnemers. Na een kort woord van welkom door Angela van Os, bestuurslid NBA-VRC, licht Patrick Kok, voorzitter van de NBA-VRC Branchegroep Publieke Sector, kort de doelstellingen en activiteiten van de Branchegroep toe en introduceert spreker Paul Hofstra, directeur van de Rekenkamer Rotterdam. Na zijn studie algemene economie in Rotterdam begon Hofstra zijn loopbaan bij de Rijksoverheid (MinFin, IRF), waar hij Onno Ruding en Wim Kok als politieke baas had. Vervolgens was hij o.a. hoofd IAD bij de Belastingdienst, mede-oprichter van het IIA, en was hij werkzaam als partner bij Deloitte (10 jaar), waar hij zich vooral bezighield met vraagstukken rond GRC. Sinds vijf jaar is hij directeur van de Rekenkamer Rotterdam, waar alles samenkomt wat hij leuk vind: politiek bestuur, onderzoek en Rotterdam. Hofstra is tevens directeur van de rekenkamers Barendrecht, Lansingerland en Capelle aan den IJssel. Tijdens deze BRM gaat Hofstra aan de hand van zijn presentatie in op de vraag “wat is goed onderzoek en hoe stuur je dat?” en op de wijze waarop de omgeving van invloed is op het type onderzoek dat wordt uitgevoerd. Wat is een goed onderzoek? Er is een groot verschil tussen feitelijk goed onderzoek en de perceptie van wat goed onderzoek is. Als voorbeeld van een kwalitatief goed onderzoek dat (aanvankelijk) zeer slecht ontvangen werd noemt Hofstra het onderzoek naar de Stadswacht in Rotterdam, dat werd uitgevoerd op verzoek van de D’66–fractie en uitgebracht in 2012. Bij dit onderzoek werd gebruik gemaakt van de methode van participatieve observatie, d.w.z. dat gedurende vier maanden er vier onderzoekers undercover met de Stadswachten meeliepen. Aangezien het onderwerp “Stadswachten” politiek zeer gevoelig ligt, werden er op gevoelige punten extra checks & balances uitgevoerd. De uitkomst van het onderzoek was kritisch: in vergelijkbare situaties werd ongelijk gehandeld en de werkzaamheden van de stadswachten zouden met name bestaan uit het uitdelen van parkeerbonnen. Als kern van het probleem kan een gebrek aan kwalificatie bij de Stadswachten naar voren, in combinatie met steeds toenemende eisen. Hoewel in eerste instantie de politieke discussie over de uitkomsten van het onderzoek escaleerde, werden uiteindelijk alle aanbevelingen uit het onderzoeksrapport overgenomen. Dat illustreert hoe ingewikkeld de verhouding tussen een goed onderzoek, en de perceptie daarvan door de politiek, kan zijn. Hoe stuur je goed onderzoek? In principe is de directeur van de Rekenkamer zijn eigen opdrachtgever. Maar bij gevoelige issues is het zinvol om vooraf het draagvlak in de gemeente na te gaan en te streven naar een “comfortabele meerderheid” voor het onderzoek. Essentieel voor het onderzoek is de fase van de ambtelijke hoor- en wederhoor procedure: in de conceptfase kunnen fouten vrij gemakkelijk worden rechtgezet. Het embargo van rapporten tot aan de persconferentie is vaak lastig te handhaven; in deze periode blijken toch soms al zaken bij communicatie terecht te komen. 1 De Rekenkamer verricht nooit specifiek onderzoek naar een Raad en is redelijk terughoudend in kritische uitlatingen over gemeenten. De controlerende kijk van de Rekenkamer wordt van belang geacht, maar er zijn weinig raadsleden die de financiële gegevens kunnen checken. Overigens valt de controle van de jaarrekening niet onder de werkzaamheden van de Rekenkamer, dat doet de externe accountant. Invloed van de omgeving op onderzoeksmethodiek De missie van de Rekenkamer Rotterdam is het verhogen van de kwaliteit van het openbaar bestuur en van het functioneren van de bestuursorganen. Het belang van het onderzoek voor het openbaar bestuur staat voorop. Onderling contact tussen burger en openbaar bestuur is van belang, daardoor neemt de kwaliteit van het bestuur toe, en krijgt de burger meer openheid. Het debat n.a.v. een onderzoek begint bij de keuze van het onderwerp. Het is van belang ervoor zorg te dragen dat de debatten ook van invloed zijn op politiek gedrag en zo mogelijk leiden tot moties. Een debat over een onderzoeksrapport kan niet zonder politieke discussie. Van de onderzoeksrapporten wordt geen samenvatting gemaakt. Conclusies en aanbevelingen worden in een bredere politieke sessie geduid. Veel van het werk van de Rekenkamer is gericht op het losschudden van politiek debat, d.m.v. bevindingen uit kwalitatief hoogstaand onderzoek. De Rekenkamer richt zich op maatschappelijke onderwerpen, met aandacht voor de burger (voor “de Rotterdammer”) of voor het zichtbaar maken van groepen Rotterdammers waarvoor specifieke problematiek geldt. Ook misstanden (bijvoorbeeld de uit de hand gelopen financiering van bouwprojecten) vormen regelmatig onderwerp van onderzoek. In dat geval wordt gebruik gemaakt van een reconstructie om zicht te krijgen op wat fout is gegaan, een onderzoeksmethode die veel tijd en capaciteit kost. Voorts worden onderzoeken uitgevoerd om “witte vlekken” in kaart te brengen. Zo komt er nu een onderzoek naar de riolering (“alles onder de grond”). En is er vorig jaar voor een bedrag van € 500.000 een onderzoek gedaan naar grondexploitatie (GREX), met inbegrip van inzichten in methodiek én financiële problematiek. De uitkomsten van dat onderzoek legden de basis voor een kanteling van het grondbeleid en hadden daarmee een enorme impact. In dit geval was er dus geen sprake van een beperkte scope. Mogelijke “bijvangst” bij een onderzoek met brede scope wordt overigens niet meegenomen in het onderzoek: je moet als onderzoeker streng zijn voor jezelf en je eigen onderzoek. Het risico op uitdijen van onderzoek ligt altijd op de loer. Dat kan leiden tot een tweede onderzoek, wat tijd neemt en daardoor een bedreiging vormt voor de actualiteit van het onderhavige onderzoek. Met collega-rekenkamers wordt de kennis van onderzoeksmethoden gedeeld. Ook loopt er momenteel een groot G4-onderzoek naar de decentralisatie van de jeugdzorg. Maar in het algemeen geeft bij de keuze voor onderzoeksonderwerpen de lokale specificiteit bijna altijd de doorslag. In Rotterdam wordt GREX één op één afgestemd met de externe accountant. Ook heeft de Rekenkamer Rotterdam veel overleg met de Internal Audit afdeling – de relatie is goed. De relatie met de controller is ingewikkelder. Alleen de realisatie van de college-targets vormen onderwerp van gesprek. Bij onderzoek naar bijvoorbeeld weerstandsvermogen of informatievoorziening vormt control weliswaar een element, maar gaat control altijd via het College naar buiten, en doet de Rekenkamer onafhankelijk onderzoek. In Rotterdam is er een centrale onderzoeksafdeling (“OBI”) – deel van de bevindingen daarvan wordt gebruikt als “proeftuin”; ook wordt gebruik gemaakt van de statistische functies. Bij kleine gemeenten gaan onderzoeks- en control functies uit financiële noodzaak samen. Hofstra steunt echter liever niet op partijen die (meer of minder) onderdeel uitmaken van het onderzoeksobject, en 2 geeft i.v.m. de onafhankelijkheid de voorkeur aan afstand van de Rekenkamer tot de controller. Bij uitvoering van het onderzoek wordt gebruik gemaakt van objectieve en algemeen aanvaarde referentiemodellen, zoals het kwaliteitshandvest van de G-4 Rekenkamers, COSO en INTOSAI, een mix van referentiemodellen over beleid en governance. Vooraf wordt een plan van aanpak naar de Raad gestuurd, dat zo nodig kan worden toegelicht, maar er is geen discussie. Volgens Hofstra menen politici of bestuurders nogal eens dat de bevindingen van een onderzoek niet zouden aansluiten bij de werkelijkheid, het geen het belang van een goede, sterke onderbouwing van argumenten onderstreept, aldus Hofstra. Bovendien is er een interne QA procedure, opdat bevindingen aansluiten op conclusies. In een traject van hoor – en wederhoor wordt het commentaar van de ambtenaren gewoonlijk volledig overgenomen. De bestuurlijke reactie wordt vastgelegd en integraal overgenomen. Naar de ambtenaren gaan alleen de bevindingen; de conclusies en aanbevelingen gaan naar het bestuur als het hele onderzoek is afgerond. Ambtenaren voelen zich niet bedreigd/aangevallen door de Rekenkamer, het College wel. Onderzoek van de Rekenkamer krijgt een verplichte behandeling in de Raad. Intensieve media-aandacht: bevordert politieke entamering. Er is een interne QA procedure, opdat bevindingen aansluiten op conclusies. Door de goede vragen en discussie tijdens de presentatie zijn de stellingen niet direct aan de orde gekomen. Patrick Kok bedankt Paul Hofstra voor zijn bijdrage over de Rekenkamer 010 in 020. Dit BRM werd afgesloten met een drankje, waarbij de deelnemers nog konden netwerken. 3