Beleidsevaluatie

1 Beleidsevaluatie: een introductie 17
1.1 Beleidsevaluatie: een plaatsbepaling 18
1.2 Beleid als ‘evaluandum’: theorieën, cycli en complexiteit 22
1.3 Beleidsevaluatie: maatwerk in het verlengde van theorieën, cycli en complexiteit 28
1.4 Capita selecta: opzet van dit boek 32

2 De zeven functies van beleidsevaluatie: leren en verantwoorden als spil 41
2.1 Informeren: de kennisfunctie van beleidsevaluatie 43
2.2 Waarderen: de beoordelingsfunctie van beleidsevaluatie 45
2.3 Leren, aanpassen en innoveren: de verbeterfunctie van beleidsevaluatie 49
2.4 Verantwoorden: de democratische functie van beleidsevaluatie 56
2.5 Rationaliseren en theorieën ontwikkelen en testen: de rationeel-analytische functie van beleidsevaluatie 59
2.6 Discussiëren: de dialoogfunctie van beleidsevaluatie 63
2.7 Politiseren: de machiavellistische functie van beleidsevaluatie 65

3 Meten, luisteren en bezoeken: rationeel-analytische, constructivistische en contextueel-realistische beleidsevaluatie 71
3.1 Drie typen beleidsevaluatie: naar realistische verbindingen van rationele analyse, constructivistische responsiviteit en contextuele mechanismen 72
3.2 Type I beleidsevaluatie: het ‘meten’ van effecten en ‘toetsen’ van beleidstheorieën 76
3.3 Type II beleidsevaluatie: ‘luisteren’ naar meervoudigheid, erover ‘discussiëren’ en – meningen over – beleidsresultaten ‘begrijpen’ 86
3.4 Type III beleidsevaluatie: ‘bezoeken’ van contexten en ‘verklaren’ van mechanismen 95
3.5 Synthese: niets is zo praktisch als een goede theorie 102

4 Beleidsevaluatie ex ante: modules en modellen om beleid
vooraf te evalueren 109
4.1 Inleiding: oogmerk en evaluatieve functies 110
4.2 Modules voor de uitvoering van een ex ante evaluatie: als beleidsontwikkeling en als beoordeling van beleidsalternatieven 115
4.3 Algemene modellen en toetsen voor beleidsevaluatie ex ante 132
4.4 Sectorale ex ante beleidstoetsen 138

5 Beleidsmonitoring en beleidsevaluatie ex durante: het volgen en waarderen van beleid tijdens de uitvoering 147
5.1 Inleiding: de relatie tussen beleidsmonitoring en beleidsevaluatie ex durante 148
5.2 Beleidsmonitoring: het volgen van beleidsuitvoering, doelbereiking en ontwikkelingen in de beleidscontext 150
5.3 Beleidsevaluatie ex durante: beoordeling van uitvoering en voortgang bij het bereiken van doelstellingen tijdens het beleid 161

6 Beleidsevaluatie ex post: modules en modellen om beleid achteraf te evalueren 175
6.1 Inleiding: oogmerk en functies 176
6.2 Beleidsevaluatie ex post ‘richten’: beschikbare gegevens, uitwerking van de beleidstheorie, mate van complexiteit en beoogd niveau van leren 178
6.3 Modules voor de uitvoering van een ex post evaluatie: van reconstructie van de beleidstheorie tot rapportage 189
6.4 Evaluatiemodellen voor beleidsevaluatie ex post 205

7 Onderzoeksontwerpen en -methoden: de experimentele methode en dataverzameling in het informatietijdperk 219
7.1 Effectiviteitsonderzoek ontwerpen: de experimentele methode 221
7.2 Beschikbare gegevens en informatie: documenten en monitorgegevens 231
7.3 Gegevensverzameling: ‘conventionele’ onderzoeksmethoden en -technieken 237
7.4 Nieuwe ‘grote gegevens’: bronnen en methoden (big data en data science) 246

8 Kwaliteitseisen voor evaluatieonderzoek, evaluatoren en opdrachtgevers: valide, betrouwbaar, bruikbaar en professioneel 261
8.1 Criteria voor ‘goed evaluatieonderzoek’: valide, betrouwbaar en bruikbaar 262
8.2 Richtlijnen voor een goede evaluator 267
8.3 Kwaliteitsrichtlijnen voor opdrachtgevers 274
8.4 Kwaliteitsbewaking is wezenlijk gedurende het gehele evaluatieproces 279

9 Benutting van evaluatieonderzoek: welke vorm van gebruik is beoogd en wat vergroot de kans op benutting en doorwerking? 287
9.1 Het benuttingsvraagstuk en de drie typen beleidsevaluatie: ‘Does anybody care?’ 289
9.2 Vormen van functionele benutting: wat willen we met een evaluatie bereiken? 292
9.3 Directe en indirecte benutting, instrumenteel en conceptueel gebruik 295
9.4 De beoogde gebruiker: voor welk instituut, ‘klant’ of doelgroep is de evaluatie bedoeld? 297
9.5 Timing en fase: wanneer moet het gebruik van de evaluatie plaatsvinden? 302
9.6 Toegankelijk, begrijpelijk en aantrekkelijk rapporteren 304
9.7 Meerwaarde als evaluatie-instituut: sturen op en monitoren van benutting en impact 306
9.8 Specifieke benadering: Utilization focused evaluation 307

10 Institutionalisering van beleidsevaluatie: kaders, organisatie en professionalisering in Nederland, België en internationaal 313
10.1 Institutionalisering van beleidsevaluatie in Nederland 314
10.2 Institutionalisering van beleidsevaluatie in België (Vlaanderen) 333
10.3 De rol van internationale organisaties in het bevorderen van een evaluatiecultuur 341

11 Stappenplan Beleidsevaluatie: fasen, stappen en mijlpalen bij het programmeren, ontwerpen en uitvoeren van evaluatieonderzoek 347
11.1 Selectiefase: selecteren en programmeren van beleidsevaluatie 349
11.2 Voorbereidingsfase: duidelijkheid verkrijgen over de vraag ‘wat gaan we waarom, wanneer, hoe, met en bij wie en waar onderzoeken?’ 351
11.3 Uitvoeringsfase: het verzamelen, analyseren en interpreteren van gegevens en het formuleren van de conclusies en aanbevelingen 363
11.4 Rapporteringsfase 366
11.5 Nazorgfase 370

Literatuurtips, gebruikte literatuur en websites 375
Over de auteurs 395
Trefwoordenregister 397