Nierop en Wielaard leerden elkaar kennen bij het blad Accountant, waarvan Nierop jarenlang hoofdredacteur en Wielaard freelance-medewerker was. In 2007 begonnen ze daar een column genaamd Spookcijfers. ‘Aanvankelijk ging het ons vooral om het verzamelen van leuke voorbeelden. Die kom je in ons boek nog steeds tegen, maar in ons boek laten we ook zien dat slordig en onjuist gebruik van cijfers ernstige gevolgen kan hebben,’ aldus Nierop.
Alcoholmetaforen
De twee gebruiken daarvoor mooie alcoholmetaforen. Zo beginnen ze hun boek met het alarmerende bedrag van 2,6 miljard euro dat staatssecretaris Paul Blokhuis in 2018 noemde als de maatschappelijke kosten van de jaarlijks gederfde arbeidsuren doordat mensen te diep in het glaasje hebben gekeken. Bij dit ‘onderzoek’ is op wonderbaarlijke wijze met cijfers gegoocheld. Zo werd het aantal arbeidsdagen dat gemist wordt omdat mensen zich vanwege een kater ziek melden gebaseerd op een peiling uit 2004 onder Schotse werkzoekenden. Voor cijfers van medewerkers die door een kater op hun werk geen klap uitvoeren werd geput uit een Australisch onderzoek uit 2001. Kortom, met de actuele Nederlandse situatie had die 2,6 miljard euro van Blokhuis niets te maken.
Net als wat postbus 51 spotjes over drank beweren, zo zeggen Nierop en Wielaard dat spookcijfers meer kapot maken dan ons lief is. Direct aanwijsbare schade willen en kunnen ze niet noemen, laat staan dat ze die zouden willen berekenen. ‘Zo aanmatigend zijn wij niet,’ aldus Wielaard. ‘Maar het is onmiskenbaar dat discussies rare wendingen krijgen wanneer ze worden gevoerd op basis van krakkemikkige cijfers.’
Heilig verklaard
Een actueel voorbeeld vormen de berekeningen van het Kabinet-Rutte van wat gezinnen kwijt zouden zijn aan hun energierekening. Medio februari bleek dat die waren gebaseerd op verouderde cijfers van het Planbureau voor de Leefomgeving (PBL). Nierop: ‘Die fout is aanvankelijk waarschijnlijk onbedoeld gemaakt. Tegelijk laat dit voorbeeld zien welk belang er voor beleid aan cijfers wordt gehecht, vaak ook als rationalisering achteraf. De berekeningen van de energiekosten waren zo ongeveer heilig voor het kabinetsbeleid. Minister en staatssecretaris wisten al langer dat ze niet klopten, en daarmee worden het spookcijfers. Maar zij hebben ze pas gecorrigeerd toen anderen de fout ontdekten. Het is illustratief dat wanneer er fouten worden ontdekt, die altijd in het voordeel blijken te zijn geweest van degene die iets probeert te bewijzen. Hetzelfde geldt voor de fouten in de berekeningen van de geluidshinder van Schiphol. Nooit ondergraven spookcijfers het eigen belang.’
Wielaard: ‘Wij hebben niet de illusie dat wij de oplossing voor spookcijfers hebben. We willen vooral laten zien waar de pijn zit, een steen in de vijver gooien en lezers handvatten geven om kritisch te kijken naar de douche van cijfers die er tegenwoordig over hen wordt uitgestort.’
Nagaan wie, wanneer en waarom een onderzoek heeft laten doen, is een belangrijk wapen in de strijd tegen spookcijfers. Zo overdrijven vrijwel alle sectoren wanneer het gaat om de berekening van hun bijdrage aan de economie. Het Verbond van Verzekeraars beweerde in radiospotjes bijvoorbeeld doodleuk dat verzekeringsmaatschappijen de nationale economie met 250 miljard stimuleren, omdat zij zestig cent van elke door hen beheerde euro in Nederland investeren. Ronduit misleidend, menen Nierop en Wielaard. Want het gaat om 250 miljard aan beleggingen (een voorraadgrootheid) en dat is iets heel anders dan investeringen (een stroomgrootheid) en dus is uit macro-economisch oogpunt de verzekeringsbranche veel minder belangrijk dan het Verbond in zijn imago-campagne beweert.
Alarmerend
Veelal gaan er grote commerciële belangen schuil achter cijfers die met veel bombarie worden gepresenteerd. Zo meldde de Volkskrant een aantal jaren geleden dat het aantal Europeanen met een psychische stoornis was gestegen van 27,4 procent in 2005 tot liefst 38,2 procent in 2011. Het bericht over deze explosieve groei kwam uit de koker het European College of Neuropsychopharmacology (ECN). Dit college vond het – uiteraard – uiterst alarmerend dat liefst driekwart van deze patiënten niet werd behandeld. Niet alleen de bron was verdacht, ook het groeicijfer zelf. Want anders dan in 2005 rekende het ECN in 2011 ook ADHD, dementie, alcoholgebruik, gedragsstoornissen en zelfs slapeloosheid tot de psychische stoornissen.
‘Als je maar genoeg meetelt, krijg je vanzelf imposante cijfers,’ aldus Nierop en Wielaard. ‘Ergheidsbetogen’ noemen zij dit soort onderzoeken met indrukwekkende cijfers waarmee sectoren of bedrijven om aandacht én geld vragen. In hun boek geven ze daarvan een groot aantal voorbeelden. Het is, zoals gezegd, het soort spookcijfers dat waarschijnlijk het gemakkelijkst is op te sporen. Wanneer Platform Wiskunde Nederland de alarmklok luidt over het teruglopende aantal afgestudeerden aan bètafaculteiten, beweert het in een persbericht: ‘Wiskunde verdient jaarlijks 160 miljard voor Nederland BV.’ Dat komt overeen met dertig procent van het bruto nationaal product (bnp). In een toelichting wordt dit cijfer genuanceerd. Want zou het belang van allerlei vaardigheden voor het bnp op dezelfde wijze worden becijferd, dan zou het bnp ver boven de honderd procent uit komen. ‘In feite zegt het onderzoek weinig meer dan dat een beetje kunnen rekenen in veel banen best handig is,’ aldus de auteurs.
Tegelijk constateren zij dat rekenen in het werk en in het dagelijks leven grotendeels is geautomatiseerd en aan apparaten wordt uitbesteed. Dat zou een van de redenen kunnen zijn dat spookcijfers zo vaak voor zoete koek worden geslikt. Anderzijds werkt het machinematig rekenen en zoeken naar verbanden, data-analyse, de productie van spookcijfers in de hand. Wielaard: ‘In veel bedrijven heb je aparte afdelingen voor data-analyse. Wanneer die analyse gebeurt zonder kennis van de context, kun je de grootst mogelijke onzin krijgen. Er bestaat dikwijls een correlatie tussen twee fenomenen zonder dat er oorzakelijk verband is, maar je kunt niet zomaar conclusies trekken uit een correlatie.’
Penislengte
In Spookcijfers staat een kostelijk voorbeeld van zo’n – opzettelijk – onjuist uitgevoerde data-analyse. De Finse onderzoeker Tatu Westling ging na of de penislengte van invloed is op het inkomen per hoofd van de bevolking. Hij beschikte over een enorme berg data en analyseerde die voor de periode 1960-1985. Zo kwam hij tot de ontdekking dat er een negatieve samenhang bestaat tussen de omvang van het mannelijk geslacht en economische groei. Hoe groter de piemels in een land, des te lager de groei. Zijn onderzoek was een grap én tegelijk een uiterst serieuze waarschuwing. ‘Ook al deugen de economische onderzoeksmodellen en zijn de conclusies over de puur statistische samenhang terecht, dan moet je toch nog steeds op je gezonde verstand vertrouwen,’ aldus de auteurs.
Wanneer cijfers slechts een deel van de werkelijkheid in kaart brengen en gedrag op ongewenste wijze sturen, bieden ze eveneens schijnzekerheid. Gaming the system, noemen Nierop en Wielaard dat en vertellen over een hondenuitlaatservice in San Francisco. De mensen die met die met de honden uit wandelen gaan laten niet alleen die honden uit, maar ook smartphones. Daarmee tellen zij stappen voor de eigenaren van de smartphones, die zo hun zorgverzekeraars een veel te gunstig beeld van hun bewegingspatroon geven.
Wie de blunders en de pogingen tot overdrijving en misleiding in Spookcijfers op een rijtje ziet, vraagt zich af of er ooit op onverwachte wijze een einde komt aan de huidige cijferdrift. Want als er zoveel mallotige of onjuiste cijfers worden gepresenteerd, gelooft niemand ze toch? Zal de wal het schip keren en wordt er onderkend dat er grenzen zijn aan de meetbaarheid van relevante ontwikkelingen?
In dat opzicht is het volgens Wielaard opmerkelijk wat er bij Amazon gebeurt. ‘Wanneer het gaat om het gebruik van algoritmes, is Amazon een bedrijf uit de voorhoede, een uitgesproken data-gedreven organisatie. Toch wil oprichter en topman Jeff Bezos van zijn managers een verhaal horen wanneer zij met een voorstel komen. Dat verhaal moet op een A4-tje passen en zodanig worden gepresenteerd dat iedereen het kan begrijpen. Want Bezos heeft in de loop der jaren ontdekt dat wanneer verhalen en data elkaar tegenspreken, het verhaal doorgaans klopt en de cijfers onjuist zijn. In elk geval is er dan volgens hem iets mis met de manier waarop je ze hebt gemeten.’
Dit alles betekent volgens Nierop en Wielaard niet dat cijfers minder belangrijk worden zullen worden. ‘Cijfers zijn onmisbaar en vormen de brandstof voor een feitelijke discussie. Ze geven grip op de wereld en het leven,’ aldus Nierop. ‘Meten is weten,’ zegt Wielaard. ‘Maar goed meten is zweten.’
Heel treffend parafraseren de auteurs openingszin over gelukkige en ongelukkige gezinnen van Tolstojs roman Anna Karenina en schrijven: ‘Alle juiste cijfers zijn juist op dezelfde wijze, maar onjuiste cijfers zijn dat allemaal op hun eigen manier.’ Die veelheid aan fouten en kronkels maakt het herkennen van spookcijfers extra lastig. Gezond verstand en kritische zin helpen daarbij, net als de – soms – hilarische voorbeelden uit Spookcijfers.
Over Annegreet van Bergen
Annegreet van Bergen is econoom, auteur van de bestseller Gouden jaren en journalist.
