In 2006 constateerden Jelte Wicherts, Dylan Molenaar,  Judith Kats, en ik dat slechts een kwart van de onderzoeksgegevens waarop psychologische artikelen berustten boven tafel te krijgen was. We opperden daarom dat het standaardpraktijk moest worden om relevante data met wetenschappelijke artikelen mee te publiceren. Daar werd boos op gereageerd. Die gegevens waren toch van de onderzoeker? En waarom moesten wij zo nodig andermans data bekijken? Vertrouwden we de zaak soms niet?

Nou, nee. Eigenlijk niet. Onder kantooruren wantrouw ik iedereen, inclusief mezelf.

Deze onprettige eigenschap heb ik te danken aan de Engelse geleerde Francis Bacon (1561-1626). Bacon onderkende als eerste dat structurele vertekeningen in waarneming en redeneervermogen de kennisverwerving in de weg zitten. De mens neemt orde en regelmaat waar die er niet is, ziet overal bevestiging voor zijn theorieën, en is buitengewoon behendig in het wegredeneren van informatie die zijn favoriete hypothese ontkracht. Met andere woorden: Homo Sapiens is blind, dom, en onbetrouwbaar.

De wetenschappelijke methode is een systematisch gevecht tegen dit menselijk tekort. Als de cliënt opknapt na psychotherapie, zal de therapeut te gemakkelijk concluderen dat “de behandeling aangeslagen is”, en daarom moet er een controlegroep bij. Als er iets onverwachts gebeurt hoor je meteen dat “dat geen toeval kan zijn”, en daarom is er statistiek nodig. Als de arts weet welke patiënten een pilletje kregen, zal zij juist bij die mensen verbetering waarnemen, en daarom hebben we dubbelblinde designs.

Maar ook mét methodologie ziet de mens kans zichzelf te belazeren. Al p­-hackend pikt hij de statistische krenten uit de pap, publiceert alleen studies die mooi uitkomen, en schermt onderzoeksgegevens af. Zo is de wetenschap in de afgelopen decennia systematisch ondermijnd. De mens misleidde zichzelf met dezelfde methodiek die hem tegen zichzelf beschermen moest. Niemand zag het, want er waren toch experimentele designs, manipulatiechecks, en statistische analyses? Dan zat het toch goed met de methodologie?

Niet dus. De fraude van Stapel en de paranormale onzin van Bem maakten pijnlijk duidelijk hoe gemakkelijk het systeem te bespelen was, hoe fragiel het vakgebied. Inmiddels blijken zoveel resultaten niet te repliceren, dat de lesboeken herschreven moeten worden.

Dat verbaast mij eigenlijk niets. Maar dat er spontaan een hele beweging zou ontstaan die zich inzet voor strengere methodologie, dát had ik niet verwacht. Nadat ik jarenlang aan een dood paard had staan sjorren, begon het tot mijn ontsteltenis uit zichzelf te rennen. De ene na de andere dataset werd geheranalyseerd, studie op studie gerepliceerd, de resultaten verschenen in Science. Plots was iedereen doordrongen van de ernst van de situatie: onderzoeksfinanciers begonnen onderzoekers te verplichten hun data beschikbaar te stellen, tijdschriften gingen openheid belonen met eervolle vermeldingen, er werden hele softwareomgevingen gebouwd om onderzoekers transparanter te laten werken.

Maar ik ben er niet gerust op. De opportunistische onderzoeker doet tegenwoordig replicatie-onderzoek. Met replicaties en Bayesiaanse statistiek kan de mens zichzelf echter net zo goed foppen als met datamassage en p-waarden, want hij is nog even blind, dom, en onbetrouwbaar. Bovendien: de systeemproblemen zijn niet weg, want met mooie resultaten krijg je nog altijd gemakkelijker een aanstelling – hooguit is de definitie van “mooi” veranderd.

Wantrouwen blijft noodzakelijk. Bacon verliest zijn relevantie nooit.