Het ligt eigenlijk in de aard van de wetenschap dat iedere onderzoeker zelfstandig en op rationele gronden beslist hoe hij of zij haar onderzoek opzet en indeelt. Maar in de praktijk betekent het afwijken van conventies, hoe onzinnig die ook zijn, al snel het doodvonnis voor een onderzoeksproject. Wordt er iets aan autisme onderzocht, dan moeten de gevolgde autisten via de gebruikelijke DSM-richtlijnen gediagnostiseerd worden; gaat het om persoonlijkheid, dan kom je niet ver zonder de Grote Vijf; en als je wilt publiceren dan moet je verplicht het significantiedansje doen – p-waardes boven de .05 betekenen in psychologenland niets, hoe zorgvuldig het onderzoek ook is uitgevoerd.

Natuurlijk heeft ieder wetenschapsgebied een bepaalde verzameling conventies, en dat moet ook. Meeteenheden en –procedures moeten zoveel mogelijk gestandaardiseerd zijn, want anders zijn onderzoeksresultaten onvergelijkbaar, en daar krijg je ellende van. In 1999 crashte bijvoorbeeld een marslander van de NASA, omdat één ingenieursteam bij de ontwikkeling van het apparaat in centimeters had gerekend en een ander team in inches. Zo zou je kunnen volhouden dat een IQ-test als de WAIS, of een persoonlijkheidsvragenlijst als de NEO-PI, net zoiets is als een fysische schaal, en dat er dus in wezen geen verschil is tussen diagnostische procedures in de psychologie en afstandsbepalingen in de natuurkunde. We doen, net als de natuurkundigen, gewoon allemaal hetzelfde. Zodat onze psychologische marslanders niet neerstorten.

Dat is echter naïef. In de psychologie zijn meetprocedures vaak slechts zijdelings het resultaat van inhoudelijke overwegingen. Een minstens even grote rol wordt gespeeld door dubieuze statistische en methodologische conventies; p-waardes moeten kleiner zijn dan .05, Cronbach’s alpha groter dan .8, en bij een principale componentenanalyse moet er een knikje in de zogenaamde scree-plot te bekennen zijn. Psychologen hoeven daarbij niet uit leggen waarom die waarden voor hun specifieke onderzoek nou belangrijk zijn, of waarom de gevolgde methoden überhaupt zinnig zijn gegeven de inhoudelijke vraagstelling. Methodologische conventies zijn als religieuze geboden; zij worden niet getoetst aan hun inhoudelijke toepasbaarheid, maar dogmatisch nagevolgd.

In de psychologie zijn methodologische afspraken zodoende van onschadelijk coventionalisme verworden tot een verstikkend conformisme. Dat komt trouwens deels door methodologen zelf, die allerlei moeilijk te uniformeren inhoudelijke overwegingen geëlimineerd hebben ten gunste van one-size-fits-all procedures. Ik vind daarom eigenlijk dat de methodologie en psychometrie weer teruggeven moeten worden aan de psychologen. Maar dat is moeilijk. Want hoe geef je een kadootje aan iemand die dat niet wil hebben?