‘The great tragedy of science – the slaying of a beautiful hypothesis by an ugly fact.’ Zo karakteriseerde de bioloog Huxley in de 19e eeuw het hardvochtige karakter van wetenschappelijk onderzoek. Je hebt een schitterende theorie, vervolgens valt er een meting verkeerd uit, en hup daar gaat je prachtige theoretisch bouwwerk: het raam uit.

De filosoof Popper hing zijn hele filosofie aan dit romantische idee op: hij vond dat theorieën die niet weerlegd kunnen worden onwetenschappelijk zijn. (Het schijnt zelfs dat hij gezegd heeft dat ‘we should ring the bells of victory every time a theory is refuted’, maar ik denk dat hij toen een biertje teveel op had.) Ook wetenschappelijk onderzoekers, en zeker diegenen die er een bijbaantje als publicist op nahouden, spiegelen zich graag aan het beeld van de keiharde wetenschapper.

Zoals de meeste soepen wordt ook deze lauw geconsumeerd. Dat komt omdat het falsificatieprincipe strikt genomen een heel precies aantal theorieën voor de wetenschap kan behouden, namelijk nul, en dat is zelfs voor de echte wetenschapper een beetje weinig. Empirische data zijn tot vervelends toe ruizig, en houden zich altijd maar zo ongeveer aan de theorie, nooit helemaal precies. Daarop is het succesverhaal van de statistiek gebaseerd.

Dat je met statistiek alles kan bewijzen is overdreven, maar enige kneedbaarheid kan statistische modellen niet worden ontzegd. Daardoor is ook de statistiek niet in staat harde grenzen te definiëren waarbinnen resultaten nog in een theorie passen. Je kunt dat aanpakken door arbitraire significantiegrenzen als criterium voor waarheid te presenteren, maar daarmee fop je een denkend mens natuurlijk niet. Op een leest van willekeur kan de wetenschappelijke hardvochtigheid niet worden geschoeid.

Sommige wetenschapsfilosofen hebben de redenering daarom omgedraaid. Wetenschappelijke hardvochtigheid is niet de norm, maar de uitzondering. In de regel doen onderzoekers aan wat de filosoof Leplin ‘inference to the loveliest explanation’ noemt: je accepteert de theorie die je al met al het mooiste voorkomt. In de statistische praktijk betekent dat: kies van alle modellen de minst lelijke. Dat is dan ook het leidende principe van de literatuur over modelselectie.

Het minst lelijke model kan nog altijd behoorlijk onaanzienlijk zijn, en zo levert het modelselectieprobleem een heel nieuwe wetenschappelijke tragedie op: ‘the accomodation of a beautiful fact by an ugly theory’, om het in Huxley’s termen te zeggen. Er schuilt ironie in het feit, dat de meest rigoreuze methodologische benadering van het toetsingsprobleem het minst rigoreuze onderscheid tussen wetenschappelijk onderzoekers en gewone mensen oplevert.