Wetenschap is een competitieve bezigheid. Dit volgt niet uit het doel, maar uit ego en financiering. Hoewel waarheidsvinding het doel is, wordt voor het toekennen van onderzoeksgeld (en daarmee het salaris van de onderzoeker) gekeken naar zijn of haar wetenschappelijke prestaties. Dit wordt bepaald aan de hand van het aantal (top)publicaties. Als gevolg hiervan staat er een druk op wetenschappers om veel en impactvol te publiceren. De extreme gevolgen hiervan zijn recent te zien geweest in zaken van wetenschappelijke fraude, maar ook wetenschappers die oprecht de waarheid zoeken worden hierdoor potentieel beïnvloed. In dit stuk zal ik ingaan op een fenomeen dat dit probleem verergert: de bemoeilijking van het aantonen van afwezigheid.

Een belangrijke vertekening in de wetenschap komt door de methode van statistisch toetsen die bekend staat als 'klassieke' of 'frequentistische' statistiek. Het succes van een onderzoek staat of valt namelijk met de statistische significantie van het gevonden effect. Deze significantie zegt niets over de grootte, maar enkel iets over de betrouwbaarheid van een bevinding. In de meeste vakgebieden wordt een effect significant bevonden, wanneer de kans dat het effect op toeval berust (gemeten wordt terwijl het niet bestaat) 5% of kleiner is. Is dat zo, dan wordt de nulhypothese (A en B zijn gelijk) verworpen (conclusie: A verschilt van B). Zo niet, dan wordt de nulhypothese niet verworpen (conclusie: A verschilt niet aantoonbaar van B). Wat ontbreekt is de mogelijkheid om aan te tonen dat A en B aan elkaar gelijk zijn, oftewel dat een effect niet bestaat.

Wat we nodig hebben is de wetenschap van het afwezige.

Een ander belangrijk gevolg is dat onderzoek zonder significant effect meestal niet gepubliceerd wordt (dit is nadelig voor de onderzoeker, en het leidt tot het zogeheten 'bureaulade probleem', zie stuk Sicco de Knecht). Een alternatief is dat het onderzoek wordt aangepast totdat er wel een significant effect is. De manier waarop dit gebeurt kan variëren van het vrij onschuldige 'meer data verzamelen' of 'uitbijters verwijderen' (wat beiden alleen helpt als het onderliggende effect echt bestaat), tot het frauduleuze 'data masseren' of 'aanpassen van de hypothese'.

Een fictief voorbeeld: sportpsychologen onderzoeken de samenhang tussen sportpatroon en gewichtsontwikkeling. Ze vinden onverwacht geen significante correlatie. Omdat ze veel data hebben verzameld, kijken ze ook maar naar correlaties tussen sportpatroon en vijf persoonlijkheidskenmerken, inkomen, en leeftijd. Er blijkt een bijna significante correlatie te zijn tussen sportpatroon en inkomen, die significant wordt als de vrouwelijke deelnemers buiten beschouwing worden gelaten. De onderzoekers zoeken naar literatuur over geslachtseffecten in de sport, en vormen achteraf een "hypothese" die zogenaamd in het onderzoek getest werd. Door het grote aantal analyses is de kans dat een gevonden effect op toeval berust geen 5% meer, maar ongeveer 50% geworden. Dit soort exploratief onderzoek is een prima manier om ideeën te krijgen voor toekomstige onderzoeksvragen, maar het stelt de onderzoekers niet in staat om een geldige conclusie te trekken.

Als wetenschappers enerzijds de nulhypothese niet kunnen bevestigen, en anderzijds niet-significante effecten niet kunnen publiceren, ontstaat er zowel een gat als een bias in de literatuur (voor uitleg: zie Sicco's stuk). In de zoektocht naar de juiste verklaring is het uitsluiten van onjuiste verklaringen ook een belangrijk proces. Daarom is het van groot belang om ook dat onderzoek te publiceren waarin effecten niet worden aangetoond. Om deze studies informatief te maken is het zaak niet alleen aan te tonen dat een effect niet significant aanwezig is, maar ook aan te geven hoe sterk het bewijs is dat het effect gewoon niet bestaat. Wat we nodig hebben is de wetenschap van het afwezige.

Wat ontbreekt is de mogelijkheid om aan te tonen dat A en B aan elkaar gelijk zijn, oftewel dat een effect niet bestaat.

Hoe laten we dan zien dat een effect er niet is? Oftewel: hoe bewijzen we een nul-effect? Hiervoor zijn alternatieve statistische methoden ontwikkeld, die helaas nog zeer weinig worden gebruikt in de wetenschap. Deze methoden maken veelal gebruik van Bayesiaanse statistiek. Zonder op de wiskunde in te gaan komt dit neer op het volgende: als je weet wat de kans is op observatie A bij de aanwezigheid van effect B, en weet wat de kans is op observatie A bij de afwezigheid van effect B, dan kun je uitrekenen wat de kans is op effect B als je A niet observeert, en dus ook de kans dat effect B er niet is als je A niet observeert. Door de juiste toepassing van deze rekenregels is het mogelijk om aan te tonen hoe sterk het bewijs is dat twee reeksen van metingen aan elkaar gelijk zijn. Dit is niet alleen nuttig wanneer een effect onverwacht niet wordt gevonden, maar ook wanneer onderzoekers juist als hypothese hebben dat twee condities aan elkaar gelijk zijn.

Hierboven hebben we gezien hoe niet-significante resultaten kunnen leiden tot geen, of tot onjuiste publicaties. In mijn eigen onderzoek heb ik recent gekozen voor de derde weg: het publiceren van de afwezigheid van een verschil. Het was een langdurig en prijzig project, en er lag druk om een effect te vinden. Het was gemakkelijk geweest om ergens in onze grote verzameling hersen-, gedrags- en persoonlijkheidsdata een significant effect te vinden, en vervolgens ons verhaal daaromheen te draaien. Een dergelijk artikel had een indrukwekkender publicatie opgeleverd en was carrièretechnisch gunstiger geweest. In plaats daarvan hebben we met Bayesiaanse statistiek laten zien dat er geen effect is: de integere uitkomst van het onderzoek. Ik wil er voor pleiten dat meer onderzoekers deze route kiezen, en hun resultaat ook publiceren wanneer het hun hypothese tegenspreekt, en aantoont dat er geen effect is.

Pas als de wetenschap de waarde van het nuleffect in gaat zien wordt de geloofwaardigheid van de gevonden resultaten groter.