Paradoxen in de Wetenschap III

pa·ra·dox; de (m) – een schijnbare tegenstrijdigheid

De wetenschap stelt zich ten doel om door middel van een gecontroleerd proces de mensheid dichter naar de waarheid te bewegen. Gebruikmakend van toetsing en interpretatie worden observaties en resultaten omgezet in kennis die bijdraagt aan een beter begrip van de wereld om ons heen.

Dat is het verhaal, maar de wetenschappelijke werkelijkheid blijkt weerbarstiger dan wat de universiteit ons bijbrengt of wat de media rapporteert. De onderzoekspraktijk is gevuld met paradoxale fenomenen die een hevige impact kunnen hebben op de moraal  van de onderzoeker en het ‘wetenschappelijk’ handelen. In de serie ‘Paradoxen in de Wetenschap’ vandaag de stelling:

In deze aflevering gaan we dieper in op de vraag welk onderzoek eigenlijk de moeite waard is om uit te voeren en wanneer je moet stoppen met een project. Dit vloeit direct in het vervolg: welk onderzoek is de moeite waard om te rapporteren? Want er zijn onnodige en aanzienlijke gaten in onze wereldbibliotheek der wijsheid, ook al wordt het met de dag eenvoudiger om experimenten uit te voeren en nemen onze experimentele mogelijkheden en computerkracht alleen maar toe. Het publicatieproces is zwaar en kostbaar en de concurrentie is moordend, niet alleen voor wetenschappers maar ook voor de wetenschap zelf.

Ten eerste behandelen we enkele belangrijke theoretische barrières bij het interpreteren van resultaten en de opeenvolgende besluitvorming. Vervolgens kijken we nog iets verder in de praktijk, alwaar we een aanzienlijk aantal vreemde tegenstellingen tegenkomen die uitleggen waarom veel onderzoek nooit verder komt dan het bureau van de onderzoeker. Dit zogenaamde file drawer problem – de bureauladeproblematiek op zijn boeren-Hollands – is zo mogelijk een nog groter probleem dan de frauderende onderzoekers waar de media ons op trakteert. De druk op het publiceren van ‘succesvolle’ experimenten is huizenhoog maar de druk op het publiceren van ‘onsuccesvolle’ experimenten welhaast de inverse hiervan. Resultaat: een ontzettend scheve verhouding in de inhoud van verhalen: een publication bias.

Wie kan vertellen op welk moment Edison had moeten stoppen met het trachten een gloeilamp te maken en hoe vaak moet de vrouw van Einstein wel niet hebben gezegd: ‘Liefje, laat het nu gewoon gaan, het wordt niets meer vanavond...’

Een grote hindernis in het onderzoeksbedrijf is dat er werkelijk geen onfeilbare en solide wetenschappelijke methode bestaat om te bepalen hoe je moeilijke keuzes moet maken. Natuurlijk is het mogelijk om controles in te bouwen in experimenten en formules te toetsen in een digitale omgeving maar wat nu als er niet uitkomt wat je had verwacht, en ook niet het tegengestelde? Je kunt vrijwel onmogelijk aantonen dat je op een doodlopende weg zit in je onderzoek. Er is namelijk altijd een volgende mogelijkheid waarom je niet vindt wat je zoekt: de gevreesde third variable.

Het ergste is het dan ook wanneer anderen een effect wel in kaart kunnen brengen maar jij het niet kunt reproduceren, of wanneer je gewoon weet dat het er zou moeten zijn maar dat er een kleine onvoorziene doch cruciale parameter is die je over het hoofd gezien hebt. Het reproduceren van resultaten is überhaupt een angstaanjagend moeilijke opgave, maar bewijzen dat de andere club het bij het verkeerde eind had is minstens zo moeilijk. Er is dus geen manier om vast te stellen of je nu koppig bent of dat je terecht door aan het zetten bent. Wie kan vertellen op welk moment Edison had moeten stoppen met het trachten een gloeilamp te maken en hoe vaak moet de vrouw van Einstein wel niet hebben gezegd: ‘Liefje, laat het nu gewoon gaan, het wordt niets meer vanavond...’.

Resultaat van dit dilemma is dat er een sterke voorkeur ontstaat voor het soort onderzoek dat wetenschappers willen ondernemen. Experimenten die vaker lukken zijn gewoon populairder, en er valt altijd wel een vraag bij te bedenken. Proeven waaruit geen duidelijk effect naar voren komt laten onderzoekers links liggen onder het mom: niet gelukt. Dit terwijl een experiment dat geen effect laat zien ook gelukt is! Significante resultaten publiceren goed, maar ja, bij groepen die groot genoeg zijn, krijg je sowieso wel een keer een statistische significantie dus is het maar de vraag wat nu precies de relevantie is van het resultaat. Belangrijke vragen die lastig te onderzoeken zijn laat men links liggen – te weinig kans op succes.

Niet alleen zijn er hindernissen in het lab die het lastig of zelfs onmogelijk maken om je verhaal rond te breien, het veld werkt ook niet bepaald mee. De wetenschappelijke gemeenschap is een steeds competitievere wereld waarin tijd en geld een (over)heersende rol spelen. De dynamiek van het systeem leidt ertoe dat je als onderzoeker voor jouw experimenten vaak meer hebt aan een stageverslag van een student, dan aan een toppublicatie uit een gerenommeerd tijdschrift – een student rapporteert over het algemeen veel eerlijker over wat er werkelijk is ondernomen en onderzocht, best handig!

Publicaties zijn een product geworden, dat verhandeld kan worden op de markt.

Het is simpelweg niet rendabel om alles wat je vindt ook echt op te schrijven en er de boer mee op te gaan; de belangen zijn te groot. Publicaties zijn een product geworden, dat verhandeld kan worden op de markt. Op deze markt wordt schaarste kunstmatig gegenereerd. Niet de aanwas van artikelen maar de publicatieruimte in (online!) tijdschriften vormt de bottleneck – een gedateerd systeem waarin de grote uitgevers de markt nog immer beheersen. Bovendien, waar je als schrijver in de ‘normale’ wereld vaak betaald wordt door de uitgever voor je werk, moet je in de wetenschap juist zelf betalen om uitgegeven te worden, dit betreft  bedragen die de $2500 makkelijk voorbijgaan. ‘Onterecht!’ zeggen sommigen, maar toch houdt het monopolie van de machtige journals voorlopig stand.

Niet vreemd dus dat je als wetenschapper alleen maar moeite wil doen voor onderzoek dat iets groots en speciaals oplevert. Als het geld niet de beperkende rol was dan is het wel de enorme hoeveelheid kritiek en commentaar die je van je peer reviewers (vaak concurrenten) moet doorstaan voordat het verhaal in een tijdschrift mag staan. Deze kritiek is natuurlijk ingegeven door goed wetenschappelijk gebruik van peer review maar rancune en politieke beweegredenen vinden ook hun weg in dit proces. In dit ‘dubbelblinde’ proces weten andere onderzoekers namelijk prima te bedenken wie de schrijver is (bijvoorbeeld door naar de referenties te kijken) en kun je het publicatieproces van je tegenstander feilloos beïnvloeden.

Er is veel meer kennis in de wereld dan er wordt gerapporteerd en dat is jammer. Natuurlijk zijn er gegronde redenen om voorzichtigheid te betrachten bij het informeren van de wetenschappelijke gemeenschap en de rest van de wereld – heel veel zelfs. De marktwerking in de wetenschap werpt echter aanzienlijke drempels op voor de algemene voortgang. De kortzichtige nadruk op significantie vormt de strop voor de creativiteit; wat echt relevant is, dat is te veel werk om uit te zoeken.

Gerelateerde artikelen
Reacties
Nog geen reacties.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Naar boven