M&M

De Nederlandse wetenschap kreeg er flink van langs in 2013. En dus moet het anders, beter, zuiverder in 2014. Onder andere door ‘het publiek te laten zien hoe wetenschap écht werkt’, aldus Science in Transition, de beweging op ramkoers onder leiding van decaan Frank Miedema van de Universiteit Utrecht. Dat is een mooie missie, die prima past in het business plan voor het bedrijf Wetenschap. Maar hóe het echt werkt, wordt duidelijk uit het belang dat wetenschappers hechten aan de werkwijze en protocollen die ze hanteren. Wat zou er gebeuren als iedere promovendus, postdoc en professor eens écht kritisch zou kijken naar de ‘Materiaal en Methoden’-sectie van wetenschappelijke artikelen?

 

Scène: een bijeenkomst van onze onderzoeksgroep. In iets meer dan 10 minuten fileerde collega Sara een artikel over autisme. En daarmee ook de experts die het tijdens de ‘peer review’ op wetenschappelijke waarde hadden beoordeeld. ‘Onze methode voorspelt met 70% nauwkeurigheid of iemand autisme krijgt’, stond er in het betreffende artikel. “Dan moeten er bij de reviewer toch bellen gaan rinkelen?”, siste Sara. Iedereen weet immers dat de biologie van autisme grotendeels onbegrepen is, en daarmee onmogelijk te voorspellen. Dat bleek ook, toen ze de gebruikte ‘Materiaal en Methoden’ eens kritisch bekeek. De auteurs hadden geen rekening gehouden met het zogenaamde ‘populatie-effect’; het feit dat bepaalde genetische varianten in de ene bevolkingsgroep meer voorkomen dan andere. De gevonden ‘voorspelling’ bleek vooral voor afkomst te zijn, niet voor autisme. Conclusie: het betreffende artikel had nooit gepubliceerd mogen worden.

 

De boodschap: als je kritisch bent op de experimentele studie-opzet, zowel als wetenschapper en als reviewer, kun je veel ellende voorkomen. Helaas zijn de ‘Materiaal en Methoden’-secties niet meer wat ze ooit waren: het hart van een goed wetenschappelijk artikel. Tegenwoordig staan ze vaak helemaal onderaan de publicatie – in puntgrootte 8 – en beslaan ze slechts enkele regels met globale omschrijvingen. Voetnoten, dus. Uitgebreidere beschrijvingen zijn wel te vinden op de tijdschrift-website, maar de toegevoegde waarde daarvan is minimaal. “Seriously,” vraagt Sara zich hardop af, “wie léést die nou?”

 

Ook de Amerikaanse geneticus, antropoloog en blogger Jennifer Raff vindt dat wetenschappers die publicaties van collega’s beoordelen (peer review), scherper moeten zijn op de gevolgde werkwijze. In een recente post over hoe een jonge wetenschapper goed kan worden in peer review schrijft ze: ‘Als je er niet zeker van bent dat je in staat bent om te beoordelen of de experimenten goed zijn uitgevoerd, wees dan eerlijk tegen de editor en vraag deze een extra expert aan te wijzen om dat deel van het manuscript te beoordelen.’ Maar ja, wie dóet dat nou?

 

Niemand leest en niemand vraagt, als het op ‘Materiaal en Methoden’ aankomt. Hoe dat komt? Niemand weet het precies, maar het zal ongetwijfeld iets te maken hebben de focus op hoge citatie-indexen en verkoopcijfers van de wetenschappelijke tijdschriften. Wetenschappers verwijzen niet naar artikelen van collega’s omdat de ‘Materiaal en Methoden’-sectie zo goed in elkaar steekt, maar vanwege spectaculaire resultaten en conclusies. En het aantal verwijzingen; dát is belangrijk voor de individuele wetenschappers. En voor de tijdschriften. Als de methode die je gebruikt dus niet radicaal nieuw en revolutionair is, kijk je als wetenschapper wel uit om veel tijd aan ‘Materiaal en Methoden’ te besteden.

 

En toch is het cruciaal voor zuivere wetenschap. Hoe dus te zorgen voor een kritische evaluatie van de experimentele opzet? ‘De goede experts aanwijzen’ en ‘experts specifiek aanstellen en betalen voor review-werk’ waren enkele suggesties tijdens de bijeenkomst. Volgens Sara moeten wetenschappers bij hun eigen resultaten beginnen. “Eigenlijk moet je er alles aan doen om je eigen resultaten te ondergraven,” stelt ze voor. “Als ze dan nog overeind blijven, zit je goed.” Dat lijkt me een goed begin. Ook voor hoogleraar Miedema. En dan laten we het publiek vervolgens zien wat dat oplevert.