De Wetenschapper is geen Wielrenner
Verschenen in Focus, Nieuws, Volkskrant
De fraude die vooraanstaand sociaal psycholoog Diederik Stapel pleegde heeft een golf van verontwaardiging losgemaakt, waarbij de emoties hoog oplopen. Toch moeten we niet vergeten dat er een effectief controlesysteem bestaat binnen de wetenschap, en dat dit soort zaken de uitzondering zijn. Verbeteren van de controle kan altijd, maar opnieuw uitvinden is niet nodig.
Besmet
Dat Stapel zijn publicaties moet inleveren, zijn baan verliest en in het publieke domein letterlijk aan de schandpaal genageld wordt is logisch en bovenal pijnlijk. Vooral voor alle mensen die al dan niet in professionele zin van hem afhankelijk waren: zijn directe familie, de leden van zijn vakgroep en zijn collega’s die te goeder trouw met hem samenwerkten. In dezelfde pijnlijke situatie zijn ook de vaktijdschriften van wie hij redacteur is geweest, de geldschieters die hem hebben ondersteund en de organizaties die zijn werk hebben bekroond terecht gekomen. Ook zij zijn letterlijk besmet door de fraude van Stapel.
Ondanks de fall-out van dit schandaal moeten we ons blijven realisteren dat de affaire Stapel een uitzondering is. Dat een Japanse kerncentrale in zeer serieuze problemen komt door een tsunami wil nog niet zeggen dat alle kerncentrales onveilig zijn. In extremere zin: dat je kunt worden platgereden betekent niet dat je nooit meer moet durven oversteken, ook al geven sommige media je soms dat idee.
Afgelopen vrijdag verscheen in Trouw een interview met de Groningse psycholoog Maarten Derksen en Zaterdag in de Volkskrant een stuk van Borsboom en collega’s. Alle auteurs zijn in hetzelfde vakgebied actief als Diederik Stapel. Ik lees dat de auteurs ernstig teleurgesteld zijn door de hele affaire en de schade die hun vakgebied erbij opliep. Dat gevoel herken ik: mijn vorige werkgever bleek ook op grote schaal fraude te hebben gepleegd en zelfs een fictief tijdschrift bij Elsevier te hebben betaald om medicijnen te pushen. Ondanks mijn ontgoocheling betekent dit niet dat alle pharma- en biotech bedrijven per definitie verdacht zijn.
Dat is echter wel de conclusie die ik in de stukken van Derksen en vooral Borsboom en zijn collega’s lees. Volgens hen doen universiteiten en subsidieverstrekkers te weinig om fraude te ontdekken, en volgens hen zijn ingrijpende maatregelen nodig om dit soort fraudeurs te dwarsbomen. Alle gegevens zouden op onafhankelijke servers moeten komen te staan en een toezichthouder zou de kwaliteit van het onderzoek moeten controleren.
Borsboom et al. hebben wel een punt dat het mooi zou zijn om onderzoeksgegevens op een neutrale plaats duurzaam ter archivering op te slaan, maar een toezichthouder in het leven roepen is gewoon niet mogelijk. Er wordt zoveel wetenschap bedreven dat alle resultaten te laten controleren een monnikenwerk is dat onnoemelijk veel geld gaat kosten.
Zelfreinigend
Het is bovendien helemaal niet nodig: fraude in de wetenschap komt bijna altijd uit. De wetenschappelijke gemeenschap heeft een groot zelfreinigend vermogen: publicaties worden gecontroleerd, vaak moeten er extra data worden aangeleverd en soms gaat iemand het experiment nadoen. Zeker bij nieuw en baanbrekend onderzoek met een hoge impact is de review zeer streng. De Koreaanse ontwikkelingsbioloog Woo-Suk Hwang was binnen enkele maanden ontmaskerd , de kankeronderzoeker Potti in een paar jaar, beiden veel sneller dan bijvoorbeeld de meeste belastingontduikers. Het spijtige is dat het net als in de echte wereld soms toch te lang duurt om te voorkomen dat de fraude zonder schade blijft: door de Wakefield affaire stierven mensen aan mazelen na valse claims dat BMR vaccins autisme veroorzaakte.
Daarbij komt dat bij ontmaskering van wetenschappelijke fraude de carriere in één klap over is: Karl-Theodor zu Guttenberg , Marc Hauser : wetenschappelijke fraudeurs zijn in één keer bijna voorgoed werkeloos. Dit is heel anders dan bij wielrenners die 2 jaar na een dopinggeval weer op de fiets zitten of bij bankiers die na schimmige credit default swaps rustig hun business kunnen voortzetten.
Ik concludeer kortom dat de auteurs in de Volkskrant niet hun best doen om de nuances in de wetenschap goed weer te geven of het probleem bij de oorzaken (‘publish or perish’, eenzijdigie anonieme peer review) te duiden, maar in plaats daarvan slechts aan symptoombestrijding willen doen.
Misschien liggen de nuances in de sociale psychologie anders maar vanuit de beta-wetenschap beschouwd is de affaire Stapel niet exemplarisch voor de gehele wetenschap en de internationaal geaccepteerde wetenschappelijke methodes. Het vragen om meer toezicht is een emotionele oproep: logisch, maar niet uitvoerbaar, en zeker niet nodig.
03.11.2011
22:17
De vraag is nu of Stapel de eerste wielrenner is die op grote schaal doping gebruikt heeft, of de eerste wielrenner die wordt gepakt voor dopinggebruik…. om maar even in jouw vergelijking te blijven.
31.10.2011
17:40
Los van de discussie over de omvang van wetenschappelijke fraude in het algemeen, is vandaag gebleken dat de affaire “Stapel” zelf wel een gigantisch groot was. Poeh. http://nos.nl/artikel/308864-fraude-hoogleraar-stapel-verbijsterend.html.
18.09.2011
13:19
Borsboom et al. ‘ rebuttelen’ al op dezelfde dag: http://bit.ly/qV3Ywc
Ik zie gelukkig iig al ietsje meer nuancering in hun stuk
” Ons betoog is dat iedereen, ongeacht hun inschatting over de frequentie van fraude, maatregelen zou moeten willen nemen om fraude moeilijker te maken ”
Voorts wordt mij wel duidelijk dat er misschien wel grote verschillen tussen de beta wetenschappen zitten en andere takken van sport, zoals die van Rolf. Lastig.
16.09.2011
13:44
Heel goed stuk! Belangrijk ook.
16.09.2011
11:55
Beste Mark,
Bedankt voor je heldere stuk. Wat ik in de discussie vooral merk is dat natuurwetenschappers hier inderdaad optimistischer in zijn dan sociale wetenschappers (zoals ik). Ik vind over het algemeen de houding van de natuurwetenschappers in deze te naïef maar misschien komt het ook door mijn eigen disciplinaire achtergrond.
Ten eerste is er veel tijd, geld, en energie verspild aan nutteloos onderzoek voordat fraude uitkomt, ook in de natuurwetenschappen. In het ergste geval kost het zelfs mensenlevens, zoals in de Wakefield affaire. ‘Spijtig’ vind ik daarvoor nogal een eufemisme.
Ten tweede komt fraude tegenwoordig met name uit omdat andere onderzoekers op een resultaat willen voortbouwen en er achter komen dat het niet werkt. Reproductie om de reproductie vindt bijna niet meer plaats. Dit is m.i. wel degelijk een gevolg van publicatiedruk: je gaat geen onderzoek doen dat al is gepubliceerd want je had die tijd ook in een Science-waardig onderzoek kunnen steken.
Ten derde is het gemis aan een dergelijke check sterker in de sociale wetenschappen dan in de natuurwetenschappen. Als jij aantoont dat eiwit x de reproductie van virus y tegenhoudt, dan kunnen anderen daarop voortbouwen door bijvoorbeeld een medicijn te ontwikkelen op basis van x. In de economie (mijn vakgebied) kom je in empirisch onderzoek meestal niet verder dan te zeggen dat mensen over het algemeen (met een statistische significantie van zeg 2%) eerder a kiezen dan b als je ze eerst c hebt laten zien. Dat is een resultaat dat je kan toepassen in, zeg, een marktonderzoek, maar als het in je marktonderzoek niet werkt betekent dat nog niet dat het oorspronkelijke onderzoek niet klopte. Het effect is van te veel variabelen afhankelijk die je niet kan beheersen. Er zijn wel labexperimenten in de economie, maar ook daar valt veel op aan te merken.
Ten vierde wil ik er op blijven hameren dat fraude niet alleen het verzinnen van data is. Het is ook het weglaten van observaties, het verzwijgen van tekortkomingen in je opzet, het gebruiken van andermans ideeën zonder de juiste referenties, het opnemen van co-auteurs vanwege hun reputatie (en niet omdat ze iets aan het onderzoek hebben bijgedragen), het presenteren van je beste resultaten als ‘typical’, ga zo maar door. Data verzinnen is het ergste wat je kan doen, maar er bestaan een hoop andere onethische praktijken die moeilijker te detecteren zijn en die ook zorgen voor een zekere verstoring van de literatuur.
En dan heb ik het nog niet over het feit dat je alleen de fraudegevallen weet die zijn uitgekomen. Hoe kun je ooit weten wat er niet is uitgekomen?
16.09.2011
11:51
Mooi stuk, Mark. Helemaal mee eens.