Peer-review versus de idealistische wetenschapper
Verschenen in Columns en Opinie
6 reacties
In april verscheen in het wetenschappelijke tijdschrift Nature een commentaar van de Nederlandse moleculair bioloog Hidde Ploegh, die werkt op het prestigieuze MIT-instituut in Boston. Deze gerenommeerde wetenschapper, die heeft gepubliceerd in de allerbeste tijdschriften, veegde de vloer aan met het huidige algemeen gebruikte systeem van het publiceren van onderzoeksresultaten: peer-review.
Voor de niet-wetenschappers onder de lezers een uitleg over dit systeem (zie ook eerdere artikelen op Sciencepalooza van Pleuni en Tim). Als onderzoeker heb je een idee, je bedenkt slimme experimenten om je hypothese te testen, en na jaren zweten in het lab, door databases graven of patiëntengegevens bekijken heb je genoeg gegevens verzameld. Je schrijft een mooi artikel en stuurt dit op naar een tijdschrift dat past bij jouw vakgebied, maar kijkt ook naar de kwaliteit. Wetenschappelijke tijdschriften worden geclassificeerd aan de hand van impact factors: hoe vaak artikelen uit zo’n tijdschrift geciteerd worden. Overtuigd als je bent van je mooie verhaal kies je een tijdschrift met een hoge impact factor.
Bij dit tijdschrift leest een editor het artikel door (nou ja, de samenvatting) en besluit of het interessant genoeg is. Zo niet, dan krijg je onmiddellijk bericht terug: rejected! Maar ach, je had wat hoog gegokt, dus je stuurt je artikel naar een ander tijdschrift met een iets lagere impact factor. Daar vindt de editor het wel interessant en die stuurt je artikel door naar een paar wetenschappers (de reviewers) uit (ongeveer) hetzelfde vakgebied die je artikel kritisch lezen, kijken of er geen fouten in zitten en die suggesties kunnen doen om het beter te maken (revisions). Vervolgens rapporteren zij aan de editor, die een besluit maakt: accept, reject of accept with revisions. Dit proces heet peer-review, en zo uitgelegd klinkt het als een goed systeem, maar er zitten nogal wat haken en ogen aan.
Want een reviewer heeft altijd commentaar en stelt altijd extra experimenten voor die gedaan moeten worden om het artikel te kunnen publiceren. En dit is wat Hidde Ploegh hekelt – volgens hem zijn de review-commentaren lang niet altijd relevant, kosten ze de onderzoeker veel tijd en geld en levert het de wetenschap niet eens echt wat op. Maar ja, als je het niet doet, komt je artikel zeker niet in dat tijdschrift… dus schoorvoetend begeef je je weer naar het lab, werk je maanden aan de gesuggereerde experimenten en stuur je de gereviseerde versie op. Met de hoop dat het nu wel goed genoeg is, want zeker is dit niet: soms worden in de volgende ronde wéér experimenten voorgesteld. Dit proces kan zo een jaar duren – en nog steeds is er een kans dat je artikel wordt afgewezen.
De idealistische wetenschapper
Zijn “we” (als wetenschappers) hier niet een beetje afgeweken van het originele doel van de wetenschap? Wilden we niet graag weten hoe iets werkt? Iets uitvinden, iets ontdekken, iets uitzoeken? Dat was gelukt – maar om het zo hoog mogelijk te kunnen publiceren dansen we naar de pijpen van de reviewers en de editors, en besteden we onze kostbare tijd en geld (van overheidsinstanties en goede-doelenfondsen) aan nutteloze experimenten. Moeten we niet terug naar de basis; vanuit nieuwsgierigheid gedreven iets uitzoeken en dat delen met vakgenoten? In plaats van iets nieuws zo lang mogelijk geheim houden om te voorkomen dat anderen er met dat idee vandoor gaan? Hierdoor creeëren we de mogelijkheid dat meerdere mensen hetzelfde werk doen terwijl er maar één de publicatie in het toptijdschrift kan krijgen. De snelste wint, maar of dit altijd de beste is, valt te betwijfelen.
Herzie het systeem!
Volgens Hidde Ploegh zouden reviewers bij het voorstellen van experimenten ook moeten kijken naar de kosten die hieraan verbonden zijn en naar de relevantie van de experimenten voor de vergroting van de algemene kennis. De afgelopen jaren verschijnen er tijdschriften, zoals PLoS Currents, waarbij het review-systeem anders is: in principe kan alles gepubliceerd worden, zolang de experimenten maar goed gedaan zijn. Suggesties van de reviewers kún je uitvoeren als je dit wilt, en daarmee later je artikel updaten. Deze PLoS Currents, waarvan er nu vier bestaan, zijn een eerste indicatie dat het ook anders kan.
Zou dit het begin zijn van een nieuwe manier van publiceren, waarbij het delen van gegevens met elkaar, en het vergroten van de kennis over een onderwerp, belangrijker is dan de impact factor? Zo zou het, volgens mijn idealistische idee van de wetenschap, eigenlijk moeten zijn…
Schrijf een reactie
Terry Vrijenhoek en Barbara Vreede
Favoriete stukken
23.06.2011
18:14
Waarom wil je graag in vooraanstaande tijdschriften staan? Omdat je bij het zoeken van een nieuwe baan of het aanvragen van een grant beoordeeld wordt op je publicaties en hoe vaak die geciteerd worden. Er is dus een grote prikkel om maar zo veel mogelijk te publiceren, en ook een prikkel om elkaar zoveel mogelijk te citeren.
De (mijns inziens) te grote invloed van tijdschriften moet dus in de eerste plaats aangepakt worden door de geldschieters. Wat al een goed alternatief zou zijn: stuur bij je sollicitatie je beste 5 artikelen mee, en die kunnen dan op inhoud i.p.v. metagetalletjes beoordeeld worden. Gelukkig gebeurd dit al hier en daar.
Gerelateerd: als in de VS je onderzoek door NIH betaald wordt, eisen ze dat je resulaten/artikelen openlijk toegankelijk zijn:
http://publicaccess.nih.gov/
En zie ook deze reeks blogs over peer review:
http://backreaction.blogspot.com/search/label/Peer%20Review
23.06.2011
00:33
” @patrickS onderstreept echter nog eens dat dit systeem enigszins de verkeerde kant aan het opschieten is.”
Dat is een understatement. Als je even wat afstand zou (kunnen) nemen en uit het academische keurslijf zou kunnen treden, de jarenlange inteelt achter je latend, dan zou je zien dat wetenschap in grote mate wordt beheerst door de belangen van de industrie. Ofwel: winst en aandeelhouderswaarde. Het is een selecterend ecosysteem waarin uiteindelijk een bepaald soort wetenschapper boven komt drijven. Peer-review is een van de selectiemechanismen. Fondsentoewijzing een ander. De extreem specialistische en bekrompen opleidingen ook.
20.06.2011
14:07
@patrickD: inderdaad is het impact-factor systeem een soort kwaliteitsmeter voor wetenschappelijk onderzoek. Hoe moet je anders kiezen aan wie je die miljoenensubsidie geeft – je wilt toch minstens dat die persoon bewezen heeft het goed te kunnen besteden.
@patrickS onderstreept echter nog eens dat dit systeem enigszins de verkeerde kant aan het opschieten is.
Een oplossing voor het probleem heb ík zelf niet, daar moet “het systeem” zelf naartoe werken. Ik denk dat een initiatief als PLoS Currents daar aan bij kan dragen (en @patrickD: deze krijgen wel een impact factor)
19.06.2011
22:39
In klimaat ‘wetenschapper’ *kuch* is het al niet veel anders. Volgens Tim Ball is het klimaatonderzoek de afgelopen jaren gekaapt door een klein groepje wetenschappers, dat elkaars onderzoek en publicaties beoordeelt en goedkeurt. Men geeft elkaar tips over het opleuken van data.
Zorgwekkend is dat peer-review nooit gebeurt door kritische wetenschappelijke tegenstanders. En nog verontrustender is dat het kleine groepje wetenschappers de temperatuurgegevens en klimaatreconstructies uit het verleden beheerd. Controle en onafhankelijk onderzoek wordt tegengewerkt. Eigenlijk precies hetzelfde dat je in heel veel takken van wetenschap tegenkomt.
19.06.2011
10:51
Het kan best nog wel wat steviger worden gesteld; in de praktijk is peer-review een middel om ongewenste meningen buiten de deur te houden en het dissidenten onmogelijk te maken te publiceren. Hier zijn boeken over vol geschreven.
Peter Duesberg:
“Such overgrowth in scientific ranks produces regression to the mean. Competition among large numbers of scientist for one or few central sources of funding restricts freedom of thought and action to a mean that appeals to the majority. The scientist who is very productive, most able to sell research, and is well liked for not offending his peers with new hypothesis and ideas is selected by his peers for funding. The eccentric, “ absent-minded professor” with crazy” ideas has been replaced by a new breed of scientist, more like a “yuppie” executive than the quirky genius of old academia. These peers cannot afford a nonconformist, or unpredictable, thinker because every new, alternative hypothesis is a potential threat to their own line of research. “
Richard Horton
“The mistake, of course, is to have thought that peer review was any more than a crude means of discovering the acceptability—not the validity—of a new finding. Editors and scientists alike insist on the pivotal importance of peer review. We portray peer review to the public as a quasi-sacred process that helps to make science our most objective truth teller. But we know that the system of peer review is biased, unjust, unaccountable, incomplete, easily fixed, often insulting, usually ignorant, occasionally foolish, and frequently wrong.”
Uiteindelijk is het peer-review uitgegroeid tot een van de zoveel tools die er zijn om de mening van big-industry er doorheen te drukken door recalcitrante onderzoekers (schadelijk voor de winst) publicatiemogelijkheid te ontnemen.
18.06.2011
16:23
Leuk stuk Eva. Ik vraag me echter het volgende af: is de originele bedoeling van impact factors niet dat in hoever je nieuwe en relevante dingen deelt met anderen? Als je impact factors niet meer in de huidige vorm wil gebruiken hoe wil je dan meten hoe goed een wetenschapper zijn werk doet?
Een ander probleem dat je aankaart is dat we met het huidige systeem soms overheid / goedendoelen geld verpesten maar ondertussen moedigen ze dat ook aan door meer geld te geven aan mensen die in hoge bladen publiceren en dit het meeste doen. Aan de andere kant hoe kunnen ze ook anders want je hebt toch een systeem nodig om de waarde van wetenschappers in te schatten?