De mechanische Turk
Verschenen in Columns en Opinie, de Groene Amsterdammer, Nieuws
Vorige week werd me binnen één uur twee keer hetzelfde geheim verklapt, eerst door een Harvardeconoom, toen door een psycholoog. Een revolutie in de wetenschap! De nieuwe manier om experimenten te doen! Had ik al eens over MTurk gehoord? De eerste keer knikte ik wat afwachtend: ja, AmTrak, het Amerikaanse spoorwegennet- inderdaad een vernieuwende plek om menselijk gedrag te onderzoeken. Maar de econoom fluisterde over Amazons Mechanical Turk, MTurk for short: een online marktplaats waarop betaalde opdrachten aangeboden worden. Iedereen die zich registreert kan een taakje van een uur uitzoeken en wordt daarvoor betaald in dollars.
Wat maakt een commerciële website, die bovendien al sinds 2005 bestaat, tot iets waar wetenschappers opschepperig en geheimzinnig over doen? Het revolutionaire aan MTurk is dat iedereen gemakkelijk een taak kan programmeren en aanbieden. Experimenteel gedragsonderzoek wordt daardoor ineens een factor twintig goedkoper. Er is geen laboratorium nodig met computers, want de proefpersonen werken thuis. Hun vergoeding wordt via Amazon uitbetaald en ligt bovendien veel lager dan het minimumloon, minder dan een dollar per half uur. Een gemiddeld experiment kostte zo’n 4000 euro en weken werk; dat wordt nu 300 dollar en een middagje werk.
Wat doet iemand die een goudmijn ontdekt? Hij houdt de vindplaats eerst een jaartje geheim. Wetenschappers zijn net mensen. Mijn informanten gaven allebei toe dat ze al minstens een jaar experimenten hadden gedaan op MTurk voordat ze het aan hun collega’s hadden verteld. De eerste artikelen worden nu gepubliceerd in de vakbladen en zullen waarschijnlijk een storm veroorzaken onder collega’s. Maar voordat MTurk erkend wordt als legitiem alternatief voor laboratoriumexperimenten, moeten er eerst wat standaardresultaten gereproduceerd worden. Dat is precies wat de pioniers hebben gedaan in hun eerste papers, met wat leuke extraatjes, omdat het toch zo goedkoop was.
De economen onderzochten om te beginnen of de Turkers net zo vrijgevig zijn als ouderwetse proefpersonen (meestal studenten). MTurk is een volkomen anonieme omgeving, waar je alleen maar rondhangt om geld te verdienen. Toch bleken ook de Turkers geld weg te geven aan onbekende medeTurkers. Als extra test voor de gevoeligheid van de methode kregen sommige Turkers vooraf een religieuze tekst te lezen. Dat zorgde bij Turkers die zichzelf religieus noemden voor duidelijk hogere donaties- een bewijs dat priming, het impliciet oproepen van een associatie, ook werkt op MTurk.
De psycholoog onderzocht een wereldser onderwerp, namelijk het verband tussen joints roken en seks voor het huwelijk. In een artikel met de aansprekende naam “Sex, drugs and moral goals” (te verschijnen in Proceedings of the Royal Society B, 2010) vergelijken ze de overtuigingen van Turkers en studenten op het gebied van politiek, seks en drugs. Je zou denken dat conservatieve Amerikanen minder drugs gebruiken dan progressieve, maar dit artikel laat zien dat dat verband subtieler ligt. De seksuele strategie van jongeren, van preuts tot promiscue, voorspelt veel nauwkeuriger of iemand drugs gaat gebruiken. Dat gold voor zowel de Turkers als voor de student-proefpersonen.
Deze twee studies laten zien dat veel subtiele bevindingen gereproduceerd kunnen worden op MTurk. Dat opent de deur voor een enorme hoeveelheid snelle, goedkope experimenten. Lig je wakker van de vraag wat het meest genoemde nummer onder de tien is? Hoe ver mensen gaan voor een ijsje? Of de kleur van je broek bruin of groen is? Allemaal al getest op MTurk- kijk op deze blog voor het antwoord. Of doe zelf een experimentje.
Dit stuk verscheen ook in de Groene Amsterdammer, nummer 37 / 15 September 2010
18.09.2010
09:02
… en als MTurk echt populair wordt, is het natuurlijk wachten op de eerste journalist, die de site tot ’s werelds eerste online sweatshop verklaart, vanwege de lage vergoedingen. Als het goed is zien ze die bui nu al hangen, dus ik ben wel benieuwd hoe ze daar op gaan reageren.
17.09.2010
20:31
kende de mechanical turk zelf van dit weblog: http://experimentalturk.wordpress.com waarin vooral classics uit de experimentele economie gerepliceerd worden.
persoonlijk hou ik in ieder geval nog even bij m’n oude vertrouwde lab. heb zo m’n bedenkingen wat betreft het gebrek aan controle over hoe de proefpersonen de taak uitvoeren (zijn ze alleen of beslissen ze samen, is het überhaupt wel een één persoon of gaat er, in een serie van beslissngen bijvoorbeeld, halverwege iemand anders achter de computer zitten?) en alhoewel de lage betalingen voor (het budget van) de onderzoeker gunstig zijn, opent het aan de andere kant net zo eenvoudig de deur voor de kritiek dat de proefpersonen wegens de lage betaling niet genoeg geincentived (hm, da’s vást geen goed nederlands…) zijn.
17.09.2010
13:30
Allebei erg relevante punten. Werklozen noch studenten zijn een goede doorsnede van de bevolking, en daarover wordt ook veel geruzied binnen de experimentele sociale wetenschappen. Veldexperimenten, in Afrika, in Rusland, met gezinnen en managers, leveren wel verschillen in resultaten op, maar niet onrustbarend veel.
Anonimiteit is erg handig als je wil bewijzen dat mensen *ondanks* de abstractie toch nog vrijgevig zijn. Maar als je drie stipjes in de vorm van een gezichtje (dus zo: .’. maar dan andersom) boven het computerscherm tekent, geeft iedereen drie keer zoveel weg. Kun je nagaan wat er gebeurt als je elkaar echt kunt zien… Als je aan zo’n live experiment wil meedoen: kom volgende week naar Discovery Festival!
16.09.2010
23:55
Leuk stukje Eva, ik heb al wel eerder gehoord over websites, waar programmeurs een vergoeding voor een specifieke IT opdracht kunnen krijgen, maar nog niet over een site zoals MTurk.
Maar wat ik me afvroeg is: Als je een vergoeding geeft die veel lager dan het minimumloon is, krijg je dan ook niet slechts een beperkte groep mensen die aan de experimenten deelnemen, in plaats van een dwarsdoorsnede van de bevolking? En kan die anonimiteit niet ook averechts werken voor een experiment?
(Toen ik de titel van het stuk zag, dacht ik dat het onderwerp schaakcomputers zou zijn.
)