Samen slim, zolang we elkaar niets vertellen
Verschenen in Columns en Opinie, de Groene Amsterdammer, Focus, Nieuws
Vraag een groot aantal mensen een schatting te maken van het gewicht van een koe, de lengte van onze grens met Duitsland of de hoeveelheid snoepjes in een pot. Met een grote en gevarieerde groep mensen zal het gemiddelde van al hun schattingen verbazingwekkend nauwkeurig uitkomen op de daadwerkelijke waarde. Dit staat bekend als het wisdom of the crowd-effect. Een leuk verschijnsel, maar het hele effect wordt teniet gedaan zodra men binnen de groep naar elkaars schattingen kijkt, zo blijkt uit een Zwitsers onderzoek dat afgelopen voorjaar werd gepubliceerd. Die ontdekking heeft implicaties voor allerlei alledaagse schattingen: denk aan opiniepeilingen of voorspellingen over de financiële markt.
Het effect van wisdom of the crowd is al onder deze naam bekend sinds 1906. Toen bezocht de Britse wetenschapper Francis Galton een veemarkt waar bezoekers het gewicht van een koe mochten raden. Galton verzamelde na afloop de briefjes met waardes die de bezoekers hadden ingevuld en berekende het gemiddelde. Dat kwam verbazingwekkend dicht uit bij de werkelijke waarde. Dat komt door het grote aantal mensen dat meedeed: als er maar voldoende variatie is, worden de uitschieters tegen elkaar uitgemiddeld. Het is in feite een statistisch fenomeen, bekend als de wet van de grote aantallen.
Labyrint TV deed recent de proef die Galton aanschouwde nog eens over. 1400 bezoekers van de website van Labyrint (waaronder ondergetekende) bekeken een foto van een koe, en vulden daaronder in hoeveel deze koe volgens hen woog. Helaas bleek de crowd ditmaal niet erg wijs te zijn: het gemiddelde van de geschatte waardes kwam op 552 kg, terwijl de koe 740 kg woog. Waarom werkte het niet? Misschien hebben deelnemers stiekem gegoogled naar het gewicht van een koe, wat volgens de meeste hits bij Google ongeveer rond de 500 kg ligt, schrijft Labyrint op hun website.
Spieken
Of kennis van andere schattingen (al dan niet via Google) invloed heeft op de eigen schatting, is juist wat de onderzoekers Lorenz, Rauhut, Schweitzer en Helbing in het Zwitserse experiment wilden weten. En dus mochten de proefpersonen daar geen gebruik maken van internet of mobiele telefoons. Ook hadden ze geen contact met elkaar. Drie groepen proefpersonen moesten vervolgens vijf keer dezelfde vraag beantwoorden. Eén groep kreeg na de eerste schatting het gemiddelde te zien van wat de groep geschat had. Een andere groep kreeg zelfs alle individuele schattingen te zien die anderen in die groep hadden gedaan. En een laatste (controle)groep kreeg geen extra informatie.
In de eerste twee gevallen, waarbij proefpersonen informatie kregen over wat anderen schatten, gingen de proefpersonen in de rondes daarna steeds dichter bij het gemiddelde liggen met hun schatting. Ze pasten zich aan aan de groep. Maar dat deed het wisdom of the crowd-effect teniet: juist een gevarieerde groep die veel verschillende waardes schat, middelt uiteindelijk uit tot een nauwkeurige waarde.
Wat gebeurt er dan met het stemgedrag als kiezers een opiniepeiling te zien krijgen, en daarmee dus informatie over het gemiddelde stemgedrag van hun medeburgers? En hoe gaan beleggers zich gedragen nadat ze een voorspelling hebben gezien over de financiële markten? Het publiek maken van voorspellingen maakt ze tot een soort self-fulfilling prophecy. Hoe minder populair een politieke partij, hoe minder mensen er op zullen gaan stemmen. En hoe lager de waarde van een huis wordt ingeschat, hoe minder mensen ervoor zullen willen betalen. Dat is in deze tijden geen hoopgevende gedachte.
07.09.2011
23:20
De twee proeven van Francis Galton en Labyrint TV zijn niet echt vergelijkbaar, alhowel ze beiden uitgaan van het “wisdom of the crowd-effect” zijn de uiteindelijke “crowds” natuurlijk niet vergelijkbaar. De “crowd” die in 1906 een veemarkt bezocht zal letterlijk dichter bij de koe hebben gestaan dan de online deelnemers van Labyrint TV. De vraag is of het hier gaat om de wet van de grote aantallen, die er klaarblijkelijk vanuitgaat dat de high influence points tegen elkaar worden weggestreept of dat de er een gaussiaanse verdeling is, waarbij het merendeel van de schattingen al rond de werkelijke waarde liggen.
Goed stuk trouwens
07.09.2011
16:35
Mooi geschreven stukje, dat inderdaad het dilemma rond de wisdom of crowds bloot legt en de absoluutheid die Surowiecki suggereerde ter discussie stelt. Ik zou graag zien dat de discussie wat minder een wellus-nietus is maar meer een vraag van hoe krijgen we vaker slimme uitkomsten en vermijden we valkuilen.
Ik schreef eerder een artikel over hetzelfde onderzoek: Sociale media vernietigen de wisdom of crowds:
http://wisdomofthecrowd.nl/2011/06/03/sociale-media-vernietigen-de-wisdom-of-the-crowd/
07.09.2011
14:21
Fijne conclusie: een stemming moet écht blind zijn, zoals volgens mij al in de eerste democratische systemen het geval was. In Frankrijk hebben ze om die reden de laatste 2 weken voor de verkiezingen een verbod op opiniepeilingen. Terecht dus. Helaas kan die Hond waarschijnlijk te goed kwispelen en/of grommen om zo’n maatregel erdoor te krijgen.