Eigenlijk was ik van plan een stukje te schrijven over het feit dat ik niet heel oud ga worden. Ik ben namelijk linkshandig en linkshandigen schijnen zo’n 7 jaar jonger te sterven. Plus, mijn achternaam begint met een letter die achterin het alfabet zit en dat schijnt ook weer enkele jaren van je leven te kosten. Gelukkig ben ik wel getrouwd want anders kon ik echt mijn dagen gaan tellen. Singles sterven immers jonger dan gehuwden. Wat interessant allemaal, dacht ik, en ik besloot eens iets op te zoeken over deze onderzoeken.
Als onderzoeker wil je vast niet zomaar hele bevolkingsgroepen informeren over hun aanzienlijk verkorte levensduur, zou je denken. Dus doe je grondige studies voordat je dit soort claims wereldkundig maakt. Nou, dat blijkt toch best een beetje tegen te vallen. Eigenlijk zijn de meeste van dit soort studies puur gebaseerd op statistiek. In het huidige computertijdperk hebben we namelijk allemaal beschikking over grote datasets en daar kunnen we vervolgens hartstikke mooie statistiek op uit voeren. De interpretatie van die statistiek laat echter nog al eens te wensen over. Bij een correlatie wordt zo vaak gesproken van een significante correlatie, waarmee wordt geïmpliceerd dat er een verband is tussen bepaalde factoren. Dit is echter nogal bedrieglijk. Hoe groter je dataset, hoe groter de kans dat je allerlei significante correlaties in je data aantreft. Ik heb net zelf correlaties bekeken van een onnoemelijk grote dataset en die waren allemaal significant. Echter, ze waren heus niet allemaal relevant! Een beter getal om hier te gebruiken is correlatiecoëfficiënt, die geeft de mate aan waarin twee variabelen samenhangen. Deze kan laag zijn maar toch significant, zoals het geval is bij een deel van mijn data. Dit wil dan zeggen dat het gevonden verband tussen twee factoren aannemelijk is, maar van weinig belang.
Daarnaast worden regelmatig zaken met elkaar gecorreleerd die niets met elkaar te maken hebben. Een goed voorbeeld is dat als je een data set zou hebben die bestaat uit het aantal geconsumeerde ijsjes per vrouw en het feit of zij een rok of een broek draagt, je een positief verband zult vinden tussen het eten van ijsjes en het dragen van rokjes. De factor die hier ontbreekt is temperatuur. Beide factoren zijn (misschien?) gecorreleerd aan temperatuur maar niet aan elkaar. Bij de singlestudie dringt eenzelfde soort beeld zich op. Hoewel de onderzoekers wel corrigeren voor leeftijd en levenswijze blijft de vraag of de grotere sterftekans van singles werkelijk te maken heeft met het single zijn. De oorzaak van de jonge sterfte kan namelijk niet het ‘single-zijn’ zijn, maar is iets wat daaruit volgt. Bijvoorbeeld dat singles ongelukkiger zijn, of meer last hebben van stress. Als dat zo is dan is het ‘single-zijn’ dus niet de oorzaak van de grotere sterftekans. Dat mensen die veel stress hebben een hogere sterftekans hebben klinkt dan weer niet zo wereldschokkend, toch?
Het lijkt zo voor de hand liggend, maar toch haalt dit soort onderzoek elke keer weer de voorpagina. Bij het linkshandigen onderzoek blijkt er iets anders in het spel te zijn. Er lijkt in dit onderzoek niet gecorrigeerd voor leeftijd. Het wordt glashelder uitgelegd in deze leuke rubriek: Kul of kennis. Ook al kul, kennelijk. Hoef ik me daarover weer geen zorgen te maken en dat scheelt weer stress.
16.11.2009
13:57
@Rob Hooft,
Mooie uitleg, die p-factor. En ook je laatste alinea kan ik volledig onderschrijven. Helaas komt het nogal eens voor dat statistiek wordt misbruikt om ongecorreleerde (hoge p-factor?) zaken met elkaar in verband te brengen en ‘wetenschappelijk’ te onderbouwen, waar vervolgens de media weer een hype van gaat maken. Hoe kun je, als eenvoudig nieuws-consument, onderscheid maken tussen de sterk samengevatte statistische conclusies in de media en de door de wetenschapper bedoelde nuances. Volgens mij is dát waarom de statistiek een slechte naam heeft bij het publiek. Onverdiend overigens.
Even over het oorspronkelijke artikel:
@Bregje, het kan misschien zo zijn dat je niet langer leeft dan de ‘norm’, maar waar het om gaat is de kwaliteit van leven!
Als je het (voor jezelf en voor een paar anderen) de moeite waard kunt maken, zolang het duurt, wordt je daar gelukkiger van…. en… leef je ook weer langer, want dan val je in een andere statistische groep… help waar blijft mijn argument nou…
Gelukkig is die kwaliteit veel minder goed in statistieken te vangen.
15.11.2009
11:28
Bregje,
Prachtig gevoeld, ik ben zelf ook linkshandig en daar niet bang voor…. Maar er zijn wel een paar puntjes die ik op je formulering heb aan te merken.
Je schrijft: “Beide factoren zijn (misschien?) gecorreleerd aan temperatuur maar niet aan elkaar.” Dit is niet juist: als twee verschijnselen tegelijk voorkomen zijn ze wel degelijk gecorreleerd. Deze correlatie hoeft alleen niet een causaliteit aan te geven, en dat is wat je hier bedoelt.
Ook ben ik het niet helemaal eens met het feit dat de correlatiecoefficient de beste manier is om relevantie te kunnen zien. De correlatiecoefficient is eigenlijk een maat voor welk deel van de variatie in de ene variabele kan worden verklaard door de andere. Als de correlatie 1 of -1 is, dan kun je het aantal ijsjes perfect uitrekenen uit de kleding. Bij een correlatie van 0 is er geen relatie en kun je niets zeggen. Maar een hoge correlatie hoeft echt niet “relevant” te zijn: de correlatie tussen de hoeveelheid water in een bepaalde tank en het gewicht is 1 (of bijna 1 bij echte metingen), maar daaruit kan ik niets leren. De correlatie tussen roken en longkanker is veel lager, maar veel relevanter.
Waar komen correlaties nu eigenlijk vandaan?
Drie mogelijkheden heb je belicht: In het geval twee verschijnselen tegelijk optreden kan de eerste de oorzaak zijn voor de tweede, of andersom. Ook kunnen ze een gemeenschappelijke oorzaak hebben.
Er is nog een vierde mogelijkheid, en dat is dat de twee helemaal niet gerelateerd zijn, en dat de correlatie door zuiver toeval tot stand komt. Hierbij komt de zogenaamde “p-factor” ter sprake die recent ook bij een vaccinonderzoek in het nieuws was. De p-factor is de kans dat twee variabelen die niets met elkaar te maken hebben dezelfde correlatie vertonen die waargenomen is in het experiment. In het algemeen zegt men bij p<0.05 dat het resultaat significant is; bijvoorbeeld dat een medicijn beter werkt dan een placebo in een klinische test. Dit mag echter alleen maar als je 1 test doet. Wanneer je, zoals in de grote datasets van bevolkingsonderzoek waar jij over spreekt, honderden ongerelateerde variabelen met elkaar kunt correleren, dan zitten er heel veel combinaties bij die door toeval “significant” lijken te zijn. Nemen we 100 variabelen als “linkshandig”, “vrouw”, “hoge hakken”, “rokjes”, “niet-roker”, …. en correleren we ze allemaal met elkaar, dan zijn er 100*99/2 = 4450 vergelijkingen. Hiervan zijn er dus door zuiver toeval al 200 van met p<0.05. En zelfs 4 met p<0.001! Om in zo’n grote set variabelen een significante correlatie te vinden, moet je daarom zoeken naar p<0.00001. Zo’n kleine waarde is heel moeilijk te realiseren wanneer er zachte data als menselijk gedrag een rol speelt. En dit is de oorzaak van jouw sentiment, dat je uitdrukt als “Hoe groter je dataset, hoe groter de kans dat je allerlei significante correlaties in je data aantreft.”
Als laatste nog een opmerking over je gevoel over het vak statistiek. Je schrijft “dat blijkt toch best een beetje tegen te vallen. Eigenlijk zijn de meeste van dit soort studies puur gebaseerd op statistiek.” Het probleem is mijns inziens niet dat ze zijn gebaseerd op statistiek, maar eerder dat ze zijn gebaseerd op slechte toepassing van statistiek. Statistiek is een heel robuuste wetenschap, maar ook heel moeilijk. Er zijn veel mensen die onterecht denken genoeg over statistiek te weten. Dit is uiteindelijk de oorzaak van het adagium “There are lies, damned lies, and statistics”
12.11.2009
21:42
Nou, Jacques, en Bregje,
hebben we weer geboft dat de selektiedruk op de linkshandige groter was dan op de rechtshandige…;-)
en ik eet ook liever een ijsje als ik een rokje draag dan een broek! moet toch dan waar zijn, die correlatie?
12.11.2009
20:04
Ik denk dat het feit dat linkshandigen korter leven op verouderde gegevens berust. Zelf ben ik ook linkshandig, en ik heb het een keertje grondig uitgezocht. In de middeleeuwen waren linkshandige ridders in het nadeel, omdat ze hun schild in hun rechterhand hielden, waardoor de harstreek niet beschermd was. Die leefden dus gemiddeld korter. Daarop door boordurend kun je denk ik stellen dat alleen de heel snelle, slimme linkshandigen de middeleeuwen zijn doorgekomen. En daar stammen wij dus van af! :))
12.11.2009
17:29
Ik ken er nog zo een: artsen en piloten leven langer.
Wat blijkt: arts en piloot wordt je pas met 30 of zo. Als je eenmaal 30 bent, ben je niet dood gegaan aan kinderziektes, rijden met een glas op of zelfmoord, allemaal dingen die meestal voor je 30e gebeuren. Iedereen die 30 wordt, heeft een hogere levensverwachting dan de gemiddelde baby – daarom worden piloten, artsen, professoren, ouders, grootouders, schooldirecteuren etc allemaal ouder dan het gemiddelde.