white

De gebeurtenissen van 11 september 2001 waren statistisch gezien niet uitzonderlijk. Dat schrijven onderzoekers Aaron Clauset van de universiteit van Colorado en Ryan Woodard van ETH Zürich in een artikel over de statistiek van grote terroristische aanvallen. Ze schatten de kans dat er in de afgelopen jaren iets als nine eleven zou plaatsvinden tussen de 11 en 35%. De kans dat er in de komende 10 jaar nog eens een terroristische aanval van deze schaal plaats zal vinden schatten ze in een vergelijkbare orde van grootte: tenminste 19%, oplopend tot mogelijk 46%. Clauset en Woodard deden een uitgebreide analyse van eerdere terroristische aanslagen om tot deze getallen te komen. Maar laten zulke getallen zich eigenlijk wel berekenen?

Statistiek is per definitie niet bedoeld om te rekenen aan gebeurtenissen die nog niet vaak zijn voorgekomen. Immers, de kracht van statistiek is voorspellingen te doen op basis van data. Als die data er niet zijn, kan statistiek weinig doen. Clauset en Woodard presenteren in hun artikel een methode die speciaal bedoeld is voor weinig voorkomende gebeurtenissen, zoals die bijvoorbeeld ook gebruikt worden om natuurrampen te voorspellen. Om te rekenen aan een gebeurtenis als die van elf september keken de twee statistici niet naar vergelijkbare gebeurtenissen (die waren er namelijk niet), maar naar alle, kleinere, terroristische aanslagen uit de periode 1968 – 2007. Dat waren er 13.274.

Clauset en Woodard berekenden op basis daarvan de kans dat er in de komende tien jaar ergens ter wereld zoiets groots als nine eleven zou plaatsvinden. Dit leverde de getallen 19 tot 46% op. ‘De’ kans op zo’n grote terroristische aanslag ligt daar ergens tussen in. Omdat zulke grote aanslagen in het verleden (gelukkig) weinig zijn voorkomen, is het niet mogelijk om de kans nauwkeuriger vast te stellen dan dit. Ik vraag mij echter af of het überhaupt zinnig is om een kans aan zo’n gebeurtenis te koppelen. Want zelfs met een methode die speciaal ontwikkeld is om statistiek te bedrijven op gebeurtenissen die niet vaak voorkomen, begeven de statistici zich op glad ijs.

Waarop is bijvoorbeeld de selectie van de gegevens gebaseerd: vanwaar de keuze voor de periode 1968-2007? Wellicht was er met een andere periode wel een heel andere kans uit komen rollen. Vergelijk dit bijvoorbeeld eens met de klimaatmodellen zoals men die gebruikt om het broeikaseffect te beschrijven. De zogenaamde hockeystickgrafiek laat zien dat de temperatuur sinds de middeleeuwen ongeveer gelijk bleef totdat die in de afgelopen 100 jaar ineens omhoog schoot (als het gebogen uiteinde van een hockeystick). Critici beweren echter dat de opwarming van de aarde een natuurlijke fluctuatie is zoals die ook veel eerder al voorkwam: als we ook zouden kijken naar veel eerdere gegevens, zou het handvat van de hockeystick volgens deze critici lang niet meer zo recht zijn. Door alleen naar terroristische aanvallen sinds 1968 te kijken, maken de statistici in dit onderzoek een keuze voor een bepaald referentiekader, dat de conclusie kan beïnvloeden.

Het kiezen van een referentiekader is een bekend probleem in de statistiek. Hadden Clauset en Woodard alle terroristische aanvallen meegenomen die ooit waren opgetekend in de geschiedenisboeken, dan had ik nog steeds als commentaar kunnen leveren dat niet alle aanvallen zijn opgetekend, en het dus alsnog om een selectie van de gegevens gaat. Hét referentiekader bestaat niet, en dus redeneren sommige statistici dat ook dé kans op een bepaalde gebeurtenis niet bestaat. Deze school van Bayesianen gelooft daarom dat een kans alleen aangeeft wat het subjectieve geloof van een persoon is in een bepaalde gebeurtenis.

Een aanhanger van de Bayesiaanse school zou bijvoorbeeld nooit proberen de kans te berekenen dat het Nederlands elftal het volgende WK zal winnen. Die kans hangt immers af van de selectie aan voorkennis die je meeneemt in je berekening. Een voetballiefhebber die alles weet van voorgaande EK’s en WK’s zal hieraan zeer waarschijnlijk een andere kans toekennen dan ik, omdat ik me er nu eenmaal niet zo in verdiept heb. Ook de kans op een toekomstige terroristische aanval van dezelfde orde van grootte als elf september is in die zin subjectief: een Nederlander zal deze kans anders inschatten dan een Amerikaan, en een lid van een terroristisch netwerk zal de kans ongetwijfeld nog weer anders inschatten.

De frequentistische aanpak zoals Clauset en Woodard die toepassen, staat lijnrecht tegenover dit Bayesiaanse principe. Zij gebruiken de statistiek zoals we het op school geleerd hebben: kijk naar resultaten uit het verleden, en doe op basis daarvan een voorspelling voor de toekomst. Bij het gooien van een dobbelsteen is deze aanpak zinnig, omdat de dobbelsteen een principe volgt en dat ook zal blijven volgen: het valt willekeurig op een van de zes zijden. Maar heeft een terroristische aanval wel zo’n achterliggend principe?