Soms verschijnen er in het wetenschappelijke discours artikelen die een glimlach op je gezicht toveren en je reikhalzend naar de volgende alinea doen uitkijken. Vorige maand publiceerde een groep onderzoekers uit de VS een artikel in het tijdschrift the Journal of Infectious Diseases (JID), waarin de statistische analyse van een groot klinisch onderzoek naar een experimenteel HIV-vaccin wordt besproken. Niet alleen presenteren de auteurs een nieuwe analyse van veelbesproken en veel bekritiseerde data, maar ook de manier waaróp ze het bespreken was voor mij nieuw, verfrissend en vooral duidelijk. Maar pas op, het blijft stoeien met cijfers.

Het placebo-gecontroleerde onderzoek met de code RV144 vond plaats onder 16000 vrijwilligers in Thailand tussen 2006 en 2009. Zij werden gevaccineerd volgens het prime-boost principe: een dubbele vaccinatie met twee verschillende vaccins. Voor de start van dit onderzoek was er al een rel onstaan.Een groep vooraanstaande HIV onderzoekers onder leiding van Dennis Burton keerde zich in 2004 al tegen dit concept: beide vaccins waren namelijk los van elkaar niet effectief gebleken, dus zagen deze criticasters niet het nut om geld, moeite en tijd te spenderen. Ik deelde die mening. Het onderzoek dat door de Amerikaanse overheid werd betaald ging toch door en in de herfst van 2009 werden de resultaten wereldkundig gemaakt. Wat bleek? Van de 8197 vrijwilligers die het vaccin ontvingen, raakten 51 mensen geïnfecteerd, terwijl in de placebogroep 74 van de 8198 mensen besmet raakten. Deze dubbele vaccinatiestrategie was 30% effectief. Ongekend en sensationeel. Maar weer ontstond er discussie.

Dertig procent effectiviteit klinkt als een duidelijk resultaat, maar het effect was kantje boord significant (p-waarde van 4%, terwijl alles boven de 5% niet significant wordt geacht). Daarnaast bleek dat het significante resultaat alleen aantoonbaar was als niet alle vrijwilligers werden meegenomen;  als proefpersonen het onderzoek halverwege hadden verlaten vanwege een nieuw opgelopen HIV-infectie, waren ze uit de resultaten weggelaten. Deze methode, op zich toegestaan, leidde tot een storm van kritiek, mede omdat de resultaten van RV144 met groot tromgeroffel waren bekendgemaakt door de mensen die aan een HIV-vaccin werken of dat werk betalen. Dat publieke debat maakte het er voor de leek niet makkelijker op om de werkelijke waarde van de studie te snappen.

Tot zo ver de historie. Vorige maand publiceerden Gilbert en collega’s de nieuwe statistische analyse van hetzelfde klinisch onderzoek. Vergeleken met de analyses uit 2009 hadden zij een veel diepgravendere analyse gedaan. Zij hadden niet naar alleen de data van RV144 gekeken, maar hadden a priori aannames op basis van eerdere onderzoeken meegenomen in de analyse. Gewapend met deze aannames over de aard van de resultaten, doet het model duizenden specifieke simulaties op statistische relevantie. Dit geeft een genuanceerder beeld dan de statistiek uit 2009.

De eerste analyses in 2009 zeiden slechts of het gemeten effect van het vaccin (30%)  significant of niet was. Er werd geen uitspraak gedaan over de kans op andere uitkomsten. Het artikel dat nu voor ons ligt kan dat verder specificeren: er is een 20% kans dat het vaccin echt helemaal geen effect (0%) heeft. Maar de kans is 80% dat het vaccin een effect heeft wat ergens tussen 3% en 52% kan liggen.

Dit lijkt een semantische vooruitgang, maar het helpt ons daadwerkelijk om de data beter te begrijpen. Daarnaast hebben de onderzoekers voor het eerst de resultaten van de vier grote HIV-vaccinonderzoeken gebundeld. Ze tonen aan dat het om de resultaten van RV144 op waarde te schatten, vanuit statistisch oogpunt noodzakelijk is om door te gaan met prime-boost-strategieën. Ze adviseren ook om bij het ontwerpen van nieuwe studies de al bekende resultaten mee te nemen in de effectschatting.

Maar de auteurs doen nog iets wat voor mij veel belangrijker is: ze gebruiken ‘thought experiments’. Tijdens hun verhaal pauzeren ze even en nemen de lezer aan de hand van theoretische voorbeelden mee om zo de verschillende nuances in het kansberekenen helder uit te leggen. Ze benoemen veelgemaakte misinterpretaties van statistische principes. Voor mij was het één van de eerste kennismakingen met een wetenschappelijk artikel dat niet droog de feiten opsomt maar een begrijpelijk verhaal maakt van moeilijke wiskundige materie.

In het bovenstaande verhaal zit één grote adder onder het gras en dat is dat in de huidige analyses aannames worden gedaan over hoe de statistiek ingericht en geïnterpreteerd moet worden. En die aanamens worden gevormd door ervaring én emotie. Lucia de B ging onterecht de gevangenis in ondermeer op grond van aannames over statistiek.

Maar grote klinische HIV-onderzoeken zijn duur dus schaars en alle kleine stapjes vooruit zijn wenselijk, zelfs als ze controversieelzijn. Dit prachtig geschreven artikel is daarom welkom in het met veel tegenslag geconfronteerde veld van HIV-vaccinontwikkeling.