Gisteren schreef ik over de onderzoeksaffaire rondom het tragisch afgelopen pro-biotica experiment. Ik ging in op de vraag of de onderzoekers hadden kunnen weten of er iets mis ging, voordat het onderzoek beëindigd werd. Wat dat betreft kwam ik tot de conclusie, dat op basis van eenvoudige statistiek blijkt dat de onderzoekers geen blaam treft: ze hadden geen enkele informatie op basis waarvan ze konden vermoeden dat er iets (vreselijk) mis ging.
Maar daarmee is het verhaal natuurlijk niet afgelopen. Hieronder zal ik beschrijven wat de onderzoekers zagen toen ze eenmaal alle informatie beschikbaar hadden. Dat wil dus zeggen, toen hen bekend werd gemaakt welke patiënten in de experimentele groep zaten en welke in de controlegroep.
Om duidelijk te maken wat er precies gebeurde, haal ik eerst de tabel terug uit het vorige stukje:
| Patiënt niet overleden | Patiënt overleden | Totaal | |
| Controlegroep | 150 | ||
| Experimentele groep | 150 | ||
| Totaal | 267 | 33 | 300 |
Dit waren de gegevens die de onderzoekers hadden voordat zij wisten welke patiënten in welke groep zaten. Met andere woorden: ze kenden alleen de tabel-marginalen. Toen ze eenmaal wisten wie wel het experimentele middel had gekregen en wie niet, konden ook de cellen van de tabel gevuld worden. Zou dit zuiver op toeval gebeurd zijn, dus wanneer er geen enkele relatie bestond tussen het middel en de kans te overlijden, dan zou de tabel er als volgt uit hebben gezien:
| Patiënt niet overleden | Patiënt overleden | Totaal | |
| Controlegroep | 133,5 | 16,5 | 150 |
| Experimentele groep | 133,5 | 16,5 | 150 |
| Totaal | 267 | 33 | 300 |
Er bestaan natuurlijk geen halve mensen, maar voor dit doeleinde maakt dat hier weinig uit. We zouden ook alles af kunnen ronden, maar dan zouden we nauwkeurigheid verliezen. Op basis van het persbericht van het UMC kon ik de tabel ook invullen, zoals deze in werkelijkheid eruit heeft gezien:
| Patiënt niet overleden | Patiënt overleden | Totaal | |
| Controlegroep | 126 | 24 | 150 |
| Experimentele groep | 141 | 9 | 150 |
| Totaal | 267 | 33 | 300 |
We zien duidelijke verschillen! De kans om te overlijden is voor mensen uit de experimentele groep vele malen groter dan voor mensen uit de controlegroep. Maar, dat kan natuurlijk ook op toeval berusten en dat is waar de statistiek om de hoek komt kijken. We kunnen namelijk betrekkelijk eenvoudig berekenen hoe groot de kans is, dat deze (werkelijke) verdeling tot stand komt, onder conditie dat er in werkelijkheid helemaal geen relatie bestaat tussen de experimentele behandeling en de controle-behandeling.
Om deze kans te berekenen dienen we eerst per cel het verschil te berekenen tussen de twee tabellen en die vier verschillen bij elkaar op te tellen. Dit leidt tot een waarde van 30. Deze waarde volgt een zogenaamde chi-kwadraat verdeling ((leg ik elders uit, indien mensen daar behoefte aan blijken te hebben)) die ons in staat stelt de kans te berekenen dat de gevonden verschillen inderdaad zo groot zouden zijn, wanneer er in feite dus geen verschil bestaat. Wanneer we dat hier doen, dan komen we uit op een kans van 4.320463e-08 (oftewel vrijwel gelijk aan 0).
Een enorm kleine kans dus! Dit betekent dat we, onder een aantal aannames, zelfverzekerd kunnen stellen dat er inderdaad een relatie is tussen de experimentele behandeling en de kans te overlijden. Helaas is deze relatie niet ‘in de richting’ die iedereen hoopte.
—
Ik hoop dat ik met dit verhaal, in combinatie met het vorige, met simpele statistische middelen duidelijk heb kunnen maken dat er geen enkele reden is om de onderzoekers te bekritiseren over hun onderzoek. Uiteraard op basis van de informatie voor zover die (mij) nu bekend is. Op het internet lees ik nu veel reacties die direct zondebokken aanwijzen. Die reacties zijn dus, als je het mij vraagt, kortzichtig en slechts doordacht. Er gebeuren nu eenmaal nare dingen waar niet altijd iemand schuldig aan is.
Rense, in de tweede tabel staat 2x 17,5 patient overleden. Volgens mij kom je dan uit op 35 patienten i.p.v. 33.
Vandaag, 26-01, een artikeltje van Maarten Keulemans, in het katern ‘Kennis’,over 24 doden, Monster uit de kelders van de statistiek. Hij haalt ‘ De Moivre-vergelijking’ aan van Howard Wainer. Ter kennisgeving. Eveneens in de krant diverse artikeltjes over de probioticayoghurtjes.
Groet Corrie
Aj aj, wat een slordigheid. Ik heb het aangepast.
Beste Corrie en Rense,
Wederom een interessant verhaal. Corrie, heb jij een link naar dat verhaal van Keulemans.
Rense, is het mogelijk nog wat verder te vertellen over dat chi-kwadraat? In de krant stond dat iemand dacht dat de bacteriegroep bij toeval zieker was, maar ik heb het idee dat uit jouw verhaal blijkt dat dat uiterst onwaarschijnlijk is.
Ik vraag me ook af; moet je ze zo met elkaar in verband brengen? Kan je ook niet kijken hoe groot de kans is dat een bepaalde hoeveelheid overledenen in elke afzonderlijke groep voorkomt?
Dus hoe groot is de kans dat op 9 uitkomt als je 15 verwacht en hoe groot is de kans dat je op 24 uitkomt als je 15 verwacht?
groet
Beste Simon,
wederom dank voor je compliment. Ik zal binnenkort een keer wat dieper ingaan op de Chi-kwadraat. Ik zal dat in een aparte post doen, aangezien het een complex verhaal is, dat zich moeilijk in een paar zinnen (begrijpelijk) uit laat leggen.
Ik denk niet, dat er verschillen hebben bestaan tussen de mate waarin de bacteriegroep ziek is geweest. Maar daarover blijkt niets uit mijn verhaal. Overigens denk ik dat ermee bedoeld werd, dat de groep patiënten in de experiment groep zieker was dan in de controle-groep. Dat werd o.a. bij Pauw en Witteman verkondigd.
Dat zou natuurlijk kunnen, hoewel de kans erop volgens mij betrekkelijk klein is dat toevallig tot stand is gekomen. Maar het zou wel betekenen dat het niet aan de pro-biotica te wijten is, dat zo veel meer patiënten dan verwacht zijn overleden.
Het raakt overigens ook aan je laatste vraag: het wel degelijk mogelijk, maar niet zo verstandig om de kans te overlijden per groep apart te berekenen. De basis-aanname in een dergelijk onderzoek is namelijk dat alle patiënten uit dezelfde populatie komen (vergelijkbaar zijn). Vervolgens worden patiënten via toeval toegewezen aan één van de twee groepen. Dit in de hoop dat de controle- en de experiment-groep in niets van elkaar verschillen, behalve dan in de behandeling die ze krijgen.
Daarom zijn we dus niet zozeer geïnteresseerd in de afzonderlijke kansen van patiënten uit iedere groep om te overlijden, maar vooral in de verschillende overlijdenskans tussen de twee groepen. En dat is precies wat uitgerekend wordt met de chi-kwadraat en de tabellen hierboven.
Maar, zoals gezegd, deze methode gaat er van uit dat de patiënten in beide groepen aan elkaar gelijk zijn. Uiteraard zijn er methoden om ervoor te corrigeren indien de groepen toch niet geheel gelijk aan elkaar blijken te zijn. Gegevens daarover zijn echter niet bekend gemaakt vanuit de onderzoekers, dus kan ik ze hier ook niet laten zien.
Simon en Rense,
bij het artikeltje van Maarten Keulemans in de Volkskrant van zaterdag jl. staat alleen zijn e-mailadres: m.keulemans@volkskrant.nl Corrie