Vandaag werd bekend gemaakt, dat in een klinisch experimenteel onderzoek doden zijn gevalen. Meer doden dan normaal gesproken gevallen zouden zijn zonder de experimentele behandeling. Op web-logs en sites roept dit vragen op en zijn de kritische geluiden niet van de lucht. Belangrijk punt van kritiek dat geuit wordt, is dat het onderzoek niet eerder gestaakt werd.
Dat deze kritiek niet klopt, valt te berekenen op basis van gegevens uit de persverklaring van het UMC. Het heeft te maken met het karakter van de studie: een dubbel-blinde, gerandomiseerd experiment. Van de 296 deelnemers kreeg de helft de nieuwe (experimentele) behandeling, de andere helft een bestaande behandeling. Echter, om beïnvloeding te voorkomen, weten de onderzoekers ((in veel gevallen ook de patiënten niet, maar dat is hier misschien niet mogelijk geweest, gezien het karakter van de behandeling)) niet wie welke behandeling krijgt. Hierdoor hadden de onderzoekers in eerste instantie slechts beperkte informatie ter beschikking.
Dit kunnen we narekenen op basis van de gegevens in het perbericht. Daarin staat:
In totaal overleden 24 patiënten (16 procent) in de onderzoeksgroep en 9 patiënten (6 procent) in de controlegroep.
Door afrondingsfouten komen we nu niet uit op 296 deelnemers, maar 300 ((Mijn berekeningen wijken dus enigszins af van de werkelijke situatie. Zodra ik de exacte cijfers heb (waar deze een goede benadering van zullen zijn) plaats ik een update)). Hiervan zaten 150 mensen in de experimentele groep en 150 in de controlegroep. In de tabel hieronder staan alle gegevens uiteen gezet, zoals de onderzoekers die in eerste instantie wisten. Aangezien we alleen de marginalen van de tabel kennen, kan hier simpelweg niet uit geconcludeerd worden of het experimentele middel wel of niet werkt.
| Patiënt niet overleden | Patiënt overleden | Totaal | |
| Controlegroep | 150 | ||
| Experimentele groep | 150 | ||
| Totaal | 267 | 33 | 300 |
Wat wel nagegaan kon worden, is of de totale sterfte in de onderzoeksgroep (dus onder zowel de mensen uit de experimentele als de controlegroep) anders was dan bij vergelijkbare groepen. Uit de literatuur was bekend dat in de groep mensen waarop het experiment werd uitgevoerd, 10% overlijdt. Op basis van de bekende gegevens uit de tabel hierboven, blijkt dat hier 11% van de mensen in de studie overleden was. Er is dus een verschil van 1 procentpunt, maar we moeten er ook rekening mee houden dat dat verschil door toevalsprocessen tot stand is gekomen. In statistische termen komt dit erop neer, dat we de kans berekenen dat deze situatie zich voordoet, terwijl er in feite geen verband bestaat tussen deelname aan dit experiment en de kans te overlijden. Hier wordt dat gedaan met de volgende formule:
z = ,11 – ,10 / ((,11 * ,89 / 300)^,5) = 0.6089224
p(z>=0.6089224) = 1 – .2291 = 77%
Wat het hierbovenstaande zegt, is dat hoewel er sprake is van een iets grotere kans te overlijden als deelnemer van het experiment dan deze kans is voor mensen die niet deelnemen aan het experiment, de kans dat dit door toevalsprocessen tot stand gekomen is 77% is. In de sociale wetenschappen wordt vaak een betrouwbaarheidsmarge van 5% of 1% aangehouden, in de medische wereld vaak nog kleiner. Dat wil dus zeggen, dat de onderzoekers geen enkele reden hadden om op basis van de cijfers die ze beschikbaar hadden, het onderzoek voortijdig af te ronden.
In mijn volgende post reken ik verder en laat ik zien wat de onderzoekers ontdekten toen ze de tabel hierboven verder in konden vullen.
Interessant! Kan je die formule eens uitleggen die je gebruikt? Nu je direct getallen begint in te voeren begrijp ik niet zozeer wat je doet.
Je zegt, als ik het goed lees, dat, over het gehele experiment genomen, de extra overlijdenkans hoogst waarschijnlijk toevallig tot stand is gekomen.
Waar ik benieuwd naar ben is in hoeverre de verdeling tussen controlegroep en onderzoeksgroep statistisch significant is.
M.a.w: stel dat het middel niks doet, hoe groot is dan de kans dat de nu waargenomen verdeling op toeval berust?
Ik kan me voorstellen dat het best eens het geval geweest zou zijn: als het gemiddelde aantal overledenen normaliter in elke groep op 15 uit zou komen, komt de controlegroep met 9 weliswaar laag en de onderzoeksgroep met 24 hoog uit, maar deze afwijking zou nog best binnen de significantiegrenzen kunnen vallen, toch?
Beste Simon,
dank voor je reactie. Je hebt gelijk dat ik wat snel met formules ga gooien, zonder ze toe te lichten. Ik zal dat in de tekst aanpassen.
Ik stel niet dat de overlijdenskans toevallig tot stand is gekomen, wel dat het verschil in overlijdenskans tussen de onderzoeksgroep (296 mensen) en wat bekend is uit de literatuur (10% overlijdt aan deze aandoening) een zeer grote kans heeft om op basis van toevalsprocessen tot stand te zijn gekomen. Da’s best een belangrijk verschil, aangezien normaal gesproken niet 11% van een groep mensen om het leven komtn in zo’n korte periode (het onderzoek duurde 4 jaar, waarschijnlijk zijn vele patiënten korter dan dat gevolgd.). Maar het gaat dus om het verschil (wat we weten < --> situatie in het onderzoek) en niet zozeer de (tegen)werking van het middel. Zoals ik aankondig, ga ik daar in mijn volgende bericht op in (vandaag of morgen).
Rense,
Dank. Daar zit inderdaad een verschil tussen.
Ben benieuwd naar de volgende post!