Gisteren plaatste ik een filmpje op mijn website, waarin een statisticus uitleg geeft over een bekende denkfout die vaak gemaakt wordt. Ik vond allereerst de uitleg van de man fantastisch: hij is een goed spreker, weet waar hij het over heeft en heeft er nog een boodschap bij ook. Het verhaal riep bij mij een sterke associatie op met de zaak van de verpleegkundige Lucia de B. Zij werd immers voor een belangrijk deel veroordeeld op basis van een statistisch argument.
Ik geloof echter, dat ik in mijn stukje van gisteren niet voldoende uitleg gegeven heb. Hoewel de man in het aangehaalde filmpje het in mijn ogen perfect uitlegt, kan ik me ook wel weer voorstellen dat mij uitingen niet volledig begrepen worden, als ik ze niet volledig uitschrijf. Kortom: ik ging er teveel van uit dat iedereen het filmpje volledig zou zien en baseerde daarop mijn argumenten.

Daarom dan nu een wat uitgebreidere uitleg en een toepassing daarvan op de zaak van verpleegkundige Lucia de B. Een rechter moet een beslissing nemen over de verdachte die voor hem / haar gebracht wordt. De rechter kan natuurlijk de goede beslissing nemen, maar kan dit ook verkeerd doen. Beide gebeurt uiteraard, en het eerste aanmerkelijk vaker dan het laatste. Verder is van belang, dat de rechter op twee manieren een fout kan maken ((Overigens kan het ook op twee manieren goed gaan, maar dat is hier minder van belang, omdat ik probeer te achterhalen hoe groot de kans op een verkeerde beslissing is.)): hij kan iemand vrijspreken die in werkelijkheid schuldig is en iemand veroordelen die in werkelijkheid onschuldig is.

Om met een rekenvoorbeeld duidelijk te maken wat ik bedoel (ik baseer me hier heel sterk op de uitleg uit het filmpje), is het nodig een rechter te vergelijken met een arts, die gebruik maakt van een uiterst nauwkeurige medische test. Deze vergelijking gaat goed op: de arts krijgt immers ook iemand voor zich, en moet daarover een beslissing nemen (ziek of niet ziek) en kan het daarbij bij het juiste eind hebben of de verkeerde beslissing nemen. Ook de arts kan, op basis van zijn medische test, op twee manieren een fout begaan: hij kan een ziek iemand gezond verklaren en een gezond iemand ziek.Laten we nu als voorbeeld een ziekte nemen die betrekkelijk zeldzaam is: de ziekte komt voor bij 1 op de 10.000 mensen (dit is in werkelijkheid betrekkelijk zeldzaam). Hiervoor heeft de arts een uiterst betrouwbare medische test: deze test zal bij een daadwerkelijk ziek iemand in 99% van de gevallen de uitslag ‘ziek’ geven en bij een in werkelijkheid gezond iemand in 99% van de gevallen de uitslag ‘gezond’ geven. Een ‘echte’ arts zou overigens jaloers zijn op zo’n test: zo betrouwbaar zijn ze in het echte leven bij lange na niet. Het lijkt er dus op, dat de arts met deze medische test zijn werk erg goed kan doen en weinig fouten zal gaan maken.

Helaas is niets minder waar. Dat komt door de lage frequentie waarmee deze ziekte voorkomt. Stel dat deze arts gedurende zijn carrière in totaal 1.000.000 mogelijke patiënten ziet en deze test op hen toepast. Omdat de ziekte zo weinig voorkomt (1 op de 10.000) zijn van deze 1.000.000 mensen er in werkelijkheid dus 100 ziek. In 99% van de gevallen zit de test van de arts er hier dus naast: dat is bij één patiënt die dus in werkelijkheid ziek is, maar door de arts ‘gezond’ wordt verklaard.

Echter, de arts kan nog een tweede fout maken. En zal dit in grote mate doen. Immers, de test zal 1% van de in werkelijkheid gezonde mensen als ‘ziek’ bestempelen. Dit is 1% van 990.000, dus 9.900 patiënten. In totaal maakt de arts dus een fout bij 9.901 mensen die hij voor zich krijgt.
Het is die tweede fout, die in de redenering van de rechter in mijn ogen onterecht achterwege is gelaten. De kans dat er zoveel patiënten overlijden tijdens de diensten van een specifieke verpleegkundige werd ingeschat op 1 op de 73 miljoen. Het gaat hier om die eerste kans die de arts kan maken (bij ons voorbeeld: 1 fout op de 1.000.000 mensen die hij voor zich ziet). Dat lijkt me inderdaad bijzonder klein. In de rechtszaak werd dit gelijk gesteld met de kans dat de rechter een verkeerde beslissing genomen heeft. En dat is waar de boel verkeerd is gegaan, zoals blijkt uit het voorbeeld van de medische test: we moeten ook kijken naar de kans dat de rechter haar veroordeeld heeft, terwijl ze het niet gedaan heeft.

Om te beginnen moeten we de kans dat ze het niet gedaan heeft behoorlijk hoog inschatten. Allereerst zit ons rechtssysteem namelijk zo in elkaar (onschuldig totdat anders bewezen is) en we weten dat verpleegkundigen niet zo moorddadig zijn (hoewel het inderdaad een enkele keer voorkomt). Daarnaast weten we ook, dat toen het overlijden van een aantal patiënten eenmaal toegewezen was (in vermoedens, in ieder geval) aan Lucia de B., er nauwkeurig gezocht is of er tijdens haar diensten nog meer mensen overleden zijn, waarvan achteraf vastgesteld werd dat het mogelijk niet om een natuurlijke dood ging.

Op zichzelf is met dat laatste niets mis, als we al weten dat Lucia de B. inderdaad schuldig is. Het zou raar zijn als er vermoedens zijn dat een zekere moordenaar meer moorden gepleegd heeft, dat dit niet uitgezocht zou worden. De kern van het probleem is echter, en ik vind het daadwerkelijk zeer schokkend dat dit door een rechter geaccepteerd werd, dat de zo gevonden gevallen gebruikt zijn om de kans van 1 op de 73 miljoen te berekenen, die hierboven genoemd wordt. Er heeft zich dus een cirkelredenering voorgedaan. Wat hier niet gebeurd is, is het in kaart brengen van alle mensen die niet dood zijn gegaan tijdens de diensten van Lucia de B. Dat was wel absoluut noodzakelijk geweest om die kans van 1 op de 73 miljoen goed te kunnen berekenen.

Waar het dus om gaat, is dat er bijzonder eenzijdig gekeken is naar één aspect van de kansverhouding, zonder die te delen door de andere zijde van de kans. En, zoals hierboven beschreven is, is die andere zijde van de kansverhouding naar alle waarschijnlijkheid zodanig groot, dat we die niet zomaar moeten wegcijferen. De kans van 1 op 73 miljoen is dus een gigantische onderschatting van het risico dat de rechter een verkeerde beslissing genomen heeft.