Wetenschappelijk onderzoek beoordelen in 10 stappen

Doel van dit artikel

Wetenschappers en artsen worden in hun opleiding en tijdens het werk getraind in het beoordelen van wetenschappelijk onderzoek. Vanuit Medicus Online bieden wij hierin ook een cursus aan genaamd “kritisch redeneren”. Wij vinden echter dat dit stappenplan niet uitsluitend nuttig is voor artsen en onderzoekers, maar ook voor iemand die op het internet probeert te herkennen wat betrouwbare en onbetrouwbare informatie is.

Daarom hebben we die cursus nu omgevormd naar dit artikel waarin we je stap voor stap leren om kritisch te kijken naar (wetenschappelijke) informatie. De keiharde wetenschappelijke analyses hebben we eruit gehaald waardoor we 10 stappen overhouden die jou handvatten geven om kritisch naar informatie te kijken.

Wat is kritisch redeneren?

De term kritisch redeneren is afgeleid van een term die in de medische praktijk veel gebruikt wordt: Klinisch redeneren.

Bij klinisch redeneren ga je op basis van de klachten van een patiënt stap voor stap te werk om uiteindelijk te bepalen welke diagnose het meest waarschijnlijk is en welk aanvullend onderzoek nodig is om dit te bevestigen, danwel te ontkrachten.

Wij hebben dit omgetoverd naar een variant die gebruikt kan worden om wetenschappelijke literatuur te beoordelen. Door ons stappenplan te volgen kom je bij jouw eigen “diagnose” van informatie: Betrouwbaar of onbetrouwbaar? Of vaker nog: ergens er tussenin. Het doel van kritisch redeneren is om nuance aan te brengen in informatie die je vindt.

Want onthoud: Wetenschappelijk onderzoek is niet heilig, maar wel het beste wat we tot onze beschikking hebben. Door altijd kritisch te blijven, voorkom je dat je beslissingen neemt op basis van desinformatie.

Stap 1. Is de bron betrouwbaar?

Vraag je allereerst af:

Waar heb ik deze informatie gevonden? Is de informatie überhaupt afkomstig uit wetenschappelijk onderzoek? Of is dit gewoon de mening van iemand die hier eigenlijk geen verstand van heeft?

Indien de informatie afkomstig is uit wetenschappelijk onderzoek dan is het goed om te kijken waar het onderzoek officieel gepubliceerd is en door wie. Dat het in een wetenschappelijk tijdschrift staat, betekent op zichzelf niets.

Wat is een predatory journal?

Er zijn ook genoeg onbetrouwbare wetenschappelijke tijdschriften die alles publiceren mits de onderzoekers genoeg geld betalen. Er is bij dergelijke tijdschriften geen enkele vorm van kwaliteitscontrole. Dit soort wetenschappelijke tijdschriften noemen we predatory journals.

Een overzicht van de bekende predatory journals is te vinden op de website beallslist.

Over het wetenschappelijke publicatieproces is meer te lezen in ons artikel “Wat is wetenschappelijk betrouwbare informatie?”.

Wie is de auteur?

Wij gaan altijd uit van de goedheid in de mens en de meeste onderzoekers zijn integer en hebben het beste voor met de wereld. Echter, zijn er natuurlijk voorbeelden van wetenschappers die doelbewust fraude hebben gepleegd door wetenschappelijke resultaten te verdraaien of zelfs in zijn geheel te verzinnen. Waarschijnlijk kent iedereen hier wel voorbeelden van uit het nieuws (wij gaan hier geen namen noemen).

Op internet is een overzicht te vinden van artikelen die zijn teruggetrokken in verband met fouten of fraude. Het is altijd goed om te controleren of het wetenschappelijk onderzoek dat jij hebt gevonden niet teruggetrokken is.

Stap 2. Wat voor soort onderzoek is gedaan?

Nadat je de bron van de informatie hebt gecontroleerd, ga je inhoudelijk kijken naar hoe het onderzoek uitgevoerd is. Een van de belangrijkste punten is om te controleren wat voor soort onderzoek is gedaan. Gebruik daarvoor onderstaande piramide:

Er bestaat een zekere hiërarchie in verschillende soorten onderzoek waarbij de resultaten van sommige studietypes als belangrijker worden gezien dan anderen. Zo wordt een meta-analyse gezien als het meest betrouwbaar. Dit is een bundeling van de resultaten van veel verschillende onderzoeken. Onderaan de piramide staan de soort onderzoeken die de minste bewijskracht hebben, zoals bevindingen bij één patiënt (case report) of meningen (opinion papers).

We gaan in dit artikel niet te diep in op alle verschillende soorten onderzoek. Lees daarvoor ons volledige artikel over de verschillende soorten wetenschappelijk onderzoek. Wel is deze stap belangrijk om straks in stap 7 te bepalen of er sprake is van een oorzaak-gevolg relatie.

Een meta-analyse kan dan wel bovenaan de piramide staan. Maar als daarin de resultaten van een heleboel slechte onderzoeken gebundeld zijn, dan zijn de resultaten van die meta-analyse alsnog niet betrouwbaar. Dan kan je beter een grote goed uitgevoerde gerandomiseerde studie hebben.

Welk soort onderzoek gekozen wordt, is ook grotendeels afhankelijk van de vraag die de onderzoekers willen beantwoorden. Voor sommige vragen zijn onderzoeken die wat lager in de hiërarchie staan uitstekend geschikt.

Soms is een gerandomiseerde studie überhaupt niet mogelijk. Denk daarbij bijvoorbeeld aan de onderzoeksvraag: “Zorgt roken voor meer onvruchtbaarheid?” Het is ethisch niet verantwoord om mensen die meedoen aan het onderzoek doelbewust te laten roken omdat we al weten dat roken allerlei schadelijke effecten heeft. Daarom moet het bewijs komen uit een soort onderzoek dat lager in de piramide staat (bijvoorbeeld een cohort onderzoek). Dat betekent dan niet per definitie dat de resultaten niet betrouwbaar zijn.

Stap 3. Bij wie (of wat) is het onderzoek uitgevoerd?

Kijk eens naar de twee onderstaande afbeeldingen. Het eerste is een bericht uit de Telegraaf, het tweede een uitsnede van het originele wetenschappelijk artikel. Wat gaat hier mis?

Onderzoek bij ratten wordt vertaald naar een bewering voor kinderen. Onderzoek bij dieren is echter niet één op één te vertalen naar mensen.

Helaas gaat dat vaker mis. Kijk ook eens naar dit bericht:

Ook hierbij wordt veel te gemakkelijk de parellel getrokken tussen de situatie bij dieren en bij mensen. Dit soort beweringen zijn per definitie geen goed bewijs.

Maar veel lastiger te herkennen is soms dat onderzoek dat bij mensen uitgevoerd is ook niet altijd alles zegt. Ook mensen zijn niet allemaal hetzelfde. Resultaten bij mannen gelden bijvoorbeeld niet altijd voor vrouwen. Een bevinding bij Westerse mensen hoeft niet per se van toepassing te zijn op mensen van Aziatische komaf. En zo zijn er nog veel meer voorbeelden.

Het is daarom altijd goed om naar de zogenaamde in- en exclusiecriteria van een onderzoek te kijken.

Wie mochten er meedoen aan het onderzoek?
Waren het gezonde mensen of patiënten?
Werden alleen mensen met een witte huidskleur geïncludeerd of was er een gelijke verdeling over verschillende etniciteiten?

Dat zijn zomaar een paar vragen die je jezelf kan stellen. Komt deze populatie overeen met de groep waar jij in geïnteresseerd bent? Wil jij bijvoorbeeld weten of een supplement werkt bij een groep jonge sporters dan heb je weinig aan een onderzoek dat alleen iets zegt over de werkzaamheid bij 65+ers met hartproblemen.

Selectiebias

Zelfs al komt de groep mensen in het onderzoek overeen met jouw interesse populatie, dan nog is het goed om rekening te houden met een vorm van vertekening die heel veel voorkomt in onderzoek: Selectiebias. Dit treedt op wanneer de steekproef (in het onderzoek) geen goede afspiegeling vorm van de populatie die centraal staat. Bijvoorbeeld doordat minder fitte mensen sneller uitvallen in een onderzoek.

Stap 4. Wat is de belangrijkste uitkomst?

Het is altijd goed om kritisch te kijken naar de uitkomst van een onderzoek. Zo zijn er enkele belangrijke vragen om jezelf te stellen:

Komt de belangrijkste uitkomst in het onderzoek overeen met de vraag die jij wil beantwoorden?

Stel dat een medicijn de bloeddruk verlaagt dan betekent dit nog niet per se dat het ook het risico op hart- en vaatziekten verlaagt. Soms wordt bloeddruk als een zogenaamde surrogaat uitkomst gebruikt, maar om definitief te kunnen zeggen dat een medicijn (of supplement) een bepaald effect heeft, moet dit wel echt onderzocht zijn.

Is er gebruik gemaakt van subjectieve of objectieve uitkomsten?

In wetenschappelijk onderzoek wordt er zowel gebruik gemaakt van subjectieve als objectieve gegevens. Subjectieve gegevens kunnen beïnvloed worden door de gevoelens, ervaringen of mening van de proefpersoon of onderzoeker; denk hierbij bijvoorbeeld aan vragenlijst onderzoeken.

Objectieve gegevens zijn onafhankelijk van de interpretatie van mensen. Het een is niet per se beter dan het ander, maar sommige onderzoeken lenen zich meer voor objectieve of subjectieve observatiemethoden. Meer hierover lezen? Kijk dan eens naar ons artikel over subjectieve en objectieve gegevens.

Stap 5. Is het effect statistisch significant?

Zodra je hebt bepaald of de uitkomst überhaupt van belang is, kan je de volgende stap zetten: controleren of er spraken is van een statistisch significant effect. Wat houdt dit in?

Statistische significantie wordt omschreven als: “De kans dat het resultaat minstens zo extreem is als de geobserveerde resultaten, ervanuit gaande dat er geen effect is”.

Dat klinkt lastig en dat is het ook en daarom gaat het ook vaak mis in de interpretatie. Wij gaan proberen het simpel uit te leggen:

Stel dat je als onderzoeker wil weten wat het effect is van creatine op de sportprestaties
Als je dit onderzoekt ga je er waarschijnlijk zelf vanuit dat er WEL een effect is.
Statistische analyses gaan er juist vanuit dat er GEEN effect is
In wetenschappelijk onderzoek wordt vaak gesproken over een afkapwaarde voor significantie van 0,05. Voor het gemak vertalen we dit nu even naar 5%.
Die 0,05 is de zogenaamde p-waarde
Als de p-waarde lager is dan 0,05 dan wordt iets statistisch significant genoemd
Een p-waarde van 0,05 wil niets anders zeggen dan dat met de huidige gegevens de kans 5% is dat er GEEN effect is van het onderzochte.
Dus simpel gezegd: 95% kans dat er WEL een effect is. Onderzoeker blij.
Wordt de p-waarde groter. Bijvoorbeeld 0,5. Dan komt dat overeen met 50%. Eigenlijk dus 50/50. Alsof je een munt opgooit. Dan mag je dus niet spreken over statistische significantie.

Multiple testing

Hopelijk begrijp je de p-waarde nu een klein beetje. Dan kunnen we een volgend concept introduceren. Stel dat je inderdaad die afkap van 0,05 gebruikt, dan is er dus nog steeds een 5% kans dat er helemaal geen verschil is.

Wat gebeurt er nu als je 100 analyses doet in één studie? Neem bijvoorbeeld de vraag die we hierboven hadden: zorgt creatine voor betere sportprestaties? Stel dat je dan kijkt naar het effect van creatine op 100 verschillende oefeningen (Squat, bankdrukken, deadliften etc.).

Bij hoeveel oefeningen ga je dan onterecht een significant effect vinden (p-waarde kleiner dan 0,05)?

Puur op basis van toeval verwacht je dat je bij vijf oefeningen een statistisch significant effect zal vinden.

Dat betekent dus dat je altijd goed na moet denken over welke uitkomsten je wilt gebruiken. Je mag als onderzoeker niet ongelimiteerd uitkomsten toevoegen totdat er iets significants uitkomt. Dat is valsspelen. Onderzoekers kunnen dit overigens wel corrigeren in hun analyse, dus als een onderzoek 100 uitkomsten heeft dan hoeft dat niet per se verkeerd te zijn.

Stap 6. Hoe groot is het effect?

Bij deze stap is het vooral belangrijk om rekening te houden met een relatief risico.

Stel dat je leest dat het gebruiken van de anticonceptie pil het risico op het krijgen van trombose met ongeveer 2,5x verhoogt (wat overigens ook echt zo is). Wat denk je dan?

Stel je de volgende twee scenario’s voor:

Een vrouw van 20 jaar gebruikt de pil. Zij is verder gezond.
Een vrouw van 45 jaar gebruikt de pil. Zij heeft eerder al eens een trombosebeen gehad.

Nu met een korte berekening erbij:

Even afgezien van het pilgebruik: de kans dat een 20-jarige gezonde dame trombose krijgt is enorm laag. Laten we zeggen 1 op de 500.000 (dit is een fictief getal), ofwel 0,000002%. Als dit 2,5x hoger wordt dan wordt dit risico op het krijgen van trombose 0,000005%. Nog steeds verwaarloosbaar.
Stel nu dat de tweede vrouw een risico heeft van 10% op het (opnieuw) krijgen van trombose. Dan verhoog je het risico met het gebruik van de pil ineens naar 25%.

In beide gevallen is er sprake van een relatief risico van 2,5x (of 250%). Maar het absolute risico is enorm afhankelijk van de kans vooraf. Het absolute risico bij de tweede vrouw is enorm hoog.

Daarom is het belangrijk om altijd rekening te houden met het absolute verschil. Onderzoekers en ook de media vinden het altijd mooi om een relatief risico te vermelden en ons brein is heel erg geneigd om daarin mee te gaan. Maar nu heb je een handvat om je hier tegen te wapenen!

Stap 7. Is er sprake van een oorzaak gevolg relatie?

Dan de meest gemaakte fout bij de interpretatie van wetenschappelijk onderzoek: Een correlatie aanzien voor een oorzaak-gevolg relatie. Dit is een te uitgebreid onderwerp om hier volledig uit de doeken te doen, maar we willen het toch kort bespreken. Wil je meer info? Lees dan ons volledige artikel over het verschil tussen correlatie en causaliteit.

Stel nu dat je het volgende nieuwsbericht ziet:

En dit staat in het wetenschappelijke artikel:

In het nieuwsbericht wordt gesproken over “verhoogt” wat suggereert dat er een oorzaak-gevolg relatie is. Terwijl er in het onderzoek alleen maar gesproken wordt over een correlatie, ofwel een verband tussen het drinken van alcohol en gezondheidsrisico’s.

Wat is een correlatie?

Een correlatie betekent dat er een verband is tussen twee factoren, maar het hoeft niet te betekenen dat er een oorzaak-gevolg relatie is (causaal verband). Soms is er zowel een correlatie als een causaal verband. Dit is bijvoorbeeld het geval als we kijken naar de correlatie tussen roken en de sterfte aan hart-en vaatziekten. Ondertussen is onomstotelijk bewezen dat de sterfte aan hart- en vaatziekten een direct gevolg is van (onder andere) roken.

Wanneer is er dan geen sprake van een oorzaak-gevolg relatie?

Stel je voor dat je wil onderzoeken of het eten van pizza het risico op hart- en vaatziekten verhoogt. Je vraag 1000 mensen hoe vaak ze pizza eten, volgt ze 40 jaar en kijkt of ze in die tijd hart- of herseninfarcten krijgen.

Je vindt dat de mensen die meer dan 1 pizza per week aten een significant hoger risico hebben op het krijgen van hart- en vaatziekten.

Kan je nu beweren dat het eten van pizza het risico op hart- en vaatziekten verhoogt?

Nee! Je kan alleen stellen dat er een verband is tussen het eten van pizza en het krijgen van hart- en vaatziekten. Want er kunnen ook andere verklaringen zijn:

Er zijn andere factoren die een rol spelen. Bijvoorbeeld dat de mensen die elke week meer dan 1 pizza eten, ook meer alcohol drinken. Of in het algemeen ongezonder leven. Is het dan de schuld van de pizza? Of zijn het andere factoren die het risico verhogen? Als andere factoren een verband beïnvloeden dan noemen we dat confounding.
Het kan ook zo zijn dat het effect andersom Bij het voorbeeld van de pizza is dit lastig. Het is niet logisch dat het optreden van hart- en vaatziekten ervoor zorgt dat je 40 jaar eerder meer pizza eet. Maar bij andere onderzoeksvragen kan dit wel degelijk het geval zijn.

Het verband is andersom

Een voorbeeld wanneer het effect andersom zou kunnen zijn:

Stel dat er onderzocht is of meer bewegen het risico op dementie kan verlagen. In dit onderzoek wordt een groep mensen vijf jaar lang gevolgd. De onderzoekers concluderen dat de mensen die minder stappen op een dag zetten een hoger risico hebben op het krijgen van dementie.

Komt dat dan door het minder bewegen?

Of kan het zo zijn dat de (beginnende) dementie ervoor zorgt dat mensen sociaal geïsoleerder raken, minder buiten komen en daardoor minder bewegen. Dan zorgt de dementie dus voor het minder bewegen. Het effect is in dit geval dus andersom. Er is wel sprake van een correlatie, maar niet van een oorzaak-gevolg relatie.

Waarom gaat dit zo vaak mis?

Zelfs doorgewinterde onderzoekers interpreteren regelmatig een verband als een oorzaak- gevolg relatie. Dat komt doordat ons brein heel erg geneigd is om te denken in causale verbanden. Trap hier dus niet in!

Stap 8. Welke nuance wordt besproken?

In de vorige zeven stappen heb jij al bekeken welke kanttekeningen er bij een wetenschappelijk onderzoek te zetten zijn. Zelfs goed uitgevoerd onderzoek heeft zijn tekortkomingen of is simpelweg niet te vertalen naar de praktijk. Onderzoekers zijn vrijwel altijd genuanceerd in hun beschrijvingen. Leg jouw bevindingen eens naast de conclusie van het wetenschappelijk artikel (als je die tot je beschikking hebt). Bespreken de onderzoekers hetzelfde?

In nieuwsberichten verdwijnt deze nuance bijna altijd volledig. Kijk maar eens naar onderstaande kop:

Wat valt je op? Denk je echt dat sterrenkundigen zouden zeggen: “hoort niet te bestaan”?

Waarschijnlijk zouden ze eerder iets beschrijven als: “Een dergelijke observatie komt niet overeen met de eerdere wetenschappelijke kennis. Toekomstig onderzoek is nodig om aan te tonen wat de betekenis is van deze resultaten.”

Maarja, dat staat natuurlijk niet leuk in een nieuwsbericht.

Stap 9. Is er sprake van bias?

Bias is een onbedoelde vertekening van onderzoeksresultaten. Dit kan op veel verschillende manieren optreden. In stap 3 hadden we het bijvoorbeeld al over selectiebias. Maar er zijn meerdere vormen van bias. Wij bespreken in deze stap twee belangrijke vormen, maar er zijn er dus nog veel meer!

Recall bias

Een veel voorkomende vorm van informatiebias is de zogenaamde “recall bias”, ook wel herinneringsbias genoemd. Dit houdt in dat verschillende groepen mensen zich bepaalde zaken anders herinneren. Een bekend voorbeeld hiervoor is dat vrouwen met een gehandicapt kind beter herinneren welke medicijnen ze tijdens de zwangerschap hebben geslikt dan vrouwen met een gezond kind. Dit kan een vertekening van resultaten opleveren.

Publicatiebias

Eén van de belangrijkste vormen van bias: publicatiebias.

Wat is het precies?

Publicatiebias is het fenomeen dat negatieve resultaten minder snel gepubliceerd worden dan positieve resultaten. Dit kan een enorme vertekening geven. Oorzaken hiervan zijn:

Wetenschappelijke vaktijdschriften publiceren vaak liever positieve resultaten omdat deze resultaten vaker gebruikt worden voor vervolg onderzoek. Deze artikelen worden dan vaker genoemd (geciteerd) in nieuwe onderzoeken. Daardoor krijgt hun vakblad een hoger aanzien (dit laatste wordt ook wel de impact factor genoemd).
Farmaceutische bedrijven hebben niet altijd belang bij het publiceren van resultaten waaruit blijkt dat hun middel of product niet werkt. Gelukkig worden hier vaak voor de start van het onderzoek afspraken over gemaakt waardoor ook negatieve resultaten gepubliceerd moeten worden.
Ook de onderzoeker zelf kan voor publicatiebias zorgen. Zij kunnen hun eigen resultaten mooier weergeven dan dat ze daadwerkelijk zijn. Soms worden bevindingen ook in zijn geheel weggelaten.

Tenslotte is er dan ook nog een vorm van “publicatiebias” in de reguliere media. Wetenschappelijke onderzoeken met positieve resultaten krijgen vaak meer aandacht in de reguliere media. Er zal bijvoorbeeld wel aandacht zijn voor een medicijn dat werkt bij kanker, maar wanneer een nieuw medicijn niet werkt dan krijgt dat in de media totaal geen aandacht.

Kan je publicatiebias controleren?

Het is vrijwel onmogelijk om dit goed te controleren. Als je alle onderzoeken op een rijtje zet zijn er manieren om aanwijzingen te krijgen dat er sprake kan zijn van publicatiebias, maar dit is zeker als buitenstaander of leek niet te doen. Toch wilden we het hier bespreken omdat het een enorme impact heeft op de wetenschappelijke wereld en het goed is om op de hoogte te zijn van het bestaan van publicatiebias.

Stap 10. Is het onderzoek ooit herhaald?

De simpelste stap: in onze ogen is één onderzoek géén onderzoek. Zeker niet als je in het achterhoofd houdt wat we eerder allemaal al beschreven:

Misschien is dit resultaat een toevalsbevinding
Misschien zijn er een heleboel onderzoeken die het tegendeel bewijzen die jij niet gevonden hebt of überhaupt niet gepubliceerd zijn (publicatiebias)

Etc. etc.

Het is daarom altijd goed om verder te kijken dan één onderzoek. Zijn er bijvoorbeeld meta-analyses gepubliceerd (zie stap 2)? Dan is dat een mooie start om verder te kijken of de resultaten gerepliceerd zijn

Conclusie

Dit 10-stappenplan voor de interpretatie van wetenschappelijke bevindingen geeft jou handvatten om kritisch te kijken naar informatie die je vindt in wetenschappelijk onderzoek of op internet. Pak regelmatig dit stappenplan erbij en uiteindelijk wordt het een automatisme.

Ben jij zorgverlener? We hebben ook een zakkaartje kritisch redeneren gemaakt die te downloaden is op de website van onze kennispartner esculaap.

Cursus kritisch redeneren

Wil je meer leren over het beoordelen van wetenschappelijk onderzoek? Dan is onze cursus kritisch redeneren misschien wel iets voor jou! Klik op de button hieronder voor onze cursuspagina!