Joanathan Kimmelman van de McGill-universiteit (afb: McGill)
Kankeronderzoekers schijnen de reproduceerbaarheid (herhaalbaarheid) van preklinisch onderzoek te overschatten. Ervaren onderzoekers doen het wat beter dan nieuwkomers. Dat verbaast me niks. Wat ik me afvraag is wat dat betekent voor de uitkomsten van dat, waarschijnlijk, verkeerd ingeschatte kankeronderzoek.
Jonathan Kimmelman van de Canadese McGill-universiteit en de zijnen baseren zich bij deze conclusie op onderzoek waarbij zowel ervaren rotten als nieuwkomers moesten voorspellen of dierproeven in zes gerenommeerde preklinische studies reproduceerbaar zouden zijn. Die herhalingen werd uitgevoerd door het reproduceerbaarheidsproject kankerbiologie (RP.CB).
Gemiddeld schatten de ondervraagde kankeronderzoekers dat de kans om de statistische significantie te repliceren op 75% en ze schatten de kans om dezelfde grootte van effecten zouden worden waargenomen op 50%. Geen van de zes herhaalde experimenten gaven echter dezelfde resultaten als de oorspronkelijke studies.
Dit onderzoek is eens te meer een bewijs dat het niet best gesteld is met de reproduceerbaarheid van het biomedisch onderzoek en de vraag is wat dat betekent voor de gerapporteerde onderzoeksresulaten. De laatste tien, vijftien jaar groeit de zorg over de gebruikte technieken en praktijken in het biomedische onderzoek en daarmee over de zeggingskracht van de uitkomsten.
Verkeerde inschatting
Als het een gegeven is dat niet alle onderzoek is te reproduceren, zouden onderzoekers dan wel een idee hebben welke studies moeilijk te repliceren zijn, vroegen Kimmelman en de zijnen zich af. Dat inschattingsvermogen blijkt dus niet zo erg groot te zijn. Dat zou kunnen betekenen dat het wetenschappelijke proces in de biomedische vakken onvoldoende “zelfcorrectie” kent.
Kimmelman stelt dat de uitkomsten van zijn onderzoek niet betekenen dat wetenschappers die aan het onderzoek hebben meegedaan niet begrijpen wat er in het veld aan de hand is, noch zou het betekenen dat je de financiering van wetenschappelijk onderzoek niet moet laten afhangen van beoordeling door wetenschappers. Sommige onderzoekers waren voorspelden vrij nauwkeurig en voor anderen was voorspellen nieuw.
Opmerkelijke uitspraken van Kimmelman, die, volgens mij, hiermee zijn eigen onderzoek volledig onderuit haalt. Bovendien als iemand niet kan voorspellen of een onderzoek goed reproduceerbaar is, kan hij/zij zelf dan wel een goed proefopzet maken? Het lijkt me dat iemand zich dan diskwalificeert als ondeugdelijk wetenschapper.
Oefening
Oefening zou baten, zou uit het onderzoek naar voren zijn gekomen. Er schijnt dus toch nog wel te doen te zijn met Kimmelmans speurwerk. “Als onderzoekers geloven dat een uitkomst betrouwbaar is, dat bouwen ze daarop voort en komen er misschien later achter dat de fundamenten rot waren. Als onderzoekers wat wantrouwiger zijn, dan zouden ze waarschijnlijk bepaalde zaken eerst controleren voordat ze daarop voortbouwen.” Tja en dat dat is waarschijnlijk nu juist het probleem. Over het algemeen hebben onderzoekers niet erg veel trek om onderzoek van anderen over te doen. Misschien verandert dat met projecten als als RP.CB.
Dit zou het eerste onderzoek in zijn soort zijn. Meer onderzoek is (uiteraard) nodig.
Bron: EurekAlert