Heininga VE › Trails

TRAILS

Heininga VE

Heininga VE, Oldehinkel AJ, Veenstra R, Nederhof E (2015) I Just Ran a Thousand Analyses: Benefits of Multiple Testing in Understanding Equivocal Evidence on Gene-Environment Interactions. PLoS ONE 10(5): e0125383. doi:10.1371/journal.pone.0125383

Wat was al bekend over dit onderwerp

  • Wetenschappelijke studies spreken elkaar vaak tegen. De tegenstrijdigheid wordt vaak verklaard door verschillen in studie-opzet, bijvoorbeeld de gebruikte (uitkomst-)maat. Maar het kan ook liggen aan hoe de statistische toetsen zijn uitgevoerd.
  • Zelfs als er in werkelijkheid geen verband bestaat, is de kans 5% dat het wel wordt aangetoond in een statistische toets. Het aantonen van een effect dat er in werkelijkheid niet is noemen we een vals positieve bevinding.
  • Het zou dus kunnen dat, in plaats van verschillen in studie-opzet, het wetenschappelijke beeld is vertekend door een over-publicatie van vals positieve bevindingen.

Wat deze studie toevoegt

  • Wij toetsten in TRAILS één voorbeeld van zo’n relatie die tot tegenstrijdige resultaten leidt, op meer dan duizend manieren (2160 manieren van 5-HTTLPR x stress à depressie) maar allemaal met kleine onderlinge verschillen in studie-opzet. Gemiddeld waren slechts 7,9% van alle statistische toetsen significant.
  • Dit is veel minder dan wij hadden verwacht op basis van de gepubliceerde wetenschappelijke bevindingen tot nu toe. Bovendien konden we dit lage percentage niet verklaren door middel van de verschillen in studie-opzet. De tegenstrijdigheden in de wetenschappelijke literatuur zouden dus kunnen voortkomen uit (eerder gepubliceerde) vals positieve bevindingen.
  • Aan de hand van dit voorbeeld laten wij zien dat vals positieven inderdaad een vertekend beeld kunnen gegeven. En dat je door middel van ontelbaar veel analyses erachter kan komen waar de tegenstrijdigheid precies vandaan komt.

Link naar het artikel via Pubmed