Hoe evalueer je de effecten van beleid of een interventie als je er geen controle over hebt? Veel blootstellingen die van invloed zijn op ongelijkheden in gezondheid kunnen niet willekeurig aan personen in proeven worden toegewezen. Natuurlijke experimenten maken het mogelijk om plotselinge veranderingen in de echte wereld te bestuderen en kunnen de beleidsvorming van uniek bewijsmateriaal voorzien. Maar wat zijn natuurlijke experimenten, wat zijn de uitdagingen om ze te bestuderen, en hoe kunnen ze bijdragen aan onderzoek naar gezondheidsongelijkheid?
Natuurlijke experimenten: waarom, wanneer en wat?
Veel onderzoek wordt gedreven door het motto rerum cognoscere causas (de oorzaak der dingen kennen). Er zijn verschillende redenen waarom wij geïnteresseerd kunnen zijn in oorzaak-gevolg relaties. In mijn geval is het hoofddoel van causaal onderzoek het sturen van de besluitvorming over de gezondheid van onze bevolking. Je kunt hierbij denken aan het belang van gerandomiseerde gecontroleerde onderzoeken (RCT's) die “by design” causaal bewijs leveren over de effecten van klinische interventies (b.v. geneesmiddelen of chirurgische benaderingen). In RCT's maakt de gerandomiseerde toewijzing van personen aan de interventie- of controlegroep deze groepen gelijk in alles behalve de behandeling die zij krijgen. Bij het vergelijken van deze groepen kunnen de verschillen in resultaten dus worden toegeschreven aan de behandeling. RCT's zijn echter vaak onethisch, onhaalbaar of gewoon onmogelijk uit te voeren. Dit geldt met name voor aspecten die van belang zijn voor de ongelijkheden in gezondheid onder de bevolking, zoals veel van de sociale determinanten van gezondheid (bv. rijkdom of buurtomgeving). Ook het gezondheidszorgbeleid kan een uitdaging vormen om veranderingen in proeven te bestuderen, bijvoorbeeld in de kosten die patiënten betalen om gebruik te maken van geestelijke gezondheidszorg (kostendeling).
Natuurlijke experimenten bieden unieke mogelijkheden om de causale effecten van veel van deze interventies of beleidsmaatregelen te onderzoeken. Net als bij RCT's vergelijken we een interventie met een controlegroep. Deze groepen worden echter niet gecreëerd door de onderzoeker (zoals bij proeven), maar door veranderingen in de blootstelling als gevolg van externe schokken, of door factoren die buiten de controle van de onderzoekers vallen (de zogenaamde exogene variatie). Typische voorbeelden van zulke schokken zijn: loterijen die de rijkdom van sommige mensen vergroten of onverwachte weersrampen die sommige mensen van buurt laten veranderen. Andere bronnen van significante variatie in de ongelijkheid op gezondheidsgebied zijn de stapsgewijze invoering van sociale programma's of willekeurige drempels die door beleid of klinische richtsnoeren worden opgelegd. Stel bijvoorbeeld dat de kostendeling alleen voor volwassenen wordt ingevoerd; in dat geval kunnen we het effect van dit beleid bestuderen door personen van boven de 18 - die voor hun gezondheidszorg zullen moeten betalen - te vergelijken met personen net voor ze 18 worden, die sterk op elkaar lijken maar niet hoeven te betalen.
De uitdagingen van natuurlijke experimenten omarmen
Ondanks het potentieel van natuurlijke experimenten om zinvolle oorzaak-gevolgrelaties te bestuderen, zijn er een aantal uitdagingen om deze studies uit te voeren. Ten eerste zijn er veel interessante interventies waarvoor de zogenaamde exogene variatie niet zal bestaan, wat betekent dat er geen controlegroep is die voldoende gelijkenis vertoont met de interventie groep zodat we ze kunnen vergelijken. Ten tweede, wanneer er wel exogene variatie is, kan één van de grote uitdagingen de onvoorspelbaarheid zijn. Bij prospectieve evaluatie van beleidsmaatregelen of programma's, kunnen onderzoekers in de problemen komen bij het op elkaar afstemmen van tijdschema's voor implementatie, evaluatie en financiering. Men kan denken aan de manier waarop wetgeving en hervormingen soms sneller worden uitgevoerd dan verwacht, terwijl infrastructurele ingrepen flinke vertraging kunnen oplopen. Ik heb ervaren dat het retrospectief uitvoeren van evaluaties de uitdagingen niet wegneemt: het vinden van de gegevens (die in het verleden hadden moeten worden verzameld), de toegang tot en het koppelen van deze gegevens, en het voldoen aan veronderstellingen en statistische vereisten betekenen vaak dat veel natuurlijke experimenten die zijn onderzocht uiteindelijk niet worden geëvalueerd.
Wij kunnen sommige van deze uitdagingen beter aanpakken als wij de huidige praktijken op het gebied van onderzoek en beleidsvorming veranderen. Ten eerste zal het betrekken van onderzoekers bij de vroege fasen van interventie/beleidsplanning voorkomen dat de kansen worden gemist om die via natuurlijke experimenten te evalueren. Ten tweede moeten onderzoeksomgevingen ruimte bieden aan de onzekerheid die samen gaat met het uitvoeren van deze studies. Zo zouden bijvoorbeeld snelle en flexibele financieringsbronnen het mogelijk kunnen maken onmiddellijk gegevens te verzamelen wanneer wetgeving plotseling wordt ingevoerd. Wanneer er al gegevens bestaan, zijn multidisciplinaire teams van essentieel belang om de tijdige koppeling van databestanden binnen ethische en regelgevingskaders makkelijker te maken. Dit vereist samenwerking tussen juridische ambtenaren, beleidsmakers, beroepsbeoefenaars en onderzoekers. Ten slotte is de opleiding van zorgpersoneel, niet-academische belanghebbenden, financiers en beleidsmakers in de waarde en de specifieke kenmerken van natuurlijke experimenten van essentieel belang om het vertrouwen in en het gebruik van deze evaluatiestrategieën te vergroten. Alleen dan zullen belanghebbenden inzien dat natuurlijke experimenten unieke kansen bieden om het bestaande bewijsmateriaal te versterken, en dat natuurlijke experimenten van cruciaal belang zijn in het continuüm van bewijs van associatie tot causaliteit.
Natuurlijke experimenten en ongelijkheden op gezondheidsgebied
In mijn promotietraject heb ik gebruik gemaakt van natuurlijke experimenten om de effecten van hervormingen en programma's in de geestelijke gezondheidszorg en langdurige zorg te bestuderen: de effecten van het verhogen van de kostendeling voor patiënten bij de toegang tot geestelijke gezondheidszorg voor jongvolwassenen, of de effecten van het in aanmerking komen voor langdurige geestelijke gezondheidszorg voor geesteszieken die niet zelfstandig kunnen vertrekken. Deze natuurlijke experimenten dragen bij tot empirisch onderbouwde beleidsvorming over ongelijkheid op gezondheidsgebied omdat zij de verschillende effecten van interventies naar sociaaleconomische status bestuderen (eerste voorbeeld), of omdat de interventies gericht zijn op de meest kwetsbare groepen (tweede voorbeeld).
Over de auteur
Francisca Vargas Lopes is promovenda bij de afdeling Volksgezondheid van het Erasmus MC met gezamenlijke begeleiding van de afdeling Toegepaste Economische Wetenschappen van de Erasmus School of Economics. Het werken op het snijvlak van deze twee disciplines heeft haar de instrumenten gegeven om evaluaties uit te voeren van natuurlijke experimenten op het gebied van ongelijkheid in de gezondheidszorg. Deze blog neemt een aantal van haar opvattingen over deze studies over die ze onlangs heeft gedeeld in een gezamenlijk stuk met Famke Molenberg, "De paradox van het krijgen van controle over natuurlijke experimenten". Je kunt contact opnemen met Francisca via f.vargaslopes@erasmusmc.nl of hier meer te weten komen over haar werk.