Ontworming, cash transfers en WELLBYs: de weg naar een betere wereld is niet geplaveid en vol hobbels.
Brendan Hadden vraagt zich af of we wel beter kunnen worden in goed doen als we niet begrijpen waarom iets werkt.
Brendan Hadden van Heilig Boontje schreef voor Het Principe van Optimisme een gastpost over de meetbaarheid van vooruitgang. Volgens Brendan blijken effectief interventies minder generaliseerbaar dan gedacht. Dit is precies het soort kritiek waar effectief altruïsme beter van wordt.
“Worden we eigenlijk beter in goed doen?” Dat was de eerste gedachte die bij me opkwam voor deze gastpost. Het principe van optimisme gaat over innovatie en vooruitgang — maar vooruitgang blijft ongrijpbaar in het veld waar ik over schrijf: filantropie.
Eerst maar even twee punten uit de weg ruimen:
Filantropisch geld heeft een hoop innovatie opgeleverd. Dit artikel noemt bijvoorbeeld harttransplantaties, veilige en schone fornuizen voor arme gemeenschappen en goedkope agrarische technologie. Maar ook de abortuspil is het rechtstreekse resultaat van de filantroop Katharine McCormick.
Ook weten we steeds beter welke impact een goed doel heeft. Door experimenteel onderzoek weet een organisatie als GiveWell bijvoorbeeld niet alleen hoeveel klamboe’s de Against Malaria Foundation heeft uitgedeeld, maar ook hoeveel malaria-infecties hiermee zijn voorkomen en hoeveel levens dit heeft gered.
We weten dus dát iets werkt, maar de grote vraag is: waarom werkt het? Wat zijn de achterliggende principes? Waar de exacte wetenschap wetmatigheden vindt waarmee voorspellingen kunnen worden gedaan, laat menselijk gedrag en geluk zich nog niet zo makkelijk in generaliseerbare principes vastleggen.
Gratis geld en de opmars van GiveDirectly
Neem het voorbeeld van ‘cash transfers’. Gratis geld voor arme mensen, zeg maar.
Tien jaar geleden was het simpelweg geven van geld aan arme mensen nog een omstreden idee. We moesten mensen leren vissen, zo was het idee, in plaats van ze de vis te geven. Maar omdat onderzoek op onderzoek aantoonde dat cash transfer programma’s succesvol waren, is dit idee aan een indrukwekkende opmars begonnen. Als bekroning van deze zegetocht wist GiveDirectly onlangs de bekende Britse politicus Rory Stewart te strikken als directeur.
‘Arme mensen gewoon geld geven’ is een ideale kandidaat voor een generaliseerbaar principe. Het scheelt een hoop bureaucratie en overhead en is gespeend van paternalisme. Een doorbraak in het filantropisch denken!
Behalve dat dit toch minder universele werking had dan gedacht. Hoewel de programma’s van bijvoorbeeld GiveDirectly in Afrika in eerste instantie succesvol waren, lijken die resultaten zich niet te vertalen naar arme mensen in Amerika of welvaart op lange termijn.
De controverse rond cash transfers laten tegelijk de kracht en de beperkingen zien van impactonderzoek. We zijn beter geworden in meten, maar niet in het achterliggende weten. Onderzoekers van Impact Genome beschrijven dit dan ook als het ‘black box’ probleem: we weten dat sommige dingen werken, en andere dingen niet. Maar we weten niet waarom.
Onderzoeksmethoden als de randomized controlled trial (RCT) hebben een enorme invloed gehad op de manier waarop goede doelen nu over hun impact nadenken. Een beweging als het effectief altruïsme en organisaties als GiveWell zouden zonder RCTs niet hebben bestaan en als gevolg hiervan zijn miljoenen mensenlevens gered.
Maar nu komt de crux: omdat de uitkomst van een RCT niks zegt over precies welke onderdelen van een programma effectief waren, weten we niet waarom een cash transfer programma in dorp A wel en in dorp B niet werkte. En nog belangrijker; hebben we geen idee of hetzelfde programma in dorp C gaat werken.
De ontwormingscontroverse
In 2003 publiceerde de econoom Michael Kremer de resultaten van een grootschalige RCT waarin hij concludeerde dat het ontwormen van schoolkinderen in Kenia hun inkomen op lange termijn positief beïnvloedde. Door een goedkoop pillenkuurtje werden deze kinderen beschermd tegen parasitaire worminfecties (zoals schistosomiasis) waardoor ze gezonder opgroeiden en minder school misten.
Ontwormingsprogramma’s sloegen aan, op basis van een paar aannames:
Parasitaire worminfecties zijn pijnlijk en naar. Mensen genezen maakt hun leven dus beter (vooral bij kinderen die in school kunnen blijven).
Parasitaire worminfecties zijn eenvoudig te genezen. We hebben pilletjes die de infecties snel en makkelijk kunnen bestrijden.
Parasitaire worminfecties genezen is spotgoedkoop. GiveWell schat dat het 0,66 dollar kost om een kind in Kenia te genezen (in India ongeveer de helft).
Maar Kremers resultaten kwamen al snel onder vuur te liggen. Vervolgonderzoek naar het verband tussen ontworming en ‘improved life outcomes’ liet een veel minder rooskleurig beeld zien, waarop wetenschappers aan beide kanten van het debat over elkaar heen vielen om te bewijzen dat hun kant gelijk had. De ‘worm wars’ waren begonnen.
Nog altijd is er geen echte consensus over de mate waarin ontwormingsprogramma’s levens verbeteren. Dit leidt tot een ietwat ongemakkelijke conclusie, zoals Kelsey Piper van Vox samenvat:
“Whether combating intestinal parasites has a large effect on long-term health and therefore on life outcomes isn’t yet clear. But since it’s so cheap and might have those huge benefits, it’s a good use of money in the crowded field of ways to improve the lives of those in extreme poverty even if it’s reasonably likely to not work as well as projected.”
Er valt veel te leren van het verhaal van ontwormingsprogramma’s, maar de eerste les is volgens mij dit: elk initiatief dat op schaal iets wil bereiken moet aannames doen, en de resultaten vallen of staan bij die aannames.
De tweede les is ingewikkelder, en gaat over wat het inhoudt om een positieve impact te hebben. Om de (soms overtrokken) vergelijking met de exacte wetenschappen te maken: zwaartekracht is zwaartekracht, maar je kunt eeuwig discussiëren over wat een goed leven is.
WELLBYs
Het meest recente hoofdstuk in de ‘worm wars’ laat dit probleem zien. De denktank Happier Lives Institute (HLI) publiceerde onlangs een analyse waarin ze onderzochten wat het effect van ontwormingsprogramma’s op subjectief welzijn is — zeg maar het geluksgevoel van mensen. HLI vond een ‘klein, niet-significant effect van ontworming op geluk’. De organisatie raadt als gevolg donateurs aan om eerder aan StrongMinds te geven, een goed doel dat depressie bij mensen in lage inkomenslanden behandelt.
De kern van de aanpak van HLI is dat programma’s worden geëvalueerd op basis van hun bijdrage aan geluk en welzijn. HLI stelt dat er tegenwoordig betrouwbare manieren zijn om welzijn te meten, door mensen te vragen hoe tevreden ze zijn met hun leven (zelfrapportage). De impact van programma’s kan dan worden vergeleken op basis van hoeveel ‘wellbeing-adjusted life years’ (WELLBYs) het aan iemands leven toevoegt:
‘One WELLBY is equivalent to a 1-point increase on a 0-10 life satisfaction scale for one year. Unlike measures of health or wealth, WELLBYs capture the overall benefit people receive from an intervention, which allows us to make apples-to-apples comparisons between interventions that impact different outcomes.’
De WELLBY is slechts de meest recente maatstaf voor het werk van goede doelen. Ontwikkelingseconomen zoals de eerder genoemde Kremer richtten zich vooral op welvaart, uitgedrukt in inkomen of het BBP. De invloed van de medische wetenschappen ging gepaard met een focus op gezondheid, te meten in geredde levens of ‘quality-adjusted life years’ (QALYs).
Hoeveel goed je denkt dat ontworming doet is dus afhankelijk van de maatstaf die je gebruikt. En hoewel je de evolutie van die maatstaf als een vorm van vooruitgang kan zien, is het deels ook een kwestie van smaak en veranderende normen. In dat geval wordt impact niet alleen schieten in het donker, maar ook schieten op een bewegend doelwit.
Worden we beter in goed doen?
De voorbeelden van cash transfers en ontworming laten zien dat het keer op keer moeilijker blijkt dan we denken om resultaten te reproduceren in een andere context. Onze kennis over hoe je levens verbetert is tegelijkertijd enorm waardevol in de context waarin we het opdoen, en heel beperkt daarbuiten.
Er zijn mogelijke paden vooruit. Meer onderzoek en aandacht leidt bijvoorbeeld tot nieuwe innovatieve manieren om impact te categoriseren. Kunstmatige intelligentie maakt het mogelijk verbanden te vinden die menselijke onderzoekers nooit zouden zien.
Goede doelen zijn — langzaam — meer met impact bezig, en zetten steeds vaker wetenschappelijke experimenten in. In veel gevallen is effectief altruïsme hier een drijvende kracht achter geweest.
Maar beter worden in goed doen impliceert dat we er meer over weten; dat we beter begrijpen hoe je levens verbetert. En die claim durf ik nog niet te maken.
 | A guest post by
|