Een evaluatie van attributiemethoden. Maar van welke precies?

Een inventieve toepassing van het single study syndrome door xkcd

Een week of wat geleden trok een artikel in Science Advances, het open access filiaal van Science, mijn aandacht: Verification of extreme event attribution: Using out-of-sample observations to assess changes in probabilities of unprecedented events van Noah Diffenbaugh. De conclusie van Diffenbaugh is pittig: de methodes die worden gebruikt voor de attributie van extreem weer zouden het effect van klimaatverandering vaak flink onderschatten. Ik besloot het artikel te lezen, en er misschien wel iets over te schrijven.

Maar eerst keek ik even naar wat berichten die er al over op internet stonden. Science Advances geeft een handig overzicht van die berichten. En daar viel me iets op: veel van die artikelen schrijven wel iets over een onderschatting, maar wat er precies onderschat wordt is niet altijd even duidelijk. Er wordt nogal eens geschreven dat het om de voorspelde toename van extreem weer zou gaan, in plaats van over attributie. En dat is toch echt iets anders: attributie is geen voorspelling maar een analyse achteraf. Zelfs Stanford, het instituut waar Diffenbaugh werkt, heeft het over “more extreme weather than predicted“. Een slordigheidje van de voorlichters, misschien?

Toen ik aan het artikel van Diffenbaugh begon kon ik de verwarring in de berichten beter begrijpen. Het viel niet mee om te doorgronden wat hij nu precies had gedaan. Op een of andere manier vergeleek hij trends van extreem weer van attributiemethoden met trends die volgden uit waarnemingen. Maar welke trends precies, daar kwam ik niet echt uit. Ik vroeg me af of de methoden die in attributiestudies worden gebruikt misschien veel simpeler en onbetrouwbaarder waren dan ik altijd had gedacht. Was het allemaal niet veel meer dan trends uit het verleden doortrekken? Of was er iets vreemds aan de hand met deze evaluatie? Of ging het me gewoon allemaal boven de pet? Dat laatste leek me het meest aannemelijk. Ik besloot toch maar een kort stukje te schrijven met wat ik wel meende te snappen. Want de resultaten van de evaluatie waren best opzienbarend. Als attributiestudies het effect van klimaatverandering structureel flink onderschatten verdient dat wel aandacht op een klimaatblog.

Wat ik ervan begreep was dat Diffenbaugh op basis van de attributiemethoden een verwachtingswaarde had berekend voor bepaalde typen extreem weer, zoals extreme hitte en neerslag, voor de periode 2006 tot 2017. En dat hij die verwachtingswaarde vergeleek met de waarnemingen. Het aantal waarnemingen viel vaak hoger uit dan de verwachting volgens de attibutiemethoden.

Ik stuurde mijn stuk naar de collega-bloggers en Jos was de eerste die reageerde. Ook hij kwam er niet helemaal uit. Nu wil ik niet zeggen dat ik elk onderzoek waar ik hier over schrijf tot in alle finesses begrijp, maar de grote lijn wil ik wel graag kunnen volgen. Ik besloot deskundige hulp in te roepen. Geert Jan van Oldenborgh is een autoriteit op dit onderwerp, hij werkt bijvoorbeeld mee in de World Weather Attribution Group, en hij was desgevraagd meteen bereid om naar het verhaal te kijken. Zijn reactie was duidelijk. Het komt erop neer dat het artikel van Diffenbaugh de stevige claims absoluut niet waarmaakt.

Diffenbaugh evalueert een werkwijze die hij zelf ooit heeft ontwikkeld en die door anderen niet of nauwelijks wordt toegepast. Bijvoorbeeld omdat de onderschatting die hij nu aantoont bij andere wetenschappers die zich met attributie bezighouden allang bekend is. De suggestie dat de conclusies van de evaluatie voor attributiestudies in het algemeen gelden is dus onjuist.

Conclusie: pas op voor het single study syndrome. Zeker wanneer een enkele studie conclusies meent te kunnen trekken over een hele categorie aan onderzoeken. Of die conclusie nu inhoudt dat al die onderzoeken het effect van klimaatverandering onder- of overschatten maakt dan niet uit.