Een evaluatie van attributiemethoden. Maar van welke precies?

Een inventieve toepassing van het single study syndrome door xkcd

Een week of wat geleden trok een artikel in Science Advances, het open access filiaal van Science, mijn aandacht: Verification of extreme event attribution: Using out-of-sample observations to assess changes in probabilities of unprecedented events van Noah Diffenbaugh. De conclusie van Diffenbaugh is pittig: de methodes die worden gebruikt voor de attributie van extreem weer zouden het effect van klimaatverandering vaak flink onderschatten. Ik besloot het artikel te lezen, en er misschien wel iets over te schrijven.

Maar eerst keek ik even naar wat berichten die er al over op internet stonden. Science Advances geeft een handig overzicht van die berichten. En daar viel me iets op: veel van die artikelen schrijven wel iets over een onderschatting, maar wat er precies onderschat wordt is niet altijd even duidelijk. Er wordt nogal eens geschreven dat het om de voorspelde toename van extreem weer zou gaan, in plaats van over attributie. En dat is toch echt iets anders: attributie is geen voorspelling maar een analyse achteraf. Zelfs Stanford, het instituut waar Diffenbaugh werkt, heeft het over “more extreme weather than predicted“. Een slordigheidje van de voorlichters, misschien?

Toen ik aan het artikel van Diffenbaugh begon kon ik de verwarring in de berichten beter begrijpen. Het viel niet mee om te doorgronden wat hij nu precies had gedaan. Op een of andere manier vergeleek hij trends van extreem weer van attributiemethoden met trends die volgden uit waarnemingen. Maar welke trends precies, daar kwam ik niet echt uit. Ik vroeg me af of de methoden die in attributiestudies worden gebruikt misschien veel simpeler en onbetrouwbaarder waren dan ik altijd had gedacht. Was het allemaal niet veel meer dan trends uit het verleden doortrekken? Of was er iets vreemds aan de hand met deze evaluatie? Of ging het me gewoon allemaal boven de pet? Dat laatste leek me het meest aannemelijk. Ik besloot toch maar een kort stukje te schrijven met wat ik wel meende te snappen. Want de resultaten van de evaluatie waren best opzienbarend. Als attributiestudies het effect van klimaatverandering structureel flink onderschatten verdient dat wel aandacht op een klimaatblog.

Wat ik ervan begreep was dat Diffenbaugh op basis van de attributiemethoden een verwachtingswaarde had berekend voor bepaalde typen extreem weer, zoals extreme hitte en neerslag, voor de periode 2006 tot 2017. En dat hij die verwachtingswaarde vergeleek met de waarnemingen. Het aantal waarnemingen viel vaak hoger uit dan de verwachting volgens de attibutiemethoden.

Ik stuurde mijn stuk naar de collega-bloggers en Jos was de eerste die reageerde. Ook hij kwam er niet helemaal uit. Nu wil ik niet zeggen dat ik elk onderzoek waar ik hier over schrijf tot in alle finesses begrijp, maar de grote lijn wil ik wel graag kunnen volgen. Ik besloot deskundige hulp in te roepen. Geert Jan van Oldenborgh is een autoriteit op dit onderwerp, hij werkt bijvoorbeeld mee in de World Weather Attribution Group, en hij was desgevraagd meteen bereid om naar het verhaal te kijken. Zijn reactie was duidelijk. Het komt erop neer dat het artikel van Diffenbaugh de stevige claims absoluut niet waarmaakt.

Diffenbaugh evalueert een werkwijze die hij zelf ooit heeft ontwikkeld en die door anderen niet of nauwelijks wordt toegepast. Bijvoorbeeld omdat de onderschatting die hij nu aantoont bij andere wetenschappers die zich met attributie bezighouden allang bekend is. De suggestie dat de conclusies van de evaluatie voor attributiestudies in het algemeen gelden is dus onjuist.

Conclusie: pas op voor het single study syndrome. Zeker wanneer een enkele studie conclusies meent te kunnen trekken over een hele categorie aan onderzoeken. Of die conclusie nu inhoudt dat al die onderzoeken het effect van klimaatverandering onder- of overschatten maakt dan niet uit.

3 Reacties op “Een evaluatie van attributiemethoden. Maar van welke precies?

  1. Hans Custers

    Meer over attributie:

    – Een kaart (met uitgebreide toelichting) met een overzicht van de resultaten van veel attributiestudies bij Carbon Brief.
    – Een artikel van Friederike Otto (specialist op dit onderwerp) bij The Conversation.

  2. Onderzoek heeft nu reeds uitgewezen dat een opwarmend klimaat meer waterdamp kan bevatten. Dus de regenintensiteit zal toenemen en daar zijn reeds voldoende bewijzen voor. Ook de overstromingen bij hevige orkanen en de regenval nemen toe, dus vooral in dichtbevolkte gebieden aan de oceanen zal dat probleem in de toekomst nog toenemen. Verder onderzoek is dus steeds nodig, de vraag die ik nu heb is gaat door het zonneminimum de extremen minder extreem worden? Ik denk persoonlijk dat het zonneminimum weinig rol zal spelen in een veranderde klimaat waar we volop inzitten, ook droogte neemt toe vooral in onze gebieden, en Engeland heeft met grote overstromingen te kampen gehad, de regenval was zelfs zeer extreem, en dit is al jaren bezig, volgens het Met-Office heeft het zeker te maken met het veranderende klimaat, dus ja de extremen nemen toe, een andere conclusie is er voorlopig nog niet.

  3. Bob Brand

    Hallo Willy,

    Jos heeft een aantal blogstukken geschreven over het effect van de 11-jarige zonneminima en van de variatie in de zonnesterkte. Aanraders zijn bijvoorbeeld:

    https://klimaatveranda.nl/2016/09/12/recordwarmte-op-de-aarde-ondanks-een-koude-zon/

    https://klimaatveranda.nl/2018/02/12/global-cooling-de-verschrikkelijke-afkoeling-die-maar-niet-wil-komen/

    https://klimaatveranda.nl/2012/06/13/niet-warm-of-koud-van-de-zon/

    Via het tabje ‘Links’ en dan ‘Archief’ bovenaan de pagina van het blog kan je bladeren door alle voorgaande blogstukken. Daar vind je vast nog meer relevante informatie. Of je de 11-jaarlijkse zonnecyclus terug kan zien in de frequentie van weersextremen, dat betwijfel ik. Wel is er soms gespeculeerd dat bijv. elfstedentochten vaker voorkomen in jaren tijdens een zonne-minimum. 🙂

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google photo

Je reageert onder je Google account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s