Een parallel wetenschappelijk universum onder de loep en door de mand

Het is bekend: de argumenten van degenen die de wetenschappelijke consensus over menselijke invloed op het klimaat ontkennen zijn voor een aanzienlijk deel afkomstig uit de “blog science”. Maar zo nu en dan verschijnen ook in de peer reviewed wetenschappelijke literatuur artikelen die de mainstream wetenschap afwijzen. Volgens het onderzoek van Cook et al. uit 2013 gaat het om 2% van de artikelen die hier een positie over innemen, of (omdat tweederde van de artikelen geen positie inneemt) 0,7% van alle onderzochte artikelen.

Vaak komen er na publicatie van zulke artikelen grote fouten aan het licht en in een enkel geval ontstaat er zelfs een stevige rel. De artikelen die de mainstream wetenschap aanvechten bevatten geen overkoepelende, consistente visie. Het zijn verschillende, soms onderling tegenstrijdige ideeën die maar een ding gemeen hebben: men wijst de consensus af. Het is daarom niet zo eenvoudig om de “dwarse” artikelen gezamenlijk te analyseren. Toch is dit wat enkele wetenschappers onlangs hebben gedaan. Naast hoofdauteur Rasmus Benestad werkten diverse – veelal bekende – namen uit de klimaatwetenschap aan het onderzoek mee: Rob van Dorland van het KNMI, Dana Nuccitelli en John Cook van Skeptical Science, Stephan Lewandowsky, Katharine Hayhoe en Hans Olav Hygen.

Benestad et al. hebben geprobeerd om 38 artikelen die tegen de consensus ingaan te reproduceren. Reproduceren omvat hier meer dan alleen het controleren van berekeningen: vanaf het vertrekpunt van het onderzoek hebben ze de analyse van die artikelen overgedaan, op de manier zoals dat volgens hun wetenschappelijke kennis en inzicht zou moeten. Het resultaat is gepubliceerd in Theoretical and Applied Climatology onder de titel Learning from mistakes in climate research. Het artikel is vrij toegankelijk en dat geldt ook voor de uitgebreide aanvullende informatie en de software die voor dit onderzoek is ontwikkeld.

In een stuk op RealClimate laat Rasmus Benestad zien dat het nog niet zo eenvoudig was om het artikel gepubliceerd te krijgen. Dana Nuccitelli gaat in zijn column bij The Guardian in op de resultaten. Resultaten die ontluisterend uitvallen voor de anti-consensus wetenschap. De fouten die men maakt zijn talrijk, vaak op het meest elementaire wetenschappelijke niveau. Er wordt nog wel eens geklaagd dat afwijkende visies geweerd worden in wetenschappelijke bladen, maar het lijkt er meer op dat het tegendeel het geval is; dat sommige tijdschriften ook plaats willen geven aan opvattingen die afwijken van de mainstream en daarom bij zulke artikelen minder kritisch zijn op de kwaliteit.

Meestal bevat de aanvullende informatie bij een wetenschappelijk artikel details die vooral voor specialisten interessant zijn. In dit geval is dat anders. Het supplement bij het artikel van Benestad et al. licht concreet toe welke fouten er in de 38 onderzochte artikelen gevonden zijn en laat op die manier zien wat het verschil is tussen serieuze, kritische wetenschapsbeoefening en analyses die naar een gewenst resultaat toewerken. Hieronder ga ik wat verder in op een aantal veel voorkomende fouten die Benestad et al. vonden.

Negeren van bestaande wetenschappelijke kennis en literatuur

De wetenschap boekt vooruitgang omdat elke nieuwe publicatie voortborduurt op talloze publicaties uit het verleden. In een enkel geval is het voor te stellen dat men dat verleden negeert, bijvoorbeeld wanneer er een totaal nieuw idee of concept wordt gelanceerd. Maar zelfs dan is het vaak goed om ook aandacht te besteden aan bestaande kennis en inzichten, al was het maar om te laten zien wat de nieuwe gedachte toevoegt. Hoe dan ook, zulke totaal vernieuwende artikelen zijn zeldzaam. Heel zeldzaam. Wie voorbijgaat aan bestaande kennis loopt dus vooral het risico iets belangrijks te missen in zijn onderzoek. Of om fouten te herhalen die al eerder zijn gemaakt. Want dat is misschien wel de echte kern van wetenschappelijke vooruitgang: leren van gemaakte fouten. Het negeren van bestaande kennis is eerder regel dan uitzondering in de onderzochte artikelen. We kunnen dus werkelijk van een parallel wetenschappelijk universum spreken, waarin blijkbaar andere regels en opvattingen heersen dan in het wetenschappelijk universum zoals we dat kennen.

Curve fitting en ander gegoochel met cijfers en statistiek

Wat hierover beschreven wordt is voor een groot deel alleen te volgen voor enigszins ingewijden in statistiek: welke methodes zijn precies bruikbaar voor welke toepassingen en wat zijn de beperkingen en onzekerheden die daarbij horen? Waar het uiteindelijk op neerkomt: wie lang genoeg zoekt naar een correlatie van één of andere factor (of meerdere factoren, dat maakt het nog makkelijker) met de temperatuur vindt uiteindelijk wel wat. Desnoods door bijvoorbeeld een tijdsvertraging te veronderstellen, of een deel van de beschikbare data buiten beschouwing te laten. Als op die manier een correlatie wordt gevonden hoeft dat niets te zeggen over een causaal verband. Toch wordt het regelmatig zo gepresenteerd.

De veel voorkomende zoektocht naar temperatuurcycli verdient wel een aparte vermelding. Sommige statistische analysemethodes zijn heel goed in het opsporen van periodiciteit in data, maar hebben het nadeel dat ze die periodiciteit ook wel eens vinden als die er in werkelijkheid niet of nauwelijks is. Zulke methoden zijn heel bruikbaar wanneer er andere aanwijzingen voor periodiciteit zijn, maar anders is voorzichtigheid geboden. Die voorzichtigheid blijkt nog wel eens te ontbreken bij speurders naar klimaatcycli.

Helemaal bont maakten de bekendste critici van de fameuze, en inmiddels vele malen gereproduceerde, hockeystick het. Zij meenden te bewijzen dat het blad van die hockeystick een gevolg was van de gebruikte statistische methode. Die methode zou altijd een curve in de vorm van een hockeystick opleveren. Wat ze over het hoofd zagen was dat de betreffende statistische analyse wel was toegepast op de paleoklimatologische data, maar niet op de instrumentele metingen, die nu juist zo’n scherpe stijging aan het eind van de curve laten zien.

Ontbrekende, onjuiste of onzorgvuldige fysische verklaringen

Zoals gezegd, alleen een correlatie tussen de een of andere factor en de temperatuur zegt niet zo veel. Dat is zeker het geval wanneer er geen enkele verklaring wordt gegeven voor die correlatie die de natuurwetenschappelijke logica volgt en overeenstemt met basale natuurwetten. Een correlatie tussen bijvoorbeeld de bewegingen van verschillende planeten en het klimaat, of de zonneactiviteit en het klimaat met een vertraging van zo’n kwart eeuw is dus onvoldoende basis voor een serieus te nemen wetenschappelijke hypothese. Het is aan degenen die menen dat dat soort verbanden daadwerkelijk bestaan om niet alleen een plausibel mechanisme voor te stellen, maar ook om op zoek te gaan naar aanvullende aanwijzingen dat dat mechanisme er werkelijk is. In het parallelle wetenschappelijke universum gebeurt dat zelden of nooit.

Vrijwel alle alternatieve verklaringen voor de opwarming die we sinds het begin van de industriële revolutie hebben gezien schieten tekort op ofwel de wet van behoud van energie, ofwel een logische toepassing van het begrip klimaatgevoeligheid, ofwel allebei.

De wet van behoud van energie zegt simpelweg dat het onmogelijk is dat de hoeveelheid energie in het klimaatsysteem zomaar toeneemt. De energie moet ergens vandaan komen. Voor het opwarmen van oceanen, het aardoppervlak en de atmosfeer en het smelten van ijs, zoals dat nu overal op aarde wordt waargenomen is energie nodig. Die energie komt niet uit het klimaatsysteem zelf. Een theorie die niet kan verklaren waar die extra energie dan wel vandaan komt is weinig geloofwaardig.

Klimaatgevoeligheid wordt vaak gedefinieerd als de opwarming die optreedt als gevolg van een verdubbeling van de concentratie broeikasgassen, maar er zit meer achter dit begrip. Het begint bij de vraag: hoe reageert het klimaat op een verandering in de energiehuishouding, ongeacht de precieze oorzaak daarvan? Het is aannemelijk dat de mate van opwarming (of afkoeling) afhangt van de omvang van zo’n verandering. De mainstream klimaatwetenschap is op dit vlak consistent, de anti-consensus wetenschap is dat allerminst. Vaak kennen ze een grote invloed toe aan minuscule – niet of nauwelijks meetbare – veranderingen in de energiehuishouding en een veel kleinere invloed aan de bekende en significante toename van het broeikaseffect. Het is de logica van een olifant die, wanneer hij samen met een muis een gammele brug oversteekt, aan de muis vraagt om niet te hard te stampen.

Cherrypicking

Volgens de auteurs is dit de meest voorkomende fout. De bekendste vorm van cherrypicking is: uit een grote hoeveelheid beschikbare gegevens alleen die gegevens gebruiken die de gewenste conclusie bevestigen. De afbeelding hieronder geeft een voorbeeld van hoe dat werkt, in combinatie met curve fitting. In dit geval was de aanname dat variaties in de baan van de maan en in de activiteit van de zon van invloed zijn op de temperatuur. De curve fit werkt voor een deel van de temperatuurdata, zoals die gereconstrueerd zijn uit ijsboringen op Groenland. Alleen dat deel van de data werd in het artikel gepubliceerd.

Voorbeeld van een cherrypick. De rode lijn geeft modelresultaten, onder de aanname dat variaties in zon en maan een aanzienlijke invloed hebben op de temperatuur. De zwarte lijn het deel van de gereconstrueerde temperatuur op Groenland die door onderzoekers werd weergegeven. De grijze lijn geeft de data die werden weggelaten en de gestippelde rode lijnen de resultaten van pogingen om de curve fit verder in het verleden door te trekken.

Er is in het voorbeeld hierboven overigens sprake van nog een cherrypick: er wordt een reconstructie gebruikt van de temperatuur op Groenland, en dus niet van de mondiale temperatuur. Cherrypickers houden van lokale gegevens, omdat er daar veel meer van zijn dan van het wereldgemiddelde. Er is dus veel meer kans om lokale data te vinden die “passen”.

Lokale data werden ook gebruikt in een artikel dat meende aan te tonen dat er in de 19^e en eerste helft van de 20^e eeuw zo nu en dan wilde slingeringen waren in de mondiale CO₂-concentratie. Dat zou impliceren dat er zo nu en dan binnen enkele jaren miljarden tonnen CO2 vanuit het niets in atmosfeer zouden belanden, om wat later net zo snel weer in het niets te verdwijnen. Een gigantisch natuurverschijnsel, dat zich volledig aan menselijke waarnemingen onttrokken zou moeten hebben. De schommelingen stopten precies op het moment dat Keeling begon met zijn metingen op Mauna Loa, Hawaï. Het artikel gebruikte verschillende meetreeksen, uit verschillende plaatsen op de wereld, over verschillende perioden. Het was bekend dat sommige meetseries aanzienlijk beïnvloed werden door lokale contaminatie. Deze data zijn dus niet representatief voor de mondiale concentratie. Hier was dus niet zozeer sprake van cherrypicking van data als van cherrypicking van kennis. De gegevens werden gebruikt maar aanvullende informatie over die data werd genegeerd.

Cherrypicking omvat dus meer dan het selectief gebruik van data. Het kan ook gaan om het weglaten van analyseresultaten die de gewenste conclusie niet steunen, het mijden van analysemethoden die tot een andere uitkomst leiden, of het negeren van bekende argumenten of publicaties die in strijd zijn met de conclusie.

Drogredenen

In meerdere artikelen staat in de conclusies een valse tegenstelling: men beweert of suggereert dan de invloed van een andere factor (zoals de zon) dan het broeikaseffect een weerlegging zou zijn van de menselijke invloed op het klimaat. Het tegendeel is het geval. Als bijvoorbeeld een kleine variatie in de zonnestraling een grote invloed heeft op het klimaat, dan geldt dat hoogstwaarschijnlijk des te meer voor het toegenomen broeikaseffect. Het is immers bekend dat de toename van het broeikaseffect tot een grotere verandering in de stralingsbalans van de aarde leidt dan wisselingen in zonneactiviteit.

Geen klimaatwetenschapper zal beweren dat het broeikaseffect de enige factor is die van belang is. Integendeel, het is glashelder dat alles in het klimaat begint bij de energie van de zon. Maar de veranderingen die in de afgelopen decennia of eeuwen hebben plaatsgevonden in de invallende zonnestraling zijn heel klein en daarom is er weinig reden om aan te nemen dat een wisselende zonneactiviteit een aanzienlijke invloed heeft op de wereldtemperatuur.

De betrouwbaarheid van klimaatmodellen wordt regelmatig ter discussie gesteld middels een stropop: omdat modellen interne variabiliteit niet kunnen voorspellen, zouden ze er onvoldoende rekening mee houden. Klimaatwetenschappers, inclusief de bouwers van modellen, houden wel degelijk rekening met processen die een rol spelen bij interne variabiliteit. Maar ze weten ook dat dit grotendeels stochastische processen zijn, die niet lang van tevoren te voorspellen zijn. De timing van koele en warme fases varieert per modelrun, en de toevalligheden die van grote invloed zijn bij korte termijn variaties lopen dan natuurlijk meestal niet in de pas met de realiteit. Maar dat zegt zeker niet dat de processen in het klimaat niet realistisch worden gemodelleerd, en evenmin dat de lange termijn trend onnauwkeurig zou zijn.

Een prachtige cirkelredenering uit een van de artikelen verdient nog wel een eervolle vermelding. Men vertrok van de vooronderstelling dat bewegingen van andere planeten in het zonnestelsel bepaalde oscillaties in het klimaat zouden veroorzaken. Toegerust met de juiste middelen voor curve fitting werden zulke oscillaties ook gevonden. Dezelfde oscillaties, met dezelfde periodiciteit werden niet teruggevonden in modelsimulaties, wat voldoende aanleiding werd gevonden om de modellen te verwerpen. Ze hadden zich deze analyse kunnen besparen. Een mailtje naar iemand die enigszins thuis is in klimaatmodellen zou alle benodigde informatie hebben opgeleverd: in klimaatmodellen zit geen periodiciteit ingebouwd en de invloed van andere planeten in het zonnestelsel wordt ook niet meegenomen.

Andere fouten

Zo hier en daar werd nog een rekenfout gevonden, of een afbeelding die iets anders liet zien dan er in de begeleidende tekst werd gezegd. Ik heb het idee dat de wetenschappelijke wereld wat minder zwaar valt over degelijke triviale fouten. Natuurlijk, het zou niet mogen gebeuren, maar iedereen kan zich voorstellen dat er bij het afwerken van een artikel eens een verkeerd getal wordt overgenomen uit een spreadsheet, of een verkeerde versie van een grafiek in een document terechtkomt.

Aan de hand van de gemaakte fouten deelden de onderzoekers elk artikel in in een van de volgende vier categorieën:

A. Men vertrok van een juiste premisse, maar maakte fouten in de analyse.

B. De analyse was correct, maar men vertrok van een onjuiste premisse.

C. Zowel de analyse als de premisse waren correct, maar men trok onjuiste of overhaaste conclusies.

D. Men vertrok van een onjuiste premisse en maakte fouten in de analyse.

Omdat in diverse artikelen meerdere fouten werden gevonden was de indeling van de artikelen in deze categorieën soms wat arbitrair, is mijn indruk. De meest in het oog springende fout was bepalend. Het merendeel van de artikelen werd ingedeeld in de categorieën B en D.

Tenslotte nog dit: naast de uitgebreide analyse van bijna 40 artikelen leveren Benestad et al. nog een prestatie, die in mijn ogen bijna bovenmenselijk is: ze slagen er in om alles dat ze vinden, van het kleinste foutje tot de grootste miskleun, op een ingetogen, zakelijke manier te behandelen. Wie doet ze dat na?