AIMIP phase 1 : un nouveau benchmark pour tester les modèles climatiques IA

Une nouvelle génération de modèles d'IA peut simuler le climat terrestre bien plus efficacement que les systèmes traditionnels. Mais le domaine manquait de méthodes rigoureuses et partagées pour vérifier si ces modèles sont réellement précis et fiables. C'est la lacune qu'AIMIP, le AI Model Intercomparison Project, vise à combler. Il s'agit d'un effort communautaire conçu pour soutenir la compréhension scientifique et l'évaluation ouverte des modèles d'IA pour la prévision climatique.

AIMIP rassemble plusieurs groupes de modélisation, dont NVIDIA, Google Research et d'autres, autour d'une expérience de référence et d'un ensemble de données communs. L'idée est simple : donner à tous le même test, puis comparer les résultats sur des sorties communes et des critères d'évaluation. Cela facilite la confiance dans la manière dont ces modèles sont évalués.

Avec la phase 1 maintenant terminée, l'équipe a publié un ensemble de données de prévisions de modèles météorologiques et climatiques IA pour l'expérience de référence, ainsi qu'un rapport et des évaluations. Les résultats montrent que les modèles d'IA sont compétitifs sur les principaux indicateurs climatiques, mais rencontrent encore des difficultés dans certains domaines.

Tirer parti d'une révolution dans les prévisions météorologiques et climatiques

Les modèles climatiques IA sont un phénomène relativement récent, mais ils s'appuient sur des années de progrès rapides dans l'utilisation de l'IA pour prédire les schémas météorologiques à court terme. Comme leurs cousins de prévision météorologique, ils reposent sur l'ensemble de données ERA5 d'observations historiques couvrant l'ensemble de l'atmosphère. Ces prévisions pilotées par l'IA surpassent désormais régulièrement les modèles météorologiques conventionnels sur les principaux indicateurs de compétence pour les prévisions de 1 à 10 jours, comme démontré sur WeatherBench. Et elles le font avec une vitesse extraordinaire, en utilisant beaucoup moins de puissance de calcul.

Le passage à la modélisation climatique, simulant l'atmosphère sur des décennies ou des siècles, comporte son propre lot de défis. Jusqu'à récemment, il existait peu de modèles d'IA capables de gérer les échelles de temps climatiques d'une manière similaire à un modèle traditionnel. Et contrairement à WeatherBench, les benchmarks et les métriques pour évaluer ces modèles sont loin d'être évidents.

Modèles climatiques et MIP

Les modèles climatiques basés sur la physique existent depuis des décennies. Ils simulent le climat terrestre dans des scénarios spécifiques sur des périodes de décennies ou de siècles en utilisant les lois de la physique pour prédire la météo à court terme, répétant le processus pour l'ensemble du globe. Ils produisent ainsi des moyennes et des extrêmes, comme la température moyenne et les précipitations pour un lieu donné, ou la probabilité d'une canicule ou d'une tempête tropicale.

Ces modèles doivent également tenir compte des changements dans l'océan et la glace de mer au fil du temps, car sur de longues échelles de temps, ces facteurs influencent de manière significative la météo. Et ils doivent évaluer une gamme de dangers et de scénarios possibles, tels que l'augmentation des émissions de gaz à effet de serre (GES).

Pour évaluer les modèles climatiques, la communauté scientifique s'appuie sur des projets d'intercomparaison de modèles, ou MIP. Un MIP est une expérience standardisée que les modèles climatiques doivent exécuter, fournissant des sorties communes pour l'évaluation. Le projet actuel d'intercomparaison de modèles couplés, ou CMIP, a été le moteur des efforts visant à développer des prévisions précises des effets des émissions de GES.

La modélisation climatique par IA offre la même promesse que la prévision météorologique par IA : des prévisions réalisées avec une rapidité et une efficacité révolutionnaires, utilisant jusqu'à trois ordres de grandeur de moins de calcul que les modèles basés sur la physique. Cela pourrait ouvrir la découverte scientifique à un éventail beaucoup plus large d'utilisateurs. Mais ce n'est qu'au cours des deux dernières années environ que des modèles d'IA de plusieurs groupes, utilisant diverses architectures, ont démontré leur capacité à faire des prédictions stables et de haute fidélité sur des décennies et des siècles. Leur capacité à répondre correctement à différents scénarios climatiques reste largement inconnue.

AIMIP Phase 1 : Spécification et soumissions

AIMIP Phase 1 est la première expérience de référence commune du projet. Elle est conçue pour comparer les modèles climatiques IA dans un cadre commun tout en maintenant un périmètre suffisamment restreint pour une large participation. Les modèles doivent prévoir l'état de l'atmosphère globale sur la période 1979-2024, avec des fréquences de sortie mensuelles et quotidiennes. Ils doivent être entraînés uniquement sur les observations historiques ERA5 de 1979 à 2014, laissant la dernière décennie comme données de test. Le choix de l'architecture IA est laissé aux participants.

Les états de l'océan et de la glace de mer sont prescrits avec des valeurs historiquement observées. À ce stade précoce, l'objectif est de se concentrer sur le comportement de la seule atmosphère. Dans les futures phases d'AIMIP, il pourrait devenir possible pour l'IA de simuler l'océan, la glace de mer et d'autres composantes du système terrestre via un modèle climatique couplé.

Dans la phase 1, les modèles doivent produire la température, l'humidité et les vents à sept niveaux de l'atmosphère, ainsi que la température de surface, les précipitations et d'autres variables météorologiques clés. Ils doivent également rendre leurs sorties compatibles avec les spécifications de format CMIP typiques pour faciliter la comparaison avec les modèles conventionnels et les outils d'évaluation.

Huit simulations de modèles ont été soumises par Ai2 Climate Modeling et cinq groupes externes : l'équipe ArchesWeather, NVIDIA, l'Université de Washington, l'Université du Maryland et Google Research.

Représentation fidèle du climat historique, mais difficultés à prédire ses changements

L'équipe a évalué dans quelle mesure les modèles climatiques IA simulent le climat historique et ses évolutions au cours des dernières décennies. Ils ont constaté que les modèles IA, presque indépendamment des choix architecturaux, réussissent très bien à simuler les schémas climatiques historiques moyens, battant généralement un modèle conventionnel basé sur la physique. Les modèles IA les plus précis réduisent l'erreur moyenne dans le temps pour des champs comme la température de l'air près de la surface d'un facteur 2.

Un test plus exigeant consiste à vérifier si les modèles capturent la tendance au réchauffement à long terme visible dans les archives historiques, en particulier au-delà de leur période d'entraînement et dans la dernière décennie des données ERA5 réservée. Le tableau est alors plus mitigé. Certains modèles suivent assez bien la tendance au réchauffement, tandis que d'autres la sous-estiment significativement. La généralisation à des conditions futures est essentielle pour les projections du changement climatique, bien qu'elle puisse être moins critique pour d'autres utilisations, comme l'informatique ou l'échantillonnage des facteurs de risque climatique pendant la période d'entraînement d'un modèle IA.

Les chercheurs ont également évalué la capacité des modèles à simuler les réponses atmosphériques aux conditions océaniques El Niño, la variabilité atmosphérique quotidienne et un choc véritablement hors échantillon : un réchauffement instantané de 2 ou 4 degrés Celsius de la surface océanique mondiale. Ce scénario n'est pas physiquement probable, mais il est utile pour comprendre comment les modèles IA pourraient généraliser à des conditions inconnues. Sans surprise, les prédictions des modèles divergent significativement dans ce cas hors échantillon, certains produisant des résultats qui semblent physiquement peu plausibles.

Vers l'avenir : Ensemble de données ouvert et évaluations communautaires

L'ensemble de données AIMIP Phase 1 est hébergé via le Centre allemand de calcul climatique (DKRZ), avec une publication prévue sur l'Earth System Grid Federation (ESGF) pour le rendre largement accessible à la communauté scientifique du climat. Les scientifiques utilisent déjà l'ensemble de données pour effectuer des évaluations supplémentaires, le travail de l'équipe servant de point d'entrée pour des recherches continues.

Les résultats de la phase 1 suggèrent que l'un des défis centraux pour les modèles climatiques IA est de répondre de manière robuste à une gamme de scénarios climatiques. La généralisation sera cruciale si ces modèles doivent être largement adoptés. En particulier, les chercheurs doivent pouvoir faire confiance au comportement des modèles climatiques IA dans des scénarios d'émissions de GES inédits. Les sorties des modèles climatiques conventionnels peuvent fournir des données d'entraînement pour certains de ces cas, mais des approches supplémentaires spécifiques à l'IA seront probablement nécessaires.

Si la phase 1 s'avère utile, et si la modélisation climatique par IA continue de progresser à son rythme actuel, les futures phases d'AIMIP suivront. Celles-ci s'étendraient probablement à une modélisation couplée plus complexe, incluant la dynamique des océans et de la glace de mer, ainsi qu'un ensemble plus large de scénarios tels que les voies d'émissions de GES, et des exigences et évaluations de sorties plus étendues.