Fase 1 de AIMIP: Un nuevo punto de referencia para probar modelos climáticos de IA

Una nueva generación de modelos de IA puede simular el clima de la Tierra de manera mucho más eficiente que los sistemas tradicionales. Pero el campo carecía de formas rigurosas y compartidas de probar si esos modelos son realmente precisos y confiables. Esa es la brecha que AIMIP, el Proyecto de Intercomparación de Modelos de IA, busca cerrar. Es un esfuerzo comunitario diseñado para apoyar la comprensión científica y la evaluación abierta de los modelos de IA para la predicción climática.

AIMIP reúne a múltiples grupos de modelado, incluidos NVIDIA, Google Research y otros, en torno a un experimento de referencia y un conjunto de datos compartidos. La idea es simple: dar a todos la misma prueba y luego comparar los resultados en resultados comunes y criterios de evaluación. Esto facilita generar confianza en cómo se evalúan estos modelos.

Con la Fase 1 ahora completa, el equipo ha publicado un conjunto de datos de pronósticos de modelos climáticos y meteorológicos de IA para el experimento de referencia, junto con un informe y evaluaciones. Los hallazgos muestran que los modelos de IA son competitivos en métricas climáticas clave, pero aún tienen problemas en algunas áreas.

Aprovechando una revolución en los pronósticos meteorológicos y climáticos

Los modelos climáticos de IA son un fenómeno relativamente nuevo, pero se basan en años de progreso rápido en el uso de IA para predecir patrones meteorológicos a corto plazo. Al igual que sus primos de predicción meteorológica, se basan en el conjunto de datos ERA5 de observaciones históricas que abarcan toda la atmósfera. Estos pronósticos impulsados por IA ahora superan regularmente a los modelos meteorológicos convencionales en métricas clave de habilidad para pronósticos de 1 a 10 días, como se demostró en WeatherBench. Y lo hacen con una velocidad extraordinaria, utilizando mucha menos potencia computacional.

El salto a la modelización climática, simulando la atmósfera durante décadas o siglos, conlleva sus propios desafíos. Hasta hace poco, había pocos modelos de IA que pudieran manejar escalas de tiempo climáticas de una manera que se asemeje a un modelo tradicional. Y a diferencia de WeatherBench, los puntos de referencia y métricas para evaluar estos modelos están lejos de ser obvios.

Modelos climáticos y los MIP

Los modelos climáticos basados en la física existen desde hace décadas. Simulan el clima de la Tierra bajo escenarios específicos durante períodos de décadas o siglos utilizando leyes físicas para predecir el clima en escalas de tiempo cortas, repitiendo el proceso para todo el globo. A partir de eso, producen promedios y extremos, temperatura promedio y precipitación para un lugar determinado, por ejemplo, o la probabilidad de una ola de calor o tormenta tropical.

Estos modelos también deben tener en cuenta los cambios en el océano y el hielo marino a lo largo del tiempo, porque en escalas de tiempo largas esos factores afectan significativamente el clima. Y deben evaluar una variedad de peligros y escenarios posibles, como el aumento de las emisiones de gases de efecto invernadero (GEI).

Para evaluar los modelos climáticos, la comunidad científica se basa en proyectos de intercomparación de modelos, o MIP. Un MIP es un experimento estandarizado que los modelos climáticos deben ejecutar, proporcionando resultados comunes para la evaluación. El Proyecto de Intercomparación de Modelos Acoplados (CMIP), en curso, ha sido la fuerza impulsora detrás de los esfuerzos para desarrollar pronósticos precisos de los efectos de las emisiones de GEI.

La modelización climática con IA ofrece la misma promesa que la predicción meteorológica con IA: pronósticos realizados con una velocidad y eficiencia revolucionarias, utilizando hasta tres órdenes de magnitud menos de computación que los modelos basados en la física. Esto podría abrir el descubrimiento científico a una gama mucho más amplia de usuarios. Pero solo en los últimos dos años más o menos, los modelos de IA de múltiples grupos, utilizando una variedad de arquitecturas, han demostrado que pueden hacer predicciones estables y de alta fidelidad durante décadas y siglos. Si pueden responder correctamente a diferentes escenarios climáticos sigue siendo en gran medida desconocido.

Fase 1 de AIMIP: Especificación y envíos

La Fase 1 de AIMIP es el primer experimento de referencia compartido del proyecto. Está diseñado para comparar modelos climáticos de IA bajo una configuración común, manteniendo el alcance lo suficientemente estrecho para una participación amplia. Los modelos deben pronosticar el estado de la atmósfera global durante 1979-2024, con frecuencias de salida mensuales y diarias. Deben ser entrenados solo con observaciones históricas de ERA5 de 1979-2014, dejando la última década como datos de prueba. La elección de la arquitectura de IA depende de los participantes.

Los estados del océano y el hielo marino se prescriben con valores observados históricamente. En esta etapa temprana, el objetivo es centrarse en el comportamiento de la atmósfera sola. En futuras fases de AIMIP, podría ser posible que la IA simule el océano, el hielo marino y otros componentes del sistema terrestre a través de un modelo climático acoplado.

En la Fase 1, los modelos deben generar temperatura, humedad y vientos en siete niveles de la atmósfera, así como temperatura superficial, precipitación y otras variables climáticas clave. También deben hacer que sus salidas sean compatibles con las especificaciones típicas de formato CMIP para facilitar la comparación con modelos convencionales y herramientas de evaluación.

Ocho simulaciones de modelos fueron enviadas por Ai2 Climate Modeling y cinco grupos externos: el equipo de ArchesWeather, NVIDIA, la Universidad de Washington, la Universidad de Maryland y Google Research.

Representación fiel del clima histórico, pero desafíos para predecir sus cambios

El equipo evaluó qué tan bien los modelos climáticos de IA simulan el clima histórico y sus cambios durante las últimas décadas. Encontraron que los modelos de IA, casi independientemente de las elecciones arquitectónicas, funcionan muy bien simulando patrones climáticos históricos promedio, superando típicamente a un modelo convencional basado en la física. Los modelos de IA más precisos reducen el error promedio en el tiempo en campos como la temperatura del aire cerca de la superficie en un factor de 2.

Una prueba más exigente es si los modelos capturan la tendencia de calentamiento a largo plazo visible en el registro histórico, especialmente más allá de su período de entrenamiento y en la última década retenida de datos de ERA5. El panorama allí es más variado. Algunos modelos siguen bastante bien la tendencia de calentamiento, mientras que otros la subestiman significativamente. Generalizar a condiciones futuras es esencial para las proyecciones de cambio climático, aunque puede ser menos crítico para otros usos, como la informática o el muestreo de factores de riesgo climático durante el período de entrenamiento de un modelo de IA.

Los investigadores también evaluaron la capacidad de los modelos para simular respuestas atmosféricas a condiciones oceánicas de El Niño, la variabilidad atmosférica día a día y un shock real fuera de la muestra: un calentamiento instantáneo de 2 o 4 grados Celsius de la superficie oceánica global. Ese escenario no es físicamente probable, pero es útil para entender cómo los modelos de IA podrían generalizar a condiciones no vistas. Como era de esperar, las predicciones de los modelos divergen significativamente en este caso fuera de la muestra, y algunos producen lo que parecen ser resultados físicamente inverosímiles.

Mirando hacia adelante: Conjunto de datos abierto y evaluaciones comunitarias

El conjunto de datos de la Fase 1 de AIMIP se aloja a través del Centro Alemán de Computación Climática (DKRZ), y se planea su publicación en la Federación del Sistema de Red de la Tierra (ESGF) para hacerlo ampliamente accesible a la comunidad científica climática. Los científicos ya están utilizando el conjunto de datos para realizar evaluaciones adicionales, sirviendo el trabajo del equipo como punto de entrada para la investigación continua.

Los resultados de la Fase 1 sugieren que uno de los desafíos centrales para los modelos climáticos de IA es responder de manera robusta a una variedad de escenarios climáticos. La generalización será crítica si estos modelos se van a adoptar ampliamente. En particular, los investigadores deben poder confiar en cómo se comportan los modelos climáticos de IA bajo escenarios no vistos de emisiones de GEI. Los resultados de los modelos climáticos convencionales pueden proporcionar datos de entrenamiento para algunos de esos casos, pero es probable que se necesiten enfoques adicionales específicos de IA.

Si la Fase 1 resulta valiosa, y si la modelización climática con IA continúa avanzando a su ritmo actual, seguirán futuras fases de AIMIP. Es probable que esas se expandan a modelización acoplada más compleja, incluyendo dinámicas oceánicas y de hielo marino, junto con un conjunto más amplio de escenarios, como vías de emisiones de GEI, y requisitos de salida y evaluaciones más extensos.