Ai2 réduit les coûts de calcul de l'imagerie satellite par satellite de 3x grâce à une astuce de token plus intelligente

L'Allen Institute for AI (Ai2) lance OlmoEarth v1.1, une famille remaniée de modèles de télédétection qui réduit les coûts de calcul jusqu'à trois fois tout en égalant les performances du modèle original OlmoEarth v1. La mise à jour, détaillée dans un rapport technique, se concentre sur la façon dont les jetons d'imagerie satellite sont générés, s'attaquant au problème de scaling quadratique qui afflige les modèles basés sur les transformers. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Gains d'efficacité grâce à la refonte des jetons

Lorsque vous traitez des images satellite sur des dizaines à des centaines de milliers de kilomètres carrés, le calcul informatique est de loin le poste de dépenses le plus important dans tout le cycle de vie, de l'exportation des données au prétraitement en passant par l'inférence et le post-traitement. Étant donné que les modèles OlmoEarth sont basés sur les transformers, les coûts de calcul augmentent de manière quadratique avec la longueur de la séquence de jetons. Cela signifie que même de petites réductions du nombre de jetons peuvent avoir un impact significatif sur les dépenses. kog-laneformer-2b-the-latency-first-model-that-redefines-small-scale-inference

Pour l'imagerie Sentinel-2, une entrée courante, une seule image est représentée comme un tenseur avec la hauteur (H), la largeur (W), la dimension temporelle (T) et 12 canaux spectraux. La version originale OlmoEarth v1 divisait ces données en patches spatiaux de taille p x p, puis créait un jeton par pas de temps et par résolution (10m, 20m et 60m). Cela signifiait qu'une entrée Sentinel-2 avec 2 pas de temps produisait 6 jetons par patch (2 pas de temps × 3 résolutions).

OlmoEarth v1.1 fusionne ces trois jetons spécifiques à la résolution en un seul jeton par patch et par pas de temps, réduisant ainsi le nombre de jetons par un facteur de trois. « Comme le nombre de jetons se multiplie de manière multiplicative, fusionner les résolutions en un seul jeton produit trois fois moins de jetons et des économies matérielles sur le pré-entraînement, le réglage fin et l'inférence », ont écrit les chercheurs d'Ai2. fast-lewm-parallel-action-prefix-prediction-slashes-latent-world-model-planning-costs

Cependant, cela n'a pas été une simple correction. Fusionner les jetons de manière naive a entraîné des baisses de performance significatives, notamment une chute de 10 points de pourcentage sur le benchmark m-eurosat kNN. Les chercheurs soupçonnent que la séparation des bandes Sentinel-2 en différents jetons facilitait l'apprentissage des relations importantes entre les bandes par le modèle. Pour contourner ce problème, ils ont modifié le régime de pré-entraînement, ces modifications étant détaillées dans le document d'accompagnement.

Impact pour les développeurs et les chercheurs

Pour les développeurs, OlmoEarth v1.1 est jusqu'à trois fois moins cher que v1, rendant les mises à jour fréquentes de cartes à l'échelle planétaire bien plus abordables. La nouvelle famille de modèles est disponible en tailles Base, Tiny et Nano. Ai2 précise que si OlmoEarth v1.1 offre des performances similaires à v1 pour un tiers des ressources de calcul, certaines régressions ont été observées ; le rapport technique fournit l'analyse complète.

Pour les chercheurs, la mise à jour offre une comparaison claire avant-après. « Nous avons entraîné OlmoEarth v1.1 sur le même jeu de données que OlmoEarth v1, donc toute différence entre les deux isole l'effet des changements méthodologiques », a écrit l'équipe. Cela offre aux chercheurs une fenêtre claire sur la manière dont les changements de tokenisation et de pré-entraînement affectent les performances en télédétection. microsoft-research-introduces-generative-causal-testing-to-turn-black-box-ai-brain-models-into-readable-theories

Contexte et mission

Ai2 a publié OlmoEarth v1 en novembre 2025. Depuis, des partenaires ont utilisé le modèle pour suivre les changements de mangroves, classifier les causes de la déforestation et produire des cartes de types de cultures à l'échelle nationale en quelques jours. Chaque publication rapproche l'institut de sa mission : mettre l'IA de pointe entre les mains des organisations qui travaillent à protéger la planète. open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

Les poids et le code d'entraînement d'OlmoEarth v1.1 sont désormais disponibles sur le site web du projet.