Des tokens plus intelligents réduisent de trois fois les coûts de l'IA satellitaire sans perte de précision

Ai4earth a publié OlmoEarth v1.1, une famille de modèles transformeurs d'observation de la Terre qui réduit les coûts de calcul jusqu'à trois fois tout en égalant les performances de référence de son prédécesseur. Les gains d'efficacité proviennent d'une approche de tokenisation repensée qui condense plusieurs bandes spectrales Sentinel-2 en un seul token par patch, réduisant ainsi la longueur de séquence qui entraîne les coûts de calcul du transformeur. the-plumbing-problem-in-ai-search-is-finally-getting-a-unified-solution

L'OlmoEarth original (v1) a été lancé en novembre 2025. Les partenaires l'ont depuis utilisé pour des tâches allant du suivi des changements de mangrove à la classification des causes de déforestation, en passant par la production de cartes de types de cultures à l'échelle nationale. Mais pour les déploiements à grande échelle, couvrant des dizaines à des centaines de milliers de kilomètres carrés, le calcul est le coût le plus élevé dans l'ensemble du cycle de vie de l'exportation des données, du prétraitement, de l'inférence et du post-traitement. Une empreinte mémoire plus petite signifie que davantage de partenaires peuvent fonctionner sur la plateforme OlmoEarth, et les équipes qui gèrent leur propre infrastructure économisent considérablement. domyn-and-aisquared-build-on-ai2s-open-releases-for-regulated-industries

« Sur l'ensemble du cycle de vie de l'exécution d'OlmoEarth, l'exportation des données, le prétraitement, l'inférence et le post-traitement, le calcul est de loin le coût le plus élevé », a écrit l'équipe dans l'annonce d'aujourd'hui. « Un modèle plus efficace signifie que nous pouvons soutenir davantage de partenaires sur la plateforme OlmoEarth, et que quiconque exécute OlmoEarth sur sa propre infrastructure peut tirer parti de cette technologie plus rapidement et à moindre coût. »

Comment la longueur de séquence détermine le coût

Les modèles transformeurs évoluent de manière quadratique en termes de calcul avec la longueur de séquence des tokens, de sorte que même de petites réductions peuvent réduire les coûts. La question clé de conception pour les transformeurs de télédétection : qu'est-ce qui fait un token efficace ? beyond-copy-paste-scaling-dataset-distillation-with-m3d-and-real-guidance-for-high-resolution-efficiency

Avec l'imagerie Sentinel-2, le modèle ingère un tenseur de hauteur, largeur, profondeur temporelle (T) et 12 canaux spectraux. L'approche v1 divisait chaque patch en tokens distincts par pas de temps et par résolution, 6 tokens par patch pour une entrée de 2 pas de temps (2 pas de temps × 3 résolutions : 10 m, 20 m et 60 m). Cela donne (H/p × W/p × T × 3) tokens au total pour une seule entrée.

Ce token par résolution est une pratique standard : Galileo et SatMAE l'utilisent tous deux, et SatMAE a montré des résultats significativement meilleurs qu'une référence de token fusionné. Mais cela gonfle les comptes de tokens de manière multiplicative. Fusionner naïvement toutes les bandes en un seul token par pas de temps réduisait le nombre de tokens de trois fois mais entraînait une baisse de 10 points de pourcentage sur le benchmark m-eurosat kNN, une évaluation largement utilisée en télédétection. viq-bridging-the-gap-between-semantics-and-detail-in-visual-quantized-representations

« Nous émettons l'hypothèse que séparer les bandes Sentinel-2 en différents tokens facilite la modélisation des relations importantes entre les bandes pour OlmoEarth », a expliqué l'équipe. Pour fusionner les bandes sans sacrifier la précision, ils ont modifié le régime de pré-entraînement ; les détails sont dans le rapport technique accompagnant.

Ce qui a changé dans v1.1

Le résultat est une famille de modèles qui fait plus avec moins. À chaque taille, Base, Tiny et Nano, OlmoEarth v1.1 fonctionne à environ un tiers du coût de calcul de l'original, tout en égalant les performances sur un mélange de benchmarks de recherche et de tâches construites par les partenaires.

« Il offre des performances similaires à OlmoEarth v1 tout en nécessitant un tiers du calcul, bien que nous ayons observé quelques régressions », a noté l'équipe, renvoyant les utilisateurs au rapport technique pour une analyse complète. Pour la plupart des cas d'utilisation, l'équipe s'attend à une accélération significative lors du réglage fin et de l'inférence.

Pour les chercheurs, la version v1.1 offre une isolation expérimentale plus propre : puisque les deux familles de modèles sont entraînées sur le même jeu de données, tout changement de performances isole l'effet des changements méthodologiques. C'est une variable contrôlée rare dans le paysage souvent désordonné du pré-entraînement en télédétection. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Les poids et le code d'entraînement d'OlmoEarth v1.1 sont disponibles dès maintenant sous la même licence open source que v1, y compris les variantes de modèles Base, Tiny et Nano. ai2-opens-the-hood-on-olmo-3-every-checkpoint-every-data-point-every-decision