Ai2 reduce los costos de IA en imágenes satelitales en 3x con un truco de token más inteligente

El Allen Institute for AI (Ai2) ha lanzado OlmoEarth v1.1, una familia renovada de modelos de teledetección que reduce los costos de cómputo hasta tres veces mientras iguala el rendimiento del OlmoEarth v1 original. La actualización, detallada en un informe técnico, se centra en cómo se generan los tokens de imágenes satelitales, abordando el problema de escalado cuadrático que afecta a los modelos basados en transformadores. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Ganancias en eficiencia mediante el rediseño de tokens

Cuando se procesan imágenes satelitales en decenas a cientos de miles de kilómetros cuadrados, el cómputo es, con diferencia, la partida más grande en todo el ciclo de vida, desde la exportación de datos y el preprocesamiento hasta la inferencia y el posprocesamiento. Debido a que los modelos OlmoEarth se basan en transformadores, los costos de cómputo crecen cuadráticamente con la longitud de la secuencia de tokens. Esto significa que incluso pequeñas reducciones en el conteo de tokens pueden suponer un gran ahorro en gastos. kog-laneformer-2b-the-latency-first-model-that-redefines-small-scale-inference

Para las imágenes Sentinel-2, una entrada común, una sola imagen se representa como un tensor con altura (H), anchura (W), dimensión temporal (T) y 12 canales espectrales. El OlmoEarth v1 original dividía estos datos en parches espaciales de tamaño p x p, y luego creaba un token por paso de tiempo y por resolución (10 m, 20 m y 60 m). Esto significaba que una entrada Sentinel-2 con 2 pasos de tiempo generaba 6 tokens por parche (2 pasos de tiempo × 3 resoluciones).

OlmoEarth v1.1 fusiona estos tres tokens específicos de resolución en un solo token por parche y paso de tiempo, reduciendo el conteo de tokens por un factor de tres. «Debido a que los conteos de tokens se multiplican de forma multiplicativa, fusionar las resoluciones en un solo token produce tres veces menos tokens y ahorros materiales en el preentrenamiento, el ajuste fino y la inferencia», escribió el equipo de Ai2. fast-lewm-parallel-action-prefix-prediction-slashes-latent-world-model-planning-costs

Sin embargo, esa no fue una solución trivial. La combinación ingenua de tokens provocó caídas significativas en el rendimiento, incluido un desplome de 10 puntos porcentuales en el benchmark m-eurosat kNN. Los investigadores sospechan que separar las bandas de Sentinel-2 en diferentes tokens facilitaba que el modelo aprendiera relaciones importantes entre bandas. Para solucionarlo, ajustaron el régimen de preentrenamiento, cambios detallados en el documento adjunto.

Impacto para desarrolladores e investigadores

Para los desarrolladores, OlmoEarth v1.1 es hasta tres veces más barato que v1, lo que hace que las actualizaciones frecuentes de mapas a escala planetaria sean mucho más asequibles. La nueva familia de modelos viene en tamaños Base, Tiny y Nano. Ai2 señala que, si bien OlmoEarth v1.1 ofrece un rendimiento similar a v1 con un tercio del cómputo, se han detectado algunas regresiones; el informe técnico contiene el desglose completo.

Para los investigadores, la actualización ofrece una comparación clara de antes y después. «Entrenamos OlmoEarth v1.1 con el mismo conjunto de datos que OlmoEarth v1, por lo que cualquier diferencia entre ambos aísla el efecto de los cambios metodológicos», escribió el equipo. Esto brinda a los investigadores una ventana clara sobre cómo los cambios en la tokenización y el preentrenamiento afectan el rendimiento de la teledetección. microsoft-research-introduces-generative-causal-testing-to-turn-black-box-ai-brain-models-into-readable-theories

Antecedentes y misión

Ai2 lanzó OlmoEarth v1 en noviembre de 2025. Desde entonces, los socios han utilizado el modelo para rastrear cambios en manglares, clasificar causas de pérdida forestal y producir mapas de cultivos a escala nacional en cuestión de días. Cada lanzamiento acerca al instituto a su misión: poner la inteligencia artificial de última generación en manos de organizaciones que trabajan para proteger el planeta. open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

Los pesos y el código de entrenamiento de OlmoEarth v1.1 ya están disponibles en el sitio web del proyecto.