Tokens más inteligentes reducen tres veces los costos de IA satelital sin perder precisión

Ai4earth ha lanzado OlmoEarth v1.1, una familia de modelos transformer de observación terrestre que reducen los costos computacionales hasta tres veces mientras igualan el rendimiento de referencia de su predecesor. Las ganancias en eficiencia provienen de un enfoque de tokenización rediseñado que colapsa múltiples bandas espectrales de Sentinel-2 en un solo token por parche, recortando la longitud de secuencia que impulsa los costos computacionales del transformer. the-plumbing-problem-in-ai-search-is-finally-getting-a-unified-solution

El OlmoEarth original (v1) se lanzó en noviembre de 2025. Desde entonces, los socios lo han utilizado para tareas que van desde el seguimiento de cambios en manglares hasta la clasificación de impulsores de pérdida forestal y la producción de mapas de tipos de cultivos a escala nacional. Pero para implementaciones en grandes áreas, que abarcan decenas a cientos de miles de kilómetros cuadrados, la computación es el mayor costo en todo el ciclo de vida de exportación de datos, preprocesamiento, inferencia y posprocesamiento. Una huella de memoria más pequeña significa que más socios pueden ejecutar en la plataforma OlmoEarth, y los equipos que ejecutan su propia infraestructura ahorran significativamente. domyn-and-aisquared-build-on-ai2s-open-releases-for-regulated-industries

“En todo el ciclo de vida de ejecución de OlmoEarth, exportación de datos, preprocesamiento, inferencia y posprocesamiento, la computación es, por mucho, el mayor costo”, escribió el equipo en el anuncio de hoy. “Un modelo más eficiente significa que podemos apoyar a más socios en la Plataforma OlmoEarth, y que cualquier persona que ejecute OlmoEarth por su cuenta pueda aprovechar esta tecnología más rápido y a menor costo”.

Cómo la longitud de secuencia impulsa el costo

Los modelos transformer escalan cuadráticamente en computación con la longitud de la secuencia de tokens, por lo que incluso pequeñas reducciones pueden reducir el costo. La pregunta clave de diseño para los transformers de teledetección: ¿qué hace que un token sea eficiente? beyond-copy-paste-scaling-dataset-distillation-with-m3d-and-real-guidance-for-high-resolution-efficiency

Con imágenes de Sentinel-2, el modelo ingiere un tensor de altura, ancho, profundidad temporal (T) y 12 canales espectrales. El enfoque v1 dividía cada parche en tokens distintos por paso de tiempo y por resolución, 6 tokens por parche para una entrada de 2 pasos de tiempo (2 pasos de tiempo × 3 resoluciones: 10 m, 20 m y 60 m). Esto produce (H/p × W/p × T × 3) tokens en total para una sola entrada.

Este token por resolución es práctica estándar: tanto Galileo como SatMAE lo usan, y SatMAE mostró resultados significativamente mejores que una línea base de token fusionado. Pero infla el recuento de tokens multiplicativamente. Fusionar ingenuamente todas las bandas en un solo token por paso de tiempo redujo el recuento de tokens tres veces, pero provocó una caída de 10 puntos porcentuales en el punto de referencia m-eurosat kNN, una evaluación ampliamente utilizada en teledetección. viq-bridging-the-gap-between-semantics-and-detail-in-visual-quantized-representations

“Hipotetizamos que separar las bandas de Sentinel-2 en diferentes tokens facilita que OlmoEarth modele relaciones importantes entre bandas”, explicó el equipo. Para fusionar bandas sin sacrificar precisión, modificaron el régimen de preentrenamiento; los detalles están en el informe técnico adjunto.

Qué cambió en v1.1

El resultado es una familia de modelos que hace más con menos. En todos los tamaños, Base, Tiny y Nano, OlmoEarth v1.1 se ejecuta aproximadamente a un tercio del costo computacional del original, mientras iguala el rendimiento en una combinación de puntos de referencia de investigación y tareas construidas por socios.

“Proporciona un rendimiento similar a OlmoEarth v1 mientras requiere un tercio de la computación, aunque hemos visto algunas regresiones”, señaló el equipo, indicando a los usuarios el informe técnico para un desglose completo. Para la mayoría de los casos de uso, el equipo espera una aceleración significativa tanto durante el ajuste fino como durante la inferencia.

Para los investigadores, el lanzamiento de v1.1 ofrece un aislamiento experimental más limpio: dado que ambas familias de modelos están entrenadas en el mismo conjunto de datos, cualquier cambio en el rendimiento aísla el efecto de los cambios metodológicos. Es una variable controlada poco común en el a menudo desordenado panorama del preentrenamiento en teledetección. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Los pesos y el código de entrenamiento de OlmoEarth v1.1 ya están disponibles bajo la misma licencia de código abierto que v1, incluidas las variantes de modelo Base, Tiny y Nano. ai2-opens-the-hood-on-olmo-3-every-checkpoint-every-data-point-every-decision