更智能的标记化技术将卫星AI成本削减三倍，同时不损失精度

Ai4earth发布了OlmoEarth v1.1，这是一系列用于地球观测的Transformer模型，可将计算成本削减多达三倍，同时匹配其前身的基准性能。效率提升源于一种重新设计的标记化方法，该方法将多个Sentinel-2光谱波段合并为每个图块的单一标记，从而缩短了驱动Transformer计算成本的序列长度。 the-plumbing-problem-in-ai-search-is-finally-getting-a-unified-solution

最初的OlmoEarth（v1）于2025年11月推出。合作伙伴此后将其用于从跟踪红树林变化、分类森林丧失原因到生成国家级作物类型地图等任务。但对于覆盖数万到数十万平方公里的大面积部署，计算是数据导出、预处理、推理和后处理整个生命周期中最高的成本。更小的内存占用意味着更多合作伙伴可以在OlmoEarth平台上运行，而运行自己基础设施的团队也能显著节省成本。 domyn-and-aisquared-build-on-ai2s-open-releases-for-regulated-industries

“在运行OlmoEarth的整个生命周期中，数据导出、预处理、推理和后处理中，计算是迄今为止最高的成本，”团队在今天的公告中写道。“一个更高效的模型意味着我们可以在OlmoEarth平台上支持更多合作伙伴，并且任何在自己环境中运行OlmoEarth的人都能以更低的费用更快地利用这项技术。”

序列长度如何驱动成本

Transformer模型的计算量随标记序列长度呈二次方增长，因此即使微小的减少也能降低成本。遥感Transformer的关键设计问题在于：什么构成一个高效的标记？ beyond-copy-paste-scaling-dataset-distillation-with-m3d-and-real-guidance-for-high-resolution-efficiency

对于Sentinel-2影像，模型输入一个张量，包含高度、宽度、时间深度（T）和12个光谱通道。v1方法将每个图块按时间步和分辨率拆分为不同的标记：对于2个时间步的输入（2个时间步 × 3种分辨率：10米、20米和60米），每个图块有6个标记。单个输入总共产生（H/p × W/p × T × 3）个标记。

这种按分辨率标记的做法是标准做法：Galileo和SatMAE都使用它，而SatMAE显示出比合并标记基线显著更好的结果。但它会成倍增加标记数量。将所有波段天真地合并为每个时间步的单一标记，将标记数量减少三倍，但在m-eurosat kNN基准测试（一个广泛使用的遥感评估标准）上导致10个百分点的下降。 viq-bridging-the-gap-between-semantics-and-detail-in-visual-quantized-representations

“我们假设将Sentinel-2波段分离到不同的标记中，使OlmoEarth更容易建模重要的跨波段关系，”团队解释道。为了在不牺牲精度的情况下合并波段，他们修改了预训练方案，详见随附的技术报告。

v1.1中的变化

结果是一个用更少资源做更多事情的模型系列。在每个尺寸（Base、Tiny和Nano）上，OlmoEarth v1.1的运行计算成本约为原始版本的三分之一，同时在研究基准测试和合作伙伴构建的任务组合上保持性能。

“它提供了与OlmoEarth v1相似的性能，同时仅需三分之一的计算量，尽管我们看到了一些回归，”团队指出，并引导用户查看技术报告以获取完整分析。对于大多数用例，团队预计在微调和推理过程中都会有显著的速度提升。

对于研究人员，v1.1版本提供了更清晰的实验隔离：由于两个模型系列在相同数据集上训练，任何性能变化都可以孤立为方法论变化的效果。这在通常混乱的遥感预训练领域是一个罕见的受控变量。 ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

OlmoEarth v1.1的权重和训练代码现已可用，遵循与v1相同的开源许可，包括Base、Tiny和Nano模型变体。 ai2-opens-the-hood-on-olmo-3-every-checkpoint-every-data-point-every-decision