Jet-Long双焦注意力机制一举打破长上下文LLM的固定缩放权衡

每个试图超越训练上下文窗口的大语言模型部署都会遇到同一个问题：选择激进的RoPE重缩放因子，短输入性能下降；选择保守的因子，模型在某个可预测边界附近表现不佳。大多数零样本上下文扩展方法将此视为固定的超参数决策, , 在运行第一个token之前就已在推理阶段内置的折衷。one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

Jet-Long则构建两个并行的RoPE窗口。一个保持基础频率，另一个动态重缩放。它们通过包含-排除注意力合并以及一个保持远程分支连贯性的校正旋转进行融合。结果恢复了基础模型在短上下文长度下的行为，同时在序列增长时清晰外推。无需梯度更新。why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

双焦注意力如何避开固定缩放陷阱

核心思想很简单。现有的零样本方法如YaRN、NTK感知缩放或线性插值会选择一种重缩放策略，并统一应用于所有注意力头和层。Jet-Long则将注意力分为两个流：一个局部窗口基于原始、未缩放的RoPE频率，保留短距离位置保真度；另一个远程窗口使用基于当前序列长度s计算的重缩放因子l(s)。随着输入增长，该因子从接近恒等映射滑动到激进拉伸，但基础频率通过合并始终保持共同活跃。the-subtle-trap-waiting-for-ai-agents-in-production

合并是工程技巧。研究团队推导出一个包含-排除公式，该公式组合局部和远程注意力分数而不重复计数，然后应用一个RoPE校正旋转，使两个分支的相位重新对齐。这种实时校正作为H100 GPU上的融合CuTe内核实现，使得双焦结构几乎无额外开销：长上下文预填充吞吐量最高可达标准FlashAttention-2的1.39倍，接近Hopper专属FA4。对于单批次生成，在所有测试长度下开销均低于4%。nvidia-nemo-automodel-delivers-37x-faster-moe-fine-tuning-via-expert-parallelism-and-deepep

挑战现状的实验结果

研究团队在Qwen3系列模型（1.7B、4B和8B参数规模）上评估了该方法，上下文长度最高扩展至128K token。在长距离召回测试RULER基准上，Jet-Long在每种规模下分别比最强基线高出+4.79、+2.18和+2.03个百分点。在HELMET团队认为最能预测真实世界长上下文性能的HELMET-RAG基准上，Jet-Long取得了最佳总体准确率。在PG-19语言建模数据集上的困惑度是所有可比规模零样本方法中报告的最低值。the-quiet-finding-on-chain-of-thought-monitoring-that-should-worry-frontier-labs

这些提升没有伴随超参数敏感性。研究团队报告，Jet-Long在多种重缩放方案下均保持稳健，这对于工程师来说是一个实际优势，他们无需重新调整扩展方法即可跨不同最大上下文配置部署同一个检查点。

向混合注意力架构的泛化

Jet-Long并不局限于纯Transformer架构。论文表明，它可以泛化到像Jet-Nemotron这样的混合注意力设计, , 其中滑动窗口和全局注意力层共存。这开启了一条在不重新训练的情况下提升已构建有混合注意力的模型的长上下文能力的路径，只需在推理时替换RoPE位置编码。

对于越来越依赖零样本扩展的部署环境, , 智能体工作流中累积的工具痕迹会推高上下文窗口，仓库级编码中需要关注整个文件树，以及RAG管道中固定缩放的瓶颈, , Jet-Long提供了一个实际的出路，摆脱了固定因子权衡。动态双焦方法很可能成为下一代开放权重模型上下文扩展的默认模式。a-94x-kernel-speedup-and-a-12-hour-paper-replication-what-minimax-m3-reveals-about-chinas-frontier-ai-strategy