1 published article
长上下文大语言模型
Jet-Long根据序列长度动态调整RoPE重缩放，使用局部窗口和远程窗口，通过包含-排除机制合并。在Qwen3模型上，最高支持128K上下文，在RULER基准测试中超过现有零样本基线2个百分点以上，并在PG-19数据集上取得最低困惑度，同时生成开销增加不到4%。
2026-07-12