SevenTnewS

有效上下文、输出上限以及长窗口的隐性代价

你的AI模型说它能读取100万token,它在撒谎。这是真实的数学。

四大前沿大语言模型都宣称拥有100万+ token的上下文,但有效召回、输出限制和实际成本差异显著。DeepSeek V4 Pro 在输出上限和成本上领先,Gemini 在20万token以下表现出色,而 Claude Opus 在交互式代码审查的缓存方面胜出。本文分析了2026年4月的数据。

Emmanuel Fabrice Omgbwa Yasse

2026-06-30 · 阅读需 3 分钟

你的AI模型说它能读取100万token,它在撒谎。这是真实的数学。

四大前沿大语言模型现在都宣称拥有100万+ token的上下文窗口。头条数字已经解决了。真正仍然差异巨大的是模型在实践中能实际使用多大比例的窗口(有效上下文)、单次调用能写出多少内容(输出上限),以及长距离运行的成本。本文从三个维度对比了 Gemini 3.1 Pro、GPT-5.5、Claude Opus 4.7 Adaptive 和 DeepSeek V4 Pro,使用的是2026年4月的实时数据,而不是上一季度的。 why-minimaxs-large-language-model-couldnt-say-ma-jiaqi-a-technical-deep-dive-into-sparse-token-forgetting

TL;DR

  • Gemini 3.1 Pro 在50万和100万token上得分最高,但分层定价惩罚了20万token以上的使用。
  • GPT-5.5 LongBench v2 和 MRCRv2 得分最高;128K的输出对大多数生成任务足够,但并非全部。
  • Claude Opus 4.7 Adaptive 中等上下文的交互式使用最佳;90%的提示缓存是真正的成本杠杆。
  • DeepSeek V4 Pro 唯一拥有384K输出上限的模型;输入/输出价格远低于其他模型;缓存命中将输入价格降至每百万0.145美元。

头条窗口

100万token的窗口现在已是前沿模型的基本门槛。四个旗舰模型都宣称有效相同的输入上限,因此头条数字不再是差异化的因素。有趣的差异体现在输出能力、定价和缓存机制上。 ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

输出上限:6倍差距

DeepSeek V4 Pro 的384K最大输出是其竞争者的3到6倍。Gemini 和 Opus 上限为64K,GPT-5.5 为128K。对于需要在单次调用中生成长篇产出的工作流, , 完整报告草稿、大规模代码翻译、批量文档重写, , 384K是一个结构性优势,任何提示侧的上下文都无法弥补。 the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

定价层级与缓存

Gemini 3.1 Pro 在输入token不超过20万时每百万收费2美元,超过20万则每百万收费4美元,是唯一一个输入价格随窗口位置变化的模型。GPT-5.5 标价每百万5美元,提示缓存和批量API大约打50%折扣。Claude Opus 4.7 Adaptive 标价每百万5美元,但提示缓存命中最高可享受90%折扣,有效输入价格约为每百万0.50美元。DeepSeek V4 Pro 标价每百万1.74美元,缓存命中时每百万0.145美元,大约折扣92%,是当前前沿模型中广告宣传的最便宜缓存率。 tcs-and-anthropic-partner-to-bring-claude-to-regulated-industries

有效上下文:基准测试仍薄弱

公共评估表面已稳定在四项测试上:NIAH(大海捞针)、LongBench v2(多文档问答)、MRCRv2(多轮指代消解)和 RULER(合成探针)。2026年4月检查点的第三方分数很少。这个集合中唯一已发布的数据是 GPT-5.5 在 MRCRv2(12.8万,25.6万)上的87.5分,来自 BenchLM 的研究快照。历史模式:Gemini 在2.5 Pro 一代中一直领先 NIAH 和有效上下文评估;3.1 Pro 是否能将这一领先优势扩大到超越 GPT-5.5,仍是一个开放问题。Anthropic 选择了不同的路径,通过提示缓存偏重工作流设计(一次加载,多次查询),而非提升有效上下文分数。DeepSeek V4 Pro 的发布论文声称有扎实的有效上下文性能,但它是最新的模型,第三方验证最少。 ifbench-the-new-benchmark-testing-ai-instruction-following

为什么存在差距

随着序列长度增长,注意力会稀释;位置编码会漂移超出训练分布;而“中间迷失”效应意味着上下文开始和结束的token比中间的token获得更多关注。三者叠加就会得到一条曲线:模型名义上索引了100万token,但能可靠推理的远少于此。实用规则:如果你填满超过80%的广告窗口,在投入前先对你的数据做一个冒烟测试。

工作示例

对于20万token以下的文档分析,Gemini 3.1 Pro 最便宜,每百万2美元。超过20万token,DeepSeek V4 Pro 的每百万1.74美元占据主导。对于具有稳定上下文的交互式代码审查,Opus 4.7 Adaptive 的缓存将重复查询变为大约每百万0.50美元的操作。对于输出密集型生成,比如一份5万词的技术报告(大约6.5万输出token),DeepSeek V4 Pro 和 GPT-5.5 可以一次调用完成;Opus 和 Gemini 需要拼接。DeepSeek 每百万3.48美元的输出率,使得一个10万token的草稿成本为0.348美元,而 GPT-5.5 上为3.00美元,Opus 上大约为3.38美元。 gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key

结论

大多数生产工作负载, , 聊天、文档问答、RAG查询, , 都在20万token以下。100万的上限对于长尾场景很重要,而定价模式会惩罚不加分辨地使用它。诚实的答案是“两者都用”:用检索来缩小范围,用长上下文来推理,并选择一个成本曲线匹配主导模式的模型。四个旗舰模型都很有能力;但没有一个在所有方面都是最好的。 the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java