Gemma 4 让其他所有开放权重模型看起来都大了10倍

Google DeepMind 发布了 Gemma 4，这是其开放权重模型家族的最新成员，其架构变革挑战了小型模型的能力极限。该系列包含五种配置，从参数规模 2.3B 的稠密模型到 31B 参数的旗舰模型，并增加了一个总参数量为 26B（活跃参数 3.8B）的混合专家（MoE）变体。 ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

对于在消费级硬件上工作的开发者和研究者而言，这些数字不容忽视。Gemma 4 最小的模型，仅 2.3B 有效参数，在多项基准测试中的表现大致与 Gemma 3 的 27B 模型相当。这意味着单代实现了 10 倍的参数效率提升。

思考模式登陆开放权重

最具影响力的新增功能是思考模式，它允许模型在生成最终答案之前产生内部推理轨迹。此前，这一能力仅限于 OpenAI 的 o 系列等封闭模型，而现在它已在 Apache 2.0 许可下可用。在 AIME 2026 数学基准测试中，31B 模型在思考模式下达到了 89.2% 的准确率。MoE 变体得分为 88.3%。这两个数字都与比它们大数倍的模型不相上下。

“我们相信，AI 的开放性可以将这些技术的惠益传播到整个社会，”Gemma 团队在技术报告中写道，“但这必须持续地针对恶意使用的风险进行评估。”

思考模式是可选的。模型可以在思考和思考外两种配置下运行，让开发者能够自主权衡延迟与推理深度。基于受 OpenAI o1 启发的方法论，Gemma 4 模型会在最终响应之前，输出一段包含在特殊标记内的思维链轨迹。 the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

无编码器架构重新定义多模态处理

技术上最大胆的举措是 12B 模型的无编码器设计。该模型没有依赖独立的视觉和音频编码器（通常每个都有数亿参数），而是将原始的 48x48 RGB 图像块和 40 毫秒音频片段直接投影到 LLM 的嵌入空间中。550M 的视觉编码器被一个仅 35M 的矩阵乘法所取代。305M 的音频编码器则被完全舍弃。

这种方法减少了内存碎片并简化了部署。在 FLEURS 自动语音识别测试中，12B 模型在英语上的词错误率为 0.063，与专门的基于编码器的系统竞争力相当。在 CoVoST 翻译任务上，从日语到英语的 BLEU 得分为 26.4，而它从未使用过显式训练的语音编码器。 aleph-alpha-unveils-t-free-a-tokenizer-free-architecture-for-sovereign-ai-1

长上下文与计算效率

Gemma 4 通过一系列协调的架构选择，解决了困扰长上下文推理的内存爆炸问题。该系列模型使用 5:1 的局部滑动窗口注意力与全局自注意力比率（2.3B 模型为 4:1），并结合了 p-RoPE 位置编码。关键在于，全局注意力层重复利用了键（key）作为值（value），从而将 KV 缓存占用空间减少了多达 37.5%。

在 128k RULER 精度基准测试中，31B 模型得分为 96.4%，相比 Gemma 3 的 66.0% 有了巨大提升。MoE 变体得分为 89.8%，即使是 4.5B 模型也得到了 86.6%。在海量文本中检索的 MRCR 基准测试也讲述了类似的故事：31B 模型在 128k 上下文下得分 66.4%，几乎是 Gemma 3 的 13.5% 的五倍。 one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

MTP 草稿头（一个为推测性解码训练的小型自回归模型）通过每次前向传递生成多个 token 来加速推理。对于最小的模型，一种 top-k 聚类技巧将最终的投影从 262,000 路的 softmax 降至仅 4,096，从而在保持接受率的同时大幅削减了计算量。 the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

无损量化

量化感知训练不仅应用于语言模型，也应用于视觉和音频编码器。150M 的视觉编码器以 W8A8 精度运行，内存占用从 400MB 减半至 200MB，同时将设备端延迟降低了 44%。音频编码器的占用空间则从 390MB 缩小到 87MB，减少了 78%，这是通过对每个层聚类使用 2 位、4 位和 8 位精度混合实现的。

2.3B 模型在量化权重和 int8 KV 缓存下，32k 上下文仅占用 0.8GB。这个大小足以在智能手机上运行。采用 Q4_0 量化并包含 KV 缓存的 31B 模型，占用 19.2GB，单个消费级 GPU 即可承载。 how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

基准测试性能与 Arena 排行榜

在 Chatbot Arena 上，Gemma 4 31B 达到了 1451 的 Elo 分数，这是所有稠密开放权重模型中最高的。MoE 变体得分为 1438。两者都超越了参数量多 10 到 50 倍的模型，包括 DeepSeek V4 Flash Thinking（1436）和 Qwen 3.5 397B-A17B（1444）。排名第一的封闭模型是 Claude Fable 5，分数为 1508，但它并非开放模型。 anthropic-redeploys-claude-fable-5-and-mythos-5-after-us-lifts-export-controls

在编程基准测试中，31B 模型在 Codeforces 上的 Elo 分数为 2150，在 LiveCodeBench v6 上得分为 80.0%。在评估智能体命令行任务的 TerminalBench Hard 测试中，31B 模型得分为 36.0%，而 Gemma 3 仅为 4.0%。在科学推理（SciCode）测试中，31B 模型得分为 43.0%，是 Gemma 3 的 21.0% 的两倍多。

下一波浪潮的平台

Gemma 4 在 Apache 2.0 许可下发布，允许商业使用、修改和再分发，无需支付版税。该系列模型提供 bf16 和量化格式，并支持包括 llama.cpp 在内的主流推理引擎。训练基础设施为最大的模型使用了 TPU v5p 和 v6e Pod，配备多达 12,288 个芯片，并通过 Pathways 实现数据并行归约，利用 ZeRO-3 进行优化器状态分片。

技术报告中指出，所有模型均在不使用安全过滤器的情况下进行评估，以评估其固有能力，并且“与之前的 Gemma 系列相比，在各类内容安全方面均观察到重大改进”。团队鼓励开发者针对特定用例实施系统层面的缓解措施。