谷歌DeepMind的Gemma 4：260亿参数推理引擎，单GPU即可运行

专有前沿模型与开权重发布之间的界限再次模糊。谷歌DeepMind于2025年7月27日发布Gemma 4技术报告，详细介绍了挑战“开源模型必须在推理、多模态理解和效率方面落后于闭源系统”这一假设的模型系列。ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

Gemma 4并非单一模型，而是三种配置：一个26亿参数的密集模型、一个92亿参数的密集模型，以及一个260亿参数的混合专家模型（每个token激活约92亿参数）。MoE版本基于仅解码器变换器，并配备用于图像理解的视觉变换器编码器，是其中的佼佼者。它原生处理文本、图像和短视频，其100万token的上下文窗口使其跻身开权重生态系统中上下文最长的模型之列。how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

巧妙的架构分离

许多实验室已趋同于使用密集变换器处理语言，并采用独立的视觉模型。Gemma 4则将两种模态融合到一个可训练的堆栈中。文本骨干网络采用因果变换器，配备分组查询注意力、均方根归一化和旋转位置嵌入。视觉侧在ViT分块编码器之后重用相同的变换器层，在早期层进行交叉注意力，并通过最终投影器输出。这种设计使模型能够联合推理语言和视觉输入，而无需在推理时使用单独的编码器，从而降低了开销。

MoE路由器采用softmax top-2门控机制进行训练，这一选择优先考虑专家间的负载均衡。在训练期间，路由器能够足够均匀地分配token，以至于无需额外的辅助损失函数来实现平衡，这一细节降低了训练复杂性。

改变用例的上下文长度

MoE模型上的100万token上下文窗口并非理论最大值。该报告使用RULER和LongContext基准测试，在100万token范围内对检索进行了评估，结果显示模型保持了近乎完美的检索准确性。对于需要在整个代码库、长法律文档或多小时视频转录上进行推理的应用开发者而言，这种上下文长度消除了分块和检索管道的需求，这些管道通常会增加延迟和复杂性。the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

较小的密集模型支持256,000 token上下文，这在其尺寸级别中仍然远高于平均水平。

重塑开源权重预期性能

报告的基准测试是Gemma 4直接与更大模型进行比较的领域。在MMLU-Pro推理基准测试中，MoE变体得分75.3%，超越了GPT-4o（73.6%）等闭源模型，接近o3-mini（80.7%）。在LiveCodeBench（v6）上，得分为48.2%，再次超越GPT-4o，仅次于o3-mini和Claude 4 Sonnet。在GPQA-Diamond（研究生级别的科学推理基准）上，MoE模型得分74.9%，击败了所有非Gemini系列测试模型。

这些数字意义重大，因为它们来自一个260亿参数的MoE模型，每个token仅激活约90亿参数。参数效率的故事很明确：谷歌DeepMind通过更少的活跃参数榨取了推理能力，从而在消费级硬件上实现更低的推理成本和更快的生成速度。

推理能力提升流水线

报告的技术部分详细描述了一种基于强化学习的推理能力提升方法，团队称之为Round。该方法使用稀疏奖励模型和迭代微调，推动模型形成更长的思维链，而不会陷入表面推理。消融研究表明，与基本监督微调模型相比，Round使GSM8K数学分数提高了12.4个百分点，HumanEval编程分数提高了8.9个百分点。the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

这一点之所以重要，是因为推理改进技术历来是拥有海量计算预算的专有实验室的领域。通过将方法记录并与模型权重一同开源，谷歌DeepMind向开源社区提供了一种已知的、可在MoE变换器中改进推理的工作流程。

安全与红队基础设施

报告用了大量篇幅讨论安全评估。团队进行了红队测试，包括150名内部测试者和50名外部领域专家，涵盖化学和生物武器乃至网络攻击能力等领域。这些模型在“人类最后考试”安全基准上进行了测试，报告还包含了风险与缓解措施的分类。值得注意的是，Gemma 4被发现在协助制造化学、生物、放射、核与爆炸物武器方面的能力“可忽略不计”，且与早期Gemma版本相比，攻击性网络能力没有增加。anthropics-jailbreak-severity-scale-is-a-proposal-that-could-reshape-ai-safety-regulation

谷歌DeepMind还发布了一个名为ShieldGemma 2的新安全数据集，该数据集基于Gemma 4输出训练，用于对所有三种模型中的潜在有害内容进行评分。所有模型变体在谷歌前沿安全框架的分层评估中均被评为“低风险”范围。

对生态系统的意义

Gemma 4改变了开源权重模型的竞争格局。它发布之际，Meta（Llama 4）、阿里巴巴（Qwen 3）和Mistral AI等实验室均已将开源模型推向更大规模和更好的推理能力。Gemma 4的差异化优势不在于原始规模，而在于架构效率和从一开始就实现的多模态集成。

对于开发者而言，其影响是切实的：在某些配置下，一个能在单张消费级GPU上运行、支持100万token上下文、推理能力与封闭API相竞争、并在宽松许可下发布的模型（报告采用CC BY 4.0，模型权重遵循Gemma使用条款）。

谷歌DeepMind尚未像早期Gemma版本那样为Gemma 4宣布合作伙伴生态系统或企业支持层级。这份报告读起来更像是一篇研究论文，而非产品发布。内容详尽、透彻，将部署留给了社区。