开源
Ai2 打开了AI柜子里的每一个抽屉,这是里面的内容
Ai2 发布了 Olmo 3,一个从 7B 到 32B 的完全开源模型系列,包括训练数据、代码和工具。此次发布强调了从预培训数据到后培训管道的整个模型生命周期的透明度,为开源AI研究树立了新标准。

艾伦人工智能研究所(Ai2)发布了 Olmo 3,一系列完全开源的语言模型。其主张是:从数据到部署完全透明。此前许多公司都做过这样的宣称,但很少有公司真正兑现。Olmo 3 打开了柜子里的每一个抽屉:原始预训练混合数据、中期训练优化、后训练指令集、评估工具,甚至是在训练开始前用于清理和去重数据的工具。所有内容都是公开的。microsoft-open-sources-data-formulator-07-for-enterprise-data-analytics
Olmo 3 提供六种变体,覆盖两个参数规模:7B 和 32B,每个规模有三种类型:基础版、指令版和思考版。32B-Think 变体具备链式推理能力,能为复杂提示词展现中间步骤。32B-Instruct 是 Ai2 迄今为止最强大的完全开源聊天模型,支持工具使用和多轮对话。7B 变体注重效率:它们能在更广泛的硬件上运行,同时保持性能竞争力。模型卡上有基准测试分数,在编程、阅读理解和数学方面表现不错。但真正的亮点是 Ai2 所谓的“模型流”。这是完整的生命周期:数据整理、预训练、中期训练、长上下文适配、指令微调、偏好优化、强化学习,最后是专门用于推理的“思考”分支。sippsh-launches-open-source-library-for-local-ai-inference-with-3x-to-5x-speedup
透明的数据管道
Ai2 提供了预训练数据混合的下载链接,这是一个完全公开的混合数据,包括经过整理的网页文本、代码、书籍和科学文章,以及去重和质量过滤处理。中期训练数据,用于通过特定领域混合数据优化基础模型,也是可用的。后训练数据涵盖了监督指令响应和用于直接偏好优化(DPO)及强化学习阶段的比较数据。
工具同样是开源的。训练框架 OlmoCore 可用于快速配置。数据预处理工具包括用于超高效模糊去重的 Duplodocus 和用于大规模清洗的 Datamap-rs。后训练管道 Open Instruct 允许研究人员复制或修改指令微调过程。在评估方面,Ai2 提供了 OLMES 用于可复现的评估,以及 Decon 用于帮助从训练数据中移除测试集污染。hugging-face-showcases-slack-native-coding-agent-and-ai-research-highlights
OlmoTrace 可能是最有趣的部分,它允许用户将模型输出追溯到特定的训练数据点。这对于诊断幻觉或偏见可能至关重要。对于需要示例级别来源的AI治理研究也具有重要意义。
为什么完全开源现在很重要
此次发布正值AI中“开源”定义受到激烈争议的时刻。Meta 的 Llama 系列被广泛描述为开源,但它在自定义许可下发布,限制大规模应用中的商业使用。Mistral 的模型也有类似的限制。即使是创作者标记为“开源”的模型,也经常隐藏训练数据、训练日志和中间检查点。
Olmo 3 回避了这些妥协。整个流程, , 每一个检查点、每一个关于数据过滤的决定、每一个超参数, , 都是公开的。这不是妥协,这正是核心所在。Ai2 将透明度视为科学严谨性的先决条件:如果一个结果无法重复,背后的数据无法检查,那么这个领域就是在信任而非证据的基础上运行的。the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding
福布斯记者 Janakiram MSV 将 Olmo 描述为“通过提供完全访问而脱颖而出”,与其他当前的开源大语言模型相比。Hugging Face 首席执行官 Clem Delangue 表示,Olmo“确保了完全透明度,并为变革性工作奠定了坚实基础。”
已在产生研究成果
透明度已经带来了回报。Ai2 重点介绍了基于早期 Olmo 检查点的三个研究项目:使用 Olmo-7B 作为测试平台的机器遗忘研究,用于在不重新训练的情况下移除特定数据影响;用于分析医学文本同时保持数据透明度的临床自然语言处理应用;以及通过访问训练日志和中间检查点实现的关于学习动态和扩展行为的基础研究。anthropic-launches-claude-science-an-ai-workbench-tailored-for-researchers
vLLM 项目联合负责人 Simon Mo 指出,Olmo 的架构推动了“开源模型设计的边界”。LMArena 首席执行官 Anastasios Angelopoulos 将 Olmo 描述为“正在成为社区构建下一层开放基础智能的工具。”
尚不明确的信息
Ai2 尚未发布与 Meta、Mistral 或 Qwen 同类模型对比的详细基准分数。也没有公布延迟数据或推理成本比较。模型流页面没有指定用于训练的硬件、总计算预算或功耗。思考变体的推理步骤是展示出来的,但该公司尚未详细描述链式推理方法。对于一个建立在透明度基础上的项目来说,这些空白是显著的。但数据和代码是公开的,这意味着独立审计可以填补它们。ifbench-the-new-benchmark-testing-ai-instruction-following
该公司正在接受关于 Ai2 工作每月更新的订阅申请,这表明 Olmo 3 不是一次性发布,而是重新定义AI开放性的持续努力的一部分。