Ai2推出EMO：模块化AI从数据中自然涌现，无需人为规则

Ai2发布了EMO，一种全新的混合专家（MoE）语言模型，经过端到端预训练，使得模块化结构直接从数据中涌现，无需任何人类定义的先验知识。该模型允许用户针对特定任务仅激活一小部分专家（仅占总专家数的12.5%），同时保持接近完整模型的性能。当所有专家组合使用时，它也能作为一个强大的通用模型。open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

大型语言模型通常作为整体系统进行训练和部署：一个单一的模型被初始化、预训练、微调，并作为一个统一的实体提供服务。但应用往往只需要部分能力，例如代码生成、数学推理或特定领域知识。随着前沿模型参数规模达到数万亿，使用和调整完整模型对大多数用户来说变得不切实际，并且会带来不必要的计算成本和内存开销。

MoE模型似乎是缓解这一约束的自然方式。它们不是在每一层使用一个大型前馈网络，而是包含许多较小的网络（称为专家），并且只为每个输入标记激活其中一小部分。原则上，一个只需要某项能力的任务可以仅加载相关专家。

然而在实践中，现有的MoE模型仍然需要完整模型才能良好工作。即使在单个输入内，不同的标记通常也会激活不同的专家，因此一个任务在其生成过程中可能会用到所有专家。正如Ai2研究者在EMO论文中所展示的，这部分是因为标准MoE中的专家通常专精于低层次的词汇模式（例如介词或标点），而非更高层次的领域或能力。结果，小规模的专家子集自身无法可靠地使用。what-the-5-day-old-paper-260623050-tells-us-about-the-future-of-ai

Ai2希望构建的MoE模型，其专家能够组织成连贯的群体，从而可以被有选择地使用和组合。

EMO如何实现涌现式模块化

在预训练过程中促进这一点的一种方法是基于预定义的语义领域（如数学、生物学或代码）将标记路由到专家。先前的工作如BTX和Ai2的FlexOlmo项目尝试过这种方法。然而，预定义的领域存在重要局限。它们需要在整个预训练语料库中标注领域标签，这既可能模糊不清又成本高昂，并且可能将过多的人类偏见注入模型组织自身的方式。

EMO采取了一种不同的方法。其关键洞察是，来自同一文档的标记通常属于同一领域。因此，Ai2利用文档边界作为弱监督信号：在训练过程中，一个文档中的所有标记都被限制从同一个共享专家池中选择它们激活的专家。

在一个拥有10个总专家且每个标记激活2个专家的MoE模型中，一个文档中的所有标记都被限制在一个包含4个专家的共享池内进行路由。这个池由路由器自己选择：它会在文档中所有标记上对路由器的专家偏好进行平均，然后选择使用最多的专家作为该文档的共享池。不同的文档可以使用不同的池，从而允许反复出现的专家组直接从训练数据中涌现。

研究者指出了几个实现要点：

• 负载均衡：在标准MoE训练中，负载均衡目标防止模型仅依赖少数几个专家。EMO在多个文档之间全局应用负载均衡，使这两个目标互补：EMO鼓励同一文档内的标记使用连贯的专家池，而全局负载均衡则鼓励不同文档共同覆盖所有专家。
• 文档池大小：Ai2并非固定一个池大小，而是在训练过程中随机采样。这防止EMO过拟合到单一子集大小，并使其在推理时支持不同的专家子集大小。

基准测试结果与性能

在通用基准测试中，EMO与标准MoE模型性能相当，表明模块化目标并未以牺牲完整模型性能为代价。然而，更关键的问题是，当仅保留一部分专家子集时，模型是否仍能工作。在这种设定下，Ai2通过根据专家在少量任务验证数据上的路由使用情况对专家进行排序，保留使用最多的专家，丢弃其余专家，来构建特定任务的专家子集。ifbench-the-new-benchmark-testing-ai-instruction-following

结果表明，EMO在选择性使用专家时依然稳健。当仅保留25%的专家（32个专家子集）时，EMO在所有基准测试上的绝对性能损失仅为约1%；即使仅保留12.5%的专家（16个专家子集），总体性能下降也仅为约3%。这在微调前后均成立。相比之下，匹配的标准MoE随着专家子集缩小而性能急剧下降，在最小的专家子集设定下，性能往往接近或低于随机水平。how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

此外，Ai2表明，为任务选择正确的专家出乎意料地廉价：只需一个带少量示例展示的样本，就足以识别出与使用完整验证集选择出来的模块性能相当的模块。EMO也与现有的专家剪枝方法（如Easy-EP）配合良好，两者互为补充。

专家子集专精于什么

为了解EMO实际学到了什么，Ai2研究者对12,000个预训练文档中前100个标记的路由器激活进行了聚类。与标准MoE的差异非常显著。

EMO的标记聚类对应于如健康、医疗与保健、新闻报道、美国政治与选举、以及电影与音乐等类别。而标准MoE产生的聚类则是介词、专有名词、系动词或定冠词等。在EMO中，来自同一文档的标记大多落在同一个聚类中；而在标准MoE中，它们则分散在多个聚类中。

通过一个简单的例子最能看出这种对比。以一篇健康文章为例：在EMO中，几乎每个标记都会路由到健康、医疗与保健聚类。而在标准MoE中，最主要的聚类是领属与定冠词；模型会将这篇文章与任何恰好使用了“the”或“your”等词汇的文本归为一类，无论文本内容是什么。

由于EMO形成的模块映射到语义领域而非表面特征，用户可以选择一个小型专家子集，仍然得到一个功能完整的模型, , 该组对应着一种真实的能力。the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

发布与未来工作

Ai2正在发布完整的EMO训练模型、一个在相同数据上训练的匹配标准MoE基线、以及训练代码。研究者希望这些成果对其他研究MoE涌现式模块化的团队有所帮助。ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

仍有更多工作要做。EMO是使大型稀疏模型更具模块化的早期一步，但许多问题仍待解决：如何更好地选择和组合专家子集，如何在不断裂完整模型的情况下更新模块，以及如何利用模块化结构实现更好的可解释性和可控性。发布这些模型应能帮助社区研究这些问题，并构建更易于部署、调整、检查和组合的模块化语言模型。