Token级分析揭示混合LLM在承载含义的词汇上表现出色，但在重复标记上落后

一个混合语言模型在整体基准测试上可以匹配甚至超越标准Transformer，但这个总体数字背后隐藏了什么？艾伦人工智能研究所的一个团队试图通过逐Token比较两个紧密匹配的70亿参数模型, , 纯Transformer模型Olmo 3和用循环层替换大部分注意力层的混合模型Olmo Hybrid, , 来回答这个问题。

注意力 vs. 循环：互补优势

在Transformer中，每一层都使用注意力，让每个Token可以直接访问所有前面的Token。这使得注意力在从远处回忆特定Token时表现出色，但其计算成本随输入长度呈二次方增长。混合模型保留了少量注意力层，但用循环层替换了其余层，循环层携带固定大小的压缩记忆，无论输入长度如何，每个Token的处理成本恒定。这种压缩记忆是有损的，因此循环层无法回溯到精确副本，但它们在跟踪顺序演进的信息方面表现出色。

方法：损失差距

为了隔离每种架构的优势所在，研究人员将相同的文本段落（包括文章、Wikipedia条目、书籍、科学论文、Python、HTML和LaTeX）输入两个模型，并记录每个模型分配给实际下一个Token的概率。他们逐Token计算了损失差距（损失的差异）：正差距表示混合模型预测更好，负差距表示Transformer更好。

“然后，我们将每个Token分类到一个类别中，并计算这些类别内的平均损失差距，然后通过回归分析验证每个模式，在保持其他因素不变的情况下估计该类别的独立效应，”团队解释道。

主要发现：内容词 vs. 功能词

在散文中，最明显的区分在于内容词（承载含义的名词、动词和形容词）和功能词（如“the”、“of”和“is”）。混合模型在内容词上的预测显著优于Transformer，损失差距约为0.03，而在功能词上，差距缩小到接近零。这种优势在副词和形容词上尤为明显。

“混合模型的最大优势体现在那些说明句子主题的词汇上，而在任何模型都能通过句法大致猜出的语法词汇上优势最小，”研究人员指出。

混合模型优势消失之处

混合模型的领先优势在那些仅仅重复输入内容的Token上几乎消失。团队通过查找重复的n-gram（即文本中连续出现且之前已完全相同的序列）来识别这些情况。重复序列越长，混合模型的领先优势越小，直至接近零。

另一个明显的情况是闭合括号。团队发现，在语言、代码和标记语言的括号匹配中，闭合括号（而非开放括号）没有显示出混合模型优势，这与注意力足以进行括号匹配的模式一致。

过滤后的Token损失作为评估工具

基于这些发现，团队探索了使用特定Token类型的过滤损失作为评估方法。他们比较了三个10亿参数模型：一个Transformer、一个混合模型和一个完全没有注意力的纯循环模型。

在非重复的承载含义的Token上，混合模型和纯循环模型都超越了Transformer，其中混合模型表现最佳。在重复Token上，纯循环模型由于没有注意力来回溯副本，落后于混合模型和Transformer。

“因此，这些过滤后的Token损失揭示了不同架构之间更细粒度的差异，包括复制能力以及在内容词上的差异，这些差异在训练早期以其他方式无法显现，”研究人员写道。

对架构设计的启示

这项工作带来了两个主要启示。首先，单一的总体损失（模型在所有Token上的平均误差）过于粗糙，无法比较Transformer和混合架构。仅对测试特定能力的Token计算损失可以揭示关键差异。

其次，混合模型在开放类Token上的特定优势可能与循环层的状态跟踪能力有关。“我们相信，最佳的混合架构将来自于逐Token理解模型每个组件擅长什么，”团队总结道。

研究人员已发布完整报告、Olmo 3、Olmo Hybrid及其相关的开放工具体，供社区探索。