Aleph Alpha 构建理论推理模型，从硬件原语解码 DeepSeek V3 性能

Aleph Alpha 分享了一个新的理论推理模型，用于估算大型混合专家（MoE）模型的吞吐量，并以 DeepSeek V3 作为主要测试案例。该工作旨在让工程师更直观地理解不同硬件配置下延迟、吞吐量和成本之间的权衡。

从硬件原语建模推理

该模型以特定的硬件参数作为输入, , GPU 数量、互连带宽、内存带宽和计算能力, , 并输出给定 MoE 模型的每秒令牌数。Aleph Alpha 的团队构建该模型是为了系统地探索架构和硬件决策如何影响实际推理性能。

DeepSeek V3 是当今最受欢迎的开源大型语言模型之一，最近引入了显著的推理时优化，使其尽管规模庞大，但在服务时却出奇地高效。Aleph Alpha 的模型捕捉了这些优化，并将其转化为可以跨不同设置进行比较的性能数据。

揭示的关键权衡

报告识别出三种主要的瓶颈区域，这些区域会根据 GPU 数量与互连速度的比率而转移：

• 计算受限场景：当所有节点间的通信足够快时，吞吐量受 GPU 原始 FLOPs 限制。
• 内存受限场景：当模型权重或 KV 缓存占主导容量时，内存带宽成为限制因素。
• 通信受限场景：当 GPU 间带宽不足时，专家路由和所有节点间通信的成本成为主要瓶颈。

通过改变 GPU 数量和互连速度，Aleph Alpha 演示了瓶颈如何在这些区域之间转移，从而实现针对特定部署目标定制的硬件选择。

对从业者的实际意义

该工作面向设计和构建大型 MoE 模型推理基础设施的工程师和架构师。它提供了一种无需运行大量基准测试即可估算性能的方法，从而加速硬件采购和部署决策。

Aleph Alpha 的报告包含详细数据和图表，展示了改变 GPU 数量或互连带宽如何影响吞吐量和延迟。它还探讨了批量大小、精度（FP16 与 FP8）以及每个令牌的活跃专家数量对整体吞吐量的影响。

为什么 DeepSeek V3 对 MoE 推理至关重要

DeepSeek V3 因其规模（数千亿参数）结合高效的 MoE 架构（每个令牌仅激活一小部分参数）而备受关注。这种设计带来了独特的推理挑战，特别是在跨 GPU 的专家路由和所有节点间通信方面。Aleph Alpha 的模型直接应对这些挑战，提供了一个量化视角来理解该架构在不同硬件约束下的行为。

完整报告可在 Aleph Alpha 的博客上下载，其中还包含如何将该模型应用于其他正在开发的 MoE 架构的附加见解。