Aleph Alpha construye un modelo teórico de inferencia para descifrar el rendimiento de DeepSeek V3 a partir de primitivas de hardware

Aleph Alpha ha compartido un nuevo modelo teórico de inferencia que estima el rendimiento de modelos grandes de mezcla de expertos (MoE), con DeepSeek V3 como su caso de prueba principal. El trabajo tiene como objetivo brindar a los ingenieros una comprensión más intuitiva de las compensaciones entre latencia, rendimiento y costo en diferentes configuraciones de hardware.

Modelado de inferencia a partir de primitivas de hardware

El modelo toma parámetros específicos de hardware como entrada: cantidad de GPU, ancho de banda de interconexión, ancho de banda de memoria y capacidad de cómputo, y produce tokens estimados por segundo para un modelo MoE dado. El equipo de Aleph Alpha lo creó para explorar sistemáticamente cómo las decisiones arquitectónicas y de hardware influyen en el rendimiento real de la inferencia.

DeepSeek V3, uno de los modelos de lenguaje grande de código abierto más populares en la actualidad, introdujo recientemente optimizaciones significativas en el tiempo de inferencia que lo hacen sorprendentemente eficiente de servir a pesar de su enorme tamaño. El modelo de Aleph Alpha captura estas optimizaciones y las traduce en cifras de rendimiento que se pueden comparar entre configuraciones.

Compensaciones clave reveladas

El informe identifica tres regímenes principales de cuello de botella que cambian según la proporción entre la cantidad de GPU y la velocidad de interconexión:

• Escenarios limitados por cómputo: Cuando la comunicación de todos con todos es lo suficientemente rápida, el rendimiento está limitado por los FLOPs brutos de las GPU.
• Escenarios limitados por memoria: Cuando los pesos del modelo o la caché KV dominan la capacidad, el ancho de banda de memoria se convierte en el factor limitante.
• Escenarios limitados por comunicación: Cuando el ancho de banda entre GPU es insuficiente, el costo del enrutamiento de expertos y la comunicación de todos con todos se convierte en el principal cuello de botella.

Al variar la cantidad de GPU y la velocidad de interconexión, Aleph Alpha demuestra cómo el cuello de botella se desplaza entre estos regímenes, lo que permite una selección de hardware adaptada a objetivos de implementación específicos.

Implicaciones prácticas para los profesionales

El trabajo está dirigido a ingenieros y arquitectos que diseñan infraestructura de inferencia para modelos MoE grandes. Proporciona una forma de estimar el rendimiento sin ejecutar puntos de referencia extensos, lo que acelera las decisiones de adquisición e implementación de hardware.

El informe de Aleph Alpha incluye datos detallados y gráficos que muestran cómo cambiar la cantidad de GPU o el ancho de banda de interconexión afecta el rendimiento y la latencia. También explora el impacto del tamaño del lote, la precisión (FP16 vs. FP8) y la cantidad de expertos activos por token en el rendimiento general.

Por qué DeepSeek V3 es importante para la inferencia MoE

DeepSeek V3 ha llamado la atención por su escala, cientos de miles de millones de parámetros, combinada con una arquitectura MoE eficiente que activa solo una fracción de los parámetros por token. Ese diseño introduce desafíos únicos de inferencia, particularmente en torno al enrutamiento de expertos y la comunicación de todos con todos entre GPU. El modelo de Aleph Alpha aborda estos desafíos directamente, ofreciendo una lente cuantitativa para comprender cómo se comporta la arquitectura bajo diferentes restricciones de hardware.

El informe completo está disponible para descargar desde el blog de Aleph Alpha, con información adicional sobre cómo aplicar el modelo a otras arquitecturas MoE en desarrollo.