Aleph Alpha construit un modèle d'inférence théorique pour décoder les performances de DeepSeek V3 à partir de primitives matérielles

Aleph Alpha a partagé un nouveau modèle d'inférence théorique qui estime le débit pour les grands modèles experts-mixtes (MoE), avec DeepSeek V3 comme cas test principal. Ce travail vise à donner aux ingénieurs une compréhension plus intuitive des compromis entre latence, débit et coût entre différentes configurations matérielles.

Modélisation de l'inférence à partir de primitives matérielles

Le modèle prend des paramètres matériels spécifiques comme entrées, le nombre de GPU, la bande passante d'interconnexion, la bande passante mémoire et la capacité de calcul, et produit des estimations de tokens par seconde pour un modèle MoE donné. L'équipe d'Aleph Alpha l'a construit pour explorer systématiquement comment les décisions architecturales et matérielles influencent les performances d'inférence réelles.

DeepSeek V3, l'un des modèles de langage open source les plus populaires aujourd'hui, a récemment introduit des optimisations d'inférence significatives qui le rendent étonnamment efficace à servir malgré sa taille énorme. Le modèle d'Aleph Alpha capture ces optimisations et les traduit en chiffres de performance pouvant être comparés entre différentes configurations.

Compromis clés révélés

Le rapport identifie trois principaux régimes de goulot d'étranglement qui se déplacent en fonction du rapport entre le nombre de GPU et la vitesse d'interconnexion :

• Scénarios limités par le calcul : Lorsque la communication de tous à tous est suffisamment rapide, le débit est limité par les FLOPs bruts des GPU.
• Scénarios limités par la mémoire : Lorsque les poids du modèle ou le cache KV dominent la capacité, la bande passante mémoire devient le facteur limitant.
• Scénarios limités par la communication : Lorsque la bande passante inter-GPU est insuffisante, le coût du routage des experts et de la communication de tous à tous devient le principal goulot d'étranglement.

En variant le nombre de GPU et la vitesse d'interconnexion, Aleph Alpha montre comment le goulot d'étranglement se déplace entre ces régimes, permettant une sélection matérielle adaptée à des objectifs de déploiement spécifiques.

Implications pratiques pour les praticiens

Ce travail est destiné aux ingénieurs et architectes concevant des infrastructures d'inférence pour les grands modèles MoE. Il fournit un moyen d'estimer les performances sans effectuer de vastes benchmarks, accélérant ainsi les décisions d'approvisionnement et de déploiement matériel.

Le rapport d'Aleph Alpha comprend des données détaillées et des graphiques montrant comment la modification du nombre de GPU ou de la bande passante d'interconnexion affecte le débit et la latence. Il explore également l'impact de la taille des lots, de la précision (FP16 vs FP8) et du nombre d'experts actifs par token sur le débit global.

Pourquoi DeepSeek V3 est important pour l'inférence MoE

DeepSeek V3 a attiré l'attention pour son échelle, des centaines de milliards de paramètres, combinée à une architecture MoE efficace qui n'active qu'une fraction des paramètres par token. Cette conception introduit des défis d'inférence uniques, notamment autour du routage des experts et de la communication de tous à tous entre les GPU. Le modèle d'Aleph Alpha aborde directement ces défis, offrant une perspective quantitative pour comprendre comment l'architecture se comporte sous différentes contraintes matérielles.

Le rapport complet est disponible en téléchargement sur le blog d'Aleph Alpha, avec des informations supplémentaires sur la manière d'appliquer le modèle à d'autres architectures MoE en développement.