La nouvelle bibliothèque megakernel d'Aleph Alpha réduit la latence d'inférence MoE de 200 %

Le goulot d'étranglement MoE

Les architectures mixture-of-experts sont devenues le cheval de bataille des déploiements de grands modèles de langage, offrant une voie vers une capacité plus élevée sans coûts de calcul proportionnels. Mais la logique de routage et les schémas de communication all-to-all qui rendent MoE efficace introduisent également des surcharges de latence que les modèles denses évitent. Dans les cadres de production comme vLLM et SGLang, ces surcharges peuvent réduire les gains théoriques, en particulier à grande échelle.

Aleph Alpha, le laboratoire d'IA basé à Heidelberg derrière la série de modèles Luminous, a publié Alpha-MoE, une bibliothèque de noyaux spécialisée conçue pour répondre précisément à ce point douloureux. La bibliothèque cible le chemin d'inférence quantifié W8A8, poids 8 bits et activations 8 bits, en utilisant le format de données FP8, et revendique des accélérations allant jusqu'à 200 % par rapport aux noyaux Triton open source existants utilisés dans vLLM et SGLang.

Comment fonctionne le megakernel

L'idée centrale derrière Alpha-MoE est la fusion de noyaux : au lieu de lancer plusieurs petits noyaux GPU pour chaque étape du calcul MoE, routage, gating, calcul expert et combinaison de sortie, la bibliothèque fusionne ces étapes en un seul noyau persistant. Cela réduit la surcharge de lancement de noyau, améliore la localité mémoire et permet au GPU de conserver les données dans les registres plutôt que de les déplacer via la mémoire globale entre les appels de noyau discrets.

La bibliothèque est construite avec un accent sur la précision FP8, un format qui a gagné du terrain pour l'inférence car il réduit de moitié les besoins en bande passante mémoire par rapport au FP16 tout en conservant une précision acceptable pour de nombreuses tâches. En combinant la quantification FP8 avec la fusion de noyaux, Alpha-MoE double effectivement le débit par GPU pour l'inférence de modèles MoE, selon les benchmarks de l'entreprise.

Contexte des benchmarks

Aleph Alpha a fourni des données de performance comparant Alpha-MoE aux noyaux Triton par défaut livrés avec vLLM et SGLang, les deux cadres de service de LLM open source les plus populaires. Sur une gamme de tailles de modèles MoE et de configurations de lots, le megakernel fusionné a constamment livré des accélérations de 150 % à 200 % dans la latence de génération de jetons de bout en bout.

Les plus grands gains ont été observés dans des scénarios à haut débit avec des tailles de lots importantes, où la surcharge de lancement de noyau et la contention de bande passante mémoire sont les plus aiguës. Pour l'inférence à faible latence d'une seule requête, les améliorations étaient plus modestes mais toujours significatives, oscillant autour de 80 % à 100 %.

La vérification indépendante de ces chiffres est en attente, mais l'entreprise a publié la bibliothèque sous une licence ouverte sur GitHub, permettant à la communauté de recherche de reproduire les benchmarks.

Implications plus larges pour l'écosystème

Cette publication intervient à un moment où l'architecture MoE se répand au-delà des grands laboratoires. Des modèles comme Mixtral 8x7B, Qwen1.5-MoE et DeepSeek-MoE ont rendu les architectures basées sur le routage accessibles aux petites équipes et aux startups. Cependant, le service efficace de ces modèles sur des GPU grand public reste un défi, que Alpha-MoE aborde directement.

Si les benchmarks tiennent, la bibliothèque pourrait abaisser la barrière matérielle pour exécuter des modèles MoE open source compétitifs. Cela augmente également les enjeux pour des cadres comme vLLM et SGLang, qui devront intégrer des optimisations similaires ou risquer de perdre des utilisateurs soucieux de la performance.

Pour Aleph Alpha, qui s'est positionné principalement en tant que fournisseur de cloud souverain d'IA européen, publier la bibliothèque en open source est une décision stratégique pour construire sa crédibilité dans la communauté des développeurs et attirer les utilisateurs vers sa plateforme.

La question ouverte : l'adoption

Le succès de la bibliothèque dépend non seulement de sa performance brute mais aussi de son histoire d'intégration. Alpha-MoE doit être compatible avec les formats de modèles en évolution (Safetensors, GGUF, GPTQ) et les schémas de quantification utilisés par l'écosystème open source. L'entreprise affirme qu'elle prend en charge les modèles les plus courants et a publié des guides d'intégration pour vLLM et SGLang.

L'adoption dépendra également de la manière dont la bibliothèque gère les cas limites : petites tailles de lots, très grands modèles avec des centaines d'experts et des stratégies de routage non standard. L'approche du noyau persistant d'Alpha-MoE est prometteuse, mais le trafic de service réel est complexe.

Pour l'instant, le projet donne aux ingénieurs en IA une raison concrète de réévaluer leur pile d'inférence. Que Alpha-MoE devienne un composant standard ou un outil de niche dépendra de la capacité de la communauté à tester, casser et améliorer le projet.