JetSpec brise le plafond de passage à l'échelle du décodage spéculatif avec le Tree Drafting parallèle

Le décodage spéculatif (DS) est devenu une technique de référence pour accélérer les grands modèles de langage autorégressifs (LLM). L'idée est simple : générer plusieurs tokens en parallèle, puis les vérifier tous à la fois, plutôt que d'en produire un à la fois. Mais il y a un hic. L'augmentation du budget de draft, c'est-à-dire le nombre de tokens produits à chaque étape, s'est historiquement heurtée à un mur. Les gains de vitesse ne se matérialisent que lorsque les taux d'acceptation restent élevés et que les coûts de draft restent faibles. Deux approches dominantes dans le DS basé sur une tête présentent chacune leurs propres inconvénients, créant ce que les chercheurs derrière JetSpec appellent le dilemme causalité-efficacité.

Les rédacteurs autorégressifs produisent des candidats conditionnés par le chemin qui performent bien dans le décodage spéculatif en arbre, atteignant des longueurs d'acceptation plus élevées. L'inconvénient ? Le coût de draft augmente linéairement avec la profondeur de l'arbre, ce qui limite l'efficacité. Les rédacteurs bidirectionnels par diffusion de blocs, quant à eux, génèrent toutes les positions en un seul passage avant. Cependant, leurs marginales indépendantes des branches peuvent former des arbres individuellement plausibles mais mutuellement incohérents. Cela gaspille du budget et réduit les taux d'acceptation.

JetSpec, détaillé dans un article soumis à arXiv le 16 juin 2026, propose un framework DS basé sur une tête qui contourne ce compromis. L'innovation centrale est une tête de draft parallèle causale entraînée sur des états cachés fusionnés du modèle cible gelé. Contrairement aux méthodes antérieures, JetSpec produit des arbres candidats dont les scores s'alignent avec la factorisation autorégressive du modèle cible. Cet alignement permet au framework de convertir des budgets de draft plus importants en préfixes acceptés plus longs et en accélérations de bout en bout plus élevées.

Architecture technique

JetSpec fonctionne en attachant une tête de draft légère à un LLM pré-entraîné et gelé. La tête de draft prend des états cachés fusionnés de plusieurs couches du modèle cible en entrée et produit un arbre de tokens candidats. Le choix de conception critique est l'application d'un conditionnement causal sur les branches : chaque token de l'arbre de draft est conditionné par le chemin qui y mène, reflétant la nature autorégressive de l'inférence du modèle cible. Cela garantit que l'arbre maintient une cohérence interne, contrairement aux sorties indépendantes des branches des méthodes par diffusion de blocs.

La tête de draft est entraînée conjointement avec un mécanisme de vérification qui rejette les branches incohérentes. L'entraînement implique la minimisation d'une fonction de perte qui équilibre la longueur d'acceptation du draft avec le coût computationnel. Une fois entraînée, la tête peut être utilisée pour l'inférence sans surcoût supplémentaire au-delà du seul passage avant nécessaire à la fusion des états cachés.

Résultats des benchmarks

L'équipe de recherche a évalué JetSpec sur les variantes denses et Mixture-of-Experts (MoE) des modèles Qwen3 dans trois benchmarks : mathématiques (MATH-500), codage (HumanEval) et conversation ouverte (MT-Bench). Sur les GPU NVIDIA H100, JetSpec a atteint jusqu'à 9,64x d'accélération sur MATH-500 par rapport au décodage autorégressif standard. Sur les charges conversationnelles ouvertes, l'accélération a atteint 4,58x. Ces gains se sont maintenus sur les architectures denses et MoE, JetSpec surpassant les méthodes de référence à tête bidirectionnelle et à arbre DS dans toutes les configurations.

Des gains de latence supplémentaires ont été démontrés par l'intégration avec vLLM, une bibliothèque de service d'inférence open source populaire. Sous des charges de service réalistes, JetSpec a réduit les latences de queue jusqu'à 60 % par rapport aux méthodes de décodage spéculatif de base, un signe clair de sa viabilité pratique pour les déploiements en production.

Implications pour le déploiement des LLM

La capacité à accélérer l'inférence sans sacrifier la qualité est cruciale alors que les LLM se frayent un chemin dans des applications en temps réel comme les chatbots, les assistants de codage et les systèmes de tutorat interactifs. JetSpec s'attaque à un goulot d'étranglement fondamental : le compromis entre la qualité du draft et l'efficacité computationnelle. En rendant le processus de draft à la fois rapide et causalement cohérent, il débloque le potentiel pour des budgets de draft plus importants, qui se traduisent directement par une génération plus rapide.

La dépendance du framework aux méthodes basées sur une tête signifie également qu'il peut être appliqué aux LLM existants sans modifier l'architecture centrale du modèle. C'est un avantage pratique : les organisations peuvent améliorer la vitesse d'inférence sans réentraîner ou remplacer leurs modèles déployés.

Code et disponibilité

Le code et les modèles JetSpec sont open source sous une licence permissive sur https://github.com/hao-ai-lab/JetSpec. Une page de projet avec des visualisations supplémentaires et de la documentation est en ligne sur https://jetspec-project.github.io/jetspec-web/. Le projet a reçu 27 votes positifs sur Hugging Face au moment de la soumission de l'article.

"Notre code et nos modèles sont disponibles à cette URL https", notent les auteurs dans l'article, soulignant leur engagement en faveur de la reproductibilité et de l'adoption par la communauté.

Conclusion

JetSpec marque une avancée significative dans le décodage spéculatif, brisant le plafond de passage à l'échelle qui contraignait les méthodes antérieures. En résolvant le dilemme causalité-efficacité grâce à une tête de draft parallèle causale, il atteint des accélérations importantes sur divers benchmarks et architectures de modèles. Alors que la demande pour une inférence LLM plus rapide continue de croître, des frameworks comme JetSpec seront essentiels pour rendre les systèmes d'IA avancés pratiques à grande échelle.