DSpark montre que l’inférence rapide de l’IA est un problème d’ordonnancement, pas un tour de modèle

Le décodage spéculatif est devenu un outil standard pour accélérer l’inférence des grands modèles de langage. Mais un nouvel article de DeepSeek suggère que cette approche cache un coût. Lorsque de nombreux utilisateurs partagent un même cluster GPU, la capacité de traitement par lots consacrée à vérifier des tokens probablement rejetés réduit le débit précisément au moment où l’interactivité est la plus cruciale. DSpark, détaillé dans un preprint sur arXiv, transforme la longueur de vérification en une quantité dynamique par requête plutôt qu’en un hyperparamètre fixe. the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

L’idée centrale n’est pas une nouvelle architecture de modèle, mais une refonte au niveau système de la façon dont le décodage spéculatif interagit avec le traitement par lots. Le découplage spéculatif traditionnel fonctionne bien pour une seule séquence : un modèle draft bon marché propose des tokens, et le modèle cible les vérifie en parallèle. Lorsque plusieurs séquences se disputent le même GPU, vérifier un long bloc de tokens pour un utilisateur peut déplacer des emplacements qu’auraient pu remplir les tokens déjà acceptés d’un autre utilisateur. Il en résulte un plafond de débit qu’aucune astuce de rédacteur ne peut briser. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

Les architectes de DSpark, dont les affiliations mentionnent DeepSeek, une organisation construisant une infrastructure de service IA à grande échelle, ont observé que la probabilité d’acceptation chute fortement après les premiers tokens d’un bloc draft, en particulier lorsque le rédacteur manque de modélisation des dépendances entre tokens. Les rédacteurs parallèles qui génèrent tous les tokens proposés simultanément souffrent de ce que l’article appelle la décroissance de suffixe : les positions de tokens ultérieures ont plus de chances d’être rejetées car elles n’ont pas été conditionnées par des tokens précédents, potentiellement corrigés.

Pour contrer cela, DSpark couple un cœur parallèle avec un module séquentiel léger. Le composant séquentiel ajoute une petite latence par token mais réintroduit la dépendance intra-bloc, augmentant la longueur attendue d’acceptation sans annuler l’avantage de vitesse du chemin parallèle. Sur des benchmarks hors ligne couvrant les domaines de l’actualité, du code et des mathématiques, la méthode a nettement surpassé à la fois les rédacteurs autorégressifs et les rédacteurs purement parallèles en nombre moyen de tokens acceptés avant un rejet.

La contribution la plus conséquente est le mécanisme de vérification à ordonnancement par confiance. Le système estime, pour chaque requête, la probabilité qu’un préfixe donné du draft survive à la vérification, une valeur que l’article appelle la probabilité de survie du préfixe, et tronque le bloc de vérification une fois que cette probabilité tombe en dessous d’un seuil calibré sur le profil de débit du moteur actuel. Le résultat est que les requêtes avec des continuations faciles à prédire bénéficient encore de longues spéculations, tandis que les requêtes avec des tokens imprévisibles ne gaspillent pas d’emplacements de lots sur des rejets presque certains. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

L’évaluation empirique a eu lieu dans le système de service DeepSeek-V4 sous trafic utilisateur réel, un cadre qui expose la méthode à des schémas de contention réels. Par rapport à la ligne de base de production, qui utilise une approche uniforme de prédiction des tokens, DSpark a accéléré les vitesses de génération par utilisateur de 60 à 85 % à des niveaux de débit équivalents. L’article rapporte également que DSpark a permis des niveaux de performance auparavant inaccessibles sous des contraintes strictes d’interactivité, déplaçant effectivement la frontière de Pareto du système de service. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Le problème que DSpark résout s’aggrave à mesure que les déploiements GPU multi-locataires deviennent plus courants. Les fournisseurs de cloud et les laboratoires d’IA servent des milliers d’utilisateurs simultanés à partir d’infrastructures partagées, et toute optimisation qui améliore la latence par token au détriment de l’utilisation des lots peut se retourner contre elle. L’approche de DSpark fait partie de plusieurs articles récents qui traitent l’accélération de l’inférence comme un problème d’ordonnancement et d’allocation des ressources plutôt que purement algorithmique. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

La méthode nécessite une instrumentation pour estimer les probabilités de survie du préfixe et une étape de calibrage pour mapper ces probabilités aux longueurs de vérification optimales pour un GPU donné. L’article ne fournit pas une solution entièrement générale, mais une architecture pouvant être intégrée dans des piles de service existantes. Les auteurs suggèrent que la technique est complémentaire à d’autres optimisations telles que la mise en cache des préfixes et la quantification, et que ses avantages augmentent avec le volume des requêtes.

La contribution de DSpark est autant une mise en garde qu’une technique. Elle expose l’inefficacité cachée qui apparaît lorsque le décodage spéculatif rencontre une forte concurrence, et montre que la résoudre nécessite non pas un meilleur rédacteur, mais un répartiteur plus intelligent. the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java