DSpark de DeepSeek vient de résoudre les deux choses qui freinaient une inférence IA plus rapide

Depuis des années, le décodage spéculatif est la solution de contournement qui permet aux grands modèles de langage de générer du texte plus rapidement sans sacrifier la qualité. L'idée est élégante : un rédacteur léger propose un bloc de jetons candidats, et le modèle cible de taille réelle vérifie l'ensemble du bloc en une seule passe directe. Les jetons acceptés restent ; le premier jeton rejeté et tout ce qui suit sont supprimés. Bien fait, le système produit la même sortie que le modèle cible seul, mais en moins de temps réel. fast-lewm-parallel-action-prefix-prediction-slashes-latent-world-model-planning-costs

Mais l'approche a toujours fait face à un compromis fondamental. Les rédacteurs autorégressifs produisent des séquences de haute qualité, mais leur latence croît linéairement avec la taille du bloc. Les rédacteurs parallèles peuvent proposer de longs blocs en une seule passe, mais ils souffrent d'une dégradation rapide de l'acceptation aux positions ultérieures car ils ne peuvent pas modéliser les dépendances entre les jetons. Et même lorsqu'un rédacteur parallèle produit une longue proposition, vérifier chaque jeton sans discernement gaspille du calcul, en particulier sous forte concurrence, où chaque jeton rejeté occupe une capacité de lot qui pourrait servir d'autres requêtes. when-your-ai-knows-you-better-than-you-know-yourself-the-hidden-cost-of-context-in-17-slide-recaps

Deux goulots d'étranglement identifiés par DeepSeek

L'équipe de recherche de DeepSeek, dans un article publié avec des collaborateurs de l'Université de Pékin, a mené une analyse systématique de ces goulots d'étranglement. Leurs benchmarks hors ligne sur les modèles Qwen3-4B, 8B et 14B ont révélé un schéma frappant : le rédacteur parallèle DFlash commence fort à la position 1 (acceptation conditionnelle de 0,88 en mathématiques) mais se dégrade rapidement à 0,78 à la position 7. Pendant ce temps, le rédacteur autorégressif Eagle3 maintient ou même améliore son taux d'acceptation plus profondément dans le bloc, passant de 0,53 à 0,74 en chat, mais souffre d'une architecture peu profonde qui limite les performances initiales. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

"Parce que le décodage spéculatif fonctionne comme un processus de survie par correspondance de préfixe strict, le premier jeton a le plus grand effet de levier. Un rejet ici invalide immédiatement tout le bloc," écrivent les auteurs. L'avantage de capacité des rédacteurs parallèles à la position 1 explique pourquoi ils peuvent surpasser les modèles autorégressifs globalement malgré leur dégradation du suffixe. ifbench-the-new-benchmark-testing-ai-instruction-following

Comment DSpark combine le meilleur des deux mondes

DSpark divise la génération du brouillon en deux étapes. Un squelette parallèle, basé sur la conception de DFlash, exécute une seule passe directe sur l'ensemble du bloc, produisant des états cachés et des logits de base. Ensuite, une tête séquentielle légère injecte une dépendance entre les jetons du brouillon via un biais de transition markovien de premier ordre. Le composant séquentiel utilise une factorisation de bas rang (rang 256) pour minimiser le stockage et le calcul par étape. kog-laneformer-2b-the-latency-first-model-that-redefines-small-scale-inference

L'effet, selon l'article, est que DSpark hérite de la haute acceptation initiale d'un rédacteur parallèle profond tout en atténuant la dégradation rapide typique de la génération purement parallèle. Sur les modèles Qwen3, DSpark a amélioré la longueur d'acceptation macro-moyenne par rapport à Eagle3 d'environ 27 à 31 % et par rapport à DFlash de 16 à 18 %. Sur le modèle cible Gemma4-12B, les gains étaient de 12 à 17 % par rapport à Eagle3 et de 9 à 14 % par rapport à DFlash.

Peut-être plus révélateur est le comportement de mise à l'échelle du modèle. Un DSpark à 2 couches surpasse une base DFlash à 5 couches dans tous les domaines, montrant que "l'injection d'auto-régression locale via une tête séquentielle légère offre un compromis précision-paramètres très favorable," notent les auteurs. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

Vérification à planification de confiance : savoir quand s'arrêter

La seconde moitié du cadre DSpark est ce qui le rend prêt pour la production. Le système couple une tête de confiance, qui estime les probabilités de survie du préfixe par position, avec un planificateur sensible au matériel qui détermine dynamiquement les longueurs de vérification optimales en fonction de la charge actuelle du système. Cela répond à un problème que les benchmarks hors ligne ne peuvent pas capturer : sous forte concurrence, vérifier les jetons de suffixe de faible confiance dégrade plus le débit global qu'il n'aide. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Dans les balayages de seuil hors ligne, la tête de confiance s'est avérée efficace pour identifier les jetons de suffixe de faible valeur. À mesure que le seuil d'acceptation augmentait, le taux d'acceptation global augmentait régulièrement parce que l'estimateur filtrait les jetons qui seraient finalement rejetés, en particulier sur les charges de travail de chat, où les distributions de jetons à entropie plus élevée rendent la vérification aveugle inutile.

Une procédure de calibrage post-hoc appelée Sequential Temperature Scaling (STS) a été ajoutée pour aligner les probabilités prédites avec les taux d'acceptation empiriques. "Parce que les estimations de confiance neuronales sont souvent trop confiantes, utiliser directement les scores de confiance bruts fausserait l'estimation du débit, conduisant à une planification sous-optimale," explique l'article.

Déploiement en production : génération 60 à 85 pour cent plus rapide

Le véritable test de toute optimisation d'inférence est le trafic utilisateur en direct, et DeepSeek a déployé DSpark au sein de son système de service V4. Par rapport à la base de production MTP-1 antérieure, DSpark a accéléré les vitesses de génération par utilisateur de 60 à 85 % sur la variante V4-Flash et de 57 à 78 % sur V4-Pro à des capacités de débit agrégées équivalentes. what-the-5-day-old-paper-260623050-tells-us-about-the-future-of-ai

Plus important encore, DSpark a atténué un gouffre de performance qui rendait auparavant les niveaux d'interactivité stricts inaccessibles. Sous des contraintes SLA strictes, telles que 120 jetons par seconde pour Flash et 50 pour Pro, la capacité de la base se détériorait gravement. La vérification à planification de confiance de DSpark a empêché cette dégradation en orientant le calcul du modèle cible uniquement vers les jetons avec le rendement attendu le plus élevé. kog-laneformer-2b-the-latency-first-model-that-redefines-small-scale-inference

Artéfacts open source et impact communautaire

DeepSeek a publié des points de contrôle DSpark entraînés pour les modèles V4-Flash (aperçu) et V4-Pro (aperçu). L'entreprise a également open-sourcé DeepSpec, un référentiel de formation basé sur des algorithmes qui inclut les implémentations Eagle3, DFlash et DSpark. Les points de contrôle et le code sont destinés à soutenir davantage de recherche sur le service LLM efficace. cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

La publication représente une contribution significative à la littérature sur le décodage spéculatif, non seulement pour les innovations algorithmiques, mais pour la manière systématique dont l'article diagnostique et traite les goulots d'étranglement qui ont limité les rédacteurs parallèles en production. En montrant qu'un rédacteur semi-autorégressif à 2 couches peut surpasser un rédacteur parallèle à 5 couches, et que la vérification adaptative peut déplacer la frontière de Pareto d'un système de service, DSpark offre un manuel pratique pour déployer de grands blocs de rédaction dans des environnements à forte concurrence. ai2-releases-olmoearth-v11-slashing-compute-costs-up-to-3x-for-satellite-imagery-ai