L'attention bifocale de Jet-Long tue le compromis de mise à l'échelle fixe pour les LLM à long contexte

Chaque déploiement de LLM qui dépasse la fenêtre de contexte d'entraînement rencontre le même problème : choisir un facteur de remise à l'échelle RoPE agressif et les entrées courtes se dégradent ; choisir un facteur conservateur et le modèle a du mal au-delà d'une certaine limite prévisible. La plupart des méthodes d'extension de contexte zero-shot traitent cela comme une décision d'hyperparamètre fixe, un compromis intégré dans l'inférence avant qu'un seul token ne soit exécuté. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

Jet-Long construit plutôt deux fenêtres RoPE parallèles. L'une reste aux fréquences de base, l'autre se remet à l'échelle dynamiquement. Elles fusionnent via une fusion d'attention par inclusion-exclusion associée à une rotation de correction qui maintient la cohérence de la branche longue portée. Le résultat retrouve le comportement du modèle de base pour des longueurs de contexte courtes tout en extrapolant proprement à mesure que les séquences s'allongent. Aucune mise à jour de gradient n'est nécessaire. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

Comment l'attention bifocale contourne le piège de la mise à l'échelle fixe

L'idée centrale est simple. Les méthodes zero-shot existantes comme YaRN, la mise à l'échelle NTK-aware ou l'interpolation linéaire choisissent un programme de remise à l'échelle et l'appliquent uniformément à toutes les têtes et couches. Jet-Long divise l'attention en deux flux : une fenêtre locale sur les fréquences RoPE originales non remises à l'échelle préserve la fidélité positionnelle à courte portée ; une fenêtre longue portée utilise un facteur de remise à l'échelle l(s) calculé à partir de la longueur de séquence actuelle s. À mesure que l'entrée croît, le facteur glisse d'une quasi-identité à un étirement agressif, mais les fréquences de base restent co-actives via la fusion. the-subtle-trap-waiting-for-ai-agents-in-production

La fusion est l'astuce d'ingénierie. L'équipe dérive une formule d'inclusion-exclusion qui combine les scores d'attention locaux et longue portée sans double comptage, puis applique une rotation de correction RoPE qui réaligne les phases entre les deux branches. Cette correction à la volée, implémentée comme un noyau CuTe fusionné sur des GPU H100, rend la construction bifocale pratiquement gratuite : le préremplissage à long contexte atteint jusqu'à 1,39 fois le débit de FlashAttention-2 standard, approchant le FA4 spécifique à Hopper. Pour la génération par lot unique, le surcoût reste inférieur à 4% à chaque longueur testée. nvidia-nemo-automodel-delivers-37x-faster-moe-fine-tuning-via-expert-parallelism-and-deepep

Résultats empiriques qui défient le statu quo

L'équipe a évalué la méthode sur la famille Qwen3 aux échelles de 1,7B, 4B et 8B de paramètres, avec des contextes s'étendant jusqu'à 128K tokens. Sur le benchmark RULER, un test de rappel à longue portée, Jet-Long a surpassé la base de référence la plus forte de +4,79, +2,18 et +2,03 points de pourcentage à chaque échelle. Sur le benchmark HELMET-RAG, que l'équipe HELMET a trouvé être le meilleur prédicteur unique des performances réelles à long contexte, Jet-Long a obtenu la meilleure précision globale. La perplexité sur le jeu de données de modélisation linguistique PG-19 a été la plus faible signalée pour toute méthode zero-shot à des échelles comparables. the-quiet-finding-on-chain-of-thought-monitoring-that-should-worry-frontier-labs

Ces gains surviennent sans sensibilité aux hyperparamètres. L'équipe rapporte que Jet-Long reste robuste sur une large gamme de programmes de remise à l'échelle, un avantage pratique pour les ingénieurs déployant le même checkpoint dans différentes configurations de contexte maximal sans réajuster la méthode d'extension.

Généralisation aux architectures d'attention hybrides

Jet-Long n'est pas verrouillé aux architectures de transformeurs purs. L'article montre qu'il se généralise aux conceptions d'attention hybrides comme Jet-Nemotron, où les couches d'attention à fenêtre glissante et globale coexistent. Cela ouvre une voie pour améliorer la capacité à long contexte dans des modèles déjà construits avec une attention hybride, là encore sans réentraînement, en échangeant le codage positionnel RoPE au moment de l'inférence.

Pour un paysage de déploiement qui repose de plus en plus sur l'extension zero-shot, avec des workflows agentiques où les traces d'outils accumulées poussent les fenêtres de contexte, le codage au niveau du dépôt où des arborescences entières de fichiers doivent être prises en compte, et les pipelines RAG qui atteignent le plafond de la mise à l'échelle fixe, Jet-Long offre une sortie pratique du compromis du facteur fixe. L'approche bifocale dynamique pourrait bien devenir le modèle par défaut pour l'extension de contexte de nouvelle génération dans les modèles open-weight. a-94x-kernel-speedup-and-a-12-hour-paper-replication-what-minimax-m3-reveals-about-chinas-frontier-ai-strategy