LLMs de contexto largo
La atención bifocal de Jet-Long acaba con el compromiso de escalado fijo para LLMs de contexto largo
Jet-Long adapta el reescalado de RoPE dinámicamente por longitud de secuencia, utilizando una ventana local y una ventana de largo alcance fusionadas mediante inclusión-exclusión. En modelos Qwen3 de hasta 128K de contexto, supera las líneas base zero-shot existentes en más de 2 puntos porcentuales en RULER y logra la menor perplejidad en PG-19, todo ello añadiendo menos de un 4% de sobrecarga en generación.
Cada despliegue de LLM que supera la ventana de contexto de entrenamiento se enfrenta al mismo problema: elegir un factor de reescalado de RoPE agresivo degrada las entradas cortas; elegir uno conservador y el modelo lucha más allá de algún límite predecible. La mayoría de los métodos de extensión de contexto zero-shot tratan esto como una decisión de hiperparámetro fija, un compromiso integrado en la inferencia antes de que se ejecute un solo token. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use
Jet-Long construye dos ventanas RoPE paralelas en su lugar. Una se mantiene en las frecuencias base, la otra se reescala dinámicamente. Se fusionan mediante una fusión de atención por inclusión-exclusión emparejada con una rotación de corrección que mantiene coherente la rama de largo alcance. El resultado recupera el comportamiento del modelo base en longitudes de contexto cortas mientras extrapola limpiamente a medida que las secuencias crecen. No se necesita actualización de gradiente. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach
Cómo la atención bifocal evita la trampa del escalado fijo
La idea central es simple. Los métodos zero-shot existentes como YaRN, escalado NTK-aware o interpolación lineal eligen un programa de reescalado y lo aplican uniformemente en todas las cabezas y capas. Jet-Long divide la atención en dos flujos: una ventana local en las frecuencias RoPE originales sin escalar preserva la fidelidad posicional de corto alcance; una ventana de largo alcance utiliza un factor de reescalado l(s) calculado a partir de la longitud de secuencia actual s. A medida que la entrada crece, el factor se desliza desde casi identidad hasta estiramiento agresivo, pero las frecuencias base permanecen coactivas a través de la fusión. the-subtle-trap-waiting-for-ai-agents-in-production
La fusión es el truco de ingeniería. El equipo deriva una fórmula de inclusión-exclusión que combina las puntuaciones de atención local y de largo alcance sin doble conteo, luego aplica una rotación de corrección RoPE que realinea las fases entre las dos ramas. Esta corrección sobre la marcha, implementada como un kernel CuTe fusionado en GPU H100, hace que la construcción bifocal sea efectivamente gratuita: el prellenado de contexto largo alcanza hasta 1.39 veces el rendimiento de FlashAttention-2 estándar, acercándose a FA4 solo para Hopper. Para generación por lotes único, la sobrecarga se mantiene por debajo del 4% en cada longitud probada. nvidia-nemo-automodel-delivers-37x-faster-moe-fine-tuning-via-expert-parallelism-and-deepep
Resultados empíricos que desafían el statu quo
El equipo evaluó el método en la familia Qwen3 a escalas de 1.7B, 4B y 8B parámetros, con contextos que se extienden hasta 128K tokens. En el benchmark RULER, una prueba de recuperación de largo alcance, Jet-Long superó a la línea base más fuerte en +4.79, +2.18 y +2.03 puntos porcentuales en cada escala. En el benchmark HELMET-RAG, que el equipo de HELMET encontró como el mejor predictor individual del rendimiento de contexto largo en el mundo real, Jet-Long obtuvo la mejor precisión general. La perplejidad en el conjunto de datos de modelado de lenguaje PG-19 fue la más baja reportada para cualquier método zero-shot a escalas comparables. the-quiet-finding-on-chain-of-thought-monitoring-that-should-worry-frontier-labs
Estas ganancias se producen sin sensibilidad a los hiperparámetros. El equipo informa que Jet-Long se mantiene robusto en un amplio rango de programas de reescalado, una ventaja práctica para los ingenieros que despliegan el mismo checkpoint en diferentes configuraciones de contexto máximo sin reajustar el método de extensión.
Generalización a arquitecturas de atención híbrida
Jet-Long no está limitado a arquitecturas transformer puras. El artículo muestra que se generaliza a diseños de atención híbrida como Jet-Nemotron, donde coexisten capas de ventana deslizante y atención global. Esto abre un camino para mejorar la capacidad de contexto largo en modelos ya construidos con atención híbrida, nuevamente sin reentrenamiento, intercambiando la codificación posicional RoPE en el momento de la inferencia.
Para un panorama de despliegue que depende cada vez más de la extensión zero-shot, con flujos de trabajo agénticos donde las trazas de herramientas acumuladas empujan las ventanas de contexto, codificación a nivel de repositorio donde se debe atender a árboles de archivos completos, y pipelines RAG que chocan con el techo del escalado fijo, Jet-Long ofrece una salida práctica del compromiso del factor fijo. El enfoque bifocal dinámico bien podría convertirse en el patrón predeterminado para la extensión de contexto de próxima generación en modelos de pesos abiertos. a-94x-kernel-speedup-and-a-12-hour-paper-replication-what-minimax-m3-reveals-about-chinas-frontier-ai-strategy