نماذج لغات كبيرة ذات سياق طويل
الانتباه ثنائي البؤرة من Jet-Long يلغي المقايضة الثابتة لتوسيع نطاق السياق لنماذج اللغات الكبيرة
Jet-Long تكيف إعادة قياس RoPE ديناميكيًا لكل طول تسلسل، باستخدام نافذة محلية ونافذة بعيدة المدى مدمجة عبر الاستبعاد والتضمين. على نماذج Qwen3 حتى سياق 128 ألف رمز، تتفوق على خطوط الأساس الصفرية الحالية بأكثر من 2 نقطة مئوية على RULER وتحقق أقل درجة حيرة على PG-19، مع إضافة أقل من 4% عبء توليد.
كل نشر لنموذج لغوي كبير يتجاوز نافذة السياق التدريبي يواجه نفس المشكلة: اختر عامل إعادة قياس RoPE عدواني وتتدهور المدخلات القصيرة؛ اختر عاملًا محافظًا ويواجه النموذج صعوبات بعد حد معين يمكن التنبؤ به. معظم طرق توسيع السياق الصفري تعالج هذا كقرار معامل فائق ثابت، وهو حل وسط مدمج في الاستدلال قبل تشغيل رمز واحد. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use
Jet-Long تبني نافذتي RoPE متوازيتين بدلاً من ذلك. واحدة تلتزم بالترددات الأساسية، والأخرى تعيد القياس ديناميكيًا. يتم دمجهما من خلال دمج الانتباه بالاستبعاد والتضمين مقترنًا بدوران تصحيحي يحافظ على تماسك الفرع طويل المدى. النتيجة تستعيد سلوك النموذج الأساسي عند أطوال السياق القصيرة مع استقراء نظيف مع نمو التسلسلات. لا حاجة لتحديث التدرج. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach
كيف يتجنب الانتباه ثنائي البؤرة فخ القياس الثابت
الفكرة الأساسية بسيطة. الطرق الصفرية الحالية مثل YaRN، أو القياس المدرك لـ NTK، أو الاستيفاء الخطي تختار جدول إعادة قياس واحد وتطبقه بشكل موحد عبر جميع الرؤوس والطبقات. Jet-Long تقسم الانتباه إلى تيارين: نافذة محلية على ترددات RoPE الأصلية غير المعاد قياسها تحافظ على الإخلاص الموضعي القصير؛ نافذة بعيدة المدى تستخدم عامل إعادة قياس l(s) محسوبًا من طول التسلسل الحالي s. مع نمو المدخلات، ينزلق العامل من شبه التطابق إلى التمدد العدواني، لكن الترددات الأساسية تظل نشطة بشكل مشترك من خلال الدمج. the-subtle-trap-waiting-for-ai-agents-in-production
الدمج هو الحيلة الهندسية. يستخلص الفريق صيغة استبعاد وتضمين تجمع درجات الانتباه المحلية والبعيدة المدى دون عد مزدوج، ثم يطبق دوران تصحيح RoPE يعيد محاذاة الأطوار عبر الفرعين. هذا التصحيح الفوري، المنفذ كنواة CuTe مدمجة على وحدات معالجة رسوميات H100، يجعل البناء ثنائي البؤرة مجانيًا فعليًا: يصل ملء السياق الطويل إلى 1.39 ضعف إنتاجية FlashAttention-2 القياسي، مقتربًا من FA4 الخاص بـ Hopper. للتوليد بدفعة واحدة، يظل العبء أقل من 4% عند كل طول تم اختباره. nvidia-nemo-automodel-delivers-37x-faster-moe-fine-tuning-via-expert-parallelism-and-deepep
نتائج تجريبية تتحدى الوضع الراهن
قام الفريق بتقييم الطريقة على عائلة Qwen3 بمقاييس 1.7 مليار و4 مليار و8 مليار معلمة، مع سياقات ممتدة إلى 128 ألف رمز. على معيار RULER، اختبار استدعاء طويل المدى، تفوقت Jet-Long على أقوى خط أساس بنسبة +4.79 و+2.18 و+2.03 نقطة مئوية عند كل مقياس. على معيار HELMET-RAG، الذي وجد فريق HELMET أنه أفضل مؤشر فردي لأداء السياق الطويل في العالم الحقيقي، حصلت Jet-Long على أفضل دقة إجمالية. كانت درجة الحيرة على مجموعة بيانات نمذجة اللغة PG-19 هي الأدنى المسجلة لأي طريقة صفرية عند مقاييس مماثلة. the-quiet-finding-on-chain-of-thought-monitoring-that-should-worry-frontier-labs
تأتي هذه المكاسب دون حساسية تجاه المعاملات الفائقة. يذكر الفريق أن Jet-Long تبقى قوية عبر مجموعة واسعة من جداول إعادة القياس، وهي ميزة عملية للمهندسين الذين ينشرون نفس نقطة التفتيش عبر تكوينات سياق قصوى مختلفة دون إعادة ضبط طريقة التوسيع.
التعميم على بنى الانتباه الهجينة
Jet-Long ليست مقيدة ببنى المحولات الخالصة. تظهر الورقة أنها تعمم على بنى الانتباه الهجينة مثل Jet-Nemotron، حيث تتعايش طبقات النافذة المنزلقة والانتباه العالمي. هذا يفتح مسارًا لتحسين قدرة السياق الطويل في النماذج المبنية بالفعل بانتباه هجين، مرة أخرى دون إعادة تدريب، من خلال تبديل ترميز موضع RoPE في وقت الاستدلال.
لمشهد نشر يعتمد بشكل متزايد على التوسيع الصفري، مع سير عمل وكيل حيث تدفع آثار الأدوات المتراكمة نوافذ السياق، وبرمجة على مستوى المستودع حيث يجب الانتباه إلى أشجار الملفات بأكملها، وخطوط أنابيب RAG التي تصل إلى سقف القياس الثابت، تقدم Jet-Long مخرجًا عمليًا من مقايضة العامل الثابت. قد يصبح النهج الديناميكي ثنائي البؤرة النمط الافتراضي لتوسيع السياق من الجيل التالي في النماذج مفتوحة الأوزان. a-94x-kernel-speedup-and-a-12-hour-paper-replication-what-minimax-m3-reveals-about-chinas-frontier-ai-strategy