نماذج اللغات الكبيرة3 min read
نماذج لغات كبيرة ذات سياق طويل
الانتباه ثنائي البؤرة من Jet-Long يلغي المقايضة الثابتة لتوسيع نطاق السياق لنماذج اللغات الكبيرة
Jet-Long تكيف إعادة قياس RoPE ديناميكيًا لكل طول تسلسل، باستخدام نافذة محلية ونافذة بعيدة المدى مدمجة عبر الاستبعاد والتضمين. على نماذج Qwen3 حتى سياق 128 ألف رمز، تتفوق على خطوط الأساس الصفرية الحالية بأكثر من 2 نقطة مئوية على RULER وتحقق أقل درجة حيرة على PG-19، مع إضافة أقل من 4% عبء توليد.
2026-07-12