استدلال فعال

نماذج لغات كبيرة ذات سياق طويل

الانتباه ثنائي البؤرة من Jet-Long يلغي المقايضة الثابتة لتوسيع نطاق السياق لنماذج اللغات الكبيرة

Jet-Long تكيف إعادة قياس RoPE ديناميكيًا لكل طول تسلسل، باستخدام نافذة محلية ونافذة بعيدة المدى مدمجة عبر الاستبعاد والتضمين. على نماذج Qwen3 حتى سياق 128 ألف رمز، تتفوق على خطوط الأساس الصفرية الحالية بأكثر من 2 نقطة مئوية على RULER وتحقق أقل درجة حيرة على PG-19، مع إضافة أقل من 4% عبء توليد.

2026-07-12