JetSpec يكسر سقف التوسع في فك الترميز التخميني من خلال الصياغة المتوازية السببية

أصبح فك الترميز التخميني (SD) تقنية شائعة لتسريع نماذج اللغة الكبيرة ذاتية الانحدار (LLMs). الفكرة بسيطة: صياغة عدة رموز بالتوازي، ثم التحقق منها جميعًا مرة واحدة، بدلاً من توليد رمز واحد في كل مرة. لكن هناك مشكلة. توسيع نطاق ميزانية الصياغة، أي عدد الرموز المنتجة في كل خطوة صياغة، قد واجه تاريخيًا جدارًا. تتحقق مكاسب السرعة فقط عندما تظل معدلات القبول مرتفعة وتظل التكاليف الإضافية للصياغة منخفضة. لكل من النهجين السائدين في الصياغة القائمة على الرأس عيوبه الخاصة، مما يخلق ما يسميه الباحثون وراء JetSpec معضلة السببية والكفاءة.

تنتج أدوات الصياغة ذاتية الانحدار مرشحين مشروطين بالمسار يعملون بشكل جيد في فك الترميز التخميني الشجري، محققين أطوال قبول أعلى. الجانب السلبي؟ تنمو تكلفة الصياغة خطيًا مع عمق الشجرة، مما يحد من الكفاءة. من ناحية أخرى، تولد أدوات الصياغة ثنائية الاتجاه المنتشرة جميع المواضع في تمرير أمامي واحد. لكن هوامشها غير المرتبطة بالفرع يمكن أن تشكل أشجارًا معقولة بشكل فردي ولكنها غير متسقة فيما بينها. هذا يهدر الميزانية ويخفض معدلات القبول.

يقترح JetSpec، المفصل في ورقة بحثية مقدمة إلى arXiv في 16 يونيو 2026، إطار عمل SD قائم على الرأس يتجنب هذه المقايضة. الابتكار الأساسي هو رأس صياغة سببية متوازية يتم تدريبه على الحالات المخفية المدمجة من النموذج المستهدف المجمد. على عكس الطرق السابقة، ينتج JetSpec أشجارًا مرشحة تتوافق درجاتها مع التحليل الذاتي الانحداري للنموذج المستهدف. يسمح هذا التوافق للإطار بتحويل ميزانيات الصياغة الأكبر إلى بادئات مقبولة أطول وتسريعات أعلى من النهاية إلى النهاية.

الهندسة التقنية

يعمل JetSpec عن طريق إرفاق رأس صياغة خفيف الوزن بنموذج LLM مدرب مسبقًا ومجمد. يأخذ رأس الصياغة الحالات المخفية المدمجة من طبقات متعددة من النموذج المستهدف كمدخل ويخرج شجرة من الرموز المرشحة. الاختيار الحاسم في التصميم هو فرض الشرطية السببية عبر الفروع: كل رمز في شجرة الصياغة مشروط بالمسار الذي يؤدي إليه، مما يعكس الطبيعة ذاتية الانحدار لاستدلال النموذج المستهدف. يضمن ذلك أن تحافظ الشجرة على الاتساق الداخلي، على عكس المخرجات غير المرتبطة بالفروع لطرق الانتشار الكتلي.

يتم تدريب رأس الصياغة بشكل مشترك مع آلية تحقق ترفض الفروع غير المتسقة. يتضمن التدريب تقليل دالة خسارة توازن بين طول قبول الصياغة والتكلفة الحسابية. بمجرد التدريب، يمكن استخدام الرأس للاستدلال دون أي عبء إضافي يتجاوز التمرير الأمامي الفردي المطلوب لدمج الحالة المخفية.

نتائج القياس

قام فريق البحث بتقييم JetSpec على المتغيرات الكثيفة وخبراء المزيج (MoE) لنماذج Qwen3 عبر ثلاثة معايير: الرياضيات (MATH-500)، والبرمجة (HumanEval)، والمحادثة مفتوحة النهاية (MT-Bench). على وحدات معالجة الرسوميات NVIDIA H100، حقق JetSpec تسريعًا يصل إلى 9.64x على MATH-500 مقارنة بفك الترميز الذاتي الانحداري القياسي. في أعباء العمل التحادثية مفتوحة النهاية، وصل التسريع إلى 4.58x. استمرت هذه المكاسب عبر كل من البنى الكثيفة وMoE، مع تفوق JetSpec على خطوط الأساس SD ذات الرأس ثنائي الاتجاه والقائمة على الشجرة في كل تكوين.

تم إثبات مكاسب إضافية في زمن الوصول من خلال التكامل مع vLLM، وهي مكتبة خدمة استدلال مفتوحة المصدر شائعة. تحت أحمال الخدمة الواقعية، قلل JetSpec من زمن الوصول الخلفي بنسبة تصل إلى 60% مقارنة بطرق فك الترميز التخميني الأساسية، وهو مؤشر واضح على جدواه العملية لنشر الإنتاج.

الآثار المترتبة على نشر نماذج LLM

القدرة على تسريع الاستدلال دون التضحية بالجودة أمر بالغ الأهمية مع توجه نماذج LLM نحو التطبيقات في الوقت الفعلي مثل برامج الدردشة ومساعدي الأكواد وأنظمة التدريس التفاعلية. يعالج JetSpec عنق زجاجة أساسي: المفاضلة بين جودة الصياغة والكفاءة الحسابية. من خلال جعل عملية الصياغة سريعة ومتسقة سببيًا، فإنه يطلق العنان لإمكانية ميزانيات صياغة أكبر، والتي تترجم مباشرة إلى توليد أسرع.

اعتماد الإطار على الطرق القائمة على الرأس يعني أيضًا أنه يمكن تطبيقه على نماذج LLM الحالية دون تعديل بنية النموذج الأساسي. هذه ميزة عملية: يمكن للمؤسسات ترقية سرعة الاستدلال دون إعادة تدريب أو استبدال نماذجها المنشورة.

الكود والتوفر

كود ونماذج JetSpec متاحة كمصدر مفتوح بموجب ترخيص متساهل على https://github.com/hao-ai-lab/JetSpec. صفحة المشروع مع تصورات إضافية ووثائق حية على https://jetspec-project.github.io/jetspec-web/. حصل المشروع على 27 صوتًا مؤيدًا على Hugging Face حتى تاريخ تقديم الورقة.

"كودنا ونماذجنا متاحة على رابط https هذا،" يلاحظ المؤلفون في الورقة، مؤكدين التزامهم بإمكانية إعادة الإنتاج وتبني المجتمع.

الخلاصة

يمثل JetSpec خطوة هامة إلى الأمام في فك الترميز التخميني، حيث يكسر سقف التوسع الذي قيد الطرق السابقة. من خلال حل معضلة السببية والكفاءة من خلال رأس صياغة سببية متوازية، فإنه يحقق تسريعات كبيرة عبر معايير متنوعة وهياكل نماذج مختلفة. مع استمرار نمو الطلب على استدلال LLM الأسرع، ستكون أطر العمل مثل JetSpec ضرورية لجعل أنظمة الذكاء الاصطناعي المتقدمة عملية على نطاق واسع.