نموذج NeMo AutoModel من NVIDIA يُحقق تسريعًا بمعدل 3.7x لضبط النماذج الخبيرة عبر التوزيع المتوازي للخبراء و DeepEP

أطلقت NVIDIA مكتبة NeMo AutoModel مفتوحة المصدر ضمن إطار NeMo، والتي تُحقق مكاسب حادة في الأداء أثناء ضبط النماذج الخبيرة (MoE). المبنية مباشرة على إطار Hugging Face Transformers v5، تُقدم المكتبة إنتاجية تدريب أعلى بمعدل 3.4 إلى 3.7 مرة وتُقلص استهلاك ذاكرة GPU بنسبة تتراوح بين 29 و32 بالمائة مقارنة بأفضل تكوين متاح من Transformers v5، مع الحفاظ على واجهة برمجة التطبيقات from_pretrained() نفسها. يحتاج المستخدمون فقط إلى تغيير سطر استيراد واحد للاستفادة من هذه المزايا.

الخلفية: تحديات كفاءة النماذج الخبيرة

أدى ظهور النماذج الخبيرة (MoE) إلى ظهور عقبات جديدة أمام التدريب الفعال. يتطلب توجيه الرموز عبر مئات الخبراء، ودمج عمليات ضرب المصفوفات الخبيرة في نواة واحدة، وتقسيم الأوزان عبر وحدات معالجة الرسومات، وتداخل الاتصال مع الحساب، بنية تحتية لا توفرها المكتبات العامة عادةً بشكل جاهز.

أضاف الإصدار v5 من Transformers دعمًا من الدرجة الأولى للنماذج الخبيرة، بما في ذلك الواجهات الخلفية للخبراء، وتحميل الأوزان الديناميكي، وخطط التوازي للموترات للتنفيذ الموزع. لكن العناصر الرئيسية للأداء، مثل التداخل الفعال للاتصال، ظلت غير معالجة. يسد NeMo AutoModel هذه الفجوة.

كيف يعمل NeMo AutoModel

يشتق NeMo AutoModel من AutoModelForCausalLM ويضيف ثلاثة تحسينات رئيسية: التوزيع المتوازي للخبراء (EP)، و DeepEP المدمج للإرسال الكل إلى الكل، ونوى محرك المحولات (TransformerEngine). يعمل DeepEP على تداخل الاتصال مع حسابات الخبراء، وهي إمكانية يفتقر إليها Transformers v5. نظرًا لأن NeMo AutoModel يستفيد من آلية تحويل الأوزان القابلة للعكس في v5 لتحميل النماذج، فإنه يركز الجهد الهندسي على العمليات الأساسية القابلة لإعادة الاستخدام بدلاً من ربط خطوط أنابيب كل نموذج على حدة.

تظل المكتبة متوافقة تمامًا مع واجهة Hugging Face Transformers API. يتطلب تحميل النموذج فقط تغييرًا في عبارة الاستيراد، كما توضح أمثلة كود NVIDIA.

قياسات الأداء

عبر العقد المتعددة: Nemotron 3 Ultra 550B A55B

بالنسبة للضبط الكامل لنموذج Nemotron 3 Ultra A55B الذي يضم 550 مليار معلمة عبر 16 عقدة H100 (128 GPU)، حقق NeMo AutoModel مع ضبط التوزيع المتوازي للخبراء على 64 815 رمزًا في الثانية لكل GPU، و 293 تيرافلوبس في الثانية لكل GPU، وذاكرة قصوى تبلغ 58.2 جيبي بايت. والأهم من ذلك، أن Transformers v5 ينفد منه الذاكرة على هذا النطاق، مما يجعل المقارنة المباشرة مستحيلة بدون التوزيع المتوازي للخبراء.

عقدة واحدة: Qwen3-30B-A3B

على عقدة واحدة تحتوي على 8 وحدات GPU من نوع H80GB، سجل NeMo AutoModel (EP=8) 11,340 رمزًا في الثانية لكل GPU، بزيادة قدرها 3.69 مرة مقارنة بـ 3,075 رمزًا في الثانية لكل GPU في Transformers v5. انخفضت الذروة من 68.2 جيبي بايت إلى 48.1 جيبي بايت، بانخفاض قدره 29 بالمائة. ومن الجدير بالذكر أن Transformers v4 توقف تمامًا عن العمل على هذا النموذج بسبب التفاف FSDP غير المتوافق لوحدات الخبراء الفردية.

عقدة واحدة: Nemotron 3 Nano 30B A3B

بالنسبة لنموذج Nemotron Nano الذي يضم 30 مليار معلمة، وصل NeMo AutoModel إلى 15,421 رمزًا في الثانية لكل GPU، بتحسن قدره 3.36 مرة مقارنة بـ 4,583 رمزًا في الثانية لكل GPU في v5. انخفض استهلاك الذاكرة القصوى من 62.1 جيبي بايت إلى 42.5 جيبي بايت، بانخفاض قدره 32 بالمائة.

مصادر التسريع

تأتي مكاسب الأداء من ثلاثة تحسينات منسقة:

• التوزيع المتوازي للخبراء يوزع أوزان الخبراء عبر وحدات GPU. مع EP=8 على 8 وحدات GPU، تحتفظ كل GPU بثمن واحد فقط من معاملات الخبراء. بالنسبة لنموذج يحتوي على حوالي 55 جيبي بايت من أوزان الخبراء، يقلص EP مساحة كل GPU إلى حوالي 6.8 جيبي بايت، مما يتيح التدريب حيث تنفد الذاكرة من طرق FSDP فقط.
• DeepEP يدمج إرسال الرموز وتجميعها في نوى GPU محسنة، مما يداخل الاتصال مع حساب الخبراء بدلاً من استخدام عمليات الجمع الشامل AllGather و ReduceScatter المنفصلة.
• نوى محرك المحولات تعمل على تسريع العمليات الأساسية مثل الانتباه المدمج والطبقات الخطية و RMSNorm، مما يحقق تسريعًا ثابتًا عبر جميع أنواع الطبقات.

الاستفادة من ميزات Transformers v5

يبني NeMo AutoModel على العديد من الميزات الرئيسية في v5، بما في ذلك نظام الواجهات الخلفية للخبراء. قدم v5 المعامل experts_implementation مع ثلاثة خيارات: eager (تصحيح أخطاء الحلقة)، batched_mm (عملية GEMM المجمعة واحدة)، و grouped_mm (تنفيذ الرموز المرتبة). يوسع NeMo AutoModel ذلك باستخدام DeepEP المدمج للإرسال الكل إلى الكل مع نوى grouped GEMM والطبقات الخطية لمحرك المحولات.

يتيح تحميل الأوزان الديناميكية عبر WeightConverter و WeightRenaming من v5 تخزين نقاط تفتيش النماذج الخبيرة في موترات ثلاثية الأبعاد مدمجة. تستخدم أكثر من 20 نوعًا من النماذج هذه الآلية، بما في ذلك Mixtral و Qwen2 MoE و Qwen3 MoE و DeepSeek V2/V3 و OLMoE. التحويلات قابلة للعكس تمامًا: يُنتج save_pretrained() موترات آمنة (safetensors) بتنسيق Hugging Face القياسي يمكن لأدوات المصب مثل vLLM و SGLang تحميلها.

الاستنتاج والتوفر

يقدم NVIDIA NeMo AutoModel مسار ترقية خالٍ من الاحتكاك لمستخدمي Hugging Face الذين يوسعون نطاق تدريب النماذج. من خلال تغيير سطر استيراد واحد، يحصل المستخدمون على مثيل نموذج أسرع بأكثر من ثلاث مرات مع مساحة ذاكرة أصغر بكثير. الكود والإعدادات ونصوص قياس الأداء متاحة في مستودع NeMo AutoModel. يشمل المساهمون الأساسيون في العمل أديل آصف، وهيميل ديساي، وألكساندروس كومباروليس، وهويينغ لي.