الذكاء الاصطناعي
مكتبة الميغاكيرنل الجديدة من ألفا ألفا تقلل زمن استدلال نموذج الخبراء المختلط بنسبة 200%
تقوم Alpha-MoE بدمج عدة عمليات في نواة واحدة مستمرة لتحقيق مكاسب في سرعة الاستدلال تصل إلى 200% مقارنة بالنوى القائمة على تريتون في vLLM وSGLang، مستهدفة نماذج MoE بدقة FP8.
عنق الزجاجة في الخبراء المختلط
أصبحت معماريات الخبراء المختلط (MoE) العمود الفقري لنشر نماذج اللغة الكبيرة، حيث تقدم مسارًا لسعة أعلى دون تكاليف حسابية متناسبة. لكن منطق التوجيه وأنماط الاتصال من الكل إلى الكل التي تجعل MoE فعالة تقدم أيضًا أعباء زمنية لا توجد في النماذج الكثيفة. في أطر الخدمة الإنتاجية مثل vLLM وSGLang، يمكن لهذه الأعباء أن تأكل المكاسب النظرية، خاصة على نطاق واسع.
أصدرت ألفا ألفا، مختبر الذكاء الاصطناعي في هايدلبرغ الذي يقف وراء سلسلة نماذج Luminous، مكتبة Alpha-MoE، وهي مكتبة نوى متخصصة مصممة لمعالجة هذه النقطة المؤلمة تحديدًا. تستهدف المكتبة مسار الاستدلال الكمي W8A8، أوزان 8 بت وتنشيطات 8 بت، باستخدام تنسيق البيانات FP8، وتدعي تسريعًا يصل إلى 200% مقارنة بنوى تريتون مفتوحة المصدر الحالية المستخدمة في vLLM وSGLang.
كيف يعمل الميغاكيرنل
الفكرة الأساسية وراء Alpha-MoE هي دمج النوى: بدلاً من إطلاق نوى GPU صغيرة متعددة لكل مرحلة من مراحل حساب MoE (التوجيه، البوابات، حساب الخبير، والجمع بين المخرجات)، تدمج المكتبة هذه الخطوات في نواة واحدة مستمرة. هذا يقلل من الحمل الزائد لإطلاق النوى، ويحسن موقعية الذاكرة، ويسمح لـ GPU بالاحتفاظ بالبيانات في السجلات بدلاً من نقلها عبر الذاكرة العالمية بين استدعاءات النوى المنفصلة.
تم بناء المكتبة مع التركيز على دقة FP8، وهو التنسيق الذي اكتسب زخمًا للاستدلال لأنه يقلل من متطلبات عرض النطاق الترددي للذاكرة إلى النصف مقارنة بـ FP16 مع الاحتفاظ بدقة مقبولة للعديد من المهام. من خلال الجمع بين تكميم FP8 ودمج النوى، تضاعف Alpha-MoE بشكل فعال الإنتاجية لكل GPU لاستدلال نموذج MoE، وفقًا لمعايير الشركة.
سياق المعايير
قدمت ألفا ألفا بيانات أداء تقارن Alpha-MoE بنوى تريتون الافتراضية المضمنة في vLLM وSGLang، أشهر إطارين مفتوحي المصدر لخدمة نماذج اللغة الكبيرة. على مجموعة من أحجام نماذج MoE وتكوينات الدفعات، قدم الميغاكيرنل المدمج باستمرار تسريعًا يتراوح بين 150% و200% في زمن توليد الرموز من البداية إلى النهاية.
لوحظت أكبر المكاسب في سيناريوهات الإنتاجية العالية بأحجام دفعات كبيرة، حيث يكون الحمل الزائد لإطلاق النوى ومنافسة عرض النطاق الترددي للذاكرة أكثر حدة. بالنسبة للاستدلال منخفض الزمن لطلب فردي، كانت التحسينات أكثر تواضعًا ولكنها لا تزال كبيرة، حيث تراوحت حول 80% إلى 100%.
التحقق المستقل من هذه الأرقام معلق، لكن الشركة أصدرت المكتبة بموجب ترخيص مفتوح على GitHub، مما يسمح للمجتمع البحثي بإعادة إنتاج المعايير.
الآثار الأوسع على النظام البيئي
يأتي الإصدار في وقت تنتشر فيه معمارية MoE إلى ما وراء المختبرات الكبيرة. نماذج مثل Mixtral 8x7B وQwen1.5-MoE وDeepSeek-MoE جعلت المعماريات القائمة على التوجيه متاحة للفرق الصغيرة والشركات الناشئة. ومع ذلك، يظل تقديم هذه النماذج بكفاءة على وحدات GPU للمستهلكين تحديًا، وهو التحدي الذي تعالجه Alpha-MoE مباشرة.
إذا صمدت المعايير، يمكن للمكتبة أن تخفض حاجز الأجهزة لتشغيل نماذج MoE مفتوحة المصدر تنافسية. كما ترفع المخاطر لأطر مثل vLLM وSGLang، التي ستحتاج إلى دمج تحسينات مماثلة أو المخاطرة بفقدان المستخدمين المهتمين بالأداء.
بالنسبة لألفا ألفا، التي وضعت نفسها بشكل أساسي كمزود سحابي سيادي للذكاء الاصطناعي في أوروبا، فإن إصدار المكتبة كمصدر مفتوح هو خطوة استراتيجية لبناء المصداقية في مجتمع المطورين وجذب المستخدمين إلى منصتها.
السؤال المفتوح: التبني
يعتمد نجاح المكتبة ليس فقط على أدائها الخام ولكن على قصة تكاملها. يجب أن تكون Alpha-MoE متوافقة مع تنسيقات النماذج المتطورة (Safetensors، GGUF، GPTQ) ومخططات التكميم المستخدمة من قبل النظام البيئي مفتوح المصدر. تقول الشركة إنها تدعم الأنماط الأكثر شيوعًا ونشرت أدلة تكامل لـ vLLM وSGLang.
سيتوقف التبني أيضًا على مدى جودة تعامل المكتبة مع الحالات الحدودية: أحجام الدفعات الصغيرة، النماذج الكبيرة جدًا ذات المئات من الخبراء، واستراتيجيات التوجيه غير القياسية. نهج النواة المستمرة في Alpha-MoE واعد، لكن حركة المرور الواقعية للخدمة فوضوية.
في الوقت الحالي، يمنح المشروع مهندسي الذكاء الاصطناعي سببًا ملموسًا لإعادة تقييم مكدس الاستدلال الخاص بهم. ما إذا كانت Alpha-MoE ستصبح مكونًا قياسيًا أو أداة متخصصة سيعتمد على قدرة المجتمع على اختبارها وتحسينها وكسرها.