نموذج Kog's Laneformer 2B يحقق 3000 رمز في الثانية بجعل زمن الاستجابة هو الهدف الأساسي

معظم أبحاث نماذج اللغة الكبيرة تركز أولاً على نتائج المعايير، معتبرة سرعة الاستدلال مشكلة خدمة لاحقة، يتم حلها لاحقًا بالتكميم والتقسيم والتجميع والتخزين المؤقت. شركة Kog، وهي شركة ناشئة في مجال البنية التحتية للذكاء الاصطناعي مقرها باريس، قلبت السيناريو تمامًا. كانت السرعة هي الهدف الأساسي للتصميم من اليوم الأول.

النتيجة هي نموذج Laneformer 2B، وهو محول يحتوي على 2.3 مليار معلمة مبني لفك تشفير طلب واحد بزمن استجابة منخفض. تم إطلاق النموذج وابتكاراته المعمارية بموجب ترخيص Apache 2.0 مفتوح المصدر، مما يوضح كيف يمكن لقيود الأجهزة إعادة تشكيل تصميم الشبكات العصبية، خاصة للشركات الناشئة ذات الموارد المحدودة. ai2-releases-olmoearth-v11-slashing-compute-costs-up-to-3x-for-satellite-imagery-ai

هندسة معمارية مصممة بالاشتراك مع المحرك

في أحجام الدفعات الصغيرة، النموذجية للوكلاء أو التطبيقات التفاعلية، لا تعتمد سرعة فك التشفير فقط على عمليات الفاصلة العائمة. جزء كبير من الوقت يذهب لنقل أوزان النموذج، ومزامنة النوى، وتدوير البيانات بين وحدات معالجة الرسوميات في كل طبقة. التوازي التقليدي للموترات يجبر الأجهزة على تبادل النتائج طبقة تلو الأخرى، مما يشكل عبئًا كبيرًا أثناء فك تشفير عينة واحدة.

للتغلب على ذلك، ابتكرت Kog تقنية التوازي المتأخر للموترات، وهي حيلة تؤخر المزامنة بين وحدات معالجة الرسوميات بخطوتين، مما يخفي بشكل فعال زمن استجابة الاتصال. تطلب ذلك بنية معمارية مخصصة ذات ثمانية مسارات، حيث يتعامل كل مسار مع شريحة من البعد المخفي ورؤوس الانتباه. تسمح بنية المسارات هذه للتوازي المتأخر للموترات بالعمل دون التأثير على جودة النموذج. هذا هو الانحراف الأكثر أهمية عن المحول القياسي الذي يعمل بفك التشفير فقط. microsoft-researchs-mimalloc-memory-allocator-proves-fast-for-large-scale-ai-and-cloud-services

يستخدم النموذج الانتباه الجماعي ذو الاستعلامات المقيدة مع 32 رأس استعلام و16 رأس مفتاح/قيمة، موزعة بالتساوي عبر المسارات الثمانية. لتقليل تأخير تدفق ذاكرة التخزين المؤقت للمفاتيح والقيم، تعتمد 10 من أصل 15 طبقة على الانتباه ذو النافذة المنزلقة. طول السياق محدود بـ 4096 رمزًا، وهو خيار متعمد يوازن بين السرعة والفائدة في توليد الكود.

التدريب على 6 تريليون رمز باستخدام مجموعات بيانات مفتوحة

تم تدريب نموذج Laneformer 2B من الصفر على مرحلتين على مجموعة من 192 وحدة معالجة رسوميات NVIDIA H100 عبر 24 عقدة، بفضل Scaleway وADASTRA. استخدمت حزمة التدريب TorchTitan للتوزيع FSDP، محققة حوالي 17000 رمز في الثانية لكل وحدة معالجة رسوميات على مدى 21 يومًا تقريبًا.

اعتمدت وصفة البيانات بشكل كبير على مجموعات بيانات ما قبل التدريب من NVIDIA Nemotron، ولكن مع اختلاف: على عكس التدريب النموذجي متعدد المراحل، قامت Kog عن قصد بتغيير مزيج البيانات بشكل حاد بين المراحل. استهلكت المرحلة الأولى حوالي 4 تريليونات رمز من البيانات العامة الواسعة. أضافت المرحلة الثانية حوالي 2 تريليون رمز مرجحة بشكل كبير نحو الكود والاستدلال. استخدم ما بعد التدريب حوالي 210 ملايين رمز للتعليمات والضبط الدقيق للهوية.

"كان هذا مقايضة صريحة،" كتب فريق Kog في منشور المدونة. "التحول الحاد في مزيج البيانات بين المراحل ليس ممارسة قياسية، وتوقعنا أن يضر ببعض القدرات العامة." أكد تتبع دقة التركيز من DataComp-LM Core حدوث تأثير ملحوظ على المهارات العامة، لكن الفريق قرر أنه ثمن عادل لنموذج قوي يركز على البرمجة. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

نتائج المعايير مقابل نماذج ذات حجم مماثل

باستخدام مشغل evalplus الرسمي مع فك التشفير الجشع (درجة حرارة 0، do_sample=False)، سجل نموذج Laneformer 2B 45.1% على HumanEval+ و51.6% على MBPP+. تضعه هذه الأرقام على حافة التنافسية في فئة 2 مليار معلمة. أدى تحول البيانات في المرحلة الثانية وحده إلى تعزيز أداء البرمجة بأكثر من 10 نقاط على HumanEval+.

كما لاحظ الفريق أن نتائج pass@N ترتفع باستمرار لـ N = 2, 4, 8, و16، مما يجعل فك التشفير العشوائي طريقة عملية للمقايضة بين القليل من زمن الاستجابة مقابل دقة أعلى.

ادعاءات سرعة الاستدلال

في المعاينة العامة لمحرك Kog للاستدلال، يحقق نموذج Laneformer 2B 3000 رمز مخرج في الثانية لكل طلب على 8x AMD MI300X و2100 رمز/ثانية على 8x NVIDIA H200، باستخدام FP16، حجم دفعة 1، وبدون فك تشفير تخميني. يدعي الفريق أن هذه هي أسرع نتيجة لفك تشفير طلب واحد تم عرضها علنًا لنموذج من فئة 2 مليار على وحدات معالجة رسوميات قياسية لمراكز البيانات.

ومع ذلك، يقر الفريق بأن نقطة التحكم المنشورة على Hugging Face، على الرغم من أنها قابلة للاستخدام كنموذج قياسي، لن تصل إلى تلك السرعات بدون مسار التنفيذ الواعي بالتوازي المتأخر للموترات في محرك Kog للاستدلال. لن تستفيد تطبيقات المحولات القياسية من تحسينات زمن الاستجابة. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

القيود والعمل المستقبلي

نموذج Laneformer 2B ليس نموذجًا متطورًا للأغراض العامة. نافذة السياق البالغة 4096 رمزًا وخيارات الانتباه ذو النافذة المنزلقة تعكس هدف زمن الاستجابة. تمديد السياق الطويل قيد التطوير بالفعل. التخصص في المرحلة الثانية يعني أيضًا أن القدرات العامة، في مهام مثل الاستدعاء الواقعي أو الأسئلة والأجوبة الواسعة، متأخرة. يخطط الفريق لخط أنابيب أقوى لما بعد التدريب للإصدارات المستقبلية.

لماذا المصدر المفتوح؟

أصدرت Kog الأوزان، وتنفيذ Hugging Face المخصص، والتكوين، ونتائج التقييم، والوثائق بموجب ترخيص Apache 2.0. أداة الترميز، المعتمدة على Llama 2، موزعة بموجب ترخيص Llama 2 Community. يضع هذا الإجراء نموذج Laneformer 2B كنقطة تحقق قابلة للاستخدام وتحفة بحثية لمجتمع المصادر المفتوحة. open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

الآثار على الصناعة

يظهر نموذج Laneformer 2B أنه بالنسبة للشركات الناشئة التي لا تملك الموارد لتدريب نماذج متطورة كبيرة، فإن الاستراتيجية المركزة، التي تعمل على تحسين مقياس واحد (زمن الاستجابة) ومجال محدد (توليد الكود)، يمكن أن تحقق نتائج تنافسية. من خلال فتح المصدر لكل من النموذج والوصفة المعمارية، تدعو Kog المجتمع للبناء على أفكارها واستكشاف المزيد من التصميم الذي يركز على زمن الاستجابة.

يشير الأداء القوي للنموذج بالنسبة لحجمه وميزانية التدريب إلى أن التصميم المشترك للهندسة المعمارية مع قيود الأجهزة يمكن أن يصبح منهجية أكثر شيوعًا، خاصة مع أصبحت تكاليف الاستدلال ومتطلبات زمن الاستجابة حاسمة للتطبيقات في الوقت الفعلي مثل وكلاء الذكاء الاصطناعي. gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key