ماجياكي علم مهندسي مينيماكس درسًا قاسيًا حول الرموز المنسية

في الأسابيع الأخيرة، صادف المطورون الذين يستخدمون سلسلة M2 من نماذج اللغات الكبيرة من MiniMax خطأً غريبًا وقابلاً للتكرار. يمكن للنموذج الإجابة على أسئلة واقعية حول المغني الصيني Ma Jiaqi، وتسمية فرقته أو عام ظهوره، لكنه لم يتمكن من إنتاج تسلسل الرمز "嘉祺" (Jiaqi) نفسه. أثار الشذوذ مناقشات على المنصات الصينية مثل Xiaohongshu و Zhihu، حيث أجرى مطورو المجتمع تحليلاتهم الصارمة الخاصة، بما في ذلك مقارنات المحلل اللغوي واختبارات معاملات أخذ العينات. when-your-ai-knows-you-better-than-you-know-yourself-the-hidden-cost-of-context-in-17-slide-recaps

الفرضية الأولية: تم استبعاد عدم تطابق المحلل اللغوي

كان المشتبه به الأول هو عدم محاذاة المحلل اللغوي بين ما قبل التدريب وما بعد التدريب. باستخدام المحلل اللغوي بعد التدريب، يقوم "马嘉祺" بترميز كمعرفات رمزية [4143, 190467]، حيث أصبح "嘉祺" رمزًا واحدًا (المعرف 190467). السؤال الواضح: هل تم تدريب هذا الرمز بشكل صحيح أثناء ما قبل التدريب، أم كان رمزًا جديدًا تمت إضافته لاحقًا فقط؟ minimax-launches-m25-a-coding-and-agentic-ai-model-with-state-of-the-art-performance

فحص مهندسو MiniMAX طبقة تضمين المفردات لنموذج ما قبل التدريب. ووجدوا أن أقرب جيران الرمز 190467 في مساحة التضمين، بما في ذلك "亚轩" و "千玺" و "祺" و "耀文" و "王一博"، كانت جميعها رموز أسماء أشخاص معقولة. أكد التحليل الإحصائي أن الرمز كان مدربًا جيدًا ومتماسكًا دلاليًا في النموذج الأساسي، مما استبعد فرضية عدم تطابق المحلل اللغوي. aleph-alpha-unveils-t-free-a-tokenizer-free-architecture-for-sovereign-ai-1

تحديد السبب الحقيقي: توزيع بيانات ما بعد التدريب

أدى البحث في مجموعة بيانات ما بعد التدريب عن تكرارات الرمز 190467 إلى ظهور أقل من خمس عينات تحتوي على "嘉祺". كانت تلك الندرة هي الدليل القاطع: تم إلغاء تعلم الرمز بشكل فعال أثناء الضبط الدقيق الخاضع للإشراف (SFT) بسبب التمثيل غير الكافي.

ولكن لماذا احتفظ النموذج بالفهم بينما فقد القدرة على التوليد؟ تكمن الإجابة في السلوك غير المتماثل للطبقتين اللتين تتفاعلان بشكل مباشر مع تعيين مستوى الرمز: طبقة التضمين المدخلة (تضمين المفردات) وطبقة الإسقاط الناتجة (lm_head).

تضمين المفردات: لم يتغير تقريبًا

أظهرت مقارنة تضمينات المفردات قبل التدريب وبعد SFT اختلافًا شبه معدوم. تتحلل معايير التدرج عبر طبقات المحول، وبالنسبة للرموز النادرة للغاية، تتلقى طبقة التضمين تحديثات تدرج لا تذكر من دالة الخسارة. فقط انحلال الوزن يمارس تأثيرًا تنظيميًا خفيفًا، مما يترك تضمين الإدخال مجمدًا بشكل أساسي.

lm_head: انحراف كبير

في المقابل، أظهر lm_head، الطبقة الخطية التي تسقط الحالات المخفية على احتمالات الرمز في كل خطوة توليد، تغييرات دراماتيكية. تحول متجه الوزن لـ "嘉祺" بشكل كبير أثناء SFT، كما تم قياسه بمسافة L2 بين متجهات ما قبل التدريب وما بعد التدريب. تسبب هذا الانحراف في انخفاض احتمالية توليد الرمز إلى ما دون عتبة أخذ العينات العلوية p=0.95 المستخدمة بشكل شائع أثناء الاستدلال، مما أدى إلى إسكاته بشكل فعال. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

التحليل المنهجي: أي الرموز تنحرف أكثر؟

لفهم ما إذا كانت هذه حالة معزولة، قامت MiniMAX بحساب فروق L2 لكل رمز في المفردات عبر عملية SFT بأكملها، وفرزها حسب حجم التغيير. الفئات الأكثر تأثرًا:

1. الرموز الخاصة (متوقعة)
2. العامية اليابانية والقوالب على الويب (~40% من الرموز الأكثر انحرافًا)
3. رموز LaTeX وبيانات الويب الوصفية
4. نصوص تحسين محركات البحث الصينية والبريد العشوائي

كانت هيمنة الرموز اليابانية غير متوقعة ولكنها أوضحت على الفور خطأً طويل الأمد في نموذج M2.5: خلط لغوي عرضي في سياقات المحادثة اليابانية، مخرجات تتحول فجأة إلى الروسية أو الكورية في منتصف الجملة. تم تصنيف هذا على أنه مشكلة "خلط لغة صغيرة" منفصلة دون سبب جذري معروف.

وحد التحليل كلتا المشكلتين تحت إطار واحد: تسبب التغطية غير الكافية للرموز اليابانية في بيانات ما بعد التدريب في انحراف متجهات lm_head الخاصة بها واختلاطها بتمثيلات الرموز للغات الأخرى في مساحة المتجه. كما تم دفع الرموز الصينية منخفضة التردد مثل "嘉祺" التي كانت متجاورة مكانيًا مع الرموز اليابانية المنحرفة خارج المنطقة عالية الاحتمال، وهي آلية نسيان الرموز المتناثرة. ifbench-the-new-benchmark-testing-ai-instruction-following

تجربة الإصلاح: تغطية المفردات الكاملة

صممت MiniMAX تدخلاً أدنى: بيانات تكرار اصطناعية تغطي كل رمز في المفردات، ملحقة كجزء صغير من مجموعة بيانات SFT القياسية. كانت المهمة الاصطناعية بسيطة، حيث ظهر كل رمز مرة واحدة كهدف لـ "انسخ هذا النص"، مما يضمن أن كل رمز تلقى تحديثًا متدرجًا واحدًا على الأقل كهدف توليد أثناء التدريب. minimax-m3-a-new-chinese-foundation-model-with-frontier-coding-agentic-capabilities-and-native-multimodality

النتائج

التحقق الكمي: حافظت مجموعة التجربة على تشابه جيب التمام lm_head مع قاعدة ما قبل التدريب عند متوسط 0.9992، مع حد أدنى 0.9711 وصفر رموز أقل من 0.95. كان متوسط cos_sim لخط الأساس 0.9837، مع 9,805 رموز (4.9%) أقل من 0.95 و4,234 (2.1%) أقل من 0.90. تضررت الرموز اليابانية بشدة: متوسط cos_sim 0.9502، مع 29.7% أقل من 0.95. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

الآثار الأوسع

عدم التطابق الهيكلي بين مفردات ما قبل التدريب وتوزيع بيانات ما بعد التدريب ليس فريدًا في MiniMAX. مع نمو النماذج، يتم تدريب المحللين اللغويين على مجموعات ضخمة ومتنوعة تتضمن حتمًا رموزًا نادرة أو خاصة بلغة معينة. على النقيض من ذلك، يتم تنظيم مجموعات بيانات ما بعد التدريب لاتباع التعليمات والسلامة، ويقل توزيعها بشكل طبيعي من عينات الرموز منخفضة التردد.

تجادل MiniMAX بأنه يجب قياس جودة بيانات ما بعد التدريب على طول بعدين: التنوع الدلالي (تغطية المهام والمجالات) وتغطية مستوى الرمز (ضمان ظهور كل رمز كهدف توليد مرة واحدة على الأقل). قد تؤدي إضافة تغطية الرمز كمقياس مراقبة روتيني إلى منع حدوث مشكلات مماثلة في الإنتاج. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

مع إصدار نماذج أخرى مثل Opus 4.7 التي تعلن أيضًا عن تغييرات في المحلل اللغوي، من الواضح أن الصناعة تدرك أن تصميم المحلل اللغوي ومحاذاة بيانات ما بعد التدريب لا تزال مجالات ذات إمكانات تحسين كبيرة.

الاستنتاج

ظاهرة نسيان الرموز المتناثرة لها آلية واضحة: أثناء SFT، تنحرف متجهات lm_head للرموز منخفضة التردد دون أن يتم تصحيحها بواسطة تحديثات التدرج، مما يقلل من احتمالية توليدها إلى ما دون الحدود القابلة للاستخدام. تظل تضمينات الإدخال مستقرة، مما يحافظ على الفهم. استراتيجية تغطية المفردات الكاملة البسيطة، إضافة بيانات تكرار اصطناعية، ترسيخ بشكل فعال جميع تمثيلات الرموز، مما يحل كل من حالة Ma Jiaqi وخطأ خلط اللغات اليابانية.