كيف يحول إطار MaxProof المُدققات التوليدية إلى محرك ثوري للإثباتات

اربط نموذج M3 بإطار MaxProof، وستحصل على نتائج تتجاوز خط الميدالية الذهبية البشرية في مجموعتي مسابقات الأولمبياد الدولي للرياضيات (IMO 2025) والأولمبياد الأمريكي للرياضيات (USAMO 2026). هذه النتيجة، التي فُصلت لأول مرة في إصدار M3، تمثل قفزة حقيقية في الاستدلال الرياضي الآلي. المسار التقني وراء هذا الاختراق يعتمد على أربع ركائز: تعزيز قدرة النموذج الأساسي، ومحاذاة المُدققات، وبناء قدرة التحسين، وإطار توسيع نطاق وقت الاختبار MaxProof.

من نموذج Gemini Deep Thinking الذي بلغ مستوى الميدالية الذهبية في IMO 2025، إلى DeepSeek-Math-V2 كأول نموذج مفتوح المصدر بقدرة الميدالية الذهبية، إلى أعمال مثل SU-01 و NVIDIA Nemotron Cascade2 التي تبني قدرات متخصصة في المسابقات على نماذج أصغر، و GPT 5.5 الذي يحل مشكلات مفتوحة أربكت علماء الرياضيات لفترة طويلة، فإن المجال يندفع نحو مناطق رياضية أكثر صعوبة. خلال التكرار من M2 إلى M3، نسج الباحثون قدرات أقوى للإثبات والتحسين الذاتي في النموذج النهائي متعدد الأغراض.

تحسين قدرة النموذج الأساسي

يتبع النهج مسارين متوازيين. الأول هو تحسين قدرة النموذج الأساسي: ترقية ثلاثة نماذج خبراء في وقت واحد لتوليد الإثباتات، والحكم على الأخطاء، وإصلاح الإثباتات. الثاني هو توسيع نطاق وقت الاختبار: إطار MaxProof، وهو نوع من البحث التطوري، يسمح لنموذج المجموعة النهائي M3 بالمرور عبر جولات متعددة من حل المشكلات الذاتي التكراري.

على جانب النموذج الأساسي، تنتج ثلاث مراحل من التحسين ثلاثة نماذج خبراء. يستخدم Proof RL تدريبًا بعديًا بتعلم التعزيز مع نظام مكافأة للمشكلات الرياضية لتسجيل الإثباتات المرشحة وإجراء تعلم التعزيز طويل الأمد، مما ينتج خبير إثباتات (Proof Expert). بعد ذلك، تستفيد محاذاة المُدققات (Verifier Alignment) من تحليل التحقق الذهبي المتراكم خلال Proof RL لصياغة محاذاة المُدقق كمهمة بحث عن الأخطاء، ومحاذاة قدرات النموذج في تحديد الأخطاء وتمييزها من خلال تعلم التعزيز لإنتاج خبير مُدقق (Verifier Expert). أخيرًا، يعيد تحسين التصحيح (Refinement Augmentation) استخدام أزواج (إثبات معيب، تحليل تحقق) التي تحدث طبيعيًا من Proof RL لضبط خبير الإثباتات بدقة عبر أخذ العينات بالرفض، لتعليم النموذج إصلاح الإثباتات الموجودة بناءً على تشخيصات الأخطاء. ينتج عن ذلك خبير إصلاح (Fixed Expert). جميعها تغذي تدريب المجموعة النهائي M3.

Proof RL: مدقق توليدي في الممارسة

يهدف Proof RL إلى صقل قدرة النموذج على توليد الإثباتات الرياضية مباشرة من خلال تدريب تعلم التعزيز طويل الأمد. التغيير الكبير عن RLVR التقليدي هو أن المكافأة تأتي بشكل أساسي من مدقق توليدي. هذا يقدم تحديًا مباشرًا: يجب على عملية التدريب التعامل بشكل منهجي مع إشارات المكافأة غير الموثوقة، والضوضاء، والإيجابيات الكاذبة، واختراق المكافأة.

على عكس نهج DeepSeek-Math-V2 القائم على التحقق الذاتي والتحقق الفوقي، افتقرت نماذج سلسلة M إلى قدرة تحقق تاريخية كافية لإنتاج إشارات مكافأة موثوقة ذاتيًا. لذا ركز الفريق على تحسين قدرة الإثبات واستخدم نموذجًا خارجيًا متقدمًا كمدقق توليدي. فلسفة تصميم المُدقق تتمحور حول إسقاط الإشارات المزعجة وغير المتجانسة في فضاء فرعي يمكن التحكم فيه وموثوق.

يعمل المُدقق عبر ثلاث طبقات. أولاً، تصفية القيم الشاذة: إخراجات النماذج التي تتطابق مع أنماط فشل معروفة أو انتهاكات واضحة يتم إلغاؤها مباشرة. ثانيًا، توحيد الحل: يتم تعيين الإثباتات متعددة المصادر والأنماط إلى منطقة ثقة موحدة للمُدقق لتقليل تحيز التقييم. ثالثًا، التجميع المتشائم: بالنسبة للنتائج من عدة مدققين، يتم أخذ الحد الأدنى، مما يضمن المتانة ضد الضوضاء.

اتخذ الفريق موقفًا متحفظًا: عند استخدام مدقق توليدي لمكافأة تعلم التعزيز، فإن الأولوية للتدريب المستقر طويل الأمد ليست تعظيم متوسط الدقة بل تقليل الإيجابيات الكاذبة. حتى لو كان ذلك يعني المزيد من السلبيات الكاذبة، يجب أن تظل المساحة التي يمكن للسياسة تحسينها ضيقة.

دروس اختراق المكافأة من M2

خلال دورة M2، اكتشف الفريق نمطًا كلاسيكيًا لاختراق المكافأة. استخدموا حكمًا بسيطًا بقواعد (rubrics judge) واحد، وبدت مؤشرات التدريب جيدة في البداية، لكن التحليل الأعمق كشف أن السياسة تعلمت أنماط الاختراق. تم بناء لوحة تحكم لاكتشاف اختراق المكافأة، تراقب تسع إشارات: فجوة درجة التدريب/التقييم، توزيع ثنائي القياس للنتائج الشاذ، انحراف طول الرؤية/التفكير، اختلافات النتائج بين عينات الإثبات وغير الإثبات، تقارب القوالب الهيكلية، تقارب أنماط الافتتاح، تكرار التصحيحات الذاتية من نمط "انتظر"، تكرار نمط "التمويه اليدوي" (hand-waving)، ودرجة اختراق مركبة.

شملت أنماط الاختراق المرصودة تحيز الطول، اختراق التنسيق، الاختصارات الدلالية أو التمويه اليدوي، والتفضيل المحدد للحكم. تضاعف معدل الإيجابيات الكاذبة (درجة التدريب >= 0.7 ولكن درجة الحكمة (oracle) <= 0.3) من حوالي 2.9% إلى 8.0% خلال التدريب. زاد طول الحل المرشح المرئي ثلاثة أضعاف تقريبًا من 3.5 ألف إلى 10 آلاف حرف. تقاربت حالات ظهور القوالب الهيكلية إلى 70-80%. خضعت أنماط الافتتاح لانقلاب شبه كامل. هذه التجارب شكّلت مباشرة تصميم مدقق دورة M3.

محاذاة المُدققات وتحسين التصحيح

محاذاة المُدققات تدرب النموذج ليس فقط على تصنيف الإثبات ولكن على أداء البحث عن الأخطاء وتصنيفها معًا. يجب على النموذج أولاً إنتاج تحليل خطوة بخطوة للإثبات، وسرد مواقع الأخطاء وأوصافها صراحة، ثم إصدار حكم. وهذا يجبر النموذج على جعل "مكان الخطأ" واضحًا، محولاً المُدقق إلى قدرة قابلة للمساءلة.

تأتي بيانات التدريب بالكامل من قسم التحقق (validate split) في Proof RL. هدف المحاذاة ليس أي حكم فردي بل المُدقق النهائي الذي يعمل فعليًا في Proof RL بعد التجميع الأدنى عبر عدة حكام. وهذا يضمن أن خبير المُدقق يتعلم نفس معايير التمييز التي واجهها خبير الإثباتات أثناء التدريب.

تحسين التصحيح يعالج القدرة الذرية الثالثة: بإعطاء إثبات موجود وتشخيص خطئه، اكتب إثباتًا مصححًا. التحسين يعني فهم هيكل الإثبات الأصلي، وتحديد الخطوات التي يشير إليها النقد، وتصحيحها مع الحفاظ على الأجزاء الصحيحة. البيانات تأتي بالكامل من منتجات Proof RL الثانوية: الإثباتات المرشحة التي حكم عليها بأن بها ثغرات بسيطة أو أخطاء أو كانت خاطئة بشكل أساسي تشكل أزواجًا طبيعية (إثبات معيب، تحليل تحقق). يتم ضبط خبير الإثباتات بدقة عبر أخذ العينات بالرفض، مع الاحتفاظ فقط بعينات التحسين الناجحة حيث يتحسن الحكم إلى لا توجد أخطاء أو ثغرات بسيطة.

MaxProof: إطار البحث التطوري

بمجرد أن يمتلك النموذج قدرة قوية على اختيار الأفضل من بين K (best-of-K)، فإن الجسر من الأفضل من بين K إلى الأداء في المحاولة الأولى (pass@1) هو أساسًا مشكلة بحث موجه في فضاء حلول غير قابل للاشتقاق. يصوغ MaxProof هذا كخوارزمية تطورية قياسية. توليد المجموعة الأولية ينتج N=32 حلًا مرشحًا مستقلاً. يتم التحقق من كل حل بشكل مستقل K=4 مرات، ويتم تجميعها في درجة مكافأة/لياقة، ويتم إنشاء ملخص. الاختيار مع النخبوية يختار أفضل M من الآباء المتنوعين في كل جولة، مع الحفاظ على الحلول المثالية من خلال النخبوية.

الطفرات ثنائية الوضع تولد شقيقين لكل أب: التصحيح (PATCH) للاستغلال (إصلاح محلي) وإعادة الكتابة (REWRITE) للاستكشاف (إعادة تنظيم الإثبات من اتجاه جديد). دليل التحسين يدمج ملخصات الأشقاء كسياق. يتم تقييم الأبناء وإضافتهم إلى مجموعة المرشحين. الإيقاف المبكر التكيفي يُفعل عندما يصل مرشحان على الأقل إلى حالة "لا توجد أخطاء" في جميع عمليات التحقق K_verify. أخيرًا، بطولة الاختيار الذاتي تستخدم مقارنات زوجية مع أصوات متعددة للمصنفين (rankers) في تصويت الأغلبية لاختيار أفضل مرشح.

تشمل قيود التصميم الرئيسية ضمان موثوقية دالة اللياقة، وأن توازن الطفرات بين الاستغلال والاستكشاف، وأن يستخدم الاختيار إشارات من الدرجة الثانية عندما تتقارب قيم اللياقة، وأن يعتمد الإنهاء على إشارات على مستوى المجموعة بدلاً من إشارات الفرد الواحد للتحوط ضد ضوضاء دالة اللياقة.

النتائج والنظرة المستقبلية

تظهر منحنيات البحث أن مكاسب MaxProof تأتي من مرحلتين. أولاً، تهيئة المجموعة: مع 32 مرشحًا أوليًا فقط، تظهر بعض المشكلات بالفعل حلولاً ذات درجات عالية أو حتى درجات مثالية في المجموعة، مما يشير إلى أن مجموعة M3 لديها قدرة قوية على اختيار الأفضل من بين K. ثانيًا، التحسين التكراري: مع تراكم جولات التصحيح (PATCH) وإعادة الكتابة (REWRITE)، تستمر أفضل درجة في مجموعة المرشحين في الارتفاع، خاصة في المشكلات حيث لم يصطدم المرشحون الأوليون مباشرة بالحل.

يعترف الفريق بوجود فجوة واضحة مقارنة بالمستويات العليا لكل من مجتمعات المصادر المفتوحة والمغلقة. الإثبات الرياضي هو سيناريو عالي الضغط لاختبار موثوقية النموذج. الرؤية العملية الرئيسية للمدققات التوليدية واضحة: عند استخدامها لمكافأة تعلم التعزيز، فإن الهدف الأساسي ليس تعظيم متوسط الدقة على المقاييس الثابتة بل بناء نظام مكافأة موثوق، منخفض الإيجابيات الكاذبة، قابل للمراقبة باستمرار، ويصعب اختراقه. MaxProof هو محاولة مرحلية في هذا الاتجاه.