Leanstral 1.5 يثبت أن القواعد القديمة لتسعير الذكاء الاصطناعي لا تنطبق على الرياضيات

لسنوات، كانت الحكمة التقليدية في الإثبات الآلي للنظريات بسيطة: تحصل على ما تدفع ثمنه. الأنظمة مثل Seed-Prover و Aleph Prover حققت نتائج قوية لأنها استهلكت قدرًا هائلاً من الحوسبة، أحيانًا 10 أيام من H100 لكل مسألة، وغالبًا ما اعتمدت على التوجيه باللغة الطبيعية من نموذج لغوي كبير. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

نموذج Leanstral 1.5 من Mistral AI يقلب هذا المنطق رأسًا على عقب. تم إصداره بموجب ترخيص Apache-2.0 وهو متاح كنقطة نهاية واجهة برمجة تطبيقات مجانية، يستخدم النموذج 6 مليارات معلمة نشطة فقط من إجمالي 119 مليار معلمة. على الرغم من حجمه المتواضع، فإنه يشبع معيار miniF2F (100% في مجموعتي التحقق والاختبار)، ويحل 587 من أصل 672 مسألة في مجموعة PutnamBench، ويحقق نتائج متطورة جديدة في معايير FATE-H (87%) و FATE-X (34%) للجبر المجرد. the-quiet-finding-on-chain-of-thought-monitoring-that-should-worry-frontier-labs

لكن المقياس الأكثر دلالة هو التكلفة. يعمل Leanstral 1.5 بتكلفة تقارب 4 دولارات لكل مسألة محلولة في PutnamBench. تكلفة Seed-Prover 1.5 في إعداده العالي تقدر بـ 300 دولار أو أكثر لكل مسألة. يأتي Aleph Prover بتكلفة 54.68 دولارًا. الفجوة ليست تدريجية. إنها فارق بمقدار مرتبة من حيث الحجم، وفي حالة Seed-Prover، تقريبًا مرتبتان من حيث الحجم. cognitions-swe-17-pushes-coding-agent-cost-performance-further-with-42-benchmark-score

عملية تدريب مكثفة من ثلاث مراحل

لم يأت أداء Leanstral 1.5 من ابتكار معماري واحد. خط أنابيب التدريب هو تسلسل متعمد من ثلاث مراحل: تدريب متوسط على مجموعة كبيرة من الرياضيات الرسمية، ضبط دقيق خاضع للإشراف على مسارات الإثبات وعامل الكود، وتعزيز التعلم باستخدام طريقة تسميها الفريق CISPO (تحسين السياسة المستقرة الثابتة في السياق).

تعمل مرحلة تعزيز التعلم عبر بيئتين. في الإعداد متعدد الجولات، يتلقى النموذج بيان نظرية ويجب عليه إثباته أو دحضه من خلال حلقة تكرارية: تقديم محاولة إثبات، تلقي ردود فعل من مترجم Lean، التحسين. في بيئة عامل الكود، يعمل Leanstral 1.5 كمطور، يقوم بتحرير الملفات، وتشغيل أوامر bash، والاستعلام عن خادم لغة Lean لأنواع الأهداف والأخطاء، والمثابرة عبر جولات متعددة من ضغط السياق. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

هذا الوضع الثاني هو ما يميز Leanstral 1.5 عن المبرهنين السابقين. بدلاً من معالجة البحث عن الإثبات كمسألة توليد لمرة واحدة، يتعلم النموذج التنقل في سير عمل كامل لهندسة الإثبات، وبناء المبرهنات المساعدة، وإعادة هيكلة الإثباتات الجزئية، والحفاظ على التماسك عبر آفاق زمنية طويلة. على سبيل المثال، استهلك إثبات التعقيد الزمني لشجرة AVL 2.7 مليون رمز عبر 22 ضغطًا قبل الوصول إلى حد O(log n) كامل للإدراج والحذف.

حدود التكلفة والأداء تنحني

يخبرنا منحنى التوسع في وقت الاختبار الذي تم إصداره مع النموذج بقصة واضحة. في PutnamBench، يرتفع Pass@8 لـ Leanstral 1.5 بشكل رتيب من 44 مسألة محلولة بميزانية 50 ألف رمز إلى 587 مسألة عند 4 ملايين رمز. الأداء لا يصل إلى هضبة؛ بل يستمر في الارتفاع مع السماح للنموذج بالتفكير لفترة أطول، وتحرير الملفات، والمراجعة. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

المغزى هو أن سقف النموذج غير معروف بعد. المقارنات الحالية مع الأنظمة التي تعمل في ظل ظروف مختلفة، Goedel-Architect مع التوجيه باللغة الطبيعية، Aleph Prover بتكلفة أعلى بكثير لكل مسألة، تصبح أقل أهمية مع زيادة ميزانية Leanstral 1.5. النموذج ليس أرخص فقط؛ إنه يتوسع بكفاءة أكبر.

أخطاء فاتتها الاختبارات

نتائج المعايير مهمة، لكن الإشارة الأكثر عملية تأتي من خط أنابيب التحقق من الكود الخاص بـ Leanstral 1.5. بنى الفريق سير عمل آليًا: يقوم Aeneas بترجمة كود Rust إلى Lean، ويستنتج Leanstral نية المستخدم ويولد خصائص الصحة من الكود، ثم يحاول إثبات كل خاصية، وإذا فشلت جميع الإثباتات، يحاول إثبات النفي بدلاً من ذلك. the-subtle-trap-waiting-for-ai-agents-in-production

عبر 57 مستودعًا، أشار خط الأنابيب إلى 47 خاصية منتهكة، منها 11 أشارت إلى أخطاء حقيقية. لم يتم الإبلاغ عن خمسة منها على GitHub من قبل. مثال واحد: تجاوز في دالة sign لفك تشفير zigzag لمكتبة datrs/varinteger. عند إدخال Std.U64.MAX، يلتف التعبير (value + 1)، مما يتسبب في أعطال في وضع التصحيح وتلف صامت للبيانات في وضع الإصدار، وهو بالضبط نوع الحالة الحدودية التي تفوتها عادةً اختبارات fuzzing والاختبار العادي.

تؤكد هذه النتيجة على تحول أوسع. لطالما اعتُبر التحقق الرسمي مكلفًا للغاية وغير عملي لقواعد الأكواد اليومية. لا يزيل Leanstral 1.5 التكلفة، لكنه يخفض الحاجز بما يكفي لجعل اكتشاف الأخطاء الآلي ممكنًا على نطاق واسع. بتكلفة 4 دولارات لكل مسألة، فإن تشغيل فحص تحقق على crate متوسط الحجم لـ Rust لم يعد مشروعًا بحثيًا؛ بل أصبح خطوة CI معقولة.

معيار FLTEval يصبح مفتوح المصدر

إلى جانب النموذج، أصدرت Mistral AI معيار FLTEval، المستند إلى طلبات سحب حقيقية من مستودع Fermat's Last Theorem، كمصدر مفتوح. يرفع Leanstral 1.5 pass@1 في FLTEval من 21.9 إلى 28.9 و pass@8 من 31.9 إلى 43.2، متجاوزًا Opus 4.6 الذي سجل 39.6 بتكلفة سُبع. الفجوة مع النماذج مفتوحة المصدر الأكبر بثلاث إلى عشر مرات آخذة في الاتساع. inside-meta-ai-the-lab-betting-billions-on-open-source-intelligence

ما يعنيه ذلك للمجال

لا يدعي Leanstral 1.5 أنه حل التحقق الرسمي. لا يزال النموذج يعاني مع المشكلات التي تتطلب إبداعًا رياضيًا عميقًا أو معرفة متخصصة بمجال معين غير موجودة في بيانات تدريبه. لكنه يوضح أن حاجز التكلفة، وليس الحاجز التقني، كان القيد الأكبر على التبني. the-math-says-general-ai-is-a-myth-biology-markets-and-machine-learning-all-agree

بتكلفة 4 دولارات لكل مسألة، ومع ترخيص Apache-2.0 وواجهة برمجة تطبيقات مجانية، يجعل Leanstral 1.5 التحقق الرسمي في متناول المشاريع التي لم تكن لتفكر فيه من قبل. لن يحل النموذج محل علماء الرياضيات أو مهندسي الإثبات، لكنه يغير حسابات متى تكون الأتمتة منطقية. وفي مجال حيث كانت ميزانيات الحوسبة هي الحارس الأساسي، فإن هذا تحول ذو معنى.