ARC-AGI-2: المعيار الذي يقيس الذكاء السائل في أنظمة الذكاء الاصطناعي

إن مجموعة الاستدلال والتجريد، في جيلها الثاني الآن، ليست معيارًا عاديًا. على عكس MMLU أو GPQA Diamond، اللذين يكافئان استرجاع المعرفة العميق، فإن ARC-AGI-2 مصمم لعزل قدرة معرفية واحدة محددة: الذكاء السائل. يشير المصطلح، المستمد من إطار عمل عالم النفس ريموند كاتيل، إلى القدرة الآنية على التفكير في مشكلات جديدة وتحديد الأنماط في ظل عدم اليقين. الذكاء المتبلور، على النقيض، هو مجموعة الحقائق المتراكمة التي استوعبها شخص، أو نموذج، مع مرور الوقت. معظم معايير LLM تكافئ الأخير؛ ARC-AGI-2 مبني ليكافئ الأول.

كيف يعمل ARC-AGI-2

تقدم كل مهمة مجموعة من أزواج الإدخال/الإخراج الشبكية، عادةً من اثنين إلى أربعة، وإدخال اختبار جديد. يجب على النموذج استنتاج قاعدة التحويل التي تربط كل إدخال بمخرجاته ثم تطبيقها على الشبكة الاختبارية. الخلايا هي أعداد صحيحة من 0 إلى 9، مرسومة على لوحة ألوان ثابتة مكونة من عشرة ألوان وهي زخرفية بحتة. تكمن الصعوبة في البنية، وليس الألوان.

التنسيق قليل الأمثلة عمدًا. نادرًا ما تكون أمثلة اثنان أو ثلاثة كافية لتمييز قاعدة عن طريق مطابقة الأنماط وحدها. لإنتاج المخرجات الصحيحة، يجب على النموذج توليد فرضيات، وفحص كل منها مقابل أزواج العرض، وتحسين الفرضية عندما تفشل، والالتزام بالقاعدة التي تنجح في كل مثال. القواعد ليست مستمدة من أي تصنيف منشور؛ كل لغز هو مشكلة فردية.

لماذا الشبكات البصرية؟

اختيار الشبكات البصرية محوري لتصميم المعيار. تكافئ معايير المعرفة مثل MMLU و GPQA Diamond القدرة على استرجاع الحقائق التي شوهدت عدة مرات أثناء التدريب. يتجنب ARC-AGI-2 ذلك عمدًا. قاعدة تحويل الشبكة التي لم تظهر أبدًا في كتاب مدرسي تمنح المعيار مجالًا لتمييز الاستقراء الحقيقي للأنماط عن الحلول المحفوظة. القدرة التي يستهدفها، الذكاء السائل، يصعب تزييفها لأن التدريب المسبق لا يقدم أي ميزة في مشكلة لم تُواجه من قبل.

الخط الأساسي البشري وعتبة الجائزة

رقمان أساسيان للبشر مهمان هنا. دراسة معايرة ARC-AGI-2، التي أجريت خلال إعادة التصميم في عام 2025، جندت مئات المشاركين من البشر. تم حل كل مهمة في مجموعة التقييم من قبل إنسانين على الأقل في محاولتين أو أقل، بنسبة إنجاز 100% للجنة. متوسط الأداء الفردي، المبلغ عنه في مستودع GitHub، استقر عند 66%. تم تعيين عتبة الجائزة الكبرى أعلى: أكبر من 85% على العينة المحتجزة الخاصة، ضمن حدود كفاءة الحوسبة ووقت التشغيل في Kaggle، للمطالبة بالجائزة الكبرى لـ ARC Prize 2026 البالغة 700,000 دولار. لم يتم الوصول إلى هذا المستوى في عامي المنافسة 2024 أو 2025.

لوحة المتصدرين الحالية (أبريل 2026)

وفقًا لبيانات المعايير المتتبعة من BenchLM، فإن أفضل عشرة نماذج على ARC-AGI-2 هي:

1. GPT-5.5، 85 (استدلال)
2. GPT-5.4 Pro، 83.3 (استدلال)
3. Gemini 3.1 Pro، 77.1 (غير استدلال)
4. Claude Opus 4.7 (متكيف)، 75.8 (استدلال)
5. GPT-5.4، 73.3 (استدلال)
6. Claude Opus 4.6، 68.8 (غير استدلال)
7. Claude Sonnet 4.6، 59 (غير استدلال)
8. GPT-5.2 Pro، 54.2 (استدلال)
9. Grok 4.20، 53.3 (استدلال)
10. GPT-5.2، 52.9 (استدلال)

الفارق كبير: النموذج الأعلى عند 85، والعاشر عند 52.9، مع نماذج مثل DeepSeek V3.2 عند 4 و o3 عند 3. لا ينضغط ARC-AGI-2 في أي من الطرفين، وهو أمر نادر لمعيار بمتوسط بشري 66%. إنه يوفر فصلاً حقيقياً عبر حدود قدرة نموذج الاستدلال.

لماذا تتفوق نماذج الاستدلال

من بين الخمسة الأوائل، أربعة تستخدم تكوينات استدلال صريحة. الآلية بديهية: ألغاز ARC تستفيد من اختبار الفرضيات المتكرر، توليد قاعدة مرشحة، فحصها مقابل أزواج العرض، تحسينها عندما تفشل، والالتزام بقاعدة تنجح في كل مثال. هذه الحلقة هي بالضبط ما يمكّنه السقالات المتسلسلة للفكر. الثمن هو زمن انتقال أطول ونفقات أعلى لكل مهمة، لكن المكسب في الأداء كبير.

ما يقيسه ARC-AGI-2 وما لا يقيسه

يرتبط ARC-AGI-2 بأداء المهام الوكيلة في المجالات الجديدة، والمهام البرمجية الغامضة، ومشكلات الاستدلال التي لا يمكن حلها عن طريق الاسترجاع. لا يتنبأ باستدعاء المعرفة (MMLU، GPQA)، أو دقة اتباع التعليمات (IFEval)، أو جودة المحادثة (Arena Elo)، أو الاستدلال متعدد اللغات (MGSM). النموذج الذي يحصل على 75 في ARC-AGI-2 و 60 في HLE هو قوي في الذكاء السائل لكنه ضعيف في المعرفة؛ والعكس ممكن أيضًا. لا يوجد اختبار واحد يغطي جميع القدرات.

يشير اسم 'AGI' إلى رهان فرانسوا شوليه بأن الذكاء السائل هو القطعة المفقودة للذكاء الاصطناعي العام. ما إذا كان الرهان صحيحًا يبقى سؤالًا تجريبيًا مفتوحًا، لكن ARC-AGI-2 مصمم لقياس التقدم نحو هذا الهدف بدقة غير عادية.