الذكاء الاصطناعي
IFBench: المعيار الجديد لاختبار اتباع الذكاء الاصطناعي للتعليمات
يقيس IFBench قدرة نماذج اللغة على اتباع تعليمات دقيقة باللغة الطبيعية، وهي قدرة رئيسية ولكن غالبًا ما يتم تجاهلها. تُظهر النتائج المبكرة تقدم نماذج xAI's Grok، بينما تتخلف نماذج Claude رغم حصولها على درجات ذكاء إجمالية عالية.
لا تقتصر مهمة نموذج الذكاء الاصطناعي على تقديم إجابة معقولة، بل يجب عليه اتباع التعليمات بدقة. يبدو ذلك بسيطًا، لكنه في الواقع صعب بشكل خادع. فكر في مستخدم يريد ملخصًا من ثلاث جمل، أو إعادة صياغة بأسلوب غير رسمي، أو إجابة تتضمن كلمة واحدة مع تجنب أخرى، وغالبًا كل ذلك في آن واحد. قد يفهم النموذج الموضوع تمامًا ولكن يفشل في تلبية الطلب.
تم قبول IFBench في مؤتمر NeurIPS 2025، ويختبر كيفية اتباع نماذج اللغة لتلك الأنواع من التعليمات الدقيقة باللغة الطبيعية. في العام الماضي، أضافت منظمة "Artificial Analysis"، وهي منظمة مستقلة لقياس أداء الذكاء الاصطناعي، IFBench إلى مؤشر الذكاء الخاص بها (Intelligence Index)، الذي يجمع عدة تقييمات في درجة واحدة لقياس القدرة الإجمالية للنموذج.
"رأينا أن قدرة النموذج على اتباع تعليمات المستخدم هي شيء يهتم به المطورون كثيرًا، لذلك أردنا تقييمها بشكل صريح"، يقول ديكلان جاكسون، عضو الفريق الفني في "Artificial Analysis". "تم تصميم IFBench لسد هذه الفجوة وكان تحديًا حتى للنماذج الحدودية."
قياس الالتزام بالاستعلام
لا يختبر IFBench فقط اتباع التعليمات الأساسية، بل يُجبر النموذج على التعامل مع عدة قواعد في وقت واحد. بعضها مباشر، مثل الحد الأدنى لعدد الكلمات أو الكلمات المفتاحية المطلوبة. البعض الآخر أكثر تعقيدًا: يجب أن تتطابق الجمل في الطول، ولا يمكن أن تبدأ الكلمات المتتالية بنفس الحرف، أو يجب أن تظهر كلمة مفتاحية في موضع محدد.
"هذا يختلف عن العديد من المعايير الأخرى، حيث يتم تضمين اتباع التعليمات بشكل غير مباشر فقط من خلال قوالب المخرجات أو هياكل الإجابة المطلوبة"، يقول جاكسون.
قد يبدو كل قيد تعسفيًا بمفرده. لكنها معًا تعكس سيناريو مألوفًا للغاية: غالبًا ما يطلب المستخدمون من النموذج أشياء متعددة في وقت واحد، وقد يؤدي فقدان حتى واحد منها إلى إفساد الاستجابة. لتأسيس IFBench على الاستخدام الواقعي، تم استخلاص استعلاماته من محادثات المستخدمين الفعلية، وليس كتابتها من الصفر من قبل الباحثين.
"يقيس IFBench اتباع التعليمات بطريقة تبدو أقرب إلى الاستخدام الواقعي من التقييمات السابقة لاتباع التعليمات"، يقول جاكسون. "تستخدم الاستعلامات لغة غير رسمية تشبه لغة المستخدم، وتغطي مجموعة واسعة من النغمات والأطوال بدلاً من اتباع قالب ثابت، وتركز على المهام الشائعة مثل الإجابة على الأسئلة الواقعية، ومراجعة المحتوى والتلخيص، والدعم الإبداعي. التغطية الأوسع لـ IFBench تجعله أيضًا مؤشرًا أقوى بشكل عام لقدرة اتباع التعليمات."
ما يظهره IFBench ولا تظهره المعايير الأخرى
عادةً ما تكون لمعايير الذكاء الاصطناعي فترة صلاحية قصيرة. بمجرد أن تبدأ النماذج في تسجيل درجات قريبة من القمة، تتوقف التقييمات عن كونها مفيدة للتمييز بين الأنظمة. يقول جاكسون إن معظم التقييمات المضافة إلى مؤشر الذكاء الخاص بـ "Artificial Analysis" تشبع في غضون ستة أشهر تقريبًا.
لكن IFBench لم يشبع.
"بينما تحسنت درجات IFBench بمرور الوقت، لم يكن هذا التقدم موحدًا عبر النماذج، ولا تزال النماذج الحدودية الجديدة لا تؤدي أداءً جيدًا دائمًا فيه"، يقول جاكسون.
يرجع ذلك إلى عاملين.
الأول: اتباع التعليمات المعقدة لا يتداخل كثيرًا مع ما تتدرب عليه معظم المختبرات بنشاط، كما يقول جاكسون. تحصل البرمجة واستخدام الأدوات على استثمار كبير في التدريب اللاحق لأن المكاسب هناك تميل إلى التعميم على المهام والمعايير الأخرى. اتباع التعليمات أضيق نطاقًا، ونادرًا ما يتحسن كأثر جانبي للتقدم في تلك المجالات.
الثاني هو الاتساع الهائل لما يقيسه IFBench. مجموعته الواسعة من القيود والاستعلامات تعني أن التقدم كان أبطأ نسبيًا مقارنة بتقييمات المجال أو القدرات المستهدفة، والتي يمكن للمختبرات العمل عليها ببطء باستخدام وصفات تدريب لاحق مركزة.
يظهر ذلك في الأرقام. تتجمع درجات IFBench بشكل حاد حسب عائلة النموذج، كما يقول جاكسون، والتصنيفات لا تتوافق مع مؤشر الذكاء الأوسع لـ "Artificial Analysis".
لا يزال xAI يتصدر IFBench. يحتل Grok 4.20 (0309, Reasoning) المركز الأول بنسبة 82.9%، ويليه Grok 4.3 عن قرب بنسبة 81.3%. نماذج Google الحديثة أيضًا سجلت نتائج جيدة: Gemini 3 Flash Preview (Reasoning) وصلت إلى 78.0%، بينما وصلت Gemini 3.1 Flash-Lite Preview و Gemini 3.1 Pro Preview إلى 77.2% و 77.1% على التوالي. OpenAI's GPT-5.5 (xhigh) و GPT-5.4 (xhigh) تليهما بنسبة 75.9% و 73.9%. نماذج Claude الرائدة تتجمع في الأسفل في IFBench، حيث سجلت Claude Opus 4.7 و Claude Sonnet 4.6 و Claude 4.5 Haiku بين 54.3% و 58.6%، على الرغم من أن Claude Opus 4.7 تحتل مرتبة قريبة من قمة مؤشر الذكاء بـ 57 نقطة، خلف GPT-5.5 (xhigh) بـ 60 نقطة وتتعادل فعليًا مع Gemini 3.1 Pro Preview و GPT-5.4 (xhigh) اللذين يسجلان أيضًا 57 نقطة.
نهج مفتوح حقًا للتقييمات
IFBench مفيد لـ "Artificial Analysis" لسببين: ما يقيسه، وحقيقة أنه تم إصداره بشكل مفتوح.
يتيح الانفتاح لفريق جاكسون تنفيذ التقييم بأمانة وتشغيله عبر مجموعة واسعة من النماذج، مما يغذي لوحات الصدارة التي يعتمد عليها مستخدميهم. كما يجعل المعيار نفسه أسهل في الفهم، حيث يمكن لأي شخص رؤية ما يتم قياسه ولماذا.
بالنسبة لـ "Artificial Analysis"، يختبر IFBench شيئًا يظهر في كل تفاعل مع الذكاء الاصطناعي تقريبًا: ما إذا كان النموذج قادرًا على تتبع ما يطلبه المستخدم، خاصة عندما يكون الطلب معقدًا. أصبح الآن جزءًا منتظمًا من تقييمات "Artificial Analysis"، ومثالًا قويًا على ما تقدمه معايير Ai2 المفتوحة للمجال.
"بالإضافة إلى التقييمات، تعتبر Ai2 قائدًا مهمًا في المصادر المفتوحة"، يقول جاكسون. "عملهم لا يساعد فقط في تطوير الصناعة من خلال البحث المفتوح، بل يمنح المستخدمين أيضًا إمكانية الوصول إلى نتائج الأبحاث بشفافية حول البيانات والمنهجية."