أداة GauntletBench من أكسفورد تختبر وكلاء الذكاء الاصطناعي في 100 مهمة حقيقية. لقد فشلوا في 81% منها.

بينما يجد وكلاء الذكاء الاصطناعي طريقهم بشكل متزايد إلى البيئات الواقعية، أصبحت الحاجة إلى اختبارات صارمة أكثر إلحاحًا من أي وقت مضى. أطلق باحثون في جامعة أكسفورد أداة GauntletBench، وهو معيار جديد مصمم لتجاوز الإرهاق الذي حل بمجال تقييم الوكلاء. يركز على ثلاث قدرات غير مستكشفة بشكل كافٍ: الإدراك الزمني والفهم الرسومي والتفكير ثلاثي الأبعاد، عبر خمسة تطبيقات مهنية تجاهلتها المجموعات الموجودة إلى حد كبير. ifbench-the-new-benchmark-testing-ai-instruction-following

المعيار، المنشور على arXiv والمستضاف على HuggingFace، يضع وكلاء الذكاء الاصطناعي أمام 100 مهمة كثيفة الرؤية منظمة في خمس فئات: محرر الفيديو، منشئ سير العمل، النمذجة ثلاثية الأبعاد، محلل الطيران، ومصمم الدوائر. تحاكي كل منها بيئة ويب محكومة حيث يمكن للوكيل النقر والكتابة والتنقل. يدعم خط الأنابيب المعياري أطر الوكلاء مفتوحة ومغلقة المصدر. gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key

فحص واقعي للأنظمة الوكيلة

الوكيل الأفضل أداءً، المبني على نموذج لغوي كبير متطور، تمكن من تحقيق معدل نجاح 19.1% فقط عبر جميع المهام. أكمل المعلقون البشريون غير الخبراء نفس المهام بدقة تجاوزت 80%، وهو رقم تصفه الورقة بأنه "صعب لكنه ممكن" للبشر. يجادل الباحثون بأن هذه الفجوة تنبع من التركيز الضيق لمعظم المعايير الحالية. تركز العديد من الاختبارات الحالية على تطبيقات المستهلك اليومية، والتسوق، وحجز السفر، أو المهام كثيفة النصوص التي تخدم نقاط قوة نماذج اللغة. تتجنب أداة GauntletBench عمدًا هذه المسارات المألوفة. تتطلب مهامها من الوكلاء العمل عبر الجداول الزمنية الديناميكية للفيديو، وتفسير المخططات ثنائية الأبعاد، والتلاعب بالأشياء ثلاثية الأبعاد، وتحليل مسارات الطيران، والتفكير في المخططات الدائرية، كل ذلك من خلال واجهة بصرية. the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

ثلاث فجوات حرجة في القدرات

تسلط أداة GauntletBench الضوء على ثلاثة مجالات محددة يقصر فيها الوكلاء مرارًا:

• الإدراك الزمني: يتعثر الوكلاء عندما يحتاجون إلى تتبع الأحداث بمرور الوقت، مثل ضبط الجدول الزمني لتحرير الفيديو، أو مراقبة سلسلة من خطوات سير العمل. تشير حالات الفشل إلى نقص في التفكير الزمني القوي بما يتجاوز التنبؤ البسيط بالتسلسل.
• الفهم الرسومي: المهام التي تتضمن قراءة ومعالجة التمثيلات البصرية ثنائية الأبعاد، المخططات الانسيابية، الرسوم التخطيطية للدوائر، شبكات التخطيط، أثبتت صعوبتها. غالبًا ما يخطئ الوكلاء في قراءة العلاقات المكانية أو يفشلون في ربط العناصر البصرية بأدوارها الوظيفية.
• التفكير ثلاثي الأبعاد: في تطبيق النمذجة ثلاثية الأبعاد، واجه الوكلاء صعوبة في تدوير الأشياء، وفهم العمق، وتنفيذ عمليات مكانية دقيقة. يعكس هذا النتائج الأوسع التي تفيد بأن النماذج متعددة الوسائط لا تزال تفتقر إلى الفهم ثلاثي الأبعاد الموثوق. hugging-face-daily-papers-a-surge-in-multimodal-and-vision-language-research

تتماشى هذه النتائج مع المناقشات الجارية في المجال حول حدود أنظمة الذكاء الاصطناعي متعددة الوسائط الحالية. بينما تتألق نماذج اللغة الكبيرة في التفكير النصي، تظل قدرتها على فهم الإشارات البصرية والزمنية والتصرف بناءً عليها هشة.

الهيكل وقابلية التوسع

تم بناء أداة GauntletBench كخط أنابيب معياري بأربعة مكونات: طبقة بيئة تتفاعل مع التطبيقات المستندة إلى الويب، وطبقة تطبيق محكومة تحاكي الأدوات المهنية الخمس، ومجموعة مهام مكونة من 20 مهمة لكل تطبيق تم إنشاؤها من قوالب، ومحرك تقييم آلي يحسب النجاح باستخدام معايير المطابقة التامة والجزئية. يسمح هذا التصميم للباحثين بإضافة تطبيقات جديدة أو متغيرات مهام دون إعادة بناء خط الأنابيب.

"حتى الوكيل الأحدث يحقق معدل نجاح 19.1% فقط على أداة GauntletBench الخاصة بنا، مما يسلط الضوء على القيود في هذه القدرات المهملة والتعميم"، يكتب المؤلفون في الورقة.

اختيار التطبيقات المهنية: تحرير الفيديو، أتمتة سير العمل، النمذجة ثلاثية الأبعاد، تحليل الطيران، وتصميم الدوائر، هو اختيار متعمد. تتطلب هذه المجالات تفاعلات دقيقة متعددة الخطوات مع واجهات بصرية معقدة، وقد كانت ممثلة تمثيلاً ناقصًا في معايير الوكلاء السابقة، والتي أشار إليها مجتمع البحث بأنها مشبعة. llms-corrupt-your-documents-when-you-delegate-a-close-look-at-the-delegate-52-benchmark

ما يعنيه لتصميم الوكلاء

تشير الفجوة الواسعة بين أداء الوكيل والبشري، أكثر من 60 نقطة مئوية، إلى أن الأساليب الحالية لهندسة الوكلاء، أو التدريب، أو التوجيه ليست كافية لمهمة التعامل مع المهام البصرية الزمنية المعقدة. تدعو الورقة إلى تجديد التركيز على تطوير وكلاء يمكنهم التعميم عبر التطبيقات والطرائق غير المألوفة. لا يصف المعيار تغييرات معمارية محددة، لكنه يوفر تحليلًا مفصلاً لحالات الفشل. كان أداء الوكلاء أفضل في المهام ذات التغذية البصرية الواضحة، مثل تغيير اللون بعد إجراء ناجح، مقارنة بالمهام التي تتطلب تفكيرًا متأخرًا، مثل توقع نتيجة تسلسل تحرير متعدد الخطوات.

مساهمة أكسفورد تأتي في وقت يتخذ فيه مجتمع أبحاث الذكاء الاصطناعي نظرة أكثر انتقادًا لتصميم المعايير. أشارت عدة أوراق بحثية حديثة إلى تلوث المعايير، وتبسيط المهام، وتجانس المهام كعقبات أمام التقييم الهادف للوكلاء. تستهدف أداة GauntletBench هذه القضايا مباشرة من خلال إدخال أنواع مهام جديدة وسيناريوهات عالية الصعوبة. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

لقد حظي المعيار بالفعل باهتمام على HuggingFace، حيث حصلت ورقة المشروع على 15 صوتًا إيجابيًا وردود فعل إيجابية من المجتمع. يخطط الباحثون لتوسيع أداة GauntletBench لتشمل المزيد من التطبيقات والمهام طويلة الأجل في الإصدارات المستقبلية.

بالنسبة لمطوري الوكلاء، الرسالة واضحة: الأجزاء السهلة من المشكلة قد تم حلها. التحديات المتبقية: التفكير الزمني والرسومي والمكاني، تتطلب أساليب جديدة جذريًا إذا كان لوكلاء الذكاء الاصطناعي العمل بشكل موثوق في العالم الحقيقي.