صناديق الرمل في الاختبارات تخفي كيف تفشل الوكلاء حقًا، جامعة هونغ كونغ قدمت الحل

اختبار الوكلاء الذكيين يحوي خداعًا هادئًا مبنيًا فيه. معظم التقييمات تُجرى في بيئات معزولة، حدائق مهذبة بعناية حيث لا يضطر الوكيل أبدًا إلى تثبيت حزمة، أو تفسير لقطة شاشة ضبابية، أو التعافي من إعادة تشغيل خادم غير متوقعة. النتيجة صورة وردية: يسجل الوكلاء درجات عالية، لكنهم يفشلون بمجرد لمسهم لنظام تشغيل غير مبرمج.

يقول باحثون في جامعة هونغ كونغ إن هذا التباين ليس مجرد إزعاج منهجي. إنه يضلل التطوير بنشاط. معيارهم الجديد، UniClawBench، مصمم لهدم جدران الصندوق الرملي واختبار الوكلاء حيث ينهارون: داخل حاويات Docker حقيقية وحية، بتنفيذ 400 مهمة ثنائية اللغة تغطي خمس قدرات أساسية. the-plumbing-problem-in-ai-search-is-finally-getting-a-unified-solution

خمس قدرات، وليس خمسين سيناريو

تستخدم المعايير الحالية عادةً تصنيفات قائمة على السيناريو: التصفح عبر الويب، جدولة التقويم، تحرير الملفات. المشكلة، وفقًا للفريق، هي أن كل سيناريو يعتمد على مهارات نموذج متداخلة متعددة. عندما يفشل الوكيل، لا يكون واضحًا ما إذا كان السبب الجذري هو ضعف التفكير الطويل السياق، أو ضعف الفهم متعدد الوسائط، أو عدم كفاية القدرة على استخدام الأدوات.

يتجاوز UniClawBench هذا من خلال بناء مهامه الـ 400 حول خمس قدرات بالضبط: استخدام المهارات، الاستكشاف، التفكير الطويل السياق، الفهم متعدد الوسائط، والتنسيق عبر المنصات. تم تصميم كل مهمة لاختبار قدرة واحدة بشكل أساسي، مع الحد الأدنى من خلط المهارات. هذا يسمح لتحليل الإخفاق بتحديد الحلقة الضعيفة بالضبط في النموذج. jet-longs-bifocal-attention-is-forcing-a-rethink-of-long-context-efficiency-trade-offs viq-bridging-the-gap-between-semantics-and-detail-in-visual-quantized-representations

التقييم على أجهزة حية

حيث يختلف UniClawBench بشكل حاد عن الأعمال السابقة هو التنفيذ. بدلاً من تسجيل الإجابات المسجلة مسبقًا مقابل مجموعات بيانات ثابتة، ينشر المعيار الوكلاء داخل حاويات Docker الحية. يجب على الوكيل التفاعل مع نظام الملفات الفعلي، والشبكة، وواجهات برمجة تطبيقات التطبيقات. لا شيء محاكى. يُقاس الإكمال من خلال نقاط تفتيش مفصلة خطوة بخطوة يراقبها وكيل مشرف مخفي في الوقت الفعلي.

"هذا هو الفرق بين اختبار القيادة على مضمار مغلق وآخر في شوارع المدينة،" تشير الورقة. "يجب على الوكيل التعامل مع حالات غير متوقعة، وتبعيات مفقودة، واستجابات نظام لا يمكن لأي إجابة مسجلة مسبقًا التقاطها."

حلقة مغلقة بثلاثة أدوار

واحدة من أصعب المشاكل في تقييم الوكلاء الاستباقيين، أولئك الذين يبدؤون الإجراءات بدلاً من مجرد الرد على الاستفسارات، هي محاكاة ردود الفعل البشرية دون تسريب الإجابة الصحيحة. حل جامعة هونغ كونغ هو حلقة تقييم بثلاثة ممثلين: وكيل منفذ، النموذج قيد الاختبار؛ وكيل مستخدم يلعب دور الشخص الذي يطلب المهام؛ ووكيل مشرف مخفي يتحقق من نقاط التفتيش الوسيطة ويقدم ردود فعل تدريجية.

وكيل المستخدم معرض للخطأ عمدًا. قد يطرح أسئلة توضيحية، أو يغير رأيه في منتصف المهمة، أو يتجاهل النتائج غير المكتملة. هذا يجبر المنفذ على إدارة التفاعلات متعددة الأدوار ديناميكيًا. والأهم من ذلك، أن الوكيل المشرف لا يكشف أبدًا عن نقاط التفتيش المستقبلية. يؤكد فقط أو ينفي التقدم على النقطة الحالية، مما يمنع تسريب الإجابة. the-ai-agent-that-remembers-you-why-vitabench-20-reveals-a-chasm-between-good-chatbots-and-good-collaborators

النماذج والأطر مفصولة

مساهمة أساسية لـ UniClawBench هي تصميمه العاملي: يتم تقييم كل نموذج حديث تحت عدة أطر للوكلاء. يمكن للمعيار تحليل الأداء إلى درجة قدرة النموذج الخام وكفاءة تنسيق الإطار. النتائج المبكرة، على الرغم من عدم تفصيلها في المسودة الأولية، تظهر أن نموذجًا قويًا في إطار ضعيف يمكن أن يتفوق عليه نموذج أضعف في إطار ذكي. هذه النتيجة لها آثار مباشرة على كل من تدريب النماذج وتصميم الأنظمة.

يكشف هيكل القدرات الخمس أيضًا عن عدم تناسق مفاجئ داخل النموذج. قد ينهار نموذج يتفوق في التفكير الطويل السياق في التنسيق عبر المنصات، على الرغم من أن كلا المهمتين تقعان تحت نفس سيناريو "وكيل الويب" في المعايير التقليدية. هذه اللا تناسقات هي بالضبط نوع الإشارة التي تحتاجها فرق التطوير لاستهداف جهود التحسين الخاصة بهم. gpt-55-dominates-a-new-benchmark-for-agents-that-rewrite-their-own-rules

آثار على نظام الوكلاء البيئي

بالنسبة للشركات الناشئة التي تبني منتجات وكيلة، يقدم UniClawBench أداة تشخيصية بدلاً من لوحة المتصدرين. لا يجيب فقط على "أي وكيل هو الأفضل" بل "أي قدرة هي عنق الزجاجة لكل زوج نموذج-إطار." بالنسبة للمجتمع البحثي، يوفر المعيار أرضية مشتركة لمقارنة ليس فقط الدرجات النهائية ولكن أنماط الإخفاق عبر الأبعاد الخمسة.

المعيار صدر مفتوح المصدر إلى جانب كوده، مع مهام باللغتين الصينية والإنجليزية. يؤكد فريق جامعة هونغ كونغ على أن UniClawBench مصمم ليتطور. يمكن إضافة مهام وقدرات جديدة دون تغيير بنية التقييم، مما يجعله معيارًا حيًا لمجال سريع الحركة.