مساعدك الذكي ينساك كل صباح. هذا المعيار يثبت ذلك.

على الرغم من جميع العروض المثيرة لوكلاء الذكاء الاصطناعي الذين يحجزون رحلات الطيران أو يكتبون الأكواد، إلا أن هناك حقيقة غير مريحة نادرًا ما تُذكر: معظم هؤلاء الوكلاء يبدأون كل محادثة كغرباء. ليس لديهم ذاكرة لما طلبته بالأمس، ولا نموذج لتفضيلاتك، ولا إحساس بالعادات التي تحدد عملية اتخاذ القرار لديك. هدف معيار جديد، VitaBench 2.0، إلى قياس مدى سوء هذه المشكلة بدقة. الأرقام واقعية. llms-corrupt-your-documents-when-you-delegate-a-close-look-at-the-delegate-52-benchmark

طوره باحثون من معهد بكين للتكنولوجيا، ومختبر Tencent AI، ومؤسسات أخرى، يعمل VitaBench 2.0 على فرضية بسيطة ولكنها قاسية. تُقدم المهام ليس كطلبات منعزلة، بل كتسلسلات زمنية مرتبة لمستخدمين فرديين. تُضمن التفضيلات عمدًا في تفاعلات مجزأة وغير متجانسة. يجب على الوكيل باستمرار استخراج تلك التفضيلات واستخدامها وتحديثها عبر الخط الزمني. إنه المعيار المكافئ لموظف جديد يجب أن يتعلم غرائز رئيسه من خلال مراقبة السلوك اليومي، ولكن بدون قدرة الموظف الجديد الطبيعية على الاستنتاج والتذكر. the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

ما هو على المحك

يركز المعيار على التخصيص والاستباقية لاستهداف نقطة عمياء في التقييم الحالي. تختبر معايير الوكيل الحالية، من ToolBench إلى SWE-bench، التفكير واستخدام الأدوات وتوليد الأكواد. نادرًا ما تختبر ما إذا كان الوكيل يمكنه بناء نموذج للمستخدم الذي يخدمه. هذا الإغفال يصبح أكثر أهمية مع انتقال الوكلاء من سؤال وجواب لمرة واحدة إلى التعاون طويل الأمد في الصحة والمالية والجدولة اليومية.

يقدم VitaBench 2.0 بُعدين أساسيين للتقييم. الأول هو التخصيص: هل يمكن للوكيل استنتاج أن المستخدم الذي يختار دائمًا مقاعد النافذة للرحلات الجوية سيفضل أيضًا طاولة زاوية في مطعم؟ الثاني هو الاستباقية: هل يمكن للوكيل التعرف عندما تكون المعلومات مفقودة، مثل القيود الغذائية، وطلبها قبل اتخاذ القرار، بدلاً من افتراض الخيار الافتراضي؟ ifbench-the-new-benchmark-testing-ai-instruction-following

فجوة النتائج

يقيس البحث مجموعة من النماذج مفتوحة المصدر والمملوكة، بما في ذلك GPT-4o وClaude 3.5 Sonnet وDeepSeek-V3 وغيرها. من الأفضل قراءة الدرجات الدقيقة في الورقة الكاملة، لكن النتيجة الرئيسية لا لبس فيها: حتى أفضل النماذج تحقق معدلات نجاح أقل بكثير مما هو مطلوب للنشر العملي. الفجوة أوسع في المهام التي تتطلب من الوكيل مراجعة نموذج المستخدم الخاص به عندما تتغير التفضيلات في منتصف التفاعل، وهو سيناريو يتعامل معه البشر بشكل بديهي ولكن نماذج LLM تتعامل معه بشكل منهجي خاطئ.

أحد أوضاع الفشل التوضيحية: الوكلاء الذين حفظوا تفضيل المستخدم بشكل صحيح في وقت مبكر من التفاعل طبقوه بشكل صارم لاحقًا، حتى عندما تناقضت تصرفات المستخدم اللاحقة معه. كان الوكلاء يفتقرون إلى القدرة ما وراء المعرفية لاكتشاف متى يحتاج نموذج المستخدم إلى التحديث. فشل متكرر آخر: الوكلاء الذين فشلوا في طرح أسئلة توضيحية عندما كان طلب المستخدم غير محدد بشكل كافٍ، على الرغم من تدريبهم صراحةً على بيانات اتباع التعليمات. أمسك بُعد الاستباقية في المعيار بالنماذج التي يمكنها إعادة صياغة طلب المستخدم ولكنها لم تستطع التعرف على الثغرات فيه. your-ai-agent-passed-the-test-by-accident-now-theres-a-rubric-for-that

دروس معمارية

توفر الورقة أيضًا واجهة ذاكرة قابلة للتوسع تمكن من المقارنة الخاضعة للرقابة بين هندسات الذاكرة المختلفة. هذه مساهمة عملية: بدلاً من مجرد الإعلان أن النماذج الحالية سيئة في التخصيص، يسمح المعيار للباحثين بعزل ما إذا كان الاختناق هو قدرة النموذج على التفكير، أو آلية استرجاع الذاكرة، أو سعة الانتباه الخام للسياقات الطويلة.

تشير التجارب المبكرة مع الذاكرة ذات النافذة المنزلقة، والذاكرة القائمة على التلخيص، والذاكرة المعززة بالاسترجاع إلى أنه لا توجد بنية واحدة تحل المشكلة. تساعد الأساليب المعززة بالاسترجاع في الاستدعاء الواقعي ولكنها تكافح مع المهام الاستنتاجية، مثل معرفة أن تفضيل البيئات الهادئة في المطاعم يعني شيئًا عن أنواع المقاهي المفضلة. طرق التلخيص تضغط بشكل عنيف للغاية، مما يفقد الدقة. أفضل بنيات الأداء تجمع بين آليات ذاكرة متعددة ولكنها لا تزال تقصر عن التخصيص الموثوق. opid-on-policy-skill-distillation-boosts-language-agent-training-without-external-memories

لماذا هذا مهم خارج المختبر

يأتي VitaBench 2.0 في وقت تقوم فيه عدة شركات، بما في ذلك Google وOpenAI وAnthropic، بإطلاق أو تحضير وكلاء يعملون على آفاق زمنية أطول. مشروع Google Mariner، على سبيل المثال، يهدف إلى مساعدة المستخدمين في إكمال المهام المستندة إلى الويب من خلال تذكر السياق عبر الجلسات. تشير نتائج المعيار إلى أن هذه المنتجات ستواجه نسخة أصعب من مشكلة التخصيص مما يعترف به تسويقها.

هناك أيضًا زاوية خصوصية تلمح إليها الورقة بشكل خفيف. نماذج المستخدم الدائمة، إذا تم تنفيذها، تخلق ناقلات جديدة لتسرب البيانات. الوكيل الذي يبني ملفًا شخصيًا مفصلاً لعادات المستخدم وتفضيلاته هو مساعد أكثر فائدة، ولكنه أيضًا أكثر حساسية. لا يقيم المعيار مقايضات الخصوصية، لكن اختيارات الهندسة المعمارية التي يتيحها يمكن أن تؤثر على مقدار بيانات المستخدم التي تحتاج إلى تخزينها والمدة. mosaicleaks-study-reveals-how-ai-research-agents-leak-private-data-through-web-queries

الخلاصة

لا يدعي VitaBench 2.0 أنه حل كامل. يلاحظ المؤلفون أن مهامهم محاكاة وأن تفاعلات المستخدم الحقيقية في العالم الواقعي أكثر فوضوية مما يمكن لأي معيار التقاطه. لكنه يرسم خطًا واضحًا بين نوعين من قدرة الذكاء الاصطناعي: القدرة على الإجابة على سؤال بشكل صحيح، والقدرة على فهم الشخص جيدًا بما يكفي لتوقع ما سيحتاج إليه بعد ذلك. الفجوة بين هذين النوعين هي المكان الذي سيتم فيه خوض معركة الجيل التالي من أبحاث الوكيل.

في الوقت الحالي، حكم المعيار هو أن وكلاء LLM هم غرباء ممتازون. تعليمهم ليصبحوا أصدقاء سيتطلب الكثير من العمل الإضافي.