الاختناق الحقيقي في وكلاء سطح المكتب المعتمدين على الذكاء الاصطناعي ليس النموذج. إنه مكتبة المهارات.

وكلاء استخدام الحاسوب، أنظمة الذكاء الاصطناعي التي تنفذ مهام برمجية من خلال التفاعل مع الحاسوب، تم تقييمهم عادةً بطرق تخلط بين صعوبة المهمة وطريقة التفاعل المستخدمة. تقدم ورقة بحثية جديدة من الباحثين معيارًا مصممًا لفصل هذه العوامل. يقارن بين وكلاء واجهة المستخدم الرسومية القائمة على الشاشة فقط ووكلاء واجهة سطر الأوامر الوسيطة بالمهارات لأهداف وحالات أولية ومدققين متطابقين عبر 440 مهمة على سطح المكتب تشمل 18 تطبيقًا و12 فئة سير عمل. ifbench-the-new-benchmark-testing-ai-instruction-following

مقارنة مضبوطة لطرق التفاعل

الفكرة الأساسية للدراسة هي أن التقييمات الحالية تخلط بين طريقة التفاعل والاختلافات في المهام والحالات الأولية والمدققين والإجراءات المسموح بها. لإصلاح ذلك، بنى الباحثون معيارًا متطابقًا لطبقة التنفيذ. يتلقى كلا النوعين من الوكلاء أهدافًا وحالات أولية ومدققين للحالة النهائية متطابقة، لكن كل منهما مقيد بإجراءات خاصة بطريقته: يمكن لوكلاء واجهة المستخدم الرسومية رؤية الشاشة والنقر عليها فقط؛ يمكن لوكلاء واجهة سطر الأوامر استخدام واجهات الأوامر البرمجية فقط عبر المهارات المحددة مسبقًا. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

يغطي المعيار 440 مهمة عبر تطبيقات سطح المكتب الشائعة في فئات مثل إدارة البريد الإلكتروني وعمليات جداول البيانات وتنظيم الملفات وتصفح الويب وتحرير الكود. تم تصميم كل مهمة لتكون قابلة للتحقيق بالتساوي عبر طريقتي التفاعل، بشرط توفر القدرة الكافية.

النتائج: واجهة المستخدم الرسومية تتجاوز خط الأساس لواجهة سطر الأوامر

حقق أقوى وكيل لواجهة المستخدم الرسومية تم اختباره معدل نجاح كامل بنسبة 59.1%، متغلبًا على أقوى وكيل لواجهة سطر الأوامر بمهارات أصلية بنسبة 48.2%. قد تشير هذه الفجوة البالغة 10.9 نقطة مئوية إلى أن التفاعل عبر واجهة المستخدم الرسومية هو الأنسب بطبيعته لمهام سطح المكتب. لكن الباحثين تعمقوا لفهم سبب تقصير وكلاء واجهة سطر الأوامر.

"كان وكلاء واجهة سطر الأوامر الذين اختبرناهم محدودين بمكتبات مهاراتهم، مجموعة الأوامر البرمجية التي يمكنهم استخدامها للتفاعل مع البرمجيات"، كما تشير الورقة. "عندما قمنا بتعزيز تلك المهارات باستخدام المدقق الذي يتحقق من الحالة النهائية، قفز نجاح واجهة سطر الأوامر إلى 69.3%، متجاوزًا بشكل كبير وكلاء واجهة المستخدم الرسومية." يشير هذا الاكتشاف إلى أن الكثير من العجز في واجهة سطر الأوامر يأتي من تغطية المهارات غير المكتملة بدلاً من قدرة النموذج الأساسية على الاستدلال. opid-on-policy-skill-distillation-boosts-language-agent-training-without-external-memories

اختناقات مختلفة لطرق مختلفة

تكشف الدراسة عن اختناقات تنفيذ متميزة لكل طريقة. وكلاء واجهة المستخدم الرسومية محدودون بالتفاعل الأرضي الموثوق عبر سير العمل الطويلة. يعانون في المهام التي تتطلب خطوات متسلسلة عديدة، حيث تتراكم أخطاء الإدراك الصغيرة. وكلاء واجهة سطر الأوامر، على الرغم من أنهم أكثر موثوقية لكل إجراء، محدودون بتغطية وقابلية توسيع واجهات مهاراتهم. بدون تغطية مهارات مناسبة، لا يمكنهم ببساطة محاولة إجراءات معينة. ai-document-corruption-in-delegated-workflows-what-a-new-stress-test-reveals

"يجب على وكلاء واجهة المستخدم الرسومية تعلم النقر على البكسل الصحيح، والتمرير بالمقدار الصحيح، وقراءة النص على الشاشة بدقة عبر عشرات الخطوات"، كما يكتب الباحثون. "يمكن لوكلاء واجهة سطر الأوامر تنفيذ الأوامر بدقة ولكن فقط إذا كان لديهم مهارة لهذا الإجراء المحدد. يتحول الاختناق من الأساس الأرضي الإدراكي إلى اكتمال المهارات."

آثار على تصميم وكيل الذكاء الاصطناعي

هذه النتائج لها آثار عملية على المطورين الذين يبنون وكلاء استخدام الحاسوب. تحسين المهارات، توليد أو استرجاع المهارات تلقائيًا بناءً على متطلبات المهمة، يظهر كتقنية قوية لتعزيز أداء وكلاء واجهة سطر الأوامر. يوضح نهج تحسين المهارات الموجه بالمدقق المستخدم في الدراسة أن حتى التوسع المتواضع في المهارات يمكن أن يحقق مكاسب كبيرة. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

بالنسبة لوكلاء واجهة المستخدم الرسومية، يكمن مسار التحسين في أساس أرضي بصري أفضل، وفهم فيديو ذو سياق أطول، واستراتيجيات أكثر قوة لاسترداد الأخطاء. يمكن للأساليب الهجينة التي تجمع بين إدراك واجهة المستخدم الرسومية وتنفيذ واجهة سطر الأوامر عند الإمكان أن تقدم أفضل ما في العالمين.

النظر إلى المستقبل

تم إصدار المعيار نفسه، الذي يتكون من 440 مهمة مع واجهات واجهة مستخدم رسومية وواجهة سطر أوامر متطابقة، وحالات أولية، ومدققين، بشكل عام لتسهيل المزيد من البحث. تشير الورقة إلى أن العمل المستقبلي يجب أن يستكشف الاسترجاع التكيفي للمهارات، والدمج متعدد الوسائط لمعلومات الشاشة مع تنفيذ الأوامر، والمهام التي تتطلب تعاونًا في الوقت الفعلي بين وكلاء يعملون في طرق مختلفة. cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

بينما تنتقل وكلاء استخدام الحاسوب من مختبرات الأبحاث إلى أنظمة الإنتاج، يصبح فهم المفاضلات بين طرق التفاعل أمرًا بالغ الأهمية. توفر هذه الدراسة إطارًا مضبوطًا وقائمًا على الأدلة لاتخاذ قرارات التصميم هذه.