OPID يمنح وكلاء اللغة إشارة مكافأة كثيفة بما يكفي للتخلي عن الذاكرة الخارجية

قدم فريق من الباحثين OPID (تقطير المهارات ضمن السياسة الحالية)، وهو إطار يعالج مشكلة مستمرة في التعلم التعزيزي القائم على النتائج لوكلاء اللغة: ندرة المكافآت على مستوى المسار. من خلال سحب الإشراف الكثيف على مستوى الرمز مباشرة من المسارات المكتملة ضمن السياسة الحالية، فإنه يوفر توجيهًا للقرارات الوسيطة دون عبء ذكريات المهارات الخارجية أو السياق المميز المسترجع. يلاحظ الباحثون أن تلك البدائل مكلفة في الصيانة وغالبًا ما تنحرف عن التزامن مع توزيع الحالة أثناء التفاعلات متعددة الأدوار. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

الورقة البحثية، المنشورة على arXiv في 25 يونيو 2026، ضمن فئة الحوسبة واللغة، تؤطر النظر إلى المسار السابق كمهارات هرمية. المهارات على مستوى الحلقة تلتقط سير العمل العالمي أو قواعد تجنب الفشل، بينما المهارات على مستوى الخطوة تلتقط معرفة القرار المحلي في اللحظات الزمنية الحرجة. تحدد آلية التوجيه الحاسمة أولاً متى يتم تطبيق التوجيه على مستوى الخطوة، مع العودة إلى المهارات على مستوى الحلقة كخيار افتراضي. ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

الآلية الأساسية

تحافظ البنية على التعلم التعزيزي كهدف تدريبي أساسي ولكنها تضيف إشرافًا كثيفًا ومتوافقًا مع التوزيع من منظور لاحق. يتم حقن المهارة المحددة في تاريخ التفاعل، مما يسمح للسياسة القديمة بإعادة تسجيل نفس الاستجابة التي تم أخذ عينات منها تحت كل من السياقات الأصلية والمعززة بالمهارات. ينتج عن تحول الاحتمال اللوغاريتمي الناتج ميزة تقطير ذاتي على مستوى الرمز، والتي يتم دمجها بعد ذلك مع ميزة النتيجة لتحسين السياسة.

هذا يتجاوز عيوب المتغيرات الحالية المشروطة بالمهارات. غالبًا ما تتطلب تلك المتغيرات بناء وتحديث ذكريات المهارات الخارجية، وهي عملية مكلفة حسابيًا يمكن أن تولد مهارات غير متوافقة مع توزيع حالة السياسة الحالية، خاصة في المهام الوكيلة متعددة الأدوار. بدلاً من ذلك، يستخلص OPID المهارات من البيانات ضمن السياسة الحالية، مما يحافظ على ملاءمتها ويقلل العبء. the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

أداء المعايير

أجرى الفريق اختبارات OPID عبر ثلاثة معايير: ALFWorld (مهام الوكيل المتجسد)، WebShop (التسوق عبر الإنترنت)، و Search-based QA (استرجاع المعلومات). في كل مجال، تفوق الإطار على التعلم التعزيزي القائم على النتائج فقط وطرق تقطير المهارات الحالية، بما في ذلك الطرق التي تعتمد على مستودعات المهارات الخارجية. gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key

تظهر النتائج الرئيسية مكاسب في كل من الأداء النهائي وكفاءة العينات. يشير العمل أيضًا إلى متانة معززة، مما يوحي بأن الإشراف الهرمي اللاحق يساعد الوكلاء على التعميم بشكل أفضل عبر الحلقات. الكود متاح على GitHub على الرابط https://github.com/jinyangwu/OPID/tree/main.

الآثار المترتبة على الذكاء الاصطناعي الوكيل

يأتي هذا الإصدار بينما يركز مجتمع أبحاث الذكاء الاصطناعي على تدريب وكلاء اللغة القادرين على التفاعلات متعددة الأدوار مع بيئاتهم. يوفر التعلم التعزيزي أساسًا مستقرًا للتحسين، لكن ندرة إشارات المكافأة، غالبًا ما تكون مكافأة نتيجة واحدة فقط لكل مسار، كانت منذ فترة طويلة عنق زجاجة. fast-lewm-parallel-action-prefix-prediction-slashes-latent-world-model-planning-costs

من خلال استخراج إشراف كثيف من المسارات ضمن السياسة الحالية دون ذاكرة خارجية، يوفر OPID حلاً عمليًا وقابلاً للتوسع. النهج مناسب تمامًا للمهام الوكيلة حيث القرارات الوسيطة تصنع النتيجة النهائية أو تحطمها، فكر في تصفح الويب، استخدام الأدوات، أو الاستدلال متعدد الخطوات. cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

يخطط الباحثون لتوسيع OPID ليشمل بيئات أكثر تعقيدًا، وهم يبحثون عن طرق لتعلم تمثيل المهارات الهرمي بطريقة غير خاضعة للإشراف لقابلية تطبيق أوسع.