أولمو-إيفال من Ai2 يمنح مطوري LLM ميكروسكوبًا لكل نقطة تفتيش

أصدر معهد آلن للذكاء الاصطناعي (Ai2) أولمو-إيفال، وهو منصة عمل تقييم مفتوحة مصممة للعمل اليومي لتطوير نماذج اللغة الكبيرة. يوسع الإطار معيار تقييم نموذج اللغة المفتوح (OLMES) الذي تم تقديمه في عام 2024، والذي يهدف إلى جعل نتائج المعايير قابلة للمقارنة عبر إصدارات النماذج. open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

مصمم لتطوير النماذج المستمر

وفقًا لـ Ai2، فإن معظم أدوات التقييم الحالية إما مبنية لتشغيل المعايير المعيارية المعيارية على نماذج مكتملة أو لاختبار الوكلاء في بيئات معزولة. لا يتناسب أي منهما مع واقع التطوير النشط، حيث يقوم الباحثون بإجراء تعديلات متكررة على البيانات أو البنية أو المعلمات الفائقة ويحتاجون إلى ردود فعل سريعة على كل نقطة تفتيش جديدة. تم بناء أولمو-إيفال خصيصًا لهذه الحلقة، مما يسمح للمطورين بإضافة المعايير المعيارية المعيارية، وتكوين سياسات وقت التشغيل، ومقارنة النتائج سؤالًا بسؤال بدلاً من الاعتماد فقط على الدرجات الإجمالية.

قال باحثو Ai2 في الإعلان: "الدرجة النهائية للنموذج ليست سوى جزء من عملية التقييم". يبني أولمو-إيفال على OLMES عن طريق تقليل العمل اللازم لتطبيق تقييمات جديدة وتقديم مرونة أكبر في كيفية تشغيلها.

بنية معيارية: المهام، الأحزمة، والمجموعات

يحتوي الإطار على أربعة مكونات رئيسية. يحدد المهمة ما يتم تقييمه: مجموعة بيانات المعيار، وكيفية بناء طلبات التقييم، وكيفية تسجيل الإجابات. تجمع المجموعة المهام ذات الصلة للتنفيذ المشترك. يتحكم الحزام في سياسة وقت التشغيل، بما في ذلك النموذج والأدوات والسقالات وبيئة الصندوق الرمل. يعني هذا الفصل أن نفس المهمة يمكن تشغيلها تحت ظروف مختلفة دون إعادة كتابة الكود. cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

على سبيل المثال، يمكن تعريف معيار أساسي للإجابة على الأسئلة في بضعة أسطر من بايثون باستخدام محملات بيانات وتنسيقات بسيطة. يمكن لمتغير تعديل معلمات مثل التوجيه بعدد قليل من الأمثلة. تجمع المجموعة معايير متعددة في أمر واحد. يمكن تشغيل نفس المعيار مع أو بدون الوصول إلى الأدوات، مما يتيح مقارنة مباشرة لكيفية أداء النموذج مع أو بدون بحث أو تنفيذ كود.

تنفيذ معزول لتقييمات الوكيل

يتضمن أولمو-إيفال طبقة صندوق رمل وتوجيه قدرة للتقييمات حيث يجب على النماذج استخدام أدوات مثل كتابة وتنفيذ الكود، أو تصفح الويب، أو التفاعل مع واجهات برمجة التطبيقات. على عكس الأطر التي تفرض كل تقييم في بيئة حاوية بالكامل، يختار أولمو-إيفال الإعداد الافتراضي الخفيف: معيار يحتاج فقط إلى نموذج للإجابة على الأسئلة يعمل مباشرة. عندما يتطلب المعيار بيئة مقفلة، على سبيل المثال لتنفيذ الكود المُنشأ بأمان، يتم تشغيل حاوية معزولة. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

يقول Ai2 إن هذا التصميم يجعل الأداة أسرع وأرخص للتقييمات المعيارية مع الحفاظ على الأمان وقابلية التكرار لسير العمل الوكيلية الأكثر تعقيدًا.

مقارنة مع هاربر

يقارن Ai2 أولمو-إيفال بشكل صريح مع هاربر، وهو إطار مفتوح لتقييم وكلاء الذكاء الاصطناعي داخل حاويات محكمة الإغلاق. حيث يركز هاربر على نشر معايير الوكيل مع خطوات تحقق إضافية للمشاركة العامة، فإن أولمو-إيفال موجه نحو تطوير النماذج اليومي. تم بناء عملية هاربر لإضافة المعايير للمشاركة العامة؛ يعطي أولمو-إيفال الأولوية للسرعة والمرونة أثناء التطوير. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

تسمح معيارية أولمو-إيفال أيضًا للمطورين بتبديل النموذج والأدوات والنماذج المساعدة مثل LLM كقاضي وإعدادات البيئة بشكل مستقل. يمكن إعادة استخدام تعريف أداة مكتوب بوسم @tool عبر أحزمة متعددة دون تكرار.

مقارنة تفصيلية: الدرجات مع الخطأ المعياري

يبلغ أولمو-إيفال عن الدرجات الإجمالية مع الخطأ المعياري والحد الأدنى للتأثير القابل للاكتشاف، لكن ميزته الأكثر تميزًا هي عرض المقارنة الزوجية لكل سؤال. يصطف هذا الأسئلة نفسها عبر نقطتي تفتيش للنموذج ويقارن الإجابات واحدة تلو الأخرى، مع تثبيت جميع المتغيرات الأخرى. الهدف هو مساعدة المطورين على رؤية ما إذا كان التغيير الصغير في المتوسط العام يعكس تحسنًا حقيقيًا أم مجرد ضوضاء إحصائية.

ذكر Ai2: "إذا كان سؤالك المتكرر هو 'كيف تختلف نقطة التفتيش هذه عن السابقة، وأين بالضبط تحسنت أو تراجعت؟'، فهذا هو سير العمل الذي بني من أجله أولمو-إيفال". ifbench-the-new-benchmark-testing-ai-instruction-following

إصدار مفتوح وتكامل مع خط نماذج Ai2

يبني أولمو-إيفال مباشرة على OLMES، المعيار الذي قدمته Ai2 في عام 2024 لجعل نتائج المعايير قابلة للمقارنة عبر إصدارات النماذج. تم استخدام معيار OLMES سابقًا لتقييم نماذج Ai2 المفتوحة، من أولمو إلى تولو. توسع منصة العمل الجديدة هذا النهج في مرحلة التطوير النشط. ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

الإطار متاح كبرنامج مفتوح المصدر، وتدعو Ai2 المجتمع إلى المساهمة بالمهام والمجموعات والأحزمة.