Ai2 فتح كل الأدراج في خزانة الذكاء الاصطناعي، إليك ما بداخلها

كشف معهد ألين للذكاء الاصطناعي (Ai2) عن Olmo 3، وهي عائلة من نماذج اللغة المفتوحة بالكامل. الفكرة الرئيسية: شفافية كاملة من البيانات إلى النشر. العديد من الشركات ادعت ذلك من قبل، لكن القليل منها أوفى به. يفتح Olmo 3 كل درج في الخزانة. مخاليط ما قبل التدريب الخام، وتحسينات منتصف التدريب، ومجموعات تعليمات ما بعد التدريب، وأدوات التقييم، وحتى الأدوات المستخدمة لتنظيف البيانات وإزالة التكرار قبل بدء التدريب. كلها متاحة للعموم. microsoft-open-sources-data-formulator-07-for-enterprise-data-analytics

يأتي Olmo 3 بستة متغيرات على مقياسين للمعلمات، 7 مليارات و32 مليار معلمة، كل منها بثلاث نكهات: القاعدة، والتعليمات، والتفكير. يقوم متغير 32 مليار معلمة (Think) بالاستدلال المتسلسل للفكر، مما يكشف عن الخطوات الوسيطة للمطالبات المعقدة. يعتبر متغير 32 مليار معلمة (Instruct) النموذج الأكثر قدرة لدى Ai2 للمحادثة المفتوحة بالكامل حتى الآن، مع دعم استخدام الأدوات والحوار متعدد الأدوار. تهدف متغيرات 7 مليارات معلمة إلى الكفاءة: فهي تعمل على مجموعة واسعة من الأجهزة مع الحفاظ على أداء تنافسي. توجد نتائج معايير على بطاقات النماذج، وتبدو جيدة للبرمجة والفهم القرائي والرياضيات. لكن القصة الحقيقية هي ما يسميه Ai2 'تدفق النموذج'. هذه هي دورة الحياة الكاملة: تنظيم البيانات من خلال ما قبل التدريب، ومنتصف التدريب، وتكييف السياق الطويل، وضبط التعليمات، وتحسين التفضيل، والتعلم المعزز، وأخيراً فرع 'التفكير' المتخصص في الاستدلال. sippsh-launches-open-source-library-for-local-ai-inference-with-3x-to-5x-speedup

خط أنابيب بيانات شفاف

يوفر Ai2 روابط تنزيل لمزيج بيانات ما قبل التدريب، وهو مزيج مفتوح بالكامل من نصوص ويب منسقة ورموز وكتب ومقالات علمية، مع إزالة التكرار وفلترة الجودة. كما أن بيانات منتصف التدريب، المستخدمة لتحسين النموذج الأساسي بمخاليط تركز على المجال، متاحة أيضًا. تغطي بيانات ما بعد التدريب استجابات التعليمات الخاضعة للإشراف وبيانات المقارنة المستخدمة في مراحل تحسين التفضيل المباشر (DPO) والتعلم المعزز.

الأدوات مفتوحة بالمثل. إطار التدريب، OlmoCore، متاح للتكوين السريع. تشمل أدوات معالجة البيانات المسبقة Duplodocus لإزالة التكرار الضبابي فائقة الكفاءة وDatamap-rs للتنظيف على نطاق واسع. خط أنابيب ما بعد التدريب، Open Instruct، يسمح للباحثين بتكرار أو تعديل عملية ضبط التعليمات. للتقييم، يقدم Ai2 OLMES للتقييمات القابلة للتكرار وDecon للمساعدة في إزالة تلوث مجموعة الاختبار من بيانات التدريب. hugging-face-showcases-slack-native-coding-agent-and-ai-research-highlights

ربما تكون OlmoTrace، الأكثر إثارة للاهتمام، تتيح للمستخدمين تتبع مخرجات النموذج إلى نقاط بيانات تدريب محددة. قد يكون ذلك حاسماً لتشخيص الهلوسة أو التحيز. كما أنه مهم لأبحاث حوكمة الذكاء الاصطناعي التي تتطلب مصدراً على مستوى المثال.

لماذا تعتبر الشفافية الكاملة مهمة الآن

يصدر هذا الإصدار في وقت أصبح فيه تعريف 'المفتوح' في الذكاء الاصطناعي محل خلاف عميق. سلسلة Llama من Meta، الموصوفة على نطاق واسع بأنها مفتوحة، تأتي تحت ترخيص مخصص يقيد الاستخدام التجاري للتطبيقات واسعة النطاق. نماذج Mistral تحمل قيودًا مماثلة. حتى النماذج المصنفة على أنها 'مفتوحة المصدر' من قبل منشئيها غالبًا ما تحجب بيانات التدريب وسجلات التدريب ونقاط التفتيش الوسيطة.

يتجاوز Olmo 3 هذه التنازلات. التدفق بأكمله، كل نقطة تفتيش، كل قرار بشأن تصفية البيانات، كل معلمة فائقة، متاح للعموم. هذا ليس تنازلاً. إنه الهدف. تعامل Ai2 الشفافية كشرط أساسي للصرامة العلمية: إذا لم يمكن تكرار نتيجة ولم يمكن فحص البيانات الكامنة وراءها، فإن المجال يعمل على الثقة بدلاً من الأدلة. the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

وصف الصحفي في فوربس جاناكيرام إم إس في Olmo بأنه 'يبرز من خلال توفير الوصول الكامل' مقارنة بنماذج LLM المفتوحة الحالية. قال الرئيس التنفيذي لـ Hugging Face كليم ديلانج إن Olmo 'يضمن الشفافية الكاملة ويضع أساسًا قويًا للعمل التحويلي'.

يولد البحث بالفعل

الشفافية تؤتي ثمارها بالفعل. يسلط Ai2 الضوء على ثلاثة مشاريع بحثية مبنية على نقاط تفتيش Olmo السابقة: أبحاث التعلم العكسي باستخدام Olmo-7B كمنصة اختبار لإزالة تأثير بيانات محددة دون إعادة التدريب؛ تطبيقات البرمجة اللغوية العصبية السريرية لتحليل النصوص الطبية مع الحفاظ على شفافية البيانات؛ ودراسات أساسية حول ديناميكيات التعلم وسلوكيات القياس التي تم تمكينها من خلال الوصول إلى سجلات التدريب ونقاط التفتيش الوسيطة. anthropic-launches-claude-science-an-ai-workbench-tailored-for-researchers

أشار سيمون مو، المشارك في قيادة مشروع vLLM، إلى أن بنية Olmo تدفع 'حدود تصميم النموذج مفتوح المصدر'. وصف أناستاسيوس أنجيلوبولوس، الرئيس التنفيذي لـ LMArena، Olmo بأنه 'يصبح الأداة التي يبني من خلالها المجتمع الطبقة التالية من الذكاء الأساسي المفتوح'.

ما هو غير معروف بعد

لم ينشر Ai2 نتائج معايير مفصلة مقابل نماذج مماثلة من Meta أو Mistral أو Qwen. لم يتم نشر أرقام زمن الوصول أو مقارنات تكلفة الاستدلال أيضًا. لا تحدد صفحة تدفق النموذج الأجهزة المستخدمة للتدريب، أو الميزانية الحسابية الإجمالية، أو استهلاك الطاقة. يتم الكشف عن خطوات التفكير لمتغير Think، لكن الشركة لم تصف منهجية سلسلة الأفكار بالتفصيل. هذه الفجوات ملحوظة لمشروع مبني على الشفافية. لكن البيانات والرمز متاحان للعموم، مما يعني أن عمليات التدقيق المستقلة يمكنها سدها. ifbench-the-new-benchmark-testing-ai-instruction-following

تقبل الشركة الاشتراكات للحصول على تحديثات شهرية حول عمل Ai2، مما يشير إلى أن Olmo 3 ليس إصدارًا لمرة واحدة بل جزء من جهد مستمر لإعادة تعريف الانفتاح في الذكاء الاصطناعي.