إي إم أو من Ai2: ذكاء اصطناعي معياري ينبثق من البيانات وليس القواعد البشرية

أطلقت Ai2 نموذج إي إم أو، وهو نموذج لغة جديد مختلط الخبراء تم تدريبه مسبقًا من البداية إلى النهاية بحيث يظهر الهيكل المعياري مباشرة من البيانات، دون حاجة لقواعد بشرية مسبقة. يتيح النموذج للمستخدمين تنشيط مجموعة فرعية صغيرة فقط من خبرائه، بنسبة 12.5% فقط من الإجمالي، لمهمة معينة مع الاحتفاظ بأداء قريب من النموذج الكامل. ومع ذلك، فهو يعمل أيضًا كنموذج قوي للأغراض العامة عند دمج جميع الخبراء.open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

عادةً ما يتم تدريب ونشر نماذج اللغة الكبيرة كأنظمة متراصة: يتم تهيئة نموذج واحد، وتدريبه مسبقًا، وضبطه بدقة، وتقديمه ككيان واحد موحد. لكن التطبيقات غالبًا ما تحتاج فقط إلى مجموعة فرعية من القدرات، مثل توليد الكود، أو الاستدلال الرياضي، أو المعرفة المتخصصة في مجال معين. مع وصول النماذج الحدودية بانتظام إلى تريليونات المعلمات، يصبح استخدام النموذج الكامل وتكييفه غير عملي لمعظم المستخدمين ويتسبب في تكلفة حسابية وذاكرة غير ضرورية.

تبدو نماذج مختلط الخبراء وكأنها طريقة طبيعية لتخفيف هذا القيد. بدلاً من استخدام شبكة تغذية أمامية كبيرة واحدة في كل طبقة، تحتوي نماذج مختلط الخبراء على شبكات أصغر عديدة، تسمى خبراء، وتقوم بتنشيط مجموعة فرعية صغيرة فقط لكل رمز إدخال. من حيث المبدأ، يمكن لمهمة تحتاج فقط إلى قدرة واحدة أن تقوم بتحميل الخبراء ذوي الصلة فقط.

لكن من الناحية العملية، لا تزال نماذج مختلط الخبراء الحالية بحاجة إلى النموذج الكامل لتعمل بشكل جيد. حتى داخل إدخال واحد، غالبًا ما تنشط الرموز المختلفة خبراء مختلفين، لذلك يمكن لمهمة أن تستخدم جميع الخبراء أثناء توليدها. كما يوضح باحثو Ai2 في ورقة إي إم أو، يحدث هذا جزئيًا لأن الخبراء في نماذج مختلط الخبراء القياسية غالبًا ما يتخصصون في أنماط معجمية منخفضة المستوى، مثل حروف الجر أو علامات الترقيم، بدلاً من المجالات أو القدرات عالية المستوى. نتيجة لذلك، لا يمكن استخدام مجموعات فرعية صغيرة من الخبراء بشكل موثوق بمفردها.what-the-5-day-old-paper-260623050-tells-us-about-the-future-of-ai

أرادت Ai2 بدلاً من ذلك نماذج مختلط الخبراء التي تنظم خبراءها في مجموعات متماسكة يمكن استخدامها وتأليفها بشكل انتقائي.

كيف يحقق إي إم أو النمطية الناشئة

تتمثل إحدى طرق تشجيع ذلك أثناء التدريب المسبق في توجيه الرموز إلى خبراء بناءً على مجالات دلالية محددة مسبقًا، مثل الرياضيات أو الأحياء أو الكود. جرت محاولات سابقة مثل مشروع BTX ومشروع FlexOlmo من Ai2. لكن المجالات المحددة مسبقًا تأتي مع قيود مهمة. فهي تتطلب تسميات المجالات عبر مجموعة التدريب المسبق، والتي يمكن أن تكون غامضة ومكلفة للحصول عليها، وقد تضخ الكثير من التحيز البشري في كيفية تنظيم النموذج لنفسه.

يتبع إي إم أو نهجًا مختلفًا. الفكرة الأساسية هي أن الرموز من نفس المستند تأتي عادةً من نفس المجال. لذلك تستخدم Ai2 حدود المستندات كإشارة إشرافية ضعيفة: أثناء التدريب، يتم تقييد جميع الرموز في مستند لاختيار خبرائها النشطين من مجموعة خبراء مشتركة.

في نموذج مختلط الخبراء يحتوي على 10 خبراء إجمالاً و2 خبير نشط لكل رمز، يتم تقييد جميع الرموز في مستند للتوجيه داخل نفس المجموعة المكونة من 4 خبراء. يتم اختيار هذه المجموعة بواسطة جهاز التوجيه نفسه: فهو يقوم بمتوسط تفضيلات الخبراء لجهاز التوجيه عبر جميع الرموز في المستند، ثم يحدد الخبراء الأكثر استخدامًا كمجموعة المستند المشتركة. يمكن للمستندات المختلفة استخدام مجموعات مختلفة، مما يسمح بظهور مجموعات خبراء متكررة مباشرة من بيانات التدريب.

يلاحظ الباحثون عدة اعتبارات تتعلق بالتنفيذ:

• موازنة الحمل: في التدريب القياسي لنماذج مختلط الخبراء، يمنع هدف موازنة الحمل النموذج من الانهيار على عدد صغير فقط من الخبراء. يطبق إي إم أو موازنة الحمل عالميًا عبر العديد من المستندات، مما يجعل الهدفين متكاملين: يشجع إي إم أو الرموز داخل نفس المستند على استخدام مجموعة خبراء متماسكة، بينما تشجع موازنة الحمل العالمية المستندات المختلفة على تغطية جميع الخبراء بشكل جماعي.
• حجم مجموعة المستند: بدلاً من تثبيت حجم مجموعة واحد، تقوم Ai2 بأخذ عينات عشوائية منه أثناء التدريب. هذا يمنع إي إم أو من الإفراط في التكيف مع حجم مجموعة فرعية واحد ويسمح له بدعم أحجام مجموعات فرعية مختلفة للخبراء في وقت الاستدلال.

نتائج المعايير والأداء

في معايير الأغراض العامة، يتطابق إي إم أو مع أداء نموذج مختلط الخبراء القياسي، مما يظهر أن هدف النمطية لا يأتي على حساب أداء النموذج الكامل. لكن السؤال الأكثر أهمية هو ما إذا كان النموذج لا يزال قادرًا على العمل عند الاحتفاظ فقط بمجموعة فرعية من الخبراء. في هذا الإعداد، تقوم Ai2 ببناء مجموعات فرعية من الخبراء خاصة بالمهمة عن طريق ترتيب الخبراء وفقًا لاستخدام التوجيه الخاص بهم على كمية صغيرة من بيانات التحقق من صحة المهمة، مع الاحتفاظ بالخبراء الأكثر استخدامًا والتخلص من الباقي.ifbench-the-new-benchmark-testing-ai-instruction-following

تظهر النتائج أن إي إم أو يظل قويًا في ظل الاستخدام الانتقائي للخبراء. عند الاحتفاظ بنسبة 25% فقط من الخبراء (32 مجموعة فرعية من الخبراء)، يفقد إي إم أو حوالي 1% فقط من الأداء المطلق عبر جميع المعايير؛ حتى عند الاحتفاظ بنسبة 12.5% فقط من الخبراء (16 مجموعة فرعية من الخبراء)، يبلغ الانخفاض الإجمالي حوالي 3% فقط. هذا ينطبق قبل وبعد الضبط الدقيق. على النقيض من ذلك، يتدهور نموذج مختلط الخبراء القياسي المطابق بشكل حاد مع صغر حجم المجموعة الفرعية للخبراء، وغالبًا ما ينخفض قريبًا من أو أقل من الأداء العشوائي في أصغر إعدادات المجموعة الفرعية للخبراء.how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

علاوة على ذلك، تظهر Ai2 أن اختيار الخبراء المناسبين لمهمة ما هو أمر رخيص بشكل مدهش: يكفي مثال واحد مع عروض توضيحية قليلة التصوير لتحديد وحدة تؤدي بنفس مستوى تلك المختارة باستخدام مجموعة تحقق كاملة. يعمل إي إم أو أيضًا بشكل جيد مع أساليب تقليم الخبراء الحالية مثل Easy-EP، والاثنان يكملان بعضهما البعض.

فيما تتخصص المجموعات الفرعية من الخبراء

لمعرفة ما تعلمه إي إم أو بالفعل، قام باحثو Ai2 بتجميع تنشيطات جهاز التوجيه لأول 100 رمز عبر 12,000 مستند تدريب مسبق. الفرق عن نموذج مختلط الخبراء القياسي صارخ.

تتوافق مجموعات رموز إي إم أو مع أشياء مثل الصحة والطب والعافية، وتقارير الأخبار، والسياسة والانتخابات الأمريكية، والأفلام والموسيقى. ينتج نموذج مختلط الخبراء القياسي مجموعات مثل حروف الجر، وأسماء العلم، وأفعال الربط، أو أدوات التعريف. في إي إم أو، تنتهي الرموز من مستند معين في الغالب في نفس المجموعة؛ في نموذج مختلط الخبراء القياسي، تتوزع عبر مجموعات عديدة.

من الأسهل رؤية التباين في مثال واحد. خذ مقالًا صحيًا: في إي إم أو، سيتم توجيه كل رمز تقريبًا إلى مجموعة الصحة والطب والعافية. في نموذج مختلط الخبراء القياسي، ستكون المجموعة الأعلى هي الملكية وأدوات التعريف؛ سيقوم النموذج بتجميع المقال مع كل نص آخر يستخدم كلمة 'the' أو 'your'، بغض النظر عن محتوى ذلك النص.

نظرًا لأن إي إم أو يشكل وحدات تتوافق مع مجالات دلالية بدلاً من الميزات السطحية، يمكن للمستخدمين اختيار مجموعة فرعية صغيرة من الخبراء وما زال لديهم نموذج فعال، حيث تتوافق المجموعة مع قدرة حقيقية.the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

الإصدار والعمل المستقبلي

تقوم Ai2 بإصدار النموذج الكامل المدرب على إي إم أو، ونموذج أساسي قياسي مختلط الخبراء مدرب على نفس البيانات، ورمز التدريب. يأمل الباحثون أن تكون هذه القطع الأثرية مفيدة للمجموعات الأخرى التي تدرس النمطية الناشئة في نماذج مختلط الخبراء.ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

هناك المزيد من العمل الذي يتعين القيام به. إي إم أو هو خطوة مبكرة نحو جعل النماذج الكبيرة المتناثرة أكثر نمطية، لكن تبقى العديد من الأسئلة: كيفية اختيار وتأليف المجموعات الفرعية للخبراء بشكل أفضل، وكيفية تحديث الوحدات دون تعطيل النموذج الكامل، وكيفية استخدام الهيكل النمطي لتحسين قابلية التفسير والتحكم. يجب أن يساعد إصدار هذه النماذج المجتمع على دراسة هذه الأسئلة وبناء نماذج لغة نمطية يسهل نشرها وتكييفها وفحصها وتأليفها.