تحليل على مستوى الرموز يكشف أن النماذج اللغوية الهجينة تتفوق على الكلمات الحاملة للمعنى وتتخلف عن التكرارات

يمكن لنموذج لغة هجين أن ينافس أو يتفوق على محول قياسي في المعايير الإجمالية، ولكن ماذا يخفي هذا الرقم الرئيسي؟ شرع فريق في معهد ألين للذكاء الاصطناعي في الإجابة عن هذا السؤال من خلال مقارنة نموذجين متقاربين بمعامل 7 مليارات، وهما أولمو 3، وهو محول نقي، وأولمو الهجين، الذي يستبدل معظم طبقات الانتباه بطبقات متكررة، على مستوى الرمز.

الانتباه مقابل التكرار: نقاط قوة متكاملة

في المحول، تستخدم كل طبقة انتباهًا، مما يسمح لكل رمز بالاعتماد مباشرة على جميع الرموز السابقة. وهذا يجعل الانتباه ممتازًا في استدعاء رموز محددة من الماضي البعيد، لكن تكلفته الحسابية تتزايد تربيعيًا مع طول الإدخال. يحتفظ النموذج الهجين ببعض طبقات الانتباه لكنه يستبدل الباقي بطبقات متكررة تحمل ذاكرة مضغوطة ذات حجم ثابت، وتعالج كل رمز بتكلفة ثابتة بغض النظر عن طول الإدخال. هذه الذاكرة المضغوطة تخسر بعض المعلومات، لذا لا تستطيع الطبقات المتكررة العودة للوراء للحصول على نسخ مطابقة، لكنها تتفوق في تتبع المعلومات التي تتطور بشكل تسلسلي.

المنهجية: فجوة الفقدان

لعزل أين تتفوق كل بنية معمارية، قام الباحثون بتغذية كلا النموذجين بنفس مقاطع النصوص والمقالات وإدخالات ويكيبيديا والكتب والأوراق العلمية ولغات بايثون ولغة ترميز النص الفائق ولغة لاتك، وسجلوا الاحتمالية التي خصها كل نموذج للرمز التالي الفعلي. وقاموا بحساب فجوة الفقدان (الفرق في الفقدان) رمزًا برمز: فجوة موجبة تعني أن النموذج الهجين تنبأ بشكل أفضل، وفجوة سالبة تعني أن المحول فعل ذلك.

قال الفريق: "ثم قمنا بفرز كل رمز إلى فئة ومتوسط فجوة الفقدان ضمن هذه الفئات، ثم أعدنا التحقق من كل نمط باستخدام انحدار يقدر تأثير الفئة الخاص مع تثبيت العوامل الأخرى."

النتائج الرئيسية: كلمات المحتوى مقابل كلمات الوظيفة

في النثر، يكون الانقسام الأوضح بين كلمات المحتوى، مثل الأسماء والأفعال والصفات الحاملة للمعنى، وكلمات الوظيفة مثل "ال" و"من" و"هو". يتنبأ النموذج الهجين بكلمات المحتوى بشكل أفضل بكثير من المحول، بفجوة فقدان تبلغ حوالي 0.03، بينما تضيق الفجوة إلى ما يقرب من الصفر في كلمات الوظيفة. وتكون الميزة ملحوظة بشكل خاص في الظروف والصفات.

لاحظ الباحثون: "إن ميزة النموذج الهجين تكون أكبر في الكلمات التي تحدد موضوع الجملة وأصغر في الكلمات النحوية التي يمكن لأي نموذج تخمينها تقريبًا من بناء الجملة."

أين تختفي ميزة النموذج الهجين

تختفي ميزة النموذج الهجين بالكامل تقريبًا في الرموز التي تكرر ببساطة ما هو موجود بالفعل في الإدخال. حدد الفريق هذه الحالات من خلال البحث عن تكرارات نصوص متكررة، وهي سلسلة من النصوص حيث ظهر الرمز الذي يكمل التسلسل حرفيًا في وقت سابق. كلما طالت السلسلة المتكررة، قلت ميزة النموذج الهجين، حتى تقترب من الصفر.

حالة أخرى واضحة هي الأقواس المغلقة. وجد الفريق أن الأقواس المغلقة، وليس المفتوحة، لا تظهر أي ميزة للنموذج الهجين عبر الأقواس في اللغة والكود والترميز، وهو نمط يتوافق مع كون الانتباه كافيًا لمطابقة الأقواس.

خسائر الرموز المصفاة كأداة تقييم

بناءً على هذه النتائج، استكشف الفريق استخدام الخسائر المصفاة على أنواع محددة من الرموز كطريقة تقييم. قارنوا ثلاثة نماذج بمعامل مليار واحد: محول، وهجين، ونموذج متكرر نقي بدون أي انتباه.

في الرموز الحاملة للمعنى التي ليست مكررة، يتفوق كل من النموذج الهجين والمتكرر النقي على المحول، مع أفضل أداء للنموذج الهجين. في الرموز المكررة، يتخلف النموذج المتكرر النقي، الذي ليس لديه انتباه للعودة للنسخة، عن كل من النموذج الهجين والمحول.

كتب الباحثون: "وبالتالي، تكشف خسائر الرموز المصفاة هذه عن اختلافات دقيقة مختلفة بين البنى المعمارية، بما في ذلك قدرات النسخ والاختلافات في كلمات المحتوى، في وقت مبكر من التدريب بطريقة لن تكون مرئية بخلاف ذلك."

الآثار المترتبة على تصميم البنية المعمارية

يحمل العمل درسين رئيسيين. أولاً، متوسط الخسارة الإجمالية، متوسط الخطأ للنموذج عبر جميع الرموز، هو أداة خشنة جدًا لمقارنة بنى المحولات والهجينة. تؤدي تسجيل الخسارة على الرموز التي تختبر قدرة معينة فقط إلى إظهار الاختلافات الرئيسية.

ثانيًا، قد تتعلق ميزة النموذج الهجين الخاصة على الرموز مفتوحة الفئة بقدرات تتبع الحالة للطبقات المتكررة. اختتم الفريق: "نعتقد أن أفضل البنى الهجينة ستأتي من فهم، رمزًا برمز، ما يفعله كل مكون من مكونات النموذج بشكل جيد."

أصدر الباحثون التقرير الكامل ونماذج أولمو 3 وأولمو الهجين والقطع الأثرية المفتوحة المرتبطة بها للمجتمع لاستكشافها.