المعيار الذي جعل نماذج اللغة تتحدث: كيف غيّر معيار GLUE لعام 2018 مسار الذكاء الاصطناعي للأبد

قبل سبع سنوات، نشرت مجموعة من الباحثين في جامعة نيويورك وDeepMind ورقة بحثية تجاهلها معظم الناس في البداية. بعنوان 'GLUE: معيار متعدد المهام ومنصة تحليل لفهم اللغة الطبيعية'، اقترحت فكرة بسيطة لكنها جذرية: بدلاً من أن تختبر كل مختبر نماذجها على مجموعة مختلفة من المهام، كان المجال بحاجة إلى مقياس مشترك.

أصبح هذا المقياس هو معيار التقييم العام لفهم اللغة، GLUE. وسيصبح أكثر معيار NLP استشهادًا في التاريخ، مع أكثر من 10000 استشهاد، وسيحدد خليفته SuperGLUE السباق نحو ذكاء اصطناعي لغوي على المستوى البشري.

المشكلة التي حلها GLUE

قبل عام 2018، كان أبحاث NLP مجزأة. اختبرت الفرق نماذجها على أي مجموعات بيانات كانت متاحة لهم، أحيانًا مهمة واحدة أو اثنتين فقط. كانت النتائج صعبة المقارنة. النموذج الذي سجل درجات عالية في تحليل المشاعر قد يفشل في الإجابة على الأسئلة، لكن لم يكن لدى أحد طريقة منهجية لقياس هذه المقايضة.

جمع GLUE تسع مهام متنوعة في درجة واحدة. تراوحت من أحكام القبول النحوي (CoLA) إلى الاستدلال اللغوي الطبيعي (MNLI، QNLI، RTE)، واكتشاف التكافؤ (MRPC، QQP)، وتحليل المشاعر (SST-2)، والتشابه النصي (STS-B). تعمّدت المهام تغطية ظواهر لغوية مختلفة، وقواعد نحوية، ودلالات، وبراغماتية، وأحجام مختلفة لمجموعات البيانات، من بضعة آلاف من الأمثلة إلى مئات الآلاف.

'كانت الفكرة هي إنشاء اختبار إجهاد،' قال أحد مبتكري المعيار في مقابلة عام 2020. 'إذا كان نموذجك قادرًا على الأداء الجيد في جميع المهام التسع، فلديك بعض الأدلة على أنه يتعلم اللغة بالفعل، وليس مجرد حفظ أنماط في مجموعة بيانات واحدة.'

تضمن المعيار مجموعة اختبار محفوظة على خادم خاص، مما يمنع الإفراط في التكيف العرضي. وفرض قاعدة صارمة: يمكن للمشاركين التقديم مرة واحدة فقط لكل مهمة في الأسبوع، مما يثني عن الضبط بالقوة الغاشمة.

السباق إلى القمة

أصبحت لوحة متصدرين GLUE بسرعة الساحة الأكثر تنافسية في الذكاء الاصطناعي. في عام 2018، كانت أحدث التقنيات تحوم حول 70 نقطة من أصل 100. ثم جاءت ELMo وBERT وRoBERTa وXLNet وALBERT وT5، كل نموذج يتجاوز سابقه. بحلول منتصف عام 2019، سجل BERT Large 82.7. بحلول عام 2020، تجاوز T5 حاجز 90. وبحلول عام 2022، كانت النماذج تسجل بانتظام أكثر من 92، مقتربة مما قدره مبتكرو المعيار كأداء بشري: حوالي 87.1 إلى 92.8، اعتمادًا على المهمة.

فعلت الديناميكية التنافسية للمعيار بالضبط ما أمله مبتكروه: ركزت الجهود البحثية على هدف ملموس وقابل للقياس الكمي. 'حوّل GLUE معالجة اللغة الطبيعية إلى رياضة،' علق باحث في Google في عام 2019. 'كل مختبر أراد أن يكون في قمة تلك اللوحة.'

لكن للرياضة آثار جانبية. مع صعود النماذج في اللوحة، بدأ الباحثون يتساءلون عما إذا كان GLUE يقيس فهم اللغة بالفعل، أم مجرد القدرة على استغلال الاختصارات الإحصائية في مجموعات بيانات المعيار.

SuperGLUE والمحاسبة

بحلول أواخر عام 2019، وصل GLUE إلى نقطة تشبع. سجلت العديد من النماذج أكثر من 90، وتم حل أصعب المهام بشكل فعال. أصدر مبتكرو المعيار SuperGLUE في نوفمبر 2019، نسخة أصعب مع ثماني مهام جديدة مصممة لمقاومة حيل مطابقة الأنماط نفسها. تضمنت هذه فهم القراءة مع التفكير المنطقي السليم (ReCoRD)، وحل الضمائر على غرار Winograd (WSC)، وفهم القراءة متعدد الجمل (MultiRC).

أعاد SuperGLUE السباق. كانت الدرجات الأولية على المعيار الجديد في الستينيات. بحلول عام 2021، وصلت النماذج إلى أواخر الثمانينيات. وعندما سجل PaLM 2 درجة 91.3 في عام 2023، تجاوز خط الأساس البشري المقدر لأول مرة، على الرغم من أن مصممي المعيار حذروا من أن تقديرات الأداء البشري كانت غير مؤكدة بحد ذاتها.

'SuperGLUE أصعب، لكنه يرث نفس التوتر الأساسي مثل GLUE: الرغبة في رقم واحد يلخص التقدم مقابل حقيقة أن فهم اللغة متعدد الأبعاد،' كتب باحث NLP في مسح عام 2022.

الإرث: من GLUE إلى الحاضر

يمتد تأثير GLUE إلى أبعد من لوحة المتصدرين الخاصة به. لقد أسس النموذج الذي تتبعه كل معيار لاحق للذكاء الاصطناعي تقريبًا: مجموعة منسقة من المهام، ودرجة إجمالية مرجحة، ومجموعة اختبار سرية، ولوحة متصدرين عامة. تدين مكتبة مجموعات بيانات Hugging Face، التي تستضيف مئات مجموعات بيانات NLP، ببنيتها جزئيًا للتنسيق الموحد الذي ابتكره GLUE.

أبرز معايير الذكاء الاصطناعي اليوم، MMLU للمعرفة، HumanEval للبرمجة، Chatbot Arena للقدرة التحادثية، تستعير جميعًا عناصر من نموذج GLUE. تشترك في نفس التوتر بين التوحيد القياسي والتبسيط: فهي تجعل التقدم قابلاً للقياس ولكنها تخاطر بتضييق ما يتم تحسينه.

النقد المنسي

قد يكون أهم مساهمة لـ GLUE هو النقد الذي خلقه. نجح المعيار في تسليط الضوء على مدى سهولة تحقيق النماذج لدرجات عالية دون فهم حقيقي، وهي مشكلة كانت موجودة منذ الأيام الأولى لتقييم الذكاء الاصطناعي. في عام 2019، أظهر باحثون في Facebook AI أنه يمكن تضليل BERT بأنماط سطحية، مثل تغيير نفي واحد في أمثلة MNLI. أصبح المعيار مختبرًا لدراسة نقاط الضعف هذه، والتي أثرت لاحقًا على العمل في مجال المتانة العدائية وتلوث مجموعات البيانات.

عندما تم إصدار GPT-3 في عام 2020، قام المؤلفون بقياسه صراحةً مقابل SuperGLUE، وسجلوا 71.8 مع التحفيز القليل. هذا الرقم، المثير للإعجاب ولكن ليس المهيمن، ساعد في تأطير المحادثة حول قدرات GPT-3 على أنها مثيرة للإعجاب ولكنها ليست ثورية لمهام فهم اللغة. لقد أعطى المجتمع نقطة مرجعية مشتركة.

ما لم يلتقطه GLUE

على الرغم من تأثيره، ترك GLUE أبعادًا كاملة لفهم اللغة. لم يختبر أي توليد طويل، أو تماسك حواري، أو تفكير حول علاقات زمنية أو سببية، أو تأريض لغوي في العالم المادي. تم تقديم المهام باللغة الإنجليزية فقط. افترض المعيار ضمنيًا أن فهم اللغة كان خاصية للنص وحده، وليس للعالم الذي يشير إليه النص.

تشرح هذه الفجوات سبب تطور المعايير اللاحقة في اتجاهات مختلفة: MMLU يختبر المعرفة العالمية، TruthfulQA يختبر الصدق، وBigBench يختبر التفكير المنظم. لكن لن يوجد أي منها بشكله الحالي دون أن يثبت GLUE أن نهج المعيار أولاً يمكن أن ينجح.

التقاعد الهادئ

لا يزال موقع GLUE يستضيف لوحة المتصدرين، لكن المعيار متقاعد إلى حد كبير من الاستخدام النشط. آخر درجة مهمة تم نشرها كانت في عام 2022. تختبر معظم المختبرات الآن على MMLU أو HumanEval أو تقييمات مخصصة. عندما أصدرت Anthropic Claude 3 في عام 2024، أبلغوا عن درجات MMLU، وليس GLUE. عندما نشرت Google Gemini، تصدروا بـ MMLU.

ومع ذلك، يواجه كل معيار جديد نفس التحدي الأساسي الذي حدده GLUE قبل عقد من الزمن: كيفية تصميم تقييم صارم بما يكفي ليكون مفيدًا، وواسع بما يكفي ليكون ذا معنى، وصعب بما يكفي لمقاومة الاستغلال. الجواب ليس دائمًا أبديًا. لكن المحادثة التي بدأها GLUE تواصل تشكيل المجال.

كما قال أحد مبتكريه في استعراض بأثر رجعي عام 2023: 'بنينا GLUE لأننا كنا محبطين من عدم قدرة أحد على مقارنة النماذج. لم نتخيل أبدًا أنه سيصبح القالب للعقد التالي من تقييم الذكاء الاصطناعي. أردنا فقط معرفة أي نموذج أفضل، واللغة معقدة جدًا لدرجة أن هذا الهدف البسيط تحول إلى مشروع بحثي متعدد السنوات.'