Aleph Alpha تطلق T-Free: بنية خالية من الرموز للذكاء الاصطناعي السيادي

قامت Aleph Alpha، مختبر الذكاء الاصطناعي ومقره هايدلبرغ والذي تأسس عام 2019، بنشر ورقة فنية تصف T-Free، وهي بنية لنموذج لغوي كبير تستغني تمامًا عن معالجات الرموز. النظام، المتاح الآن كنقاط تفتيش مفتوحة الأوزان، يعالج قيدًا أساسيًا في نماذج اللغات الكبيرة التقليدية: معالجات الرموز ذات المفردات الثابتة المحسنة للغة الإنجليزية والتي تخلق عدم كفاءة وتحيز عند التعامل مع النصوص غير الإنجليزية أو المتخصصة.

مشكلة معالج الرموز

تقريبًا كل نموذج لغوي كبير حديث يعتمد على معالج رموز، وهي خطوة معالجة مسبقة تقطع النص إلى رموز وتخصص لكل رمز رقم تعريف. أثناء التدريب، يتعلم النموذج تمثيل كل رمز كمتجه. ولكن بمجرد تحويل النص إلى رموز، تصبح الأحرف الأصلية غير مرئية فعليًا للنموذج. يتم تعيين مفردات معالج الرموز قبل التدريب ولا يمكن تغييرها لاحقًا، وعادة ما تكون مصممة خصيصًا للإنجليزية القياسية.

بالنسبة للمجالات المتخصصة، وبراءات الاختراع، والعقود القانونية، والمواصفات الفنية، وبالنسبة للغات غير الإنجليزية، غالبًا ما يقوم معالج الرموز بتقطيع الكلمات إلى أجزاء من حرف أو حرفين فقط. توضح Aleph Alpha ذلك بكلمة "Bundeskanzler" الألمانية، والتي تنقسم إلى أربعة رموز، بينما يتطلب ما يعادلها باللغة الإنجليزية "chancellor" رمزًا واحدًا فقط. المزيد من الرموز يعني المزيد من الذاكرة، والمزيد من الحوسبة، وارتفاع التكاليف، ويجعل من الصعب على النموذج فهم المعنى الأساسي.

كيف يعمل T-Free

بدلاً من معالج رموز منفصل، يقوم T-Free بتعيين الكلمات مباشرة إلى متجهات. هذا يحافظ على المصطلحات النادرة والمتخصصة سليمة مع السماح للنموذج بحزم المزيد من الأحرف في كل متجه. وفقًا لـ Aleph Alpha، متوسط نماذج اللغات الكبيرة التقليدية حوالي أربعة أحرف لكل متجه؛ يحقق T-Free ما يقرب من سبعة، مما يمثل تحسنًا بنسبة 75% في كثافة الأحرف.

تستغل البنية أيضًا التشابه في أنماط الأحرف. يتعرف T-Free على أن "telephone" و"Telefon" هما في الأساس نفس الكلمة قبل بدء التدريب، مما يمنحه وعيًا متعدد اللغات مدمجًا يمكن للضبط الدقيق الاستفادة منه منذ البداية.

الآثار على السيادة والتكلفة

لطالما وصفت Aleph Alpha نفسها بأنها بطلة أوروبية للذكاء الاصطناعي السيادي، وهي نماذج يمكن للمؤسسات تدريبها ونشرها على بياناتها الخاصة دون الاعتماد على منصات سحابية أمريكية أو صينية. يدفع T-Free هذه المهمة إلى الأمام من خلال جعل التدريب على البيانات الخاصة واللغات منخفضة الموارد أكثر عملية مع الحفاظ على القدرات العامة.

يترجم العدد المنخفض من الرموز مباشرة إلى انخفاض تكاليف الاستدلال واستهلاك أقل للطاقة، مما قد يزيل عائقًا أبقى بعض حالات الاستخدام المؤسسي غير اقتصادية. أشار المؤسس والرئيس التنفيذي لـ Aleph Alpha، جوناس أندروليس، في الإصدار إلى أن اللغة هي "أكثر من مجرد وسيلة اتصال"، فهي حاملة للثقافة والقيم، ويجب أن يتحدث الذكاء الاصطناعي لغة مستخدميه.

المعايير والتوفر

أصدرت Aleph Alpha أول نقاط تفتيش لـ T-Free، والتي تقول الشركة إنها تؤدي بشكل تنافسي في المعايير القياسية مع تقديم كفاءة فائقة. النماذج مفتوحة للاستخدام البحثي والتجاري. الورقة البحثية الكاملة متاحة على موقع Aleph Alpha الإلكتروني.

يشير الإصدار إلى تحول محتمل في كيفية تعامل نماذج اللغات الكبيرة مع النصوص متعددة اللغات والمتخصصة، وهو المجال الذي عانت فيه البنيات التقليدية. إذا أثبت T-Free قابلية التوسع، فقد يصبح نقطة مرجعية للبنيات المستقبلية، خاصة في أوروبا، حيث التنوع اللغوي وسيادة البيانات هما أولويات تنظيمية واستراتيجية.