أبحاث الذكاء الاصطناعي
DiScoFormer يجد طريقة لقتل عنق الزجاجة في الذكاء الاصطناعي الذي فاتته KDE والشبكات العصبية معًا
DiScoFormer يقدّر الكثافة والنتيجة في تمريرة واحدة للأمام، متغلبًا على KDE بفارق 37x في خطأ الكثافة عند 100 بُعد. يمكن لنفس المحول أن يخدم نماذج الانتشار، والاستدلال البايزي، ومحاكاة الجسيمات دون إعادة تدريب.
لعقود من الزمن، تعايش مساران في مهمة تقدير توزيع احتمالي من مجموعة صغيرة من نقاط البيانات. تقدير الكثافة بالنواة (KDE) هو أسلوب عالمي، يعمل على أي توزيع دون تدريب، لكن دقته تنهار مع زيادة عدد الأبعاد. نماذج مطابقة النتيجة العصبية تبقى حادة في الأبعاد العالية لكن يجب إعادة تدريبها من الصفر لكل توزيع جديد. لا يقدم أي من المسارين كلا العمومية والدقة. what-the-5-day-old-paper-260623050-tells-us-about-the-future-of-ai
يقترح فريق من الباحثين الآن طريقًا ثالثًا: محول يسمونه DiScoFormer (محول الكثافة والنتيجة) يأخذ مجموعة من نقاط البيانات، وفي تمريرة واحدة للأمام، يعيد كلاً من الكثافة والنتيجة للتوزيع الأساسي، دون إعادة تدريب. الطريقة مفصلة في نسخة أولية (preprint) تُظهر أداءً قويًا على معايير عالية الأبعاد، مع آثار على الذكاء الاصطناعي التوليدي، والإحصاء البايزي، والحوسبة العلمية. gpt-55-dominates-a-new-benchmark-for-agents-that-rewrite-their-own-rules
ما تفعله الكثافة والنتيجة بالفعل
كثافة التوزيع هي رسم بياني سلس: عالية حيث تتجمع نقاط البيانات، منخفضة حيث تكون نادرة. النتيجة هي تدرج لوغاريتم الكثافة، تشير إلى الاتجاه الذي ترتفع فيه الكثافة بأسرع ما يمكن. حرّك نقطة على طول النتيجة وستتجه نحو منطقة أكثر احتمالاً. هذه المعلومات الاتجاهية أساسية لنماذج التوليد القائمة على الانتشار مثل Stable Diffusion وDALL-E: تبدأ من ضوضاء عشوائية وتتبع النتيجة مرارًا لتنتج صورًا واقعية. نفس النتيجة تقود أخذ العينات البايزية ومحاكاة الجسيمات المستخدمة في فيزياء البلازما. microsoft-research-cracks-the-black-box-of-brain-prediction-ai-with-a-closed-loop-test
استخراج كلتا الكميتين من عينة محدودة هو الصعوبة الأساسية. KDE يضع نواة (نتوء) عند كل نقطة بيانات ويجمعها لتقدير الكثافة. يتطلب ذلك عدم تدريب ويعمم على أي توزيع، لكن التكلفة تتوسع بشكل سيء مع الأبعاد، وتنخفض دقته بسرعة. نماذج مطابقة النتيجة العصبية تدرب شبكة للتنبؤ بالنتيجة مباشرة، وتبقى دقيقة حتى في الأبعاد العالية، لكن كل منها يجب أن يتعلم التوزيع المحدد ويتطلب إعادة تدريب عندما تتغير البيانات.
هندسة DiScoFormer: الانتباه كنواة معممة
DiScoFormer يرسم عينة كاملة إلى الكثافة والنتيجة للتوزيع خلفها باستخدام كتل محول مكدسة مع انتباه متصالب. الفكرة التصميمية الرئيسية هي أن رأس انتباه متصالب واحد يحسب أوزانًا تكاد تكون نواة غاوسية فوق البيانات، وهي حقيقة رياضية معروفة يثبتها المؤلفون تحليليًا. لذا يمكن لكتلة انتباه متصالب واحدة أن تعيد بالفعل إنتاج كثافة KDE الكلاسيكية ونتيجتها. لكن المحول لا يتوقف عند هذا الحد: الرؤوس والطبقات المتعددة تسمح لـ DiScoFormer بتعلم عدة مقاييس للنواة في وقت واحد وتكييفها مع البنية المحلية للبيانات.
النتيجة والكثافة مرتبطتان رياضيًا، النتيجة هي تدرج لوغاريتم الكثافة، ويستغل DiScoFormer ذلك باستخدام عمود فقري مشترك مع رأسين للإخراج. هذا الاقتران يعطي خسارة تناسق خالية من التصنيف: في وقت الاستدلال، يجب أن يتطابق تنبؤ رأس النتيجة مع تدرج رأس لوغاريتم الكثافة عند كل نقطة استعلام. يستخدم الفريق هذه الخاصية للتكيف مع المدخلات الخارجة عن التوزيع: ثبت السياق، وخذ بضع خطوات تدرج على خسارة التناسق، وسيضبط النموذج نفسه دون الحاجة إلى أي كثافة حقيقية أو نتيجة. nvidias-nemotron-data-atlas-reveals-why-synthetic-data-is-the-real-agent-bottleneck
التدريب على خلائط لا نهائية
بيانات التدريب تتكون بالكامل من نماذج الخليط الغاوسي (GMMs). يعطي المؤلفون سببين: GMMs هي مقربات كثافة عالمية، مع مكونات كافية يمكنها مطابقة أي توزيع سلس تقريبًا، ولديها كثافات ونتائج بصيغة مغلقة، مما يوفر هدفًا دقيقًا لكل دفعة. النموذج يرى GMM جديد لكل دفعة، مما يدربه فعليًا على إمداد لا نهائي من التوزيعات المستهدفة. هذه الاستراتيجية تزيل خطر الإفراط في التخصيص لمعيار ثابت وتجهز النموذج للتعامل مع توزيعات بعيدة عما رآه أثناء التدريب.
ميزة الأبعاد العالية، مفاضلة السرعة الكلاسيكية
الأرقام الرئيسية تأتي من اختبارات 100 بُعد. ضد أفضل KDE مضبوط يدويًا، يقلل DiScoFormer خطأ النتيجة بحوالي 6.5x وخطأ الكثافة بأكثر من 37x. الفجوة تتسع مع نمو حجم العينة، KDE ينفد من الذاكرة بينما DiScoFormer يستمر في التحسن. النموذج يعمم أيضًا على خلائط تحتوي على أنماط أكثر مما رآه أثناء التدريب وعلى أشكال غير غاوسية مثل توزيعات Laplace وStudent-t.
KDE يحتفظ بميزة في السرعة، خاصة لمجموعات البيانات الصغيرة. لكن المؤلفين يجادلون بأنه بالنسبة لمعظم التطبيقات التي تهم فيها تقدير النتيجة، مثل النمذجة التوليدية، والاستدلال البايزي، والحوسبة العلمية، فإن القدرة على استخدام نموذج واحد مُدرّب مسبقًا عبر العديد من المشكلات دون إعادة تدريب قد تفوق التكلفة الزمنية للاستدلال. navigating-the-edge-new-framework-promises-safer-ai-deployment-in-critical-systems
نموذج واحد لمجالات عديدة
الجزء الأكثر وعدًا في DiScoFormer هو أن تقدير النتيجة هو تبعية مشتركة عبر عدة تخصصات. نماذج الانتشار تحتاج إلى النتيجة أثناء أخذ العينات. الحسابات البايزية تستخدم النتائج في مونت كارلو هاميلتوني والاستدلال التبايني. محاكاة الجسيمات في فيزياء البلازما والفيزياء الفلكية تعتمد على خطوات تصحيح قائمة على النتيجة. أداة تقدير مُدرّبة مسبقًا وقابلة للتوصيل تبقى دقيقة في الأبعاد العالية وتتكيف مع التوزيعات الجديدة دون إعادة تدريب يمكن أن تقلل التكلفة عبر كل هذه المجالات في آن واحد. mistral-acquires-emmi-ai-to-bring-physics-foundation-models-to-industrial-engineering
يعترف الباحثون أن DiScoFormer ليس بعد بديلاً جاهزًا لمطابقة النتيجة العصبية المتخصصة في جميع الإعدادات، لكل مجال قيوده الخاصة على زمن الاستجابة، والذاكرة، والدقة المطلوبة. لكن النتائج تشير إلى أن محولًا واحدًا يمكنه سد الفجوة بين القابلية للتطبيق العالمي والدقة عالية الأبعاد التي فصلت KDE والطرق العصبية لسنوات. ما إذا كان النهج سيصبح الأداة الافتراضية لاستعادة التوزيع يعتمد على قدرته على التوسع إلى أبعاد أعلى وعلى ما إذا كان تكيف خسارة التناسق يعمل بشكل موثوق في سير العمل العلمي الواقعي.