نظرية الذكاء الاصطناعي
برهان رياضي على أن الذكاء الاصطناعي العام أسطورة: علم الأحياء والأسواق والتعلم الآلي تتفق جميعًا
ورقة بحثية جديدة من جولدفيدر، ويدر، لوكون، وشوارتز-زيف تجادل بأن التخصص ليس تفضيلًا بل ضرورة هيكلية. بالاستناد إلى أربعة مجالات مستقلة، تُظهر أن الموارد المحدودة وضغط الأداء يفضلان باستمرار الملاءمة على الاتساع.
التوقع التقليدي معقول: مع ازدياد قدرة أنظمة الذكاء الاصطناعي، يجب أن تصبح أيضًا أكثر عمومية. تبدو القدرة الأكبر وقابلية التطبيق الأوسع رفيقين طبيعيين. يجب أن تؤدي المزيد من الموارد والأساليب الأفضل والتدريب الموسع إلى إنتاج أنظمة تقترب من المزيد من المهام بثقة متزايدة.
النمط الذي يظهر بالفعل مختلف. الأنظمة التي تحقق النتائج الأكثر أهمية في أي مجال معين تميل إلى أن تكون الأكثر تركيزًا عليه. جاء الاختراق في التنبؤ ببنية البروتين من نظام صُمم لمهمة علمية واحدة. الإنجازات التاريخية للذكاء الاصطناعي، عند فحصها عن كثب، تعكس استهدافًا مكثفًا للمجال بدلاً من توسيع العمومية. the-specialization-revolution-how-smaller-models-are-redefining-ais-future
هذا النمط يتكرر. يتكرر عبر المجالات، وعبر العقود، وعبر الخيارات المعمارية التي لا تشترك في أي شيء تقريبًا. نمط بهذا الاتساق يشير إلى سبب مشترك. سبب لا ينشأ داخل أبحاث الذكاء الاصطناعي على الإطلاق.
الخوارزمية تربح بملاءمة هدفها
في عام 1997، أثبت وولبرت وماكريدي شيئًا نادرًا ما يظهر في مناقشات بنية الذكاء الاصطناعي: لا توجد خوارزمية تحسين واحدة عامة الأغراض تتفوق على جميع الخوارزميات الأخرى عبر جميع المشكلات الممكنة. البرهان رياضي وليس فلسفي. بمتوسط عبر كل مشكلة يمكن تصورها قد يواجهها متعلم، كل خوارزمية تؤدي بشكل جيد على قدم المساواة، وبشكل سيئ على قدم المساواة. الخوارزمية التي تكسب على توزيع واحد من المشكلات تخسر بالضرورة على توزيعات أخرى. يتم إعادة توزيع الأداء، وليس مضاعفته.
الآثار العملية مباشرة: "الخوارزمية تربح بكونها ملاءمة جيدة للمشكلة المستهدفة". لا تقول النظرية إن العمومية مستحيلة. تقول إن العمومية ليست ميزة أداء. المسار الهيكلي الثابت للتفوق هو التركيز: مقايضة الاتساع من أجل الملاءمة.
يصبح هذا أكثر حدة عندما تدخل الموارد المحدودة في الصورة. أي نظام حقيقي يعمل تحت قيود. موارد حسابية محدودة، بيانات محدودة، وقت تطوير محدود. مع طاقة محدودة، فإن النهج الذي يوجه الموارد المتاحة نحو تعلم مجموعة محدودة من المهام سيتفوق على ذلك الذي يوزع نفس الموارد عبر نطاق غير محدود. الحساب لا يرحم: مع توسع مجموعة المهام دون حدود، تتقلص الموارد المتاحة لكل مهمة نحو الصفر. التغطية الشاملة والأداء الهادف، في ظل الموارد المحدودة، في توتر مباشر.
الاستنتاج الذي تشير إليه النظرية ليس أن العمومية سيئة. إنه أضيق وأكثر تشغيليًا من ذلك. كما تذكر الورقة، "العمومية الشاملة مفهوم نظري، لكن من الناحية العملية هي أسطورة". ما يبقى على قيد الحياة عند الاتصال بالقيود الحقيقية ليس النظام الذي يحاول فعل كل شيء. إنه النظام الذي يلائم هدفه. nvidia-nemo-automodel-delivers-37x-faster-moe-fine-tuning-via-expert-parallelism-and-deepep
ما يعرفه علم الأحياء والأسواق بالفعل
وصل مجالان آخران إلى نفس التوقع قبل أن تطلق نظرية التحسين عليه اسمًا. كما تصف الورقة الحالة البيولوجية: كل مكسب أداء في مكانة واحدة يأتي بتكلفة في مكان آخر. العام يحمل سمات مناسبة للعديد من البيئات لكنه مثالي لأي منها. كفاءة موزعة بشكل واسع جدًا بحيث لا تستطيع السيطرة على أي حالة معينة. لا توجد مكاسب أداء بدون مقايضات. الموارد المستثمرة في قدرة واحدة غير متاحة لأخرى. الانتقاء يفضل التصميمات المتطابقة مع الظروف المحلية على تلك المحسّنة للتغطية الموحدة عبر جميع البيئات الممكنة. الكائنات الحية التي تبقى على قيد الحياة للتكاثر ليست الأكثر قدرة بشكل عام. إنها الأكثر تطابقًا بشكل محدد. النتيجة، المتراكمة على مدى الأزمنة التطورية، ليست هيمنة العوام. إنها ملء المتخصصين للمنافذ. كما تذكر الورقة: "التخصص ليس حادثًا بيولوجيًا؛ إنه نتيجة متوقعة للموارد المحدودة والأهداف المتنافسة والبيئات التي تكافئ الأداء على مجموعة فرعية صغيرة من التحديات ذات الصلة تطوريًا".
تتبع الأسواق التنافسية نفس الديناميكية بوسائل مختلفة. يتم القضاء على المنظمات والاستراتيجيات التي تفشل في تلبية عتبات الأداء. ليس من خلال الانقراض، بل من خلال الخروج، ونقص التمويل، والاستبدال ببدائل أفضل مطابقة. يعمل المنافسة كآلية انتقاء: تضخم الاستراتيجيات الفعالة وتزيل غير الفعالة. لا تشترك الآلية في أي شيء مع الانتقاء البيولوجي. لا وراثة، ولا طفرة، ولا مقياس زمني تطوري. وحدة الانتخاب ليست الكائن الحي بل المنظمة، المنتج، الاستراتيجية. ومع ذلك فإن الضغط الهيكلي هو نفسه: موارد محدودة، متطلبات أداء، وإزالة منهجية للكيانات الموزعة على نطاق واسع جدًا بحيث لا تتفوق حيث يهم الأمر. القدرة المركزة تتفوق على القدرة الموزعة عندما تكون معايير الأداء واضحة ومتسقة. openais-gpt-56-launch-rewrites-the-economics-of-frontier-ai
التطور والأسواق يعملان من خلال آليات مختلفة تمامًا. مقاييس زمنية مختلفة، وحدات اختيار مختلفة، آليات وراثة مختلفة. لكن كلاهما ينتج نفس النتيجة تحت ضغط الموارد: الملاءمة على الاتساع. تتنبأ النظرية بهذا. يصل إليه علم الأحياء والأسواق بشكل مستقل. عندما يصل مجال ثالث إلى نفس النتيجة من خلال وسائل مختلفة تمامًا، يتوقف النمط عن الظهور كنظرية ويبدأ في الظهور كشيء أكثر عمومية حول كيفية تصرف الأنظمة المقيدة.
التعلم الآلي يعيد اكتشاف التخصص باستمرار
نفس النمط ظهر داخل التعلم الآلي. ليس مستمدًا من نظرية التحسين، ولكن تم الوصول إليه من خلال الخبرة المتراكمة لبناء الأنظمة ومشاهدة ما يحسنها. الشكل الأوضح هو النقل السلبي: تدهور قابل للقياس يحدث عندما يعاني نظام تم تدريبه على مهام متعددة لأن تلك المهام تتنافس بدلاً من أن تتعاون. عندما تشترك المهام في البنية، يساعد التدريب معًا. ولكن عندما تتنافس المهام على القدرة التمثيلية، أو تفرض تدرجات متعارضة أثناء التدريب، فإن الأداء على المهام الفردية يقع دون ما سيحققه النظام المخصص. المكسب من الاتساع يصبح تكلفة على العمق. إنها نتيجة موثقة لتقسيم القدرة المحدودة عبر مهام تتعارض مع بعضها البعض. المتخصص، الذي لا يواجه مثل هذه المنافسة، لا يدفع هذه التكلفة.
هندسة النماذج الرائدة تقدم شكلاً مختلفًا من الأدلة. أنظمة خليط الخبراء تحقق اتساعها ليس من خلال العمومية الموحدة عبر جميع المعلمات، ولكن عن طريق توجيه كل مدخل إلى مجموعة فرعية متخصصة من الشبكة. تفعيل خبراء مختلفين لمهام مختلفة. يقرأ مؤلفو الورقة هذا كتنازل هيكلي: نظام مصمم ليكون عامًا يحقق نتائجه عن طريق استعادة التخصص داخليًا. هذا تفسير محل جدال، وليس نظرية موضحة. هذه الهياكل صُممت من أجل الكفاءة الحسابية، وما تشير إليه حول حدود العمومية هو استنتاج معقول وليس نية مصرح بها. لكنه استنتاج ملحوظ: الأنظمة العامة الأكثر قدرة تصل إلى أدائها عن طريق فعل ما تفعله الأنظمة المتخصصة داخليًا عن طريق التصميم. aleph-alphas-new-megakernel-library-cuts-moe-inference-latency-by-200
المثال التاريخي الأوضح يتبع نفس المنطق. حقق AlphaFold قفزة نوعية في التنبؤ ببنية البروتين من خلال استهداف تلك المهمة المحددة بهندسة معمارية وخيارات تدريب خاصة بالمهمة. جاءت مكاسبه من تركيز أضيق، وليس تغطية أوسع. تستخدم الورقة AlphaFold كحالة نموذجية. ليس كدليل على أن جميع الأنظمة المتخصصة تحقق مكاسب متكافئة، ولكن كتوضيح واضح بشكل غير عادي للآلية. تلك الآلية ظهرت مرارًا وتكرارًا: تاريخ إنجازات الذكاء الاصطناعي، كما تلاحظ الورقة، يعكس غالبًا استهدافًا مكثفًا للمجال بدلاً من الكفاءة الواسعة، حتى عندما تبدو النتائج كعروض ذكاء عام.
ما لا يغيره التوسع
ستكون الصورة غير مكتملة دون معالجة واحدة من أكثر الملاحظات استشهادًا في أبحاث الذكاء الاصطناعي. درس ساتون المرير يرى أن الأساليب التي تعتمد على المعرفة بالمجال يتم التفوق عليها باستمرار بواسطة الأساليب التي توسع نطاق الحوسبة. على السطح، يبدو هذا معقدًا لحالة التخصص: إذا كان الحجم والعمومية يفوزان، فربما يكون التخصص مجرد استرشاد مفيد تحت قيود الموارد التي ستخف مع انخفاض تكلفة الحوسبة.
الاعتراض يستند إلى خلط بين مفهومين متميزين. المعرفة بالمجال تشير إلى الميزات المشفرة يدويًا، والمعتقدات السابقة المهندسة، والقواعد المصممة لإعطاء النظام نظرة ثاقبة في منطقة معينة. درس ساتون المرير يستهدف هذا، وهو محق في ذلك. الأنظمة التي ترمز المعرفة الصريحة بالمجال تم التفوق عليها باستمرار مع زيادة الحجم. التخصص المجالي مختلف: قرار توجيه موارد النظام وهندسته وتدريبه نحو مجموعة محدودة من المهام بدلاً من توزيعها على نطاق واسع. هذا ليس ترميزًا للمعرفة حول مجال ما. إنه قرار بشأن النطاق.
ترسم الورقة التمييز بدقة: "فائدة المعرفة بالمجال المتضائلة متميزة عن فائدة التخصص المجالي. مع تقدم التوسع، سنحتاج إلى معرفة أقل حول البروتينات لبناء نظام يقوم بطي البروتينات؛ ومع ذلك، لا يزال مثل هذا النظام يستفيد من التركيز بشكل خاص على البروتينات." التوسع يغير ما يمكن للأنظمة تعلمه من البيانات. لا يغير ما إذا كان تركيز الموارد على مجموعة مهام محدودة يتفوق على توزيعها عبر نطاق غير محدود. درس ساتون المرير وحجة التخصص يعملان على أبعاد مختلفة. أحدهما يصف كيف ينبغي اكتساب المعرفة، والآخر يصف ما يجب أن يشير إليه النظام. كلاهما يمكن أن يكون صحيحًا في وقت واحد. التوسع يغير الآليات التي تتعلم بها الأنظمة. لا يذيب القيد الذي يجعل الملاءمة أكثر قيمة من الاتساع. why-deep-learning-infrastructure-may-be-the-next-trillion-dollar-bottleneck-and-whos-racing-to-fix-it
التقارب هو الدليل
عبر أربعة تقاليد تحليلية، ظهر نفس النمط من خلال مسارات مختلفة. هذه ليست مصادفة تتطلب تفسيرًا. إنها الدليل. عندما تلتقي الموارد المحدودة مع ضغط الانتخاب في مشكلة تحسين، أو نظام بيئي، أو سوق، أو تدريب، فإن الملاءمة تهزم الاتساق باستمرار. الآليات المحددة تختلف. المقاييس الزمنية تختلف. وحدات الانتخاب تختلف. لكن الديناميكية الهيكلية هي نفسها، وتنتج نفس النتيجة.
النظرية لا تسبب هذا النمط في علم الأحياء. علم الأحياء لا يسببه في الأسواق. ولا أي منهما يسببه في التعلم الآلي. جميعها تواجه نفس القيد الأساسي: الأداء تحت الندرة يتطلب تركيزًا. ما تثبته النظرية رياضيًا، يؤكده التاريخ التطوري تجريبيًا، وتظهره الأسواق التنافسية مؤسسيًا، ويعيد التعلم الآلي اكتشافه هيكليًا. التخصص ليس تفضيلاً. إنه ما ينشأ عندما تلتقي الموارد المحدودة مع شرط الأداء.