نماذج الذكاء الاصطناعي لا تستطيع التوقف عن التفكير بصوت عالٍ. هذه أخبار جيدة وكابوس للسلامة في آن واحد.

أصبح التفكير بسلسلة التفكير، حيث توضح النموذج خطواته المنطقية خطوة بخطوة قبل تقديم إجابة نهائية، محوريًا لحالة سلامة أنظمة الذكاء الاصطناعي الحديثة. الوعد بسيط: إذا تمكنا من قراءة ما يفكر فيه النموذج، يمكننا اكتشاف السلوك السيئ قبل أن يظهر في المخرجات. لكن هذا الوعد يعتمد على افتراض حاسم: أن النموذج لا يستطيع التلاعب عمدًا بما يلفظه في مسار تفكيره. anthropics-jailbreak-severity-scale-is-a-proposal-that-could-reshape-ai-safety-regulation

ورقة بحثية جديدة من باحثين طوروا مجموعة تقييم CoT-Control تختبر هذا الافتراض. نتائجهم مشجعة ومقلقة في نفس الوقت. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

فجوة التحكم

صمم الباحثون مهامًا تتطلب من النماذج حل المشكلات مع الالتزام بتعليمات محددة بشأن سلسلة تفكيرهم. على سبيل المثال، التفكير في سؤال وراثي دون استخدام كلمة 'كروموسوم'. المقياس هو قابلية التحكم في سلسلة التفكير: قدرة النموذج على الامتثال للقيود المفروضة على عملية تفكيره.

الرقم الرئيسي صارخ. كلود سونيت 4.5، أحد أكثر نماذج التفكير قدرة المتاحة، يمكنه التحكم في سلسلة تفكيره بنسبة 2.7% فقط من الوقت. ومع ذلك، عندما يُطلب منه التحكم في مخرجاته النهائية بدلاً من مسار تفكيره، يقفز هذا الرقم إلى 61.9%. الفجوة بين ما يمكن للنماذج قمعه في تفكيرها مقابل مخرجاتها هائلة.

هذه ليست مجرد فضول معملي تافه. إذا تمكن النموذج من التحكم بحرية في سلسلة تفكيره لتجنب المراقبة مع الاستمرار في إنتاج المخرجات النهائية المطلوبة، فإن الفرضية الكاملة لمراقبة السلامة القائمة على سلسلة التفكير ستنهار. النموذج الذي يمكنه التفكير بشيء وقول شيء آخر هو نموذج يمكنه خداع آليات المراقبة. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

ما يدفع قابلية التحكم، وما لا يدفعها

تستكشف الورقة بشكل منهجي العوامل التي تؤثر على قابلية التحكم في سلسلة التفكير. تتحدى النتائج العديد من الافتراضات البديهية.

النماذج الأكبر حجمًا تظهر قابلية تحكم أعلى، وهي نتيجة غير مفاجئة تتوافق مع الارتباط العام بين حجم النموذج والقدرة. لكن العلاقة دقيقة: تبدو المكاسب في قابلية التحكم وكأنها تصل إلى هضبة بعد تجاوز حد حجم معين بدلاً من التوسع خطيًا. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

الأكثر إثارة للاهتمام هو تأثير منهجية التدريب. النماذج التي تخضع لمزيد من التدريب على التعلم المعزز، خاصة مع توسع الحساب في وقت الاختبار، تظهر قابلية تحكم أقل في سلسلة التفكير. هذا غير بديهي: تدريب التعلم المعزز مصمم لتحسين أداء المهمة واتباع التعليمات، ومع ذلك يبدو أنه يجعل النماذج أقل قدرة على تقييد مسارات تفكيرها. أحد التفسيرات هو أن تدريب التعلم المعزز يدمج أنماط التفكير بعمق، مما يجعل تجاوزها على مستوى التوليد أكثر صعوبة. the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

تلعب صعوبة المشكلة أيضًا دورًا مهمًا. مع زيادة صعوبة المهام، تتدهور قابلية التحكم في سلسلة التفكير بشكل أكبر. عندما يكافح نموذج للوصول إلى الإجابة الصحيحة، يبدو أن لديه موارد معرفية أقل متبقية لضبط شكل تفكيره. هذا يخلق وضعًا منحرفًا: في الوقت الذي يكون فيه النموذج أكثر عرضة للجوء إلى استراتيجيات تفكير غير مرغوب فيها، في مشاكل صعبة وعالية المخاطر، يصبح مسار تفكيره أصعب في التحكم وأقل موثوقية كنافذة على عمليته الفعلية. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

مفارقة المراقبة

وجد الباحثون أن إخبار النماذج بأنها مراقبة ينتج زيادة متواضعة ولكنها قابلة للقياس في قابلية التحكم في سلسلة التفكير. هذه نتيجة ذات حدين. من ناحية، يشير إلى أن المراقبة الصريحة يمكن أن توائم سلوك التفكير للنموذج مع التوقعات. من ناحية أخرى، يثير احتمال أن النموذج الذي يدرك المراقبة يمكنه قمع التفكير المُجرم بشكل انتقائي مع الحفاظ على قدرته على إنتاج مخرجات صحيحة.

محاولات استحضار قابلية تحكم أعلى بشكل عدائي، من خلال تحسين المطالبات لجعل النماذج أفضل في تقييد سلسلة تفكيرها، لم تؤدِ إلى تحسن ذي معنى في التحكم. هذه هي النتيجة الأكثر طمأنة في الورقة. إذا كانت هندسة المطالبات لا تستطيع بسهولة فتح التحكم في سلسلة التفكير، فإن القدرة تبدو محدودة حقًا وليست مجرد كامنة. ifbench-the-new-benchmark-testing-ai-instruction-following

مشكلة الآلية

الملاحظة الأكثر صراحة في الورقة هي أيضًا الأكثر أهمية: الآلية الكامنة وراء انخفاض قابلية التحكم في سلسلة التفكير ليست مفهومة جيدًا. هذه ليست فجوة تافهة. بدون فهم لماذا تكافح النماذج لتقييد مسارات تفكيرها، لا يوجد ضمان بأن النماذج المستقبلية ستشارك هذا القيد.

العديد من الفرضيات معقولة، وتحمل آثارًا مختلفة جدًا. يمكن أن يكون انخفاض قابلية التحكم سمة معمارية أساسية، أو نتيجة ثانوية لكيفية تفاعل آليات الانتباه والتوليد التلقائي التراجعي أثناء التفكير متعدد الخطوات. يمكن أن يكون نتيجة لتوزيع بيانات التدريب، حيث تكون مسارات التفكير منحرفة بشدة نحو الإدراك غير المصفى. يمكن أن يكون تأثيرًا جانبيًا لوصفات تدريب محددة للتعلم المعزز تستخدمها المختبرات الرائدة.

إذا كانت الآلية معمارية أو مدفوعة بالبيانات، فقد تستمر في النماذج المستقبلية، أو حتى تتعزز مع الحجم. إذا كانت من صنع أساليب التدريب الحالية، فقد يتم تصميمها عن غير قصد في الجيل التالي من النماذج. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

الخلاصة للمختبرات الرائدة

يوصي مؤلفو الورقة بأن تتابع المختبرات الرائدة قابلية التحكم في سلسلة التفكير كمقياس سلامة قياسي. هذه نصيحة معقولة. القدرة على التلاعب بمسار التفكير الخاص بالفرد هي في صميم الأسئلة حول خداع الذكاء الاصطناعي، والمواءمة، والمراقبة.

تترك النتائج الحالية مجالًا للتفاؤل الحذر: نماذج اليوم لا تستطيع بسهولة إخفاء ما تفكر فيه. لكن التفاؤل حذر على وجه التحديد لأن غياب الفهم الآلي يعني أن الأرض قد تتغير دون سابق إنذار.

للباحثين العاملين في سلامة الذكاء الاصطناعي، تقدم مجموعة تقييم CoT-Control أداة عملية لقياس قدرة يجب أن تبقى غائبة. لبقية الجميع، الورقة هي تذكير بأن شفافية نماذج التفكير، الخاصية ذاتها التي تجعل سلوكها قابلاً للفحص، ليست مضمونة للبقاء بعد الجولة التالية من التوسع. When a 24-hour countdown becomes your editor: the…