المقياس الوحيد الذي لا تستطيع وكلاء البرمجة الذكية تزييفه: الساعات البشرية

قبل ستة أشهر، كان كل مدير تقني يقلق من أن فريقه لا يستهلك ما يكفي من رموز الذكاء الاصطناعي. وقد تحول هذا القلق إلى قلق مختلف: كيفية معرفة أي الرموز قدمت قيمة فعلية وأيها أُهدرت في حلقات مكررة أو هلوسة أو توجيهات غير فعالة. بالنسبة لمؤسسة تدير آلاف جلسات الوكلاء المستقلين شهريًا، تتسع المشكلة إلى ما يتجاوز قدرة أي مدير هندسي على الفرز اليدوي.الفخ الخفي الذي ينتظر وكلاء الذكاء الاصطناعي في بيئة الإنتاج

نشرت مختبرات Cognition، الشركة المطورة لـ Devin، ما يُسمى بمهندس البرمجيات الذكي المستقل، وصفًا تفصيليًا لكيفية بناء نظام لحل هذه المشكلة تحديدًا. في منشور بحثي نُشر يوم الإثنين، وصفت الشركة نظام تقدير تلقائي يراجع كل جلسة Devin مكتملة، ويصنف ما إذا كانت قد أنتجت مخرجات مفيدة، ثم يقدر المدة التي كان سيستغرقها مهندس بشري لإنتاج نفس العمل. النظام قيد التشغيل بالفعل في الإنتاج مع عملاء يدفعون.وكيل البرمجة الجديد من Cognition يحقق نتائج قريبة من…

تدعي الشركة أن هذا هو أول نظام آلي لقياس إنتاجية الهندسة البرمجية للذكاء الاصطناعي في بيئة الإنتاج.

لماذا الساعات، وليس الدولارات

كان اختيار المقياس متعمدًا. قياس الأثر الدولاري مباشرة، الإيرادات من ميزة تم إطلاقها، أو التكلفة التي تم تجنبها بإصلاح عطل، لا يزال مشكلة غير محلولة لصناعة هندسة البرمجيات بأكملها. حتى المهندسون البشريون، عند ملء استعراضات سباقهم الخاصة، يجدون صعوبة في قياس القيمة التجارية لطلب سحب.الضريبة الخفية لمشاريع البرمجة بالاهتزاز التي تظهر…

مقاييس النشاط الخام مثل أسطر الكود، أو الالتزامات، أو طلبات السحب سهلة الجمع لكنها مضللة بشكل سيء. يمكن لعملية إعادة هيكلة ميكانيكية أن تلمس آلاف الأسطر في فترة ما بعد الظهر؛ إصلاح عطل من سطرين يمكن أن يمثل ساعات من التحقيق. العديد من المهام القيمة، مثل فرز الأعطال، أو تشغيل استعلامات تحليلية، أو مراجعة الكود، لا تنتج أي كود على الإطلاق.

الأرضية الوسطى التي اختارتها Cognition هي ساعات العمل الهندسية البشرية: كم من الوقت كان سيستغرقه مهندس بشري مختص لإنتاج نفس المخرجات؟ الساعات هي الطريقة التي تقوم بها المؤسسات بالفعل بتقييم القيمة الهندسية، من الرواتب إلى أسعار المقاولين إلى حسابات وقت الوصول إلى السوق. المقياس موحد عبر المؤسسات وقابل للتحويل إلى دولارات عبر أسعار الهندسة.

ولكن ليست كل الساعات متساوية. إذا تم إغلاق جميع طلبات السحب لجلسة ما لاحقًا دون دمج، فمن المحتمل أن تلك الجلسة لم تكن ذات قيمة. لذلك بنت Cognition مصنفًا لتصفية الجلسات غير المنتجة قبل تشغيل مقدر الساعات.

بناء الحقيقة الأساسية من تقارير المستخدمين

لتدريب المقدر والتحقق من صحته، جمعت Cognition مجموعة بيانات أساسية عن طريق مطالبة مستخدمي Devin، عبر مجموعة متنوعة من عملاء المؤسسات، بمراجعة جلسات تمثيلية حديثة وتقدير المدة التي كانت ستستغرقها كل جلسة بدون Devin. جاءت البيانات من مقابلات حية واستبيان.أنثروبيك ودي إكس سي تكنولوجي تطلقان تحالفاً عالمياً…

اتضح أن ثراء مسارات الجلسة كان حاسمًا. كل جلسة Devin تنتج مسار تنفيذ كامل: طلب المستخدم، كل إجراء اتخذه الوكيل، الكود الناتج، وسياق قاعدة الكود. أشارت الشركة إلى أن هذا يمنحهم سجلاً للعمل الهندسي الإنتاجي بمستوى من التفصيل يصعب الحصول عليه من الاستبيانات أو مقاييس النشاط الإجمالية أو المعايير مفتوحة المصدر وحدها.

يزيل مصنف الجلسات غير المنتجة حوالي 30% من الجلسات، اعتمادًا على العميل. يتم استبعاد الجلسات التي لم يكن لدى Devin فيها حق الوصول لتنفيذ المهمة، أو طلب توضيح لكنه لم يتلق ردًا، أو لم يتمكن من التقدم بشكل هادف. يتم الاحتفاظ بالجلسات التي تنتج طلبات سحب مدمجة؛ يتم الاحتفاظ بالجلسات بدون طلبات سحب فقط إذا اعتبرها المصنف منتجة حقًا، مثل مهام العثور على تبعيات غير مستخدمة، أو مسح الثغرات الأمنية، أو مراجعة طلب سحب.

المقدر: التفكير في المسارات البشرية، وليس مسارات الوكيل

المقدر نفسه هو وكيل يعمل بنموذج لغوي كبير يتلقى مدخلين رئيسيين: سياق الجلسة الكامل (رسائل المستخدم، مخرجات طلب السحب، مسار الوكيل، سياق قاعدة الكود من DeepWiki) وتعليمات مصممة بعناية.

تصميم التعليمات هو المكان الذي تكمن فيه الحكم الهندسي الحقيقي. حددت Cognition عدة مبادئ لتجنب المبالغة في تقدير المخرجات:

• التفكير في مسار الإنسان، وليس مسار الوكيل. الوكلاء يسلكون طرقًا جانبية، يتعافون من إخفاقات البيئة، ينتجون قطعًا أثرية لا ينتجها مهندس منفرد، ويعيدون محاولة الإجراءات الفاشلة. المقدر يخصم كل ذلك.
• احتساب العمل الذي لم يحدده المستخدم بالفعل فقط. إذا قدم المستخدم تقرير عطل بدون حل مقترح، يتضمن المقدر وقت الفرز. إذا قدم المستخدم خطة تنفيذ كاملة، يتم احتساب وقت التنفيذ فقط.
• مراعاة الألفة مع قاعدة الكود. أخبر المستخدمون Cognition أن إحدى أبرز مزايا Devin هي العمل في قواعد كود غير مألوفة أو قديمة والتي كانت ستكلف مطورًا بشريًا يومًا كاملاً من التأقلم. يستنتج المقدر الألفة المطلوبة من الجلسة ويتضمن وقت الاستكشاف عند الاقتضاء. عندما لا توجد إشارة، يفترض المقدر ألفة نموذجية، أي مهندس يعرف البنية عالية المستوى لكنه لم يحفظ كل دالة.
• افتراض الخبرة ذات الصلة. كان هناك موضوع متكرر في المقابلات وهو أن Devin يسمح للأشخاص بفعل أشياء لا يمكنهم فعلها بأنفسهم، مثل مهندس خلفي يقوم بشحن أعمال في الواجهة الأمامية وعلوم البيانات. تفترض Cognition بشكل متحفظ أن المهندس المرجعي لديه بالفعل الخبرة المطلوبة، مما يقلل من شأن الجهد في العديد من الحالات التي كان سيحتاج فيها الإنسان لتعلم لغة أو إطار عمل جديد.

نتائج التحقق: R² 0.70، محافظ عمدًا

في مجموعة التقييم المحجوزة، يحقق المقدر R² يبلغ 0.70 وارتباط سبيرمان يبلغ 0.85 (p < 0.001). حوالي 60% من الجلسات تقع ضمن عامل 2 من التقدير الحقيقي. التقديرات الفردية مضطربة، أخطاء بمقدار 2-3 أضعاف في أي اتجاه شائعة، ولكن لأن الأخطاء غير متحيزة ومستقلة تقريبًا، فإنها تلغي بعضها مع زيادة عدد الجلسات، ويتقارب المجموع نحو الإجمالي الذي أبلغ عنه البشر.

وجدت Cognition أن حوالي نصف الخلاف المتبقي يقع بين المستخدمين، وليس داخل جلسات المستخدم نفسه. فكرت الشركة في معايرة لكل مستخدم لكنها قررت عدم القيام بذلك من أجل البساطة، مفضلة التقدير بالنسبة لمستخدم متوسط.

نتيجة ملحوظة: النموذج الأولي غير المعاير قلل التقدير باستمرار. صححت Cognition ذلك بتطبيق انحدار خطي في الفضاء اللوغاريتمي، مما أنتج مضاعفًا ثابتًا تقريبًا. ومع ذلك، حتى بعد المعايرة، يظل مجموع تقديرات ساعات النموذج أقل من مجموع التقديرات البشرية. تعترف Cognition بأن هذه الفجوة متوقعة، فالمقدر غير المتحيز في الفضاء اللوغاريتمي يقلل التقدير عند الجمع في الفضاء الخطي، وتذكر الرقم غير المعدل كتقدير أقل عمدًا ومحافظ.

حجم الكود هو مؤشر ضعيف

اختبرت الشركة أيضًا متنبئات أبسط لفهم مقدار الإشارة القادمة من تغيير الكود النهائي مقابل مسار الجلسة الكامل. أدى انحدار باستخدام إجمالي الأسطر المتغيرة (الإضافات بالإضافة إلى الحذف) مقابل التقديرات البشرية بشكل سيء، مع R² يبلغ 0.13، مما يؤكد أن حجم الكود هو مؤشر ضعيف للجهد الهندسي. المتنبئ الذي حصل فقط على استدعاءات أدوات التحرير الخاصة بالوكيل، بدون رسائل المستخدمين أو نشاط الجلسة، كان أداؤه أفضل لكنه ظل متأخرًا عن المقدر الكامل.

خلصت الشركة إلى أن الجهد في الجلسة غالبًا ما يأتي من التحقيق، والتشخيص، وإعداد البيئة، والتفكير في المفاضلات، أو إنتاج مخرجات مفيدة غير برمجية. تلك الإشارات مرئية في مسار الجلسة ولكن ليس دائمًا في تغيير الكود النهائي.

مقارنة بالأعمال السابقة

دراستان حديثتان استخدمتا نماذج لغوية كبيرة لتقدير الجهد. استخدمت METR (2026) GPT-4o وGPT-5 لتقدير الأوقات المكافئة للبشر من نصوص Claude Code المضغوطة، محققة R² يبلغ 0.82، أعلى من 0.70 لـ Cognition، ولكن على مجموعة بيانات أكثر تجانسًا تم جمعها من الموظفين الفنيين في METR بدلاً من مستخدمي المؤسسات المتنوعين.

قدرت Anthropic (2026) مدة المهمة على تذاكر Jira مفتوحة المصدر باستخدام عنوان التذكرة ووصفها فقط، ووصلت إلى R² يبلغ 0.34. نظام Cognition يحقق R² 0.70 مقابل 0.34 لـ Anthropic، مما يوضح أن بيانات الجلسة المفصلة تحسن الدقة بشكل كبير.أنثروبيك تطلق كلود سونيت 5: حدود جديدة في الذكاء…

تحذيرات وتهديدات للصحة

Cognition شفافة بشأن القيود. الحقيقة الأساسية يتم الإبلاغ عنها ذاتيًا من قبل مستخدمين كانوا على علم بأنهم يتحدثون مع Cognition، مما قد يؤدي إلى تحيز. قد يميل المستخدمون الذين استجابوا طواعية نحو الأكثر تفاعلاً. والساعات الموفرة ليست هي نفسها القيمة التجارية، ساعة واحدة في إصلاح عطل إنتاجي حرج تختلف اختلافًا كبيرًا عن ساعة واحدة في مشروع تم إلغاؤه لاحقًا.وكيل البرمجة الجديد من Cognition يحقق نتائج قريبة من…

أشارت الشركة إلى أنهم يقيسون القدرة الهندسية، وليس ما إذا كانت تلك القدرة قد تم توظيفها في عمل عالي القيمة. النظام أيضًا لا يأخذ في الاعتبار الجودة: إذا قدم Devin عطلًا خفيًا تم اكتشافه بعد الدمج، فإن رفعه لتلك المهمة يكون سلبيًا. مرشح طلبات السحب المدمجة يزيل الإخفاقات الواضحة ولكن ليس العيوب ما بعد الدمج.

على الرغم من هذه التحذيرات، يمثل النظام خطوة مهمة نحو جعل وكلاء البرمجة المستقلين بالذكاء الاصطناعي قابلين للتدقيق بمصطلحات يفهمها قادة الهندسة بالفعل: الساعات والدولارات وعائد الاستثمار. السؤال هو ما إذا كانت الصناعة ستتقارب على معيار لقياس عائد الاستثمار هذا، ومن سيحدده.رهان مايكروسوفت على النماذج الصغيرة للذكاء الاصطناعي…