La seule métrique que les agents de codage IA ne peuvent pas falsifier : les heures humaines

Il y a six mois, tous les directeurs techniques craignaient que leur équipe ne consomme pas assez de tokens IA. Cette inquiétude s'est transformée en une anxiété différente : comment savoir quels tokens ont réellement apporté de la valeur et lesquels ont été gaspillés en boucles, hallucinations ou sollicitations sans direction. Pour une organisation qui exécute des milliers de sessions d'agents autonomes par mois, le problème dépasse ce qu'un responsable d'ingénierie peut trier manuellement.Le piège subtil qui attend les agents IA en production

Cognition Labs, la société derrière Devin, le soi-disant ingénieur logiciel IA autonome, a publié un compte rendu détaillé de la façon dont elle a construit un système pour résoudre exactement ce problème. Dans un article de recherche publié lundi, l'entreprise a décrit un estimateur automatisé qui examine chaque session Devin terminée, classifie si elle a produit un résultat utile, puis estime combien de temps un ingénieur humain aurait mis pour produire le même travail. Le système est déjà en production avec des clients payants.Le nouvel agent de codage de Cognition atteint des…

L'entreprise affirme qu'il s'agit du premier système automatisé mesurant la productivité de l'ingénierie IA en production.

Pourquoi les heures, pas les dollars

Le choix de la métrique était délibéré. Mesurer directement l'impact financier, les revenus d'une fonctionnalité livrée, les coûts évités par un bogue corrigé, reste un problème non résolu pour l'ensemble de l'industrie du génie logiciel. Même les ingénieurs humains, remplissant leurs propres rétrospectives de sprint, ont du mal à quantifier la valeur commerciale d'une pull request.La taxe cachée des projets codés sous l'impulsion du…

Les métriques d'activité brutes comme les lignes de code, les commits ou les PR sont faciles à collecter mais notoirement trompeuses. Une refactorisation mécanique peut toucher des milliers de lignes en un après-midi ; une correction de bogue de deux lignes peut représenter des heures d'investigation. De nombreuses tâches précieuses, trier des bogues, exécuter des requêtes d'analyse, réviser du code, ne produisent aucun code du tout.

Le juste milieu choisi par Cognition est les heures d'ingénierie humaine : combien de temps un ingénieur humain compétent aurait mis pour produire le même résultat ? Les heures sont la manière dont les organisations évaluent déjà la valeur de l'ingénierie, des salaires aux taux des sous-traitants en passant par les calculs de délais de mise sur le marché. La métrique est standardisée d'une organisation à l'autre et convertible en dollars via les taux d'ingénierie.

Mais toutes les heures ne se valent pas. Si les pull requests d'une session ont toutes été fermées sans être fusionnées, cette session n'avait probablement pas de valeur. Cognition a donc construit un classifieur pour filtrer les sessions non productives avant d'exécuter l'estimateur d'heures.

Construire une vérité terrain à partir des rapports utilisateurs

Pour entraîner et valider l'estimateur, Cognition a collecté un ensemble de données de vérité terrain en demandant aux utilisateurs de Devin, issus d'un ensemble diversifié de clients entreprises, d'examiner des sessions représentatives récentes et d'estimer combien de temps chacune aurait pris sans Devin. Les données provenaient d'entretiens en direct et d'une enquête.Anthropic et DXC Technology lancent une alliance…

La richesse des traces de sessions s'est avérée cruciale. Chaque session Devin produit une trace d'exécution complète : la demande de l'utilisateur, chaque action de l'agent, le code résultant et le contexte du code source. L'entreprise a noté que cela leur donne un enregistrement du travail d'ingénierie de production à un niveau de détail difficile à obtenir à partir d'enquêtes, de métriques d'activité agrégées ou de seuls benchmarks open-source.

Le classifieur de sessions non productives supprime environ 30 % des sessions, selon le client. Les sessions où Devin n'avait pas accès pour effectuer la tâche, a demandé des clarifications sans jamais recevoir de réponse, ou n'a pas pu avancer de manière significative sont écartées. Les sessions qui produisent des PR fusionnées sont conservées ; les sessions sans PR sont conservées uniquement si le classifieur les juge véritablement productives, comme des tâches de recherche de dépendances inutilisées, de recherche de vulnérabilités de sécurité ou de révision d'une pull request.

L'estimateur : raisonner sur les chemins humains, pas les trajectoires d'agents

L'estimateur lui-même est un agent alimenté par LLM qui reçoit deux entrées clés : le contexte complet de la session (messages utilisateur, sortie PR, trace de l'agent, contexte du code source depuis DeepWiki) et une consigne soigneusement conçue.

La conception de la consigne est l'endroit où le véritable jugement d'ingénierie compte. Cognition a identifié plusieurs principes pour éviter de surestimer la production :

• Raisonner sur le chemin de l'humain, pas sur celui de l'agent. Les agents font des détours, ils se remettent des défaillances de l'environnement, produisent des artefacts qu'un ingénieur seul ne ferait pas, et réessayent les actions échouées. L'estimateur actualise tout cela.
• Créditer uniquement le travail que l'utilisateur n'a pas déjà spécifié. Si un utilisateur fournit un rapport de bogue sans proposition de correctif, l'estimateur inclut le temps de tri. Si l'utilisateur fournit un plan d'implémentation complet, seul le temps d'implémentation est compté.
• Tenir compte de la familiarité avec le code source. Les utilisateurs ont dit à Cognition que l'un des avantages les plus clairs de Devin est de travailler dans des bases de code inconnues ou héritées qui coûteraient à un développeur humain une journée de mise en route. L'estimateur déduit la familiarité requise de la session et inclut le temps d'exploration le cas échéant. Lorsqu'il n'y a pas de signal, il suppose une familiarité typique, un ingénieur qui connaît l'architecture de haut niveau mais n'a pas mémorisé chaque fonction.
• Supposer une expertise pertinente. Un thème récurrent des entretiens était que Devin permet aux gens de faire des choses qu'ils ne pourraient pas faire seuls, un ingénieur backend livrant du travail frontend et de science des données. Cognition suppose de manière prudente que l'ingénieur de référence possède déjà l'expertise requise, ce qui sous-estime l'effort dans de nombreux cas où un humain aurait dû apprendre un nouveau langage ou framework.

Résultats de validation : R² 0,70, délibérément conservateur

Sur l'ensemble d'évaluation de validation, l'estimateur atteint un R² de 0,70 et une corrélation de Spearman de 0,85 (p < 0,001). Environ 60 % des sessions se situent dans un facteur de 2 de l'estimation réelle. Les estimations individuelles sont bruitées, des erreurs de 2 à 3 fois dans les deux sens sont courantes, mais comme les erreurs sont approximativement non biaisées et indépendantes, elles s'annulent à mesure que le nombre de sessions augmente, et l'agrégat converge vers le total rapporté par les humains.

Cognition a constaté qu'environ la moitié de l'écart résiduel se situe entre les utilisateurs, et non au sein des sessions d'un même utilisateur. L'entreprise a envisagé un calibrage par utilisateur mais a décidé de ne pas le faire pour des raisons de simplicité, optant plutôt pour une estimation relative à un utilisateur moyen.

Un résultat notable : le modèle initial, non calibré, sous-estimait systématiquement. Cognition a corrigé cela en ajustant une régression linéaire dans l'espace logarithmique, ce qui a produit un multiplicateur presque constant. Cependant, même après calibrage, la somme des estimations d'heures du modèle reste inférieure à la somme des estimations humaines. Cognition reconnaît que cet écart est attendu, un estimateur non biaisé dans l'espace logarithmique sous-estime lorsqu'il est additionné dans l'espace linéaire, et rapporte le chiffre non ajusté comme une sous-estimation délibérément conservatrice.

Le volume de code est un mauvais indicateur

L'entreprise a également testé des prédicteurs plus simples pour comprendre à quel point le signal provient de la modification de code finale par rapport à la trace de session complète. Une régression utilisant le nombre total de lignes modifiées (ajouts plus suppressions) par rapport aux estimations humaines a donné de mauvais résultats, avec un R² de 0,13, confirmant que le volume de code est un faible indicateur de l'effort d'ingénierie. Un estimateur recevant uniquement les appels d'outil d'édition de l'agent, sans messages utilisateur ni activité de session, a obtenu de meilleurs résultats mais est resté en deçà de l'estimateur complet.

L'entreprise a conclu que l'effort dans une session provient souvent de l'investigation, du diagnostic, de la configuration de l'environnement, du raisonnement sur les compromis ou de la production de résultats non liés au code. Ces signaux sont visibles dans la trace de session mais pas toujours dans la modification de code finale.

Comparaison avec les travaux antérieurs

Deux études récentes ont utilisé des LLM pour l'estimation de l'effort. METR (2026) a utilisé GPT-4o et GPT-5 pour estimer les temps équivalents humains à partir de transcriptions Claude Code compressées, atteignant un R² de 0,82, supérieur au 0,70 de Cognition, mais sur un ensemble de données plus homogène collecté auprès du personnel technique de METR plutôt qu'auprès d'utilisateurs d'entreprises diversifiés.

Anthropic (2026) a estimé la durée des tâches sur des tickets Jira open-source en utilisant uniquement le titre et la description du ticket, atteignant un R² de 0,34. Le système de Cognition atteint un R² de 0,70 contre 0,34 pour Anthropic, démontrant que les données de session granulaires améliorent considérablement la précision.Anthropic lance Claude Sonnet 5 : une nouvelle…

Limites et menaces à la validité

Cognition est transparente quant aux limites. La vérité terrain est auto-déclarée par des utilisateurs qui savaient qu'ils parlaient à Cognition, ce qui peut introduire un biais. Les utilisateurs ayant répondu volontairement peuvent être davantage orientés vers les plus engagés. Et les heures économisées ne sont pas équivalentes à la valeur commerciale, une heure passée à corriger un bogue critique de production diffère considérablement d'une heure sur un projet ultérieurement abandonné.Le nouvel agent de codage de Cognition atteint des…

L'entreprise a noté qu'ils mesurent la capacité d'ingénierie, et non si cette capacité a été déployée sur un travail de grande valeur. Le système ne tient pas non plus compte de la qualité : si Devin introduit un bogue subtil détecté après la fusion, son apport sur cette tâche est négatif. Le filtre PR fusionnée supprime les échecs les plus évidents mais pas les défauts post-fusion.

Malgré ces limites, le système représente une étape significative vers la possibilité d'auditer les agents de codage IA autonomes en des termes que les responsables d'ingénierie comprennent déjà : heures, dollars et ROI. La question est de savoir si l'industrie convergera vers une norme pour mesurer ce ROI, et qui la fixera.Le pari de Microsoft sur les petits modèles pour l'IA…