La única métrica que los agentes de IA para codificación no pueden fingir: horas humanas

Hace seis meses, todo CTO se preocupaba de que su equipo no estuviera consumiendo suficientes tokens de IA. Esa preocupación se ha transformado en una ansiedad diferente: cómo saber qué tokens realmente entregaron valor y cuáles se desperdiciaron en bucles, alucinaciones o indicaciones sin dirección. Para una organización que ejecuta miles de sesiones de agentes autónomos al mes, el problema escala más allá de lo que cualquier gerente de ingeniería puede evaluar manualmente.La trampa sutil que espera a los agentes de IA en producción

Cognition Labs, la empresa detrás de Devin, el llamado ingeniero de software autónomo de IA, publicó un relato detallado de cómo construyó un sistema para resolver exactamente este problema. En un artículo de investigación publicado el lunes, la compañía describió un estimador automatizado que revisa cada sesión completada de Devin, clasifica si produjo resultados útiles y luego estima cuánto tiempo habría tomado a un ingeniero humano producir el mismo trabajo. El sistema ya está en producción con clientes que pagan.El nuevo agente de codificación de Cognition obtiene…

La empresa afirma que este es el primer sistema automatizado que mide la productividad de ingeniería de IA en producción.

Por qué horas, no dólares

La elección de la métrica fue deliberada. Medir el impacto en dólares directamente, ingresos de una función lanzada, costo evitado por un error corregido, sigue siendo un problema no resuelto para toda la industria de la ingeniería de software. Incluso los ingenieros humanos, al completar sus propias retrospectivas de sprint, luchan por cuantificar el valor comercial de una solicitud de extracción.El impuesto oculto de los proyectos de vibe coding que…

Las métricas de actividad bruta, como líneas de código, commits o PRs, son fáciles de recopilar pero notoriamente engañosas. Una refactorización mecánica puede tocar miles de líneas en una tarde; una corrección de error de dos líneas puede representar horas de investigación. Muchas tareas valiosas, como clasificar errores, ejecutar consultas de análisis, revisar código, no producen ningún código.

El término medio que Cognition seleccionó son las horas de ingeniería humana: ¿cuánto tiempo habría tomado a un ingeniero humano competente producir el mismo resultado? Las horas son como las organizaciones ya denominan el valor de ingeniería, desde salarios hasta tarifas de contratistas y cálculos de tiempo de comercialización. La métrica está estandarizada entre organizaciones y es convertible a dólares a través de tarifas de ingeniería.

Pero no todas las horas son iguales. Si las solicitudes de extracción de una sesión se cerraron posteriormente sin fusionarse, es probable que esa sesión no haya sido valiosa. Por lo tanto, Cognition construyó un clasificador para filtrar sesiones improductivas antes de ejecutar el estimador de horas.

Construcción de la verdad fundamental a partir de informes de usuarios

Para entrenar y validar el estimador, Cognition recopiló un conjunto de datos de verdad fundamental pidiendo a los usuarios de Devin, en un conjunto diverso de clientes empresariales, que revisaran sesiones representativas recientes y estimaran cuánto tiempo habría tomado cada una sin Devin. Los datos provinieron de entrevistas en vivo y una encuesta.Anthropic y DXC Technology lanzan una alianza global…

La riqueza de los rastros de sesión resultó ser crítica. Cada sesión de Devin produce un rastro de ejecución completo: la solicitud del usuario, cada acción que tomó el agente, el código resultante y el contexto del código base. La compañía señaló que esto les da un registro del trabajo de ingeniería de producción a un nivel de detalle que es difícil de obtener solo a partir de encuestas, métricas de actividad agregadas o puntos de referencia de código abierto.

El clasificador de sesiones improductivas elimina aproximadamente el 30% de las sesiones, dependiendo del cliente. Se descartan las sesiones en las que Devin no tenía acceso para realizar la tarea, pidió una aclaración pero nunca recibió respuesta, o no pudo avanzar de manera significativa. Las sesiones que producen PRs fusionados se retienen; las sesiones sin PRs se mantienen solo si el clasificador las considera genuinamente productivas, tareas como encontrar dependencias no utilizadas, escanear en busca de vulnerabilidades de seguridad o revisar una solicitud de extracción.

El estimador: razonar sobre caminos humanos, no trayectorias de agentes

El estimador en sí mismo es un agente impulsado por LLM que recibe dos entradas clave: el contexto completo de la sesión (mensajes del usuario, salida del PR, rastro del agente, contexto del código base de DeepWiki) y un prompt cuidadosamente diseñado.

El diseño del prompt es donde realmente importa el criterio de ingeniería. Cognition identificó varios principios para evitar sobreestimar la salida:

• Razonar sobre el camino del humano, no del agente. Los agentes toman desvíos, se recuperan de fallos del entorno, producen artefactos que un ingeniero solitario no haría y reintentan acciones fallidas. El estimador descuenta todo eso.
• Acreditar solo el trabajo que el usuario no especificó previamente. Si un usuario proporciona un informe de error sin una corrección propuesta, el estimador incluye el tiempo de clasificación. Si el usuario proporciona un plan de implementación completo, solo se cuenta el tiempo de implementación.
• Tener en cuenta la familiaridad con el código base. Los usuarios le dijeron a Cognition que una de las ventajas más claras de Devin es trabajar en códigos base desconocidos o heredados que le costarían a un desarrollador humano un día de puesta al día. El estimador infiere la familiaridad requerida de la sesión e incluye tiempo de exploración cuando corresponde. Cuando no hay señal, asume familiaridad típica, un ingeniero que conoce la arquitectura de alto nivel pero no ha memorizado cada función.
• Asumir experiencia relevante. Un tema recurrente en las entrevistas fue que Devin permite a las personas hacer cosas que no podrían hacer por sí mismas, un ingeniero de backend que envía trabajo de frontend y ciencia de datos. Cognition asume conservadoramente que el ingeniero de referencia ya tiene la experiencia requerida, lo que subestima el esfuerzo en muchos casos donde un humano habría necesitado aprender un nuevo lenguaje o framework.

Resultados de validación: R² 0.70, deliberadamente conservador

En el conjunto de evaluación retenido, el estimador logra un R² de 0.70 y una correlación de Spearman de 0.85 (p < 0.001). Alrededor del 60% de las sesiones caen dentro de un factor de 2 de la estimación real. Las estimaciones individuales son ruidosas, son comunes errores de 2 a 3 veces en cualquier dirección, pero como los errores son aproximadamente imparciales e independientes, se cancelan a medida que crece el número de sesiones, y el agregado converge hacia el total informado por el humano.

Cognition encontró que aproximadamente la mitad del desacuerdo residual se encuentra entre usuarios, no dentro de las sesiones de un mismo usuario. La compañía consideró la calibración por usuario pero decidió no hacerlo por simplicidad, optando en cambio por estimar en relación con un usuario promedio.

Un hallazgo notable: el modelo inicial, no calibrado, subestimaba consistentemente. Cognition corrigió esto ajustando una regresión lineal en espacio logarítmico, que produjo un multiplicador casi constante. Sin embargo, incluso después de la calibración, la suma de las estimaciones de horas del modelo sigue siendo menor que la suma de las estimaciones humanas. Cognition reconoce que esta brecha es esperada, un estimador imparcial en espacio logarítmico subestima cuando se suma en espacio lineal, e informa la cifra no ajustada como una subestimación deliberadamente conservadora.

El volumen de código es un proxy deficiente

La compañía también probó predictores más simples para entender cuánta señal proviene del cambio de código final versus el rastro completo de la sesión. Una regresión que usa el total de líneas cambiadas (adiciones más eliminaciones) contra estimaciones humanas tuvo un rendimiento pobre, con un R² de 0.13, confirmando que el volumen de código es un proxy débil para el esfuerzo de ingeniería. Un estimador al que solo se le dieron las llamadas a la herramienta de edición del agente, sin mensajes de usuario ni actividad de la sesión, funcionó mejor pero aún así quedó rezagado respecto al estimador completo.

La compañía concluyó que el esfuerzo en una sesión a menudo proviene de la investigación, el diagnóstico, la configuración del entorno, el razonamiento sobre compensaciones o la producción de resultados útiles que no son código. Esas señales son visibles en el rastro de la sesión pero no siempre en el cambio de código final.

Comparación con trabajos anteriores

Dos estudios recientes han utilizado LLMs para la estimación de esfuerzo. METR (2026) utilizó GPT-4o y GPT-5 para estimar tiempos equivalentes humanos a partir de transcripciones comprimidas de Claude Code, logrando un R² de 0.82, más alto que el 0.70 de Cognition, pero en un conjunto de datos más homogéneo recopilado del personal técnico de METR en lugar de diversos usuarios empresariales.

Anthropic (2026) estimó la duración de tareas en tickets de Jira de código abierto utilizando solo el título y la descripción del ticket, alcanzando un R² de 0.34. El sistema de Cognition logra R² 0.70 frente al 0.34 de Anthropic, lo que demuestra que los datos granulares de sesiones mejoran significativamente la precisión.Anthropic lanza Claude Sonnet 5: una nueva frontera en…

Advertencias y amenazas a la validez

Cognition es transparente sobre las limitaciones. La verdad fundamental es autoinformada por usuarios que sabían que estaban hablando con Cognition, lo que puede introducir sesgo. Los usuarios que respondieron voluntariamente pueden sesgar hacia los más comprometidos. Y las horas ahorradas no son lo mismo que el valor comercial, una hora arreglando un error crítico de producción difiere drásticamente de una hora en un proyecto cancelado posteriormente.El nuevo agente de codificación de Cognition obtiene…

La compañía señaló que miden la capacidad de ingeniería, no si esa capacidad se desplegó en trabajo de alto valor. El sistema tampoco tiene en cuenta la calidad: si Devin introduce un error sutil detectado después de la fusión, su mejora en esa tarea es negativa. El filtro de PRs fusionados elimina los fracasos más claros, pero no los defectos posteriores a la fusión.

A pesar de estas advertencias, el sistema representa un paso significativo hacia hacer que los agentes autónomos de IA para codificación sean auditables en términos que los líderes de ingeniería ya entienden: horas, dólares y ROI. La pregunta es si la industria convergerá en un estándar para medir ese ROI, y quién lo establecerá.La apuesta de Microsoft por modelos pequeños para la IA…