AI编码代理无法伪造的唯一指标：人工工时

六个月前，每位首席技术官还担心他们的团队没有消耗足够的 AI 代币。现在，这种担忧已转变为另一种焦虑：如何判断哪些代币真正交付了价值，哪些浪费在了循环、幻觉或方向不明的提示上。对于一个每月运行数千次自主代理会话的组织而言，问题规模已超出任何工程经理人工分类的能力。AI代理在生产环境中隐藏的微妙陷阱

Cognition Labs，即所谓自主 AI 软件工程师 Devin 背后的公司，发布了一份详细描述其如何构建系统以解决这一问题的报告。在周一发布的一份研究帖子中，该公司描述了一个自动化评估器，该评估器审查每次完成的 Devin 会话，分类其是否产生了有用的输出，然后估计一名人类工程师完成同样的工作需要多长时间。该系统已在付费客户的生产环境中运行。Cognition新编程代理以极低成本接近前沿模型表现

该公司声称这是首个在生产环境中衡量 AI 工程生产力的自动化系统。

为什么选择工时而非美元

指标的选择是经过深思熟虑的。直接衡量美元影响, , 即已发布功能带来的收入、已修复漏洞避免的成本, , 对整个软件工程行业来说仍然是一个未解决的问题。即使是人类工程师，在填写自己的冲刺回顾时，也难以量化一次拉取请求的商业价值。氛围编码项目在您最意想不到时浮现的隐性成本

像代码行数、提交次数或拉取请求数量这样的原始活动指标很容易收集，但众所周知具有误导性。一次机械重构可以在一个下午触及数千行代码；而修复一个两行代码的 bug 可能需要数小时的调查。许多有价值的任务，如对漏洞进行分类、运行分析查询、审查代码，根本不产生代码。

Cognition 选择的中间立场是人工工程工时：一名能干的人类工程师完成同样输出需要多长时间？工时已经是组织衡量工程价值的方式，从薪水和承包商费率到上市时间计算。该指标在组织间是标准化的，并且可以通过工程费率转换为美元。

但并非所有工时都是平等的。如果一次会话的拉取请求后来都未被合并而关闭，那么那次会话可能没有价值。因此，Cognition 构建了一个分类器，在运行工时评估器之前过滤掉无生产力的会话。

从用户报告建立真实数据

为了训练和验证评估器，Cognition 通过询问 Devin 用户（来自多样化的企业客户群体）来收集一个真实数据集, , 要求他们审查近期代表性会话，并估计如果没有 Devin，每次会话需要多长时间。数据来自实时访谈和一项调查。Anthropic 与 DXC Technology 达成全球联盟，将 Claude 嵌入企业系统

会话痕迹的丰富性被证明至关重要。每次 Devin 会话都会产生完整的执行痕迹：用户请求、代理采取的每一次操作、生成的代码以及代码库上下文。该公司指出，这为他们提供了生产工程工作的详细记录，其详细程度是仅通过调查、汇总活动指标或开源基准难以获得的。

无生产力会话分类器会移除大约 30% 的会话，具体取决于客户。那些 Devin 无权执行任务、要求澄清但从未收到答复、或以其他方式无法取得有意义进展的会话将被丢弃。生成已合并拉取请求的会话被保留；没有拉取请求的会话仅当分类器认为它们确实有生产力时才保留，比如查找未使用的依赖项、扫描安全漏洞或审查拉取请求等任务。

评估器：推理人类的路径，而非代理的轨迹

该评估器本身是一个由 LLM 驱动的代理，接收两个关键输入：完整的会话上下文（用户消息、拉取请求输出、代理痕迹、来自 DeepWiki 的代码库上下文）和一份精心设计的提示。

提示设计才是真正体现工程判断力的地方。Cognition 确定了几个原则，以避免高估输出：

• 推理人类的路径，而非代理的。 代理会走弯路，它们会从环境故障中恢复，产生单人工程师不会产生的产物，并重试失败的操作。评估器会忽略所有这些。
• 仅计入用户未明确指定的工作。 如果用户提供了一份未提出修复方案的漏洞报告，评估器会包括分类时间。如果用户提供了完整的实现计划，则只计入实现时间。
• 考虑代码库熟悉度。 用户告诉 Cognition，Devin 最明显的优势之一是在不熟悉或遗留的代码库中工作，这会让人类开发者花费一天的熟悉时间。评估器从会话中推断所需的熟悉度，并在适当时包括探索时间。当没有信号时，它会假定典型熟悉度, , 即一名了解高级架构但未记住每个函数的工程师。
• 假定相关专业知识。 一个反复出现的访谈主题是，Devin 让人们能够做他们自己无法完成的事情, , 一名后端工程师交付前端和数据科学工作。Cognition 保守地假定参考工程师已具备所需专业知识，这在许多情况下会低估人力投入，因为人类可能需要学习一门新语言或框架。

验证结果：R² 0.70，保守估计

在保留的评估集上，该评估器达到了 R² 0.70 和 Spearman 相关性 0.85（p < 0.001）。约 60% 的会话落在真实估计值的两倍因子范围内。单个估计值存在噪声，2-3 倍的误差在任一方向都很常见，但由于误差大致无偏且独立，随着会话数量的增长，它们会相互抵消，并且汇总结果会收敛到人工报告的总数。

Cognition 发现，约一半的残差差异来自不同用户之间，而非来自同一个用户的会话内部。该公司考虑过按用户进行校准，但为了简单起见决定放弃，而是选择以平均用户为基准进行评估。

一个值得注意的发现是：初始未校准模型持续低估。Cognition 通过在 log 空间中拟合线性回归来纠正这一点，这产生了一个几乎恒定的乘数。然而，即使在校准之后，该模型工时估计的总和仍低于人工估计的总和。Cognition 承认这种差距是预期的, , 在 log 空间中的无偏估计器在求和到线性空间时会低估, , 并将未调整的数字报告为一种有意保守的低估。

代码量是一个糟糕的代理指标

该公司还测试了更简单的预测器，以了解有多少信号来自最终的代码变更，以及有多少来自完整的会话痕迹。使用总代码变更行数（增加行数加删除行数）对人工估计进行回归，表现不佳，R² 仅为 0.13，这证实了代码量是工程投入的一个弱代理指标。仅凭代理的编辑工具调用（不含用户消息或会话活动）进行估计的模型表现稍好，但仍落后于完整评估器。

该公司得出结论，会话中的投入通常来自调查、诊断、环境设置、权衡推理或生成有用的非代码输出。这些信号在会话痕迹中是可见的，但并不总是体现在最终的代码变更中。

与先前工作的比较

最近有两项研究使用 LLM 进行工作估计。METR（2026 年）使用 GPT-4o 和 GPT-5 从压缩的 Claude Code 记录中估计人类等效时间，达到了 R² 0.82，高于 Cognition 的 0.70，但使用的是从 METR 技术人员而非多样化企业用户收集的更同质化数据集。

Anthropic（2026 年）仅使用开源 Jira 工单的标题和描述来估计任务持续时间，达到了 R² 0.34。Cognition 的系统实现了 R² 0.70，而 Anthropic 为 0.34，这表明细粒度的会话数据显著提高了准确性。Anthropic 发布 Claude Sonnet 5：以更低成本开启代理型 AI 新前沿

注意事项与有效性威胁

Cognition 对局限性保持透明。真实数据是由用户自我报告的，这些用户知道他们正在与 Cognition 交谈，这可能会引入偏差。自愿响应的用户可能偏向于最投入的用户。并且，节省的工时并不等同于商业价值：修复一个关键生产漏洞的一小时与用于一个后来被取消的项目的一小时有天壤之别。Cognition新编程代理以极低成本接近前沿模型表现

该公司指出，他们衡量的是工程能力，而非这种能力是否被部署在高价值工作上。该系统也未考虑质量：如果 Devin 在合并后引入一个难以察觉的漏洞，其在该任务上的提升就是负面的。已合并拉取请求过滤器移除了最明显的失败案例，但未考虑合并后的缺陷。

尽管有这些注意事项，该系统仍代表了朝着让自主 AI 编码代理以工程领导者已经理解的指标（工时、美元和 ROI）变得可审计迈出的重要一步。问题是整个行业是否会达成衡量该 ROI 的标准，以及谁来制定这个标准。微软在智能体AI上的赌注：小模型重在编排而非知识