AI评估
3 published articles
大语言模型与模型Featured2 min read
AI研究
你的AI代理意外通过了测试。现在有了评估标准。
SkillCoach是一个自我进化的评估标准框架，通过分析技能选择、遵循、组合和反思过程来评估和改进代理的技能使用，提供比仅依赖结果指标更好的监督。
2026-07-06
人工智能2 min read
AI 研究
当你授权时，大语言模型会破坏你的文档：深入解读 DELEGATE-52 基准测试
DELEGATE-52 基准测试揭示，当前大语言模型在接受多步骤文档编辑任务时会出现保真度累积退化。在 20 轮迭代中，错误影响了 19% 至 34% 的工件内容，但 Python 工作流的损失低于 1%。该研究是一个诊断工具，而非对 AI 实际效用的最终定论。
2026-07-05
人工智能Featured5 min read
智能体基准分析
ProgramBench：最硬核编程测试中，所有公开AI模型得分均为0%
ProgramBench要求AI智能体仅凭二进制文件重构程序，无需源代码或问题描述。所有公开模型均未能完全解决任何任务，暴露出在探测、架构和停止判断方面的弱点。该基准测试是针对编程智能体超越补丁式工作流程的压力测试。
2026-06-29