基准测试
5 published articles
NLP与机器学习Featured3 min read
AI研究
为何GPT-5.5在测试智能体自我改进能力的基准测试中占据主导
EvoPolicyGym 隔离了一个关键但研究不足的能力：智能体通过反复受限反馈编辑来完善可执行策略的能力。该基准测试显示 GPT-5.5 在 16 个环境中表现最强，并提供了轨迹级诊断，揭示了不同智能体如何分配预算以及如何将反馈转化为调优参数。
2026-07-11
人工智能4 min read
AI研究
你的AI助手每天早晨都忘记你。这个基准测试证明了这一点。
VitaBench 2.0测试AI智能体能否从零散的互动中持续提取和更新用户偏好。结果显示，即便最先进的模型也难以构建持久的用户模型，揭示了聊天机器人能力与真正协作智能之间的巨大差距。
2026-07-11
大语言模型与模型1 min read
AI模型发布
MiniMax发布M2.7模型，拥有强大的软件工程和办公生产力能力
MiniMax的M2.7模型在软件工程基准测试和专业办公任务中表现强劲，复杂指令技能遵循率达97%，在GDPval-AA上ELO得分为1495。
2026-07-08
人工智能6 min read
气候科技
AIMIP第一阶段：测试AI气候模型的新基准
AIMIP第一阶段项目，涉及英伟达、谷歌研究院等团队，为AI气候模型提供了开放数据集与评估框架。尽管这些模型能精确重现历史气候模式，但其泛化至未见过条件的能力仍是一大挑战。
2026-07-03
人工智能4 min read
基准测试
牛津大学GauntletBench测试AI代理执行100个真实任务，它们失败了81%
牛津大学的GauntletBench对AI代理提出了100个具有挑战性的真实世界任务。前沿系统的成功率上限为19.1%，远低于人类表现。该基准测试针对五个专业应用中时间感知、图形理解和3D推理等被忽视的能力。
2026-07-01