你的AI助手每天早晨都忘记你。这个基准测试证明了这一点。

在所有关于AI智能体预订航班或编写代码的令人屏息的演示中，有一个令人不安的事实很少被提及：大多数这些智能体每次对话都像陌生人一样开始。它们不记得你昨天问了什么，没有你的偏好模型，也不了解定义你决策的习惯。一项新的基准测试VitaBench 2.0旨在量化这个问题的严重程度。数字令人警醒。llms-corrupt-your-documents-when-you-delegate-a-close-look-at-the-delegate-52-benchmark

由北京理工大学、腾讯AI Lab及其他机构的研究人员开发的VitaBench 2.0，运行在一个简单但严苛的前提之上。任务不是作为孤立的请求呈现，而是作为个别用户的时间顺序序列。偏好被故意嵌入碎片化、异质的互动中。智能体必须跨越时间线持续提取、利用和更新这些偏好。这相当于一个新手必须通过观察日常行为来学习老板的怪癖，但却没有新手那种推断和记忆的自然能力。the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

风险所在

该基准对个性化和主动性的关注，瞄准了当前评估中的一个盲点。从ToolBench到SWE-bench的现有智能体基准测试推理、工具使用和代码生成，但很少测试智能体是否能构建它所服务的用户模型。随着智能体从一次性问答向健康、金融和日常调度等领域的长期协作发展，这种遗漏变得更为重要。

VitaBench 2.0引入了两个核心评估维度。首先是个性化：智能体能否推断出总是选择靠窗座位的用户也偏好餐厅的角落位置？其次是主动性：智能体能否识别何时信息缺失，比如饮食限制，并在做出决定前主动询问，而不是采用默认值？ifbench-the-new-benchmark-testing-ai-instruction-following

结果差距

该论文评估了一系列专有和开源模型，包括GPT-4o、Claude 3.5 Sonnet、DeepSeek-V3等。具体分数最好在完整论文中查看，但主要发现是明确的：即便最好的模型，其成功率也远低于实际部署所需。在需要智能体在偏好中途发生变化时修正用户模型的任务上，差距最为显著, , 人类能直观处理这种情况，但LLM却系统地处理不当。

一个说明性的失败模式：在互动早期正确记忆了用户偏好的智能体，会在后续僵化地应用该偏好，即使用户后续行为与之矛盾。智能体缺乏检测用户模型是否需要更新的元认知能力。另一个反复出现的失败：当用户请求未明确说明时，智能体未能提出澄清问题，尽管它们曾使用指令遵循数据进行了明确训练。该基准的主动性维度抓住了那些能复述用户请求但无法识别其缺口的模型。your-ai-agent-passed-the-test-by-accident-now-theres-a-rubric-for-that

架构经验

该论文还提供了一个可扩展的记忆接口，使得在不同记忆架构之间进行受控比较成为可能。这是一个实际的贡献：该基准并非简单声明当前模型在个性化方面表现糟糕，而是允许研究人员隔离瓶颈是模型的推理能力、记忆检索机制，还是长上下文的原始注意力容量。

早期对滑动窗口记忆、基于摘要的记忆和检索增强记忆的实验表明，没有单一架构能解决这个问题。检索增强方法有助于事实回忆，但在推理任务（如知道用户喜欢安静餐厅环境暗示了其对咖啡馆类型的偏好）上挣扎。摘要方法压缩过于激进，失去了细微差别。表现最佳的架构结合了多种记忆机制，但仍然达不到可靠的个性化。opid-on-policy-skill-distillation-boosts-language-agent-training-without-external-memories

为什么这至关重要：实验室之外

VitaBench 2.0出现之际，包括Google、OpenAI和Anthropic在内的多家公司正在推出或准备推出能够跨更长时间周期运作的智能体。例如，Google的Project Mariner旨在通过跨会话记住上下文来帮助用户完成基于Web的任务。该基准的结果表明，这些产品将面临比其营销所承认的更严峻的个性化问题。

还有一个论文中轻描淡写的隐私角度。持久的用户模型如果实现，会为数据泄露创造新的途径。一个构建了用户习惯和偏好详细档案的智能体是更有用的助手，但也更为敏感。该基准没有评估隐私权衡，但它所启用的架构选择可能会影响需要存储多少用户数据以及存储多久。mosaicleaks-study-reveals-how-ai-research-agents-leak-private-data-through-web-queries

结论

VitaBench 2.0并未声称是完整的解决方案。作者指出，他们的任务是模拟的，现实世界的用户互动比任何基准所能捕捉的都要混乱。但它在两种AI能力之间划出了一条清晰的界线：正确回答问题的能力，以及足够了解一个人以预测接下来需求的能力。这两者之间的差距将是下一代智能体研究的战场。

就目前而言，该基准的结论是：LLM智能体是出色的陌生人。教会它们成为朋友还需要更多努力。