英伟达数据图谱显示：合成数据比模型权重更重要

英伟达发布了Nemotron Post-Training v3 Prompt Atlas，这是一张交互式可视化地图，让开发者可以探索其合成后训练数据集的构成。该工具基于数百万提示样本的体积采样表示，表明该公司正将其硬件主导地位押注在一个更复杂的问题上：为构建能在现实世界中运行的AI智能体解决数据短缺问题。

这个提示地图并非玩具。地图上的每一个点都代表来自Nemotron v3后训练数据集的一个提示样本，按语义相似度聚类。颜色叠加层让用户可以按数据集、流水线阶段、领域或工具使用进行筛选。放大到标记为“编码算法”或“智能体行为”的区域，开发者可以检查示例并理解模型行为的原因。这张地图显示了数据混合的真实比例，没有隐藏数学问题与安全样本的比例。

智能体数据问题

英伟达的表述直截了当：构建智能体之所以困难，是因为现实世界的行为不像基准测试。一个无法从损坏的API调用或未见过的工作流中恢复的智能体，不过是一个带有工具的自动补全系统，而不是真正的智能体。该公司认为，差距在于数据问题，涵盖软件工程轨迹、工具使用失败、多步推理、检索、安全、用户模拟、工作流执行，以及最终的物理世界交互。

这就是Nemotron开放数据产品的用武之地。英伟达已发布了超过10万亿个预训练标记和数百万个跨多个领域的后训练样本。这个提示地图让如此庞大的数据量变得可导航。

在今年的国际机器学习大会上，近145篇论文引用了Nemotron模型和数据集。合成数据在整个生态系统中扮演关键角色：Nemotron-CC使用合成数据增强用于预训练的Common Crawl，Nemotron-CC-MATH利用合成数学问题改进推理，而Nemotron Pretraining则涵盖通用、代码、数学、合成数据，总量达数万亿标记。

秘密，而非标记

英伟达应用深度学习研究副总裁Bryan Catanzaro最近指出，每家公司都围绕着一个秘密构建, , 一个竞争对手没有的工作流、语料库或客户模式。这些秘密让AI变得有用，但公司不能随意暴露它们。开放发布的合成数据为团队提供了一种保留有用信号而不暴露底层来源的方法。

“如果每个模型都从相同的狭窄数据池中学习，那么当模型开始趋同时，我们不应感到惊讶，”Catanzaro在一次直播讨论中说道。“难点在于，最有用的数据藏身于无法直接发布它们的组织内部。”

这种对丰富、多样化数据的需求与对专有秘密保护之间的紧张关系，正是Nemotron开放数据策略要解决的核心问题。通过开放发布合成数据集，英伟达邀请研究社区在其基础上构建，同时让公司保留生成带有私有信号的定制合成变体的能力。

本地数据，全球智能体

英伟达的Nemotron-Personas项目展示了这一原则。该数据集使用NeMo Data Designer构建，创建了捕捉人口和地理多样性的本地化合成人物形象。一个基于英文互联网数据训练的毒性分类器会错过韩语或日语的敌对信息，在这些语言中，攻击性通过礼貌程度而非明显词汇来编码。人物数据旨在解决这一问题。

上个月在巴黎的VivaTech大会上，英伟达发布了该集合中的第十个国家，现已覆盖超过24亿人口。公司强调，质量是本地化的, , 只有地区研究人员、母语者和领域专家才能根据自身背景检查和纠正数据。

合成阈值与信任

英伟达承认其中的权衡。合成数据降低了风险，但并未消除对基础事实、来源追溯、数据筛选、评估和人工判断的需求。公司提出了“合成阈值”的概念，即数据不能再被视为纯粹真实数据的临界点。这条线并不总是清晰的，因为真实工作流、人类反馈、模型生成的轨迹、模拟用户和合成标签常常交织在一起。

英伟达认为，答案是文档化：生成了什么、基于什么、审查了什么、数据旨在测试什么。随着越来越多的AI系统基于人工信息进行训练，行业需要更好的共享习惯来审查这些数据并公开讨论这些技术。

这对智能体竞赛为何重要

每个主要实验室都在竞相推出能预订航班、编写代码、提交报销报告和运行电子表格的智能体。但失败模式, , 虚构的API调用、丢失的上下文、中断的多步计划, , 始终追溯到同一个根本原因：缺乏能模拟真实失败与恢复分布的训练数据。

英伟达的赌注是，开放合成数据，尤其是用于智能体工作流的数据，将加速整个领域的发展。这个提示地图为开发者提供了一种新工具，以审计他们依赖的模型背后的数据。这是否会加速实现现实世界中智能体可靠性的时间表，还是仅仅更清晰地描绘出问题，市场将给出答案。但来自英伟达的信号是明确的：模型权重重要。数据更重要。