L'atlas de données de Nvidia montre pourquoi les données synthétiques importent plus que les poids des modèles

Nvidia a publié le Nemotron Post-Training v3 Prompt Atlas, une carte visuelle interactive qui permet aux développeurs d'explorer la composition de sa collection de données synthétiques post-entraînement. L'outil, construit sur une représentation échantillonnée en volume de millions d'échantillons de prompts, indique que l'entreprise parie sur sa domination matérielle pour résoudre un problème bien plus complexe : la pénurie de données pour construire des agents IA qui fonctionnent dans le monde réel.

L'atlas de prompts n'est pas un jouet. Chaque point sur la carte représente un échantillon de prompt de la collection post-entraînement Nemotron v3, regroupé par similarité sémantique. Des superpositions de couleurs permettent aux utilisateurs de filtrer par ensemble de données, étape du pipeline, domaine ou utilisation d'outils. Un développeur qui zoome sur une région étiquetée "algorithmes de codage" ou "comportement agentique" peut inspecter des exemples et comprendre pourquoi un modèle se comporte comme il le fait. La carte montre les proportions honnêtes du mélange de données, sans cacher le rapport entre les problèmes mathématiques et les échantillons de sécurité. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Le problème des données des agents

Le cadrage de Nvidia est direct : construire des agents est difficile car le monde réel ne se comporte pas comme un benchmark. Un agent qui ne peut pas se remettre d'un appel d'API cassé ou d'un flux de travail inconnu est un autocompléteur avec des outils, pas un agent. L'écart, selon l'entreprise, est un problème de données couvrant les traces de génie logiciel, les échecs d'utilisation d'outils, le raisonnement multi-étapes, la récupération, la sécurité, la simulation d'utilisateurs, l'exécution de flux de travail et, finalement, l'interaction avec le monde physique. the-subtle-trap-waiting-for-ai-agents-in-production

C'est là que vivent les produits de données ouvertes Nemotron. Nvidia a publié plus de 10 billions de jetons de pré-entraînement et des millions d'échantillons post-entraînement dans plusieurs domaines. L'atlas de prompts rend ce volume navigable.

Lors de la Conférence internationale sur l'apprentissage automatique plus tôt cette année, près de 145 articles ont cité les modèles et ensembles de données Nemotron. Les données synthétiques jouent un rôle clé dans cet écosystème : Nemotron-CC utilise des données synthétiques pour améliorer Common Crawl pour le pré-entraînement, Nemotron-CC-MATH exploite des questions mathématiques synthétiques pour améliorer le raisonnement, et Nemotron Pretraining couvre des données générales, de code, mathématiques et synthétiques à travers des billions de jetons. nvidia-nemo-automodel-delivers-37x-faster-moe-fine-tuning-via-expert-parallelism-and-deepep

Des secrets, pas des jetons

Le vice-président de la recherche en apprentissage profond appliqué chez Nvidia, Bryan Catanzaro, a récemment soutenu que chaque entreprise repose sur un secret, un flux de travail, un corpus ou un modèle de client que les concurrents ne possèdent pas. Ces secrets rendent l'IA utile, mais les entreprises ne peuvent pas les exposer à la légère. Les données synthétiques, publiées ouvertement, offrent aux équipes un moyen de préserver les signaux utiles sans exposer les sources sous-jacentes.

"Si chaque modèle apprend à partir du même pool étroit de données, nous ne devrions pas être surpris lorsque les modèles commencent à se ressembler", a noté Catanzaro lors d'un panel en direct. "La partie difficile est que les données les plus utiles se trouvent à l'intérieur d'organisations qui ne peuvent pas les publier directement."

Cette tension, entre le besoin de données riches et diverses et le besoin de secret propriétaire, est la dynamique centrale que la stratégie de données ouvertes Nemotron aborde. En publiant ouvertement des ensembles de données synthétiques, Nvidia invite la communauté de recherche à construire par-dessus, tandis que les entreprises conservent la capacité de générer leurs propres variations synthétiques avec des signaux privés intégrés. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

Données locales pour des agents globaux

Le projet Nemotron-Personas de Nvidia illustre ce principe. L'ensemble de données, construit à l'aide de NeMo Data Designer, crée des personnages synthétiques ancrés localement qui capturent la diversité démographique et géographique. Un classifieur de toxicité entraîné sur des données Internet anglaises manque des messages hostiles en coréen ou en japonais, où l'agressivité est codée dans les niveaux de politesse plutôt que dans un vocabulaire évident. Les données de personnages visent à résoudre ce problème.

Lors du VivaTech à Paris le mois dernier, Nvidia a lancé le dixième pays de la collection, qui représente désormais plus de 2,4 milliards de personnes. L'entreprise souligne que la qualité est locale : seuls les chercheurs régionaux, les locuteurs natifs et les experts en la matière peuvent inspecter et corriger les données pour leur contexte. nvidias-audex-packs-five-audio-jobs-into-one-model-and-beats-the-specialists

Seuils synthétiques et confiance

Nvidia reconnaît les compromis. Les données synthétiques réduisent le risque mais ne suppriment pas le besoin d'ancrage, de provenance, de curation, d'évaluation et de jugement humain. L'entreprise propose le concept de "seuils synthétiques", des points où les données ne peuvent plus être traitées comme purement réelles. La ligne n'est pas toujours évidente, car les flux de travail réels, les retours humains, les traces générées par le modèle, les utilisateurs simulés et les étiquettes synthétiques s'entremêlent souvent.

La réponse, selon Nvidia, est la documentation : ce qui a été généré, ce qui a été ancré, ce qui a été examiné et ce que les données sont censées tester. Alors que de plus en plus de systèmes d'IA s'entraînent sur des informations artificielles, l'industrie a besoin de meilleures habitudes partagées pour les inspecter et débattre de ces technologies en public. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Pourquoi cela compte pour la course aux agents

Chaque grand laboratoire se précipite pour livrer des agents capables de réserver des vols, d'écrire du code, de remplir des notes de frais et de gérer des feuilles de calcul. Mais les modes d'échec, les appels d'API hallucinés, le contexte perdu, les plans multi-étapes cassés, remontent systématiquement à la même cause racine : des données d'entraînement insuffisantes qui simulent la distribution réelle des échecs et des récupérations.

Le pari de Nvidia est que les données synthétiques ouvertes, en particulier pour les flux de travail agentiques, accéléreront l'ensemble du domaine. L'atlas de prompts donne aux développeurs un nouvel outil pour auditer les données derrière les modèles dont ils dépendent. Que cela accélère le calendrier vers une fiabilité réelle des agents ou qu'il ne fasse que cartographier le problème plus clairement, le marché en décidera. Mais le signal de Nvidia est indubitable : les poids des modèles comptent. Les données comptent plus.