Le nouveau modèle audio de Nvidia fait cinq choses à la fois et bat les spécialistes sur leur propre terrain

Nvidia a publié Audex, un modèle de langage unifié audio-texte qui intègre la reconnaissance vocale, la traduction, la synthèse vocale, la génération audio et la génération parole-parole dans un seul décodeur transformer. Le modèle est construit sur le backbone MoE Nemotron-Cascade-2-30B-A3B : il n'active que 3 de ses 30 milliards de paramètres totaux par token, ce qui le place dans la même catégorie que les systèmes spécialisés qui nécessitent souvent plusieurs modèles dédiés. ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

Le pari architectural porte sur la simplicité. Les entrées audio sont encodées et projetées dans l'espace d'embedding textuel, tandis que les tokens de texte et les tokens de sortie audio quantifiés sont traités uniformément lors de la génération. Nvidia évite les modules complexes spécifiques à la modalité et permet à Audex d'utiliser les pipelines standard d'entraînement et d'inférence des LLM sans infrastructure personnalisée.

Entraînement à grande échelle

Nvidia a construit un corpus d'entraînement de 157,4 milliards de tokens audio et 320,5 milliards de tokens texte, couvrant la parole, la musique, les sons environnementaux et les conversations multi-locuteurs. Le pipeline a appliqué un apprentissage supervisé en plusieurs étapes suivi d'un Cascade RL purement textuel et d'une distillation multi-domaine sur politique, une technique qui utilise un mélange de signaux de récompense provenant à la fois de tâches textuelles et audio pour aligner les sorties du modèle.

L'étape de distillation se démarque. Au lieu de s'appuyer sur des retours humains ou des benchmarks statiques, Nvidia a utilisé un échantillonnage sur politique dans plusieurs domaines audio pour générer des données de préférence synthétiques imitant des cas d'utilisation réels. Cela a aidé Audex à préserver les performances du backbone sur le raisonnement, l'alignement, la récupération de connaissances, la compréhension de longs contextes et les tâches agentiques, des domaines où les modèles audio-texte unifiés régressent souvent par rapport à leurs homologues purement textuels. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

Points forts des performances

Les résultats des benchmarks de l'équipe de recherche de Nvidia montrent qu'Audex bat les modèles unifiés plus anciens tels que Seed-ASR, Qwen2-Audio et SpeechGPT en reconnaissance vocale (taux d'erreur de mots sur LibriSpeech et Common Voice), en traduction vocale (BLEU sur CoVoST-2) et en naturel de la synthèse vocale (Mean Opinion Score sur LJSpeech). Sur les tâches de compréhension audio, y compris la détection d'événements sonores, la classification de genres musicaux et le sous-titrage audio, Audex établit de nouveaux scores de pointe sur ESC-50, AudioSet et Clotho.

L'étape de Cascade RL purement textuel a été conçue pour prévenir l'oubli catastrophique. Sur des benchmarks NLP standard comme MMLU, GSM8K et HumanEval, Audex montre une régression marginale ou nulle par rapport au backbone Nemotron-Cascade-2-30B-A3B. Cela suggère que Nvidia a résolu une tension de longue date dans l'entraînement des LLM multimodaux : l'ajout de la compréhension audio dégrade souvent le raisonnement textuel pur, mais ici ce n'est pas le cas. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Implications pour la pile audio IA

Audex est publié sous forme de points de contrôle de modèle ouverts, à la fois la variante MoE complète de 30B et une version dense plus petite de 2B, ce qui pousse le domaine vers une approche à modèle unique pour les tâches audio et vocales. Jusqu'à présent, les systèmes de production exécutaient généralement des pipelines séparés : un modèle ASR, un modèle TTS, un classificateur d'événements sonores et un LLM textuel pour le raisonnement. L'architecture unifiée de Nvidia effondre cette pile, réduisant la latence, la charge de maintenance et les besoins matériels.

Le modèle gère également la génération parole-parole, prenant une entrée parlée et produisant directement une sortie parlée, ce qui ouvre des cas d'utilisation dans les assistants vocaux en temps réel et les agents conversationnels sans boucles ASR-TTS en cascade. Les premiers retours de la communauté sur Hugging Face soulignent la capacité d'Audex à gérer l'alternance codique, les scénarios multi-locuteurs et les invites audio environnementales en un seul passage d'inférence. minimax-speech-28-brings-human-warmth-to-ai-voices-with-native-filler-words-and-high-fidelity-cloning

Nvidia n'a pas divulgué de chiffres spécifiques de latence d'inférence ni d'exigences GPU, au-delà de la mention de la compatibilité avec les frameworks d'inférence LLM standard. Les points de contrôle sont disponibles sous la licence de recherche Nemotron, qui permet une utilisation non commerciale et une reproduction à des fins de recherche.