英伟达新音频模型同时处理五大任务，专攻者在其领域反而落败

英伟达发布 Audex，这是一款统一的音频文本大型语言模型，将语音识别、翻译、文本转语音、音频生成与语音转语音生成集成在一个 transformer 解码器中。该模型基于 MoE 骨干网络 Nemotron-Cascade-2-30B-A3B：每次 token 仅激活 300 亿总参数中的 30 亿，这使其与通常需要多个专用模型的任务专用系统处于同一量级。ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

架构押注于简洁。音频输入经过编码并投影到文本嵌入空间，而文本 token 与量化音频输出 token 在生成过程中被统一处理。英伟达避免了复杂的模态专用模块，让 Audex 无需定制基础设施即可使用标准 LLM 训练与推理管道。

规模化训练

英伟达构建了一个包含 1574 亿音频 token 与 3205 亿文本 token 的训练语料库，覆盖语音、音乐、环境声音及多人对话。其流程采用多阶段监督学习，随后进行纯文本 Cascade RL 与多领域在策略蒸馏，该技术利用来自文本与音频任务的混合奖励信号来对齐模型输出。

蒸馏阶段尤为突出。英伟达未依赖人类反馈或静态基准，而是跨多个音频领域进行在策略采样，生成模拟真实用例的合成偏好数据。这帮助 Audex 保持了骨干网络在推理、对齐、知识回忆、长上下文理解与智能体任务上的性能, , 这些领域正是统一音频文本模型相对于纯文本对应模型常出现退化的地方。one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

性能亮点

英伟达研究团队的基准测试结果显示，Audex 在语音识别（LibriSpeech 与 Common Voice 上的词错误率）、语音翻译（CoVoST-2 上的 BLEU）以及文本转语音自然度（LJSpeech 上的平均意见分）方面，超越了 Seed-ASR、Qwen2-Audio 与 SpeechGPT 等旧版统一模型。在音频理解任务（包括声音事件检测、音乐流派分类与音频描述）上，Audex 在 ESC-50、AudioSet 与 Clotho 上创下了新的最先进分数。

纯文本 Cascade RL 阶段旨在防止灾难性遗忘。在 MMLU、GSM8K 与 HumanEval 等标准 NLP 基准测试上，Audex 相对于 Nemotron-Cascade-2-30B-A3B 骨干网络表现出微小或零退化。这表明英伟达解决了多模态 LLM 训练中长期存在的矛盾：加入音频理解通常会导致纯文本推理退化，但这里并未发生。ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

对音频 AI 栈的影响

Audex 以开放模型权重形式发布，包括完整的 300 亿 MoE 变体与较小的 20 亿密集版本，这推动该领域向音频与语音任务的单一模型方法发展。此前，生产系统通常运行独立的管道：一个 ASR 模型、一个 TTS 模型、一个声音事件分类器以及一个用于推理的文本 LLM。英伟达的统一架构压缩了该栈，降低了延迟、维护负担与硬件需求。

该模型还支持语音转语音生成，直接接收语音输入并产生语音输出，这为实时语音助手与对话式智能体开启了无需级联 ASR-TTS 循环的应用场景。Hugging Face 上的早期社区反馈强调了 Audex 在单次推理中处理代码切换、多人场景与环境音频提示的能力。minimax-speech-28-brings-human-warmth-to-ai-voices-with-native-filler-words-and-high-fidelity-cloning

英伟达尚未披露具体的推理延迟数字或 GPU 需求，仅指出与标准 LLM 推理框架兼容。这些权重可在 Nemotron 研究许可下获取，允许非商业用途与研究复现。