El nuevo modelo de audio de Nvidia hace cinco trabajos a la vez y supera a los especialistas en su propio juego

Nvidia lanzó Audex, un modelo de lenguaje grande unificado de audio-texto que integra reconocimiento de voz, traducción, texto a voz, generación de audio y generación de voz a voz en un solo decodificador transformer. El modelo está construido sobre el backbone MoE Nemotron-Cascade-2-30B-A3B: activa solo 3 mil millones de sus 30 mil millones de parámetros totales por token, lo que lo sitúa en el mismo rango que los sistemas especializados que a menudo requieren múltiples modelos específicos. ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

La apuesta arquitectónica es por la simplicidad. Las entradas de audio se codifican y proyectan en el espacio de incrustación de texto, mientras que los tokens de texto y los tokens de salida de audio cuantificados se tratan de manera uniforme durante la generación. Nvidia evita módulos complejos específicos de modalidad y permite que Audex utilice pipelines estándar de entrenamiento e inferencia de LLM sin infraestructura personalizada.

Entrenamiento a escala

Nvidia construyó un corpus de entrenamiento de 157.4 mil millones de tokens de audio y 320.5 mil millones de tokens de texto, que cubre voz, música, sonidos ambientales y conversaciones con múltiples hablantes. El pipeline aplicó aprendizaje supervisado de múltiples etapas seguido de Cascade RL solo de texto y destilación multidominio en-política, una técnica que utiliza una mezcla de señales de recompensa tanto de tareas de texto como de audio para alinear las salidas del modelo.

La etapa de destilación destaca. En lugar de depender de retroalimentación humana o puntos de referencia estáticos, Nvidia utilizó muestreo en-política en múltiples dominios de audio para generar datos de preferencia sintéticos que imitan casos de uso del mundo real. Esto ayudó a Audex a preservar el rendimiento del backbone en razonamiento, alineación, recuperación de conocimiento, comprensión de contexto largo y tareas de agente, áreas donde los modelos de audio-texto unificados a menudo retroceden en comparación con sus contrapartes solo de texto. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

Destacados de rendimiento

Los resultados de pruebas de referencia del equipo de investigación de Nvidia muestran que Audex supera a modelos unificados anteriores como Seed-ASR, Qwen2-Audio y SpeechGPT en reconocimiento de voz (Tasa de error de palabras en LibriSpeech y Common Voice), traducción de voz (BLEU en CoVoST-2) y naturalidad de texto a voz (Puntuación de opinión media en LJSpeech). En tareas de comprensión de audio que incluyen detección de eventos sonoros, clasificación de género musical y descripción de audio, Audex establece nuevas puntuaciones de última generación en ESC-50, AudioSet y Clotho.

La etapa de Cascade RL solo de texto fue diseñada para prevenir el olvido catastrófico. En puntos de referencia estándar de PNL como MMLU, GSM8K y HumanEval, Audex muestra una regresión marginal o nula en relación al backbone Nemotron-Cascade-2-30B-A3B. Esto sugiere que Nvidia resolvió una tensión de larga data en el entrenamiento de LLM multimodales: agregar comprensión de audio a menudo degrada el razonamiento textual puro, pero aquí no es así. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Implicaciones para el stack de IA de audio

Audex se está lanzando como puntos de control de modelo abiertos, tanto la variante completa MoE de 30B como una versión densa más pequeña de 2B, lo que impulsa el campo hacia un enfoque de modelo único para tareas de audio y voz. Hasta ahora, los sistemas de producción solían ejecutar pipelines separados: un modelo ASR, un modelo TTS, un clasificador de eventos sonoros y un LLM de texto para razonamiento. La arquitectura unificada de Nvidia colapsa ese stack, reduciendo la latencia, la carga de mantenimiento y los requisitos de hardware.

El modelo también maneja la generación de voz a voz, tomando entrada hablada y produciendo salida hablada directamente, lo que abre casos de uso en asistentes de voz en tiempo real y agentes conversacionales sin bucles en cascada ASR-TTS. Los primeros comentarios de la comunidad en Hugging Face destacan la capacidad de Audex para manejar cambio de código, escenarios con múltiples hablantes y preguntas de audio ambiental en una sola pasada de inferencia. minimax-speech-28-brings-human-warmth-to-ai-voices-with-native-filler-words-and-high-fidelity-cloning

Nvidia no ha divulgado números específicos de latencia de inferencia o requisitos de GPU más allá de señalar compatibilidad con marcos de inferencia estándar de LLM. Los puntos de control están disponibles bajo la licencia de investigación Nemotron, que permite uso no comercial y reproducción de investigación.