نموذج الصوتي الجديد من إنفيديا يقوم بخمس مهام في وقت واحد ويتفوق على المتخصصين في مجالهم

أصدرت إنفيديا أودكس، وهو نموذج لغوي كبير موحد للصوت والنص يدمج التعرف على الكلام والترجمة وتحويل النص إلى كلام وتوليد الصوت وتوليد الكلام من الكلام في مفكك ترميز محول واحد. يستند النموذج إلى هيكل MoE Nemotron-Cascade-2-30B-A3B: يُفعّل 3 مليارات فقط من إجمالي 30 مليار معلمة لكل رمز، مما يضعه في نفس فئة الأنظمة المتخصصة التي تتطلب غالبًا نماذج متخصصة متعددة. ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

الرهان المعماري هو على البساطة. يتم ترميز المدخلات الصوتية وإسقاطها في فضاء تضمين النص، بينما تُعامل رموز النص ورموز إخراج الصوت المكممة بشكل موحد أثناء التوليد. تتجنب إنفيديا الوحدات المعقدة الخاصة بالوسائط وتتيح لأودكس استخدام خطوط أنابيب التدريب والاستدلال القياسية لنماذج LLM دون بنية تحتية مخصصة.

التدريب على نطاق واسع

بنَت إنفيديا مجموعة تدريب تضم 157.4 مليار رمز صوتي و320.5 مليار رمز نصي، تغطي الكلام والموسيقى والأصوات البيئية والمحادثات متعددة المتحدثين. طبق خط الأنابيب تعلمًا خاضعًا للإشراف متعدد المراحل يليه Cascade RL نصي فقط وتقطيع متعدد المجالات على السياسة، وهي تقنية تستخدم مزيجًا من إشارات المكافآت من مهام النص والصوت لمحاذاة مخرجات النموذج.

تبرز مرحلة التقطيع. بدلاً من الاعتماد على التغذية الراجعة البشرية أو المعايير الثابتة، استخدمت إنفيديا أخذ عينات على السياسة عبر مجالات صوتية متعددة لتوليد بيانات تفضيل اصطناعية تحاكي حالات الاستخدام الواقعية. ساعد هذا أودكس في الحفاظ على أداء الهيكل الأساسي في الاستدلال والمحاذاة واسترجاع المعرفة والفهم السياقي الطويل والمهام الوكيلة، وهي المجالات التي غالبًا ما تتراجع فيها النماذج الموحدة للصوت والنص مقارنة بنظيراتها النصية فقط. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

أبرز النتائج

تُظهر نتائج المعايير من فريق أبحاث إنفيديا تفوق أودكس على النماذج الموحدة الأقدم مثل Seed-ASR وQwen2-Audio وSpeechGPT في التعرف على الكلام (معدل خطأ الكلمات على LibriSpeech وCommon Voice) وترجمة الكلام (BLEU على CoVoST-2) وطبيعية تحويل النص إلى كلام (متوسط درجة الرأي على LJSpeech). في مهام فهم الصوت بما في ذلك اكتشاف الأحداث الصوتية وتصنيف أنواع الموسيقى وتوصيف الصوت، يسجل أودكس أعلى الدرجات الحديثة على ESC-50 وAudioSet وClotho.

صممت مرحلة Cascade RL النصية فقط لمنع النسيان الكارثي. في معايير NLP القياسية مثل MMLU وGSM8K وHumanEval، يُظهر أودكس تراجعًا طفيفًا أو معدومًا مقارنة بالهيكل الأساسي Nemotron-Cascade-2-30B-A3B. يشير هذا إلى أن إنفيديا حلت توترًا طويل الأمد في تدريب نماذج LLM متعددة الوسائط: إضافة فهم الصوت غالبًا ما يضعف الاستدلال النصي البحت، لكنه لا يحدث هنا. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

الآثار المترتبة على مجموعة تقنيات الصوت للذكاء الاصطناعي

يتم إصدار أودكس كنقاط تحقق نموذج مفتوح، كل من متغير MoE الكامل 30B والإصدار الكثيف الأصغر 2B، مما يدفع المجال نحو نهج نموذج واحد للمهام الصوتية والكلامية. حتى الآن، كانت الأنظمة الإنتاجية تشغل عادةً خطوط أنابيب منفصلة: نموذج ASR واحد، ونموذج TTS واحد، ومصنف أحداث صوتية واحد، ونموذج LLM نصي للاستدلال. ينهار الهيكل الموحد لإنفيديا هذه المجموعة، مما يقلل من زمن الاستجابة وعبء الصيانة ومتطلبات الأجهزة.

يتعامل النموذج أيضًا مع توليد الكلام من الكلام، حيث يأخذ الإدخال المنطوق وينتج إخراجًا منطوقًا مباشرة، مما يفتح حالات الاستخدام في المساعدين الصوتيين في الوقت الفعلي والعوامل التحادثية دون حلقات ASR-TTS المتتالية. يسلط التعليق المبكر من المجتمع على Hugging Face الضوء على قدرة أودكس على التعامل مع تبديل الرموز وسيناريوهات متعددة المتحدثين والمطالبات الصوتية البيئية في تمريرة استدلال واحدة. minimax-speech-28-brings-human-warmth-to-ai-voices-with-native-filler-words-and-high-fidelity-cloning

لم تكشف إنفيديا عن أرقام زمن الاستدلال المحددة أو متطلبات GPU بخلاف الإشارة إلى التوافق مع أطر استدلال LLM القياسية. نقاط التحقق متاحة بموجب ترخيص بحث Nemotron، الذي يسمح بالاستخدام غير التجاري والتكاثر البحثي.