معايير واختبارات
تريبل تكنولوجيز وهاجينج فيس تطلقان لوحة متصدرين FFASR للتعرف على الكلام في المجال البعيد
لوحة متصدرين FFASR الجديدة من تريبل تكنولوجيز وهاجينج فيس تقيم نماذج التعرف الآلي على الكلام عبر تسعة ظروف تشمل الصدى والضوضاء الخلفية ومسافة الميكروفون. تظهر التقديمات المبكرة أن معدل خطأ الكلمات في المجال البعيد عند نسبة الإشارة إلى الضوضاء المنخفضة أعلى بعدة مرات من أداء المجال القريب، مما يسلط الضوء على الحاجة إلى نماذج قوية صوتيًا.
يعد أحد الإحباطات المستمرة في تطوير التعرف الآلي على الكلام هو الفجوة بين أداء المعايير والنشر في العالم الحقيقي. غالبًا ما تتصرف النماذج التي تتفوق في التقييمات القياسية بشكل مختلف تمامًا بمجرد دخول الصوتيات الحقيقية للغرفة في الصورة، حيث تظهر تأثيرات الصدى والضوضاء الخلفية ومسافة الميكروفون. تؤثر التفاعلات المعقدة بين هذه العوامل على الأداء بطرق تفشل معايير الكلام النظيف في التقاطها. لوحة متصدرين FFASR هي محاولة لقياس هذه الفجوة.
تطرح تريبل تكنولوجيز وهاجينج فيس لوحة متصدرين FFASR للتعرف على الكلام في المجال البعيد، وهي أول معيار مفتوح يقوده المجتمع مصمم لتقييم نماذج التعرف الآلي على الكلام في ظروف صوتية واقعية في المجال البعيد. إنها متاحة الآن، ويمكن للمجتمع تقديم النماذج واستكشاف النتائج والمساعدة في تشكيل ما هو قادم.
تحدي المجال البعيد
لقد تجاوزت واجهات الصوت سماعة الرأس والهاتف الذكي بكثير. تشهد وكلاء الصوت بالذكاء الاصطناعي، والنسخ في غرف المؤتمرات، والمساعدين في السيارة، والروبوتات البشرية، والنظارات الذكية، والأدوات التي لا تعمل باليدين اعتمادًا سريعًا. ما تشترك فيه هو أنها تعمل في بيئات صوتية معقدة: الصدى، والضوضاء الخلفية، والأصوات المتداخلة، وميكروفون قد يكون على بعد بضعة أقدام أو عدة أمتار من المتحدث.
لم يواكب النموذج السائد لتقييم التعرف الآلي على الكلام هذا الواقع. تظل معايير الميكروفون القريب النظيفة هي المعيار، وعلى الرغم من أنها مفيدة لقياس جودة التعرف الأساسية، إلا أنها لا تتنبأ بأداء المجال البعيد. يمكن أن يتدهور النموذج الذي يتألق في LibriSpeech أو مجموعات أخرى قريبة المجال بشكل كبير بمجرد دخول الصوتيات الحقيقية للغرفة في الصورة. تناولت العديد من الجهود البحثية تقييم الكلام في المجال البعيد والمزعج، بما في ذلك CHiME وURGENT وNOIZEUS، لكن المجتمع لم يكن لديه طريقة مفتوحة وموحدة لقياس هذا التدهور باستمرار عبر النماذج في تنسيق لوحة متصدرين محدثة باستمرار. هذا هو بالضبط ما صُممت FFASR من أجله.
كيف تعمل FFASR
إحدى العقبات الرئيسية أمام تقييم المجال البعيد هي توفر البيانات. يعد جمع التسجيلات في المجال البعيد عبر مجموعة تمثيلية من أنواع الغرف ومسافات الميكروفون وظروف الضوضاء على نطاق واسع مكلفًا للغاية باستخدام القياسات الفيزيائية وحدها. يجعل المحاكاة من الممكن تغطية هذه المساحة بشكل منهجي وتوسيع التغطية بمرور الوقت دون زيادة مقابلة في تكلفة القياس.
هدف آخر لـ FFASR هو تحفيز تطوير نماذج قوية بشكل واضح لهذه الظروف. كانت لوحات المتصدرين فعالة تاريخيًا في توجيه جهود البحث. من خلال جعل أداء المجال البعيد مرئيًا وقابلاً للمقارنة، الأمل هو رفع أولوية المتانة الصوتية في العالم الحقيقي عبر المجال.
تقوم لوحة متصدرين FFASR بتقييم النماذج عبر تسعة ظروف. الأربعة التي تحدد درجة التصنيف الأساسية، اعتبارًا من 22 يونيو 2026، هي: المجال البعيد النظيف، والمجال البعيد المزعج عند ثلاثة مستويات لنسبة الإشارة إلى الضوضاء، والمجال البعيد ذو الصدى. لإعطاء فكرة عن كيفية صوت هذه الظروف، توفر لوحة المتصدرين عينات صوتية: نفس الكلام كصوت جاف عديم الصدى، ثم ملفوف باستجابة نبضية للغرفة، وأخيرًا مع إضافة ضوضاء عند كل مستوى من مستويات نسبة الإشارة إلى الضوضاء.
يعمل عمودان إضافيان، المقاس في المختبر والمحاكي في المختبر، كمسار تحقق من المحاكاة إلى الواقع. تتضمن لوحة المتصدرين أيضًا أقسام المصدر المتحرك، حاليًا في مرحلة تجريبية، والتي تقيم النماذج مقابل الصوت حيث يتحرك المتحدث بدلاً من أن يكون ثابتًا. يعكس هذا الشرط حالات الاستخدام مثل الروبوتات البشرية، والكلام داخل السيارة، والمساعدين الصوتيين المحمولين.
يتم إنشاء البيانات الصوتية باستخدام محرك المحاكاة الهجين من تريبل، الذي يجمع بين محلل يعتمد على الموجات عند الترددات المنخفضة إلى المتوسطة ونمذجة الصوتيات الهندسية عند الترددات العالية. يلتقط هذا النهج الظواهر الفيزيائية التي تميل طرق المحاكاة الأبسط إلى تفويتها: الحيود، والتشتت، والتداخل، والسلوك النمطي. والنتيجة هي بيانات محاكاة تعكس عن كثب الظروف الصوتية المقاسة.
تم تضمين أربعة عشر غرفة مفروشة بالكامل في المعيار، تتراوح من 20 إلى 470 مترًا مكعبًا وتغطي الحمامات، وغرف المعيشة مع الممرات، والمكاتب، والفصول الدراسية، ومساحات المطاعم. يحتوي كل مشهد صوتي على متحدث مستهدف واحد، تم تسجيله في غرفة عديمة الصدى، وما يصل إلى ثلاثة مصادر ضوضاء. يتضمن كل مشهد مصدر ضوضاء عابر، مثل السعال، ومصدر ضوضاء مستمر مثل التدفئة والتهوية وتكييف الهواء، عند ثلاثة مستويات لنسبة الإشارة إلى الضوضاء.
إلى جانب معدل خطأ الكلمات، تبلغ لوحة المتصدرين عن RTFx، وهي الثواني الصوتية لكل ثانية استدلال، لكل تقديم، تم تقييمها على وحدة معالجة رسوميات NVIDIA L4 في ظل ظروف متطابقة. الدقة وزمن الوصول معًا هما ما يهم في النشر الفعلي، وعرض حدود باريتو في علامة التبويب تحليل يجعل هذه المقايضة واضحة.
النتائج المبكرة والرؤى
مع تشغيل لوحة المتصدرين، يظهر نمط ثابت عبر جميع النماذج المقدمة: الفجوة بين أداء المجال القريب والمجال البعيد كبيرة، وتتسع بشكل كبير مع انخفاض نسبة الإشارة إلى الضوضاء. تبدو قيم معدل خطأ الكلمات في المجال القريب على الكلام الجاف النظيف قابلة للمقارنة مع ما تحققه نفس النماذج على المعايير الراسخة. تحكي قيم معدل خطأ الكلمات في المجال البعيد عند نسبة الإشارة إلى الضوضاء المنخفضة قصة مختلفة تمامًا، غالبًا ما تكون أعلى بعدة مرات. يجعل هذا المعيار هذا التدهور مرئيًا وقابلاً للمقارنة بطريقة كانت صعبة سابقًا خارج خطوط أنابيب التقييم الخاصة.
تعد حدود باريتو لمتوسط معدل خطأ الكلمات مقابل RTFx كاشفة أيضًا. هناك طيف حقيقي من الأساليب الممثلة في التقديمات الحالية: نماذج تعطي الأولوية للسرعة على حساب بعض الدقة، ونماذج تدفع الدقة على حساب الإنتاجية، وعدد أقل يتمكن من وضع تنافسي على كلا المحورين. ينتج عن تصور هذه المقايضات مقابل دقة المجال البعيد بدلاً من دقة الكلام النظيف صورة مختلفة جوهريًا لمكان الاختلافات الحقيقية بين الأنظمة.
تقديم النماذج والطريق إلى الأمام
للتقديم، توجه إلى علامة التبويب تقديم على لوحة متصدرين FFASR، والصق معرف نموذج هاجينج فيس، وسيتم تشغيل التقييم من جانب الخادم مقابل مجموعة البيانات المحتجزة. يدعم خط الأنابيب متغيرات Whisper، وIBM Granite Speech، وCohere Transcribe، ورؤوس Wav2Vec2 وHuBERT CTC، وSpeechBrain ASR، ومعظم البنى الأخرى للتعرف الآلي على الكلام على المحور دون أي تكوين مخصص.
للفرق التي تستخدم أكوام استدلال أكثر تعقيدًا، بما في ذلك الأنظمة التي تجمع بين تحسين الكلام والتعرف الآلي على الكلام، يتيح خيار المقيم المخصص لك تعريف دالة evaluate() الخاصة بك. يتم تشغيل المقيمين المخصصين على وظائف المحور بعد مراجعة الوسيط. تستخدم مجموعة التقييم المحتجزة 2000 عينة كلام عديمة الصدى عبر 14 غرفة عند ثلاثة مستويات لنسبة الإشارة إلى الضوضاء، أي حوالي 8 ساعات من الصوت لكل حالة، مع تطبيق تسوية نص على نمط Whisper باستمرار.
تشمل المسارات المستقبلية التي يتم استكشافها سيناريوهات المتحدثين المتعددين، وتقييم مصفوفة الميكروفونات الذي يغطي طرق تشكيل الشعاع والتصفية المكانية، وإلغاء الصدى. سيعتمد اتجاه التطوير على ملاحظات المجتمع. تم تصميم لوحة متصدرين FFASR للنمو، ويجب أن يعكس تطورها احتياجات النشر الفعلية.