Treble Technologies et Hugging Face lancent le classement FFASR pour la reconnaissance vocale en champ lointain

L'une des frustrations les plus persistantes dans le développement de la reconnaissance automatique de la parole est l'écart entre les performances sur les benchmarks et le déploiement dans le monde réel. Les modèles qui excellent dans les évaluations standard se comportent souvent de manière totalement différente une fois que l'acoustique réelle d'une pièce entre en jeu, la réverbération, le bruit de fond et la distance au microphone. Les interactions complexes entre ces facteurs affectent les performances d'une manière que les benchmarks de parole propre ne parviennent tout simplement pas à capturer. Le classement FFASR est une tentative de quantifier cet écart.

Treble Technologies et Hugging Face déploient le classement Far-Field ASR (FFASR), le premier benchmark ouvert et communautaire conçu pour évaluer les modèles ASR dans des conditions acoustiques réalistes de champ lointain. Il est maintenant en ligne, et la communauté peut soumettre des modèles, explorer les résultats et aider à façonner la suite.

Le défi du champ lointain

Les interfaces vocales ont largement dépassé le casque et le smartphone. Les agents vocaux IA, la transcription en salle de réunion, les assistants embarqués, les robots humanoïdes, les lunettes intelligentes et les outils mains libres connaissent tous une adoption rapide. Ce qu'ils partagent, c'est qu'ils opèrent dans des environnements acoustiquement complexes : réverbération, bruit de fond, sons superposés et un microphone qui peut se trouver à quelques mètres du locuteur.

Le paradigme dominant d'évaluation ASR n'a pas rattrapé cette réalité. Les benchmarks propres avec microphone proche restent la norme, et bien qu'ils soient utiles pour mesurer la qualité de reconnaissance de base, ils ne prédisent pas les performances en champ lointain. Un modèle qui brille sur LibriSpeech ou d'autres ensembles en champ proche peut se dégrader considérablement une fois que l'acoustique réelle d'une pièce entre en jeu. Plusieurs efforts de recherche ont abordé l'évaluation de la parole en champ lointain et bruyante, notamment CHiME, URGENT et NOIZEUS, mais la communauté ne disposait pas d'un moyen standardisé et ouvert pour mesurer cette dégradation de manière cohérente entre les modèles dans un format de classement continuellement mis à jour. C'est exactement ce que FFASR est conçu pour faire.

Comment fonctionne FFASR

Un obstacle majeur à l'évaluation en champ lointain est la disponibilité des données. Collecter des enregistrements en champ lointain sur une gamme représentative de types de pièces, de distances au microphone et de conditions de bruit à grande échelle est prohibitif avec les seules mesures physiques. La simulation permet de couvrir cet espace systématiquement et d'étendre la couverture au fil du temps sans augmentation correspondante du coût de mesure.

Un autre objectif de FFASR est de stimuler le développement de modèles explicitement robustes à ces conditions. Les classements ont historiquement été efficaces pour orienter les efforts de recherche. En rendant les performances en champ lointain visibles et comparables, on espère accroître la priorité de la robustesse acoustique dans le monde réel à travers le domaine.

Le classement FFASR évalue les modèles dans neuf conditions. Les quatre qui déterminent le score de classement principal, à compter du 22 juin 2026, sont le champ lointain propre, le champ lointain bruyant à trois niveaux de SNR et le champ lointain réverbérant. Pour donner une idée de ce à quoi ces conditions ressemblent réellement, le classement fournit des échantillons audio : le même énoncé vocal en audio anéchoïque sec, puis convolué avec une réponse impulsionnelle de pièce, et enfin avec du bruit ajouté à chaque niveau de SNR.

Deux colonnes supplémentaires, Lab Measured et Lab Simulated, servent de piste de validation sim-to-real. Le classement inclut également des divisions de source en mouvement, actuellement en version bêta, qui évaluent les modèles sur de l'audio où le locuteur se déplace plutôt que d'être stationnaire. Cette condition reflète des cas d'utilisation tels que les robots humanoïdes, la parole embarquée et les assistants vocaux mobiles.

Les données acoustiques sont générées à l'aide du moteur de simulation hybride de Treble, qui combine un solveur basé sur les ondes aux basses et moyennes fréquences avec une modélisation géométrico-acoustique aux fréquences plus élevées. Cette approche capture des phénomènes physiques que les méthodes de simulation plus simples ont tendance à manquer : diffraction, diffusion, interférence et comportement modal. Le résultat est des données simulées qui reflètent étroitement les conditions acoustiques mesurées.

Quatorze pièces entièrement meublées sont incluses dans le benchmark, allant de 20 à 470 mètres cubes et couvrant des salles de bain, des salons avec couloirs, des bureaux, des salles de classe et des espaces de restaurant. Chaque scène acoustique contient un locuteur cible, enregistré dans une chambre anéchoïque, et jusqu'à trois sources de bruit. Chaque scène inclut à la fois une source de bruit transitoire, comme une toux, et une source de bruit continue telle que la CVC, à trois niveaux de SNR.

En plus du taux d'erreur sur les mots (WER), le classement rapporte RTFx, secondes audio par seconde d'inférence, pour chaque soumission, évalué sur un GPU NVIDIA L4 dans des conditions identiques. La précision et la latence sont toutes deux importantes dans les déploiements réels, et la vue du front de Pareto dans l'onglet Analyse rend ce compromis explicite.

Premiers résultats et perspectives

Avec le classement en ligne, un modèle cohérent émerge de tous les modèles soumis : l'écart entre les performances en champ proche et en champ lointain est grand, et il s'élargit considérablement à mesure que le SNR diminue. Les valeurs WER en champ proche sur de la parole propre sèche sont comparables à ce que les mêmes modèles obtiennent sur des benchmarks établis. Le WER en champ lointain à faible SNR raconte une histoire très différente, souvent plusieurs fois supérieure. Le benchmark rend cette dégradation visible et comparable d'une manière qui était auparavant difficile à réaliser en dehors des pipelines d'évaluation propriétaires.

Le front de Pareto du WER moyen par rapport à RTFx est également révélateur. Il existe un véritable spectre d'approches représenté dans les soumissions actuelles : des modèles qui privilégient la vitesse au détriment de la précision, des modèles qui poussent la précision au détriment du débit, et une poignée plus rare qui parvient à une position concurrentielle sur les deux axes. Visualiser ces compromis par rapport à la précision en champ lointain plutôt qu'à la précision de la parole propre produit une image matériellement différente de l'emplacement des véritables différences entre les systèmes.

Soumission de modèles et perspectives

Pour soumettre, rendez-vous sur l'onglet Soumettre du classement FFASR, collez un ID de modèle Hugging Face, et l'évaluation s'exécute côté serveur sur l'ensemble de données retenu. Le pipeline prend en charge les variantes Whisper, IBM Granite Speech, Cohere Transcribe, les têtes CTC Wav2Vec2 et HuBERT, SpeechBrain ASR, et la plupart des autres architectures ASR sur le Hub sans aucune configuration personnalisée.

Pour les équipes utilisant des piles d'inférence plus complexes, y compris les systèmes qui combinent l'amélioration de la parole avec l'ASR, une option d'évaluateur personnalisé vous permet de définir votre propre fonction evaluate(). Les évaluateurs personnalisés s'exécutent sur Hub Jobs après examen par un modérateur. L'ensemble d'évaluation retenu utilise 2 000 échantillons de parole anéchoïque dans 14 pièces à trois niveaux de SNR, environ 8 heures d'audio par condition, avec une normalisation de texte de style Whisper appliquée de manière cohérente.

Les futures pistes explorées incluent des scénarios à plusieurs locuteurs, l'évaluation de réseaux de microphones couvrant les approches de formation de faisceau et de filtrage spatial, et l'annulation d'écho. La direction du développement dépendra des commentaires de la communauté. Le classement FFASR est conçu pour évoluer, et son évolution devrait refléter les besoins réels de déploiement.