Le benchmark qui a fait parler les modèles de langue : comment le GLUE de 2018 a changé l'IA pour toujours

Il y a sept ans, un groupe de chercheurs de l'Université de New York et de DeepMind a publié un article que la plupart des gens ont d'abord ignoré. Intitulé 'GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding', il proposait une idée simple mais radicale : au lieu que chaque laboratoire teste ses modèles sur un ensemble différent de tâches, le domaine avait besoin d'un étalon commun.

Cet étalon est devenu le General Language Understanding Evaluation benchmark, GLUE. Il allait devenir le benchmark NLP le plus cité de l'histoire, avec plus de 10 000 citations, et son successeur SuperGLUE allait définir la course vers une IA linguistique de niveau humain.

Le problème que GLUE a résolu

Avant 2018, la recherche en NLP était fragmentée. Les équipes testaient leurs modèles sur les ensembles de données auxquels elles avaient accès, parfois une ou deux tâches seulement. Les résultats étaient difficiles à comparer. Un modèle qui obtenait de bons résultats en analyse de sentiment pouvait échouer en réponse à des questions, mais personne n'avait de méthode systématique pour mesurer ce compromis.

GLUE a rassemblé neuf tâches diverses en un seul score. Elles allaient des jugements d'acceptabilité grammaticale (CoLA) à l'inférence en langage naturel (MNLI, QNLI, RTE), la détection de paraphrase (MRPC, QQP), l'analyse de sentiment (SST-2) et la similarité textuelle (STS-B). Les tâches couvraient intentionnellement différents phénomènes linguistiques, syntaxe, sémantique, pragmatique, et différentes tailles d'ensembles de données, de quelques milliers d'exemples à des centaines de milliers.

'L'idée était de créer un test de stress', a déclaré l'un des créateurs du benchmark dans une interview en 2020. 'Si votre modèle peut bien performer sur les neuf tâches, vous avez une certaine preuve qu'il apprend réellement le langage, et non pas seulement qu'il mémorise des motifs dans un seul ensemble de données.'

Le benchmark comprenait un ensemble de test caché sur un serveur privé, empêchant le surapprentissage accidentel. Et il imposait une règle stricte : les participants ne pouvaient soumettre qu'une fois par tâche par semaine, décourageant le réglage par force brute.

La course vers le sommet

Le classement de GLUE est rapidement devenu l'arène la plus compétitive en IA. En 2018, l'état de l'art oscillait autour de 70 points sur 100. Puis sont arrivés ELMo, BERT, RoBERTa, XLNet, ALBERT et T5, chaque modèle dépassant le précédent. À la mi-2019, BERT Large a obtenu 82,7. En 2020, T5 a dépassé 90. Et en 2022, les modèles obtenaient régulièrement des scores supérieurs à 92, s'approchant de ce que les créateurs du benchmark estimaient comme la performance humaine : entre 87,1 et 92,8, selon la tâche.

La dynamique concurrentielle du benchmark a exactement fait ce que ses créateurs espéraient : elle a concentré l'effort de recherche sur un objectif concret et quantifiable. 'GLUE a transformé le NLP en sport', a remarqué un chercheur de Google en 2019. 'Chaque laboratoire voulait être en haut de ce classement.'

Mais le sport avait des effets secondaires. Alors que les modèles grimpaient dans le classement, les chercheurs ont commencé à se demander si GLUE mesurait réellement la compréhension du langage, ou simplement la capacité à exploiter des raccourcis statistiques dans les ensembles de données du benchmark.

SuperGLUE et la prise de conscience

Fin 2019, GLUE avait atteint un point de saturation. De nombreux modèles obtenaient des scores supérieurs à 90, et les tâches les plus difficiles avaient été effectivement résolues. Les créateurs du benchmark ont publié SuperGLUE en novembre 2019, une version plus difficile avec huit nouvelles tâches conçues pour résister aux mêmes astuces de reconnaissance de motifs. Cela incluait la compréhension de lecture avec raisonnement de sens commun (ReCoRD), la résolution de pronoms de type Winograd (WSC) et la compréhension de lecture multi-phrases (MultiRC).

SuperGLUE a réinitialisé la course. Les scores initiaux sur le nouveau benchmark étaient dans les 60. En 2021, les modèles ont atteint la fin des années 80. Et lorsque PaLM 2 a obtenu 91,3 en 2023, il a dépassé pour la première fois la référence humaine estimée, bien que les concepteurs du benchmark aient averti que les estimations de performance humaine étaient elles-mêmes incertaines.

'SuperGLUE est plus difficile, mais il hérite de la même tension fondamentale que GLUE : le désir d'un nombre unique qui résume le progrès face à la réalité que la compréhension du langage est multidimensionnelle,' a écrit un chercheur en NLP dans une enquête de 2022.

L'héritage : de GLUE à aujourd'hui

L'influence de GLUE s'étend bien au-delà de son classement. Il a établi le modèle que presque tous les benchmarks d'IA ultérieurs suivent : un ensemble de tâches organisé, un score agrégé pondéré, un ensemble de test secret et un classement public. La bibliothèque de datasets Hugging Face, qui héberge des centaines de datasets NLP, doit en partie sa structure au format standardisé que GLUE a pionnier.

Les benchmarks d'IA les plus importants d'aujourd'hui, MMLU pour la connaissance, HumanEval pour le code, Chatbot Arena pour la capacité conversationnelle, empruntent tous des éléments au paradigme GLUE. Ils partagent la même tension entre standardisation et simplification : ils rendent le progrès mesurable mais risquent de rétrécir ce qui est optimisé.

La critique oubliée

La contribution la plus importante de GLUE pourrait être la critique qu'il a créée. Le benchmark a réussi à mettre en évidence avec quelle facilité les modèles pouvaient obtenir des scores élevés sans compréhension réelle, un problème présent depuis les premiers jours de l'évaluation de l'IA. En 2019, des chercheurs de Facebook AI ont montré que BERT pouvait être induit en erreur par des motifs de surface, comme changer une seule négation dans les exemples MNLI. Le benchmark est devenu un laboratoire pour étudier ces vulnérabilités, ce qui a ensuite éclairé les travaux sur la robustesse adversarial et la contamination des datasets.

Lorsque GPT-3 a été publié en 2020, les auteurs l'ont explicitement évalué contre SuperGLUE, rapportant un score de 71,8 avec un amorçage en quelques exemples. Ce nombre, impressionnant mais pas dominant, a aidé à cadrer la conversation sur les capacités de GPT-3 comme impressionnantes mais pas révolutionnaires pour les tâches de compréhension du langage. Il a donné à la communauté un point de référence commun.

Ce que GLUE n'a pas capturé

Pour tout son impact, GLUE a laissé de côté des dimensions entières de la compréhension du langage. Il n'a testé aucune génération de longue forme, aucune cohérence de dialogue, aucun raisonnement sur les relations temporelles ou causales, et aucun ancrage linguistique dans le monde physique. Les tâches étaient présentées uniquement en anglais. Les benchmarks supposaient implicitement que la compréhension du langage était une propriété du texte seul, et non du monde auquel le texte se réfère.

Ces lacunes expliquent pourquoi les benchmarks ultérieurs ont évolué dans des directions différentes : MMLU teste la connaissance du monde, TruthfulQA teste l'honnêteté, et BigBench teste le raisonnement structuré. Mais aucun d'eux n'existerait sous sa forme actuelle sans que GLUE ait prouvé que l'approche par benchmark pouvait fonctionner.

La retraite discrète

Le site web de GLUE héberge encore le classement, mais le benchmark est largement retiré de l'utilisation active. Le dernier score significatif a été publié en 2022. La plupart des laboratoires testent maintenant sur MMLU, HumanEval ou des évaluations personnalisées. Quand Anthropic a publié Claude 3 en 2024, ils ont rapporté des scores MMLU, pas GLUE. Quand Google a publié Gemini, ils ont commencé par MMLU.

Pourtant, chaque nouveau benchmark fait face au même défi fondamental que GLUE a identifié il y a une décennie : comment concevoir une évaluation qui soit suffisamment rigoureuse pour être utile, suffisamment large pour être significative, et suffisamment difficile pour résister à l'exploitation. La réponse n'est jamais permanente. Mais la conversation que GLUE a commencée continue de façonner le domaine.

Comme l'un de ses créateurs l'a dit dans une rétrospective de 2023 : 'Nous avons construit GLUE parce que nous étions frustrés que personne ne puisse comparer les modèles. Nous n'avons jamais imaginé qu'il deviendrait le modèle pour la prochaine décennie d'évaluation de l'IA. Nous voulions juste savoir quel modèle était meilleur, et le langage est si complexe que même cet objectif simple s'est avéré être un projet de recherche de plusieurs années.'