改变语言模型对话方式的基准测试：2018年的GLUE如何永远改变了AI

七年前，纽约大学和DeepMind的一组研究人员发表了一篇论文，最初大多数人都忽视了它。这篇题为“GLUE：自然语言理解的多任务基准测试与分析平台”的论文提出了一个简单但激进的想法：与其让每个实验室在不同的任务集上测试其模型，整个领域需要一个共同的标尺。

这个标尺就是通用语言理解评估基准测试GLUE。它后来成为历史上被引用次数最多的NLP基准测试，引用次数超过10,000次，而其继任者SuperGLUE则定义了通往人类水平语言AI的竞赛。

GLUE解决的问题

在2018年之前，NLP研究是分裂的。团队在自己能够访问的数据集上测试模型，有时只有一两个任务。结果难以比较。在情感分析上得分高的模型可能在问答中失败，但没有人有系统的方法来衡量这种权衡。

GLUE将九个不同的任务整合成一个单一的分数。这些任务涵盖语法可接受性判断（CoLA）、自然语言推理（MNLI、QNLI、RTE）、释义检测（MRPC、QQP）、情感分析（SST-2）和文本相似性（STS-B）。这些任务有意跨越了不同的语言现象、句法、语义、语用以及不同的数据集规模，从几千个示例到数十万个示例。

“这个想法是创建一个压力测试，”该基准测试的创建者之一在2020年的一次采访中说。“如果你的模型在所有九个任务上都表现良好，你就有证据表明它实际上是在学习语言，而不仅仅是在记忆单个数据集中的模式。”

基准测试包括一个私人服务器上的保留测试集，以防止意外过拟合。它还强制执行一个严格的规则：参与者每周每个任务只能提交一次，从而阻止暴力调优。

奔向顶峰的竞赛

GLUE的排行榜迅速成为AI中最具竞争力的舞台。2018年，最先进的得分徘徊在70分左右（满分100分）。然后出现了ELMo、BERT、RoBERTa、XLNet、ALBERT和T5，每个模型都超越了前一个。到2019年中期，BERT Large得分为82.7。到2020年，T5突破90分。到2022年，模型经常得分超过92分，接近该基准测试创建者估计的人类表现：大约87.1到92.8，具体取决于任务。

基准测试的竞争动态正好实现了其创建者的期望：它将研究努力集中在一个具体、可量化的目标上。“GLUE将NLP变成了一项运动，”一位谷歌研究员在2019年评论道。“每个实验室都想登上那个排行榜的顶端。”

但这项运动也有副作用。随着模型在排行榜上攀升，研究人员开始质疑GLUE是否真的衡量了语言理解，或者只是衡量了利用基准测试数据集中统计捷径的能力。

SuperGLUE与反思

到2019年底，GLUE已经达到饱和点。许多模型得分超过90分，最困难的任务已被有效解决。基准测试的创建者于2019年11月发布了SuperGLUE，这是一个更难的版本，包含八个旨在抵抗相同模式匹配技巧的新任务。这些任务包括具有常识推理的阅读理解（ReCoRD）、Winograd风格的代词解析（WSC）和多句阅读理解（MultiRC）。

SuperGLUE重置了竞赛。新基准测试的初始得分在60多分。到2021年，模型达到了80多分。当PaLM 2在2023年得分91.3时，它首次超过了估计的人类基线，尽管基准测试的设计者警告说，人类表现估计本身是不确定的。

“SuperGLUE更难，但它继承了与GLUE相同的基本张力：渴望用一个单一数字来概括进步，而与语言理解是多维的的现实相矛盾，”一位NLP研究员在2022年的一项调查中写道。

遗产：从GLUE到现在

GLUE的影响远远超出了其排行榜。它建立了几乎所有后续AI基准测试都遵循的模板：一组精心策划的任务、一个加权综合分数、一个秘密测试集和一个公共排行榜。托管数百个NLP数据集的Hugging Face数据集库，其结构部分归功于GLUE开创的标准化格式。

当今最突出的AI基准测试，如用于知识的MMLU、用于代码的HumanEval、用于对话能力的Chatbot Arena，都借鉴了GLUE范例的元素。它们共享标准化与简化之间的相同张力：它们使进展可衡量，但有可能缩小优化的范围。

被遗忘的批评

GLUE最重要的贡献可能是它引发的批评。该基准测试成功地突出了模型在没有真正理解的情况下如何轻易获得高分的问题，这个问题自AI评估早期以来就一直存在。2019年，Facebook AI的研究人员表明，BERT可能会被表面模式所误导，例如在MNLI示例中改变一个否定词。该基准测试成为研究这些漏洞的实验室，这些漏洞后来影响了对抗性鲁棒性和数据集污染方面的工作。

当GPT-3于2020年发布时，作者明确将其与SuperGLUE进行了基准测试，报告了使用少样本提示的71.8分。这个数字令人印象深刻但并不占主导地位，有助于将关于GPT-3能力的对话定位为在语言理解任务上令人印象深刻但并非革命性。它给了社区一个共同的参考点。

GLUE未捕捉到的内容

尽管影响巨大，GLUE还是遗漏了语言理解的整个维度。它没有测试长文本生成、对话连贯性、关于时间或因果关系的推理，以及语言在物理世界中的基础。任务仅以英语呈现。该基准测试隐含地假设语言理解是文本本身的属性，而不是文本所指世界的属性。

这些差距解释了为什么后来的基准测试向着不同方向发展：MMLU测试世界知识，TruthfulQA测试诚实性，BigBench测试结构化推理。但如果没有GLUE证明基准测试优先的方法可行，它们都不会以当前形式存在。

安静的退休

GLUE的网站仍然托管着排行榜，但该基准测试基本上已从活跃使用中退休。最后一个重要分数是在2022年发布的。大多数实验室现在在MMLU、HumanEval或自定义评估上进行测试。当Anthropic在2024年发布Claude 3时，他们报告了MMLU分数，而不是GLUE。当谷歌发布Gemini时，他们以MMLU为先导。

然而，每一个新的基准测试都面临着GLUE十年前识别的相同基本挑战：如何设计一个足够严谨以有用、足够广泛以有意义、足够困难以抵制利用的评估。答案从来不是永久的。但GLUE开始的对话继续塑造着这个领域。

正如其创建者之一在2023年的一次回顾中所说：“我们构建GLUE是因为我们感到沮丧，没有人可以比较模型。我们从未想过它会成为下一个十年AI评估的模板。我们只是想知道哪个模型更好，而语言是如此复杂，以至于即使是这个简单的目标也变成了一个多年的研究项目。”