Ai2发布olmo-eval：为LLM开发者提供每个检查点的显微级评估

艾伦人工智能研究所（Ai2）发布了olmo-eval，这是一个为大型语言模型日常开发而构建的开放评估工作台。该框架扩展了2024年推出的开放语言模型评估标准（OLMES），旨在使不同模型版本之间的基准测试分数具有可比性。open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

专为持续模型开发设计

据Ai2称，大多数现有的评估工具要么是为在已完成的模型上运行既定基准测试而构建，要么是为在沙盒环境中测试智能体而设计。这两种方式都不符合活跃开发的实际情况, , 研究人员需要频繁调整数据、架构或超参数，并需要每个新检查点的快速反馈。Olmo-eval正是为此循环而构建，它允许开发者添加基准测试、配置运行时策略，并逐问题比较结果，而不仅仅依赖聚合分数。

“模型的最终分数只是评估过程的一部分，”Ai2研究者在公告中表示。Olmo-eval基于OLMES，减少了实施新评估所需的工作量，并提供更灵活的运行方式。

模块化架构：任务、运行器与测试套件

该框架包含四个主要组件。任务定义评估内容：基准数据集、评估请求的构建方式以及答案的评分方式。测试套件将相关任务分组以便联合执行。运行器控制运行时策略，包括模型、工具、脚手架和沙盒环境。这种分离意味着同一任务可以在不同条件下运行，而无需重写代码。cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

例如，一个基本的问答基准测试可以通过简单的数据加载器和格式化器用几行Python代码定义。变体可以调整少量示例提示等参数。一个测试套件将多个基准测试捆绑到一个命令中。同一个基准测试可以在有或没有工具访问权限的情况下运行，从而实现模型在有或没有搜索或代码执行功能时表现的直接比较。

智能体评估的沙盒执行

Olmo-eval包含一个沙盒和能力路由层，用于模型必须使用工具（如编写和运行代码、浏览网页或与API交互）的评估。与强迫每个评估都进入完全容器化环境的框架不同，olmo-eval选择轻量级默认设置：仅需要模型回答问题的基准测试直接运行。当基准测试需要锁定环境（例如，安全执行生成的代码）时，会启动一个隔离容器。why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

Ai2表示，这种设计使该工具在标准评估中更快、更便宜，同时为更复杂的智能体工作流保留了安全性和可重复性。

与Harbor的比较

Ai2明确将olmo-eval与Harbor进行对比，后者是一个用于在密封容器内评估AI智能体的开放框架。Harbor侧重于发布带有额外验证步骤的智能体基准测试以供公开共享，而olmo-eval则面向日常模型开发。Harbor添加基准测试的流程专为公开共享设计；olmo-eval则优先考虑开发过程中的速度和灵活性。the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Olmo-eval的模块化还允许开发者独立更换模型、工具、辅助模型（如作为评判者的LLM）以及环境设置。使用@tool装饰器编写的工具定义可以在多个运行器之间重复使用，无需重复。

细粒度比较：带标准误差的分数

Olmo-eval报告带有标准误差和最小可检测效应的总体分数，但其最显著的特征是逐问题配对比较视图。该视图将同一问题在两个模型检查点之间对齐，并逐条比较答案，同时固定所有其他变量。目标是帮助开发者看出整体平均值的微小变化是否反映了真实改进，或者仅仅是统计噪声。

“如果你反复问的问题是‘这个检查点与上一个有什么不同，具体在哪里改进或退步了？’，那么这就是olmo-eval设计的工作流程，”Ai2表示。ifbench-the-new-benchmark-testing-ai-instruction-following

开放发布与Ai2模型线的集成

Olmo-eval直接构建于OLMES之上，这是Ai2在2024年推出的标准，旨在使不同模型版本之间的基准测试分数具有可比性。OLMES标准此前已用于评估Ai2的开放模型，从Olmo到Tulu。新的工作台将该方法扩展到了活跃开发阶段。ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

该框架作为开源软件提供，Ai2欢迎社区贡献任务、测试套件和运行器。