olmo-eval de Ai2 brinda a los desarrolladores de LLM un microscopio para cada punto de control

El Allen Institute for AI (Ai2) ha lanzado olmo-eval, un banco de trabajo de evaluación abierto diseñado para el trabajo diario de desarrollar modelos de lenguaje de gran tamaño. El marco extiende el Open Language Model Evaluation Standard (OLMES) introducido en 2024, que buscaba hacer comparables las puntuaciones de evaluación entre versiones de modelos. open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

Diseñado para el desarrollo continuo de modelos

La mayoría de las herramientas de evaluación existentes, según Ai2, están diseñadas ya sea para ejecutar evaluaciones establecidas en modelos terminados o para probar agentes en entornos aislados. Ninguna se ajusta a la realidad del desarrollo activo, donde los investigadores realizan ajustes frecuentes en datos, arquitectura o hiperparámetros y necesitan retroalimentación rápida en cada nuevo punto de control. Olmo-eval fue creado específicamente para este bucle, permitiendo a los desarrolladores añadir evaluaciones, configurar políticas de ejecución y comparar resultados pregunta por pregunta en lugar de depender únicamente de puntuaciones agregadas.

“La puntuación final de un modelo es solo una parte del proceso de evaluación”, afirmaron investigadores de Ai2 en el anuncio. Olmo-eval se basa en OLMES al reducir el trabajo necesario para implementar nuevas evaluaciones y ofrecer mayor flexibilidad en cómo se ejecutan.

Arquitectura modular: tareas, arneses y suites

El marco tiene cuatro componentes principales. Una tarea define lo que se evalúa: el conjunto de datos de la evaluación, cómo se construyen las solicitudes de evaluación y cómo se puntúan las respuestas. Una suite agrupa tareas relacionadas para su ejecución conjunta. Un arnés controla la política de ejecución, incluyendo el modelo, herramientas, andamiaje y entorno aislado. Esta separación significa que la misma tarea puede ejecutarse bajo diferentes condiciones sin reescribir código. cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

Una evaluación básica de preguntas y respuestas, por ejemplo, se puede definir en unas pocas líneas de Python usando cargadores de datos y formateadores simples. Una variante puede ajustar parámetros como el prompting con pocos ejemplos. Una suite agrupa múltiples evaluaciones en un solo comando. La misma evaluación puede ejecutarse con o sin acceso a herramientas, lo que permite una comparación directa de cómo se desempeña un modelo con y sin búsqueda o ejecución de código.

Entorno aislado para evaluaciones de agentes

Olmo-eval incluye una capa de aislamiento y enrutamiento de capacidades para evaluaciones donde los modelos deben usar herramientas como escribir y ejecutar código, navegar por la web o interactuar con APIs. A diferencia de los marcos que fuerzan cada evaluación a un entorno completamente contenerizado, olmo-eval elige la opción ligera por defecto: una evaluación que solo necesita que un modelo responda preguntas se ejecuta directamente. Cuando la evaluación requiere un entorno bloqueado, por ejemplo para ejecutar código generado de forma segura, se inicia un contenedor aislado. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

Este diseño, según Ai2, hace que la herramienta sea más rápida y económica para evaluaciones estándar, mientras preserva la seguridad y la reproducibilidad para flujos de trabajo agentivos más complejos.

Comparación con Harbor

Ai2 contrasta explícitamente olmo-eval con Harbor, un marco abierto para evaluar agentes de IA dentro de contenedores sellados. Mientras que Harbor se centra en publicar evaluaciones de agentes con pasos de verificación adicionales para compartir públicamente, olmo-eval está orientado al desarrollo diario de modelos. El proceso de Harbor para agregar evaluaciones está diseñado para compartir públicamente; olmo-eval prioriza la velocidad y la flexibilidad durante el desarrollo. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

La modularidad de olmo-eval también permite a los desarrolladores intercambiar el modelo, herramientas, modelos auxiliares como un LLM como juez y configuraciones de entorno de forma independiente. Una definición de herramienta escrita con el decorador @tool se puede reutilizar en múltiples arneses sin duplicación.

Comparación granular: puntuaciones con error estándar

Olmo-eval reporta puntuaciones generales con error estándar y un efecto mínimo detectable, pero su característica más distintiva es una vista de comparación por pares por pregunta. Esto alinea las mismas preguntas en dos puntos de control del modelo y compara las respuestas una por una, manteniendo todas las demás variables fijas. El objetivo es ayudar a los desarrolladores a ver si un pequeño cambio en un promedio general refleja una mejora real o simplemente ruido estadístico.

“Si tu pregunta recurrente es '¿En qué se diferencia este punto de control del anterior, y dónde exactamente mejoró o empeoró?', ese es el flujo de trabajo para el que está diseñado olmo-eval”, declaró Ai2. ifbench-the-new-benchmark-testing-ai-instruction-following

Lanzamiento abierto e integración con la línea de modelos de Ai2

Olmo-eval se basa directamente en OLMES, el estándar que Ai2 introdujo en 2024 para hacer comparables las puntuaciones de evaluación entre versiones de modelos. El estándar OLMES se utilizó anteriormente para evaluar los modelos abiertos de Ai2, desde Olmo hasta Tulu. El nuevo banco de trabajo extiende ese enfoque a la fase de desarrollo activo. ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

El marco está disponible como software de código abierto, y Ai2 invita a la comunidad a contribuir con tareas, suites y arneses.