Ai2 abrió todos los cajones del gabinete de IA, esto es lo que hay dentro

El Instituto Allen para la IA (Ai2) ha presentado Olmo 3, una familia de modelos de lenguaje completamente abiertos. La propuesta: transparencia completa desde los datos hasta la implementación. Muchas empresas han hecho esa afirmación antes, pero pocas la han respaldado. Olmo 3 abre todos los cajones del gabinete. Las mezclas de preentrenamiento en bruto, los refinamientos de entrenamiento intermedio, los conjuntos de instrucciones de postentrenamiento, los arneses de evaluación, e incluso las herramientas utilizadas para limpiar y deduplicar datos antes de comenzar el entrenamiento. Todo es público. microsoft-open-sources-data-formulator-07-for-enterprise-data-analytics

Olmo 3 viene en seis variantes a dos escalas de parámetros, 7B y 32B, cada una en tres versiones: base, instruct y think. La variante 32B-Think realiza razonamiento de cadena de pensamiento, mostrando pasos intermedios para indicaciones complejas. La 32B-Instruct es el modelo de chat completamente abierto más capaz de Ai2 hasta la fecha, con soporte para uso de herramientas y diálogo multiturno. Las variantes de 7B apuntan a la eficiencia: se ejecutan en una gama más amplia de hardware mientras mantienen un rendimiento competitivo. Hay puntuaciones de referencia en las fichas del modelo, y se ven sólidas para programación, comprensión lectora y matemáticas. Pero la verdadera historia es lo que Ai2 llama el 'flujo del modelo'. Este es el ciclo de vida completo: curación de datos a través de preentrenamiento, entrenamiento intermedio, adaptación de contexto largo, ajuste de instrucciones, optimización de preferencias, aprendizaje por refuerzo y, finalmente, la rama 'think' especializada en razonamiento. sippsh-launches-open-source-library-for-local-ai-inference-with-3x-to-5x-speedup

Un pipeline de datos transparente

Ai2 proporciona enlaces de descarga para la mezcla de datos de preentrenamiento, una combinación completamente abierta de texto web curado, código, libros y artículos científicos, deduplicados y filtrados por calidad. También están disponibles los datos de entrenamiento intermedio, utilizados para refinar el modelo base con mezclas enfocadas a dominios específicos. Los datos de postentrenamiento cubren respuestas de instrucción supervisadas y datos de comparación utilizados en las etapas de optimización de preferencias directas (DPO) y aprendizaje por refuerzo.

Las herramientas son igualmente abiertas. El marco de entrenamiento, OlmoCore, está disponible para una configuración rápida. Las herramientas de preprocesamiento de datos incluyen Duplodocus para la deduplicación difusa ultrarápida y Datamap-rs para la limpieza a gran escala. El pipeline de postentrenamiento, Open Instruct, permite a los investigadores replicar o modificar el proceso de ajuste de instrucciones. Para la evaluación, Ai2 ofrece OLMES para evaluaciones reproducibles y Decon para ayudar a eliminar la contaminación del conjunto de prueba de los datos de entrenamiento. hugging-face-showcases-slack-native-coding-agent-and-ai-research-highlights

OlmoTrace, posiblemente la pieza más interesante, permite a los usuarios rastrear las salidas del modelo hasta puntos específicos de los datos de entrenamiento. Esto podría ser crítico para diagnosticar alucinaciones o sesgos. También es importante para la investigación de gobernanza de IA que requiere procedencia a nivel de ejemplo.

Por qué lo completamente abierto es importante ahora

El lanzamiento llega en un momento en que la definición de 'abierto' en IA se ha vuelto profundamente disputada. La serie Llama de Meta, ampliamente descrita como abierta, se distribuye bajo una licencia personalizada que restringe el uso comercial para aplicaciones a gran escala. Los modelos de Mistral tienen restricciones similares. Incluso los modelos etiquetados como 'código abierto' por sus creadores a menudo retienen los datos de entrenamiento, los registros de entrenamiento y los puntos de control intermedios.

Olmo 3 evita esos compromisos. Todo el flujo, cada punto de control, cada decisión sobre el filtrado de datos, cada hiperparámetro, es público. Esto no es una concesión. Es el punto. Ai2 trata la transparencia como un requisito previo para el rigor científico: si un resultado no puede reproducirse y los datos detrás de él no pueden examinarse, el campo está operando sobre la confianza en lugar de la evidencia. the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

El periodista de Forbes Janakiram MSV describió a Olmo como 'destacándose al proporcionar acceso completo' en comparación con los LLM abiertos actuales. El CEO de Hugging Face, Clem Delangue, dijo que Olmo 'garantiza una transparencia completa y establece una base sólida para un trabajo transformador'.

Ya está generando investigación

La transparencia ya está dando frutos. Ai2 destaca tres proyectos de investigación que se basan en puntos de control anteriores de Olmo: investigación sobre desaprendizaje automático utilizando Olmo-7B como banco de pruebas para eliminar la influencia de datos específicos sin reentrenar; aplicaciones de PNL clínica para analizar texto médico mientras se preserva la transparencia de los datos; y estudios fundamentales sobre dinámicas de aprendizaje y comportamientos de escalado, habilitados por el acceso a registros de entrenamiento y puntos de control intermedios. anthropic-launches-claude-science-an-ai-workbench-tailored-for-researchers

Simon Mo, colíder del proyecto en vLLM, señaló que la arquitectura de Olmo empuja 'la frontera del diseño de modelos de código abierto'. Anastasios Angelopoulos, CEO de LMArena, describió a Olmo como 'convirtiéndose en el instrumento a través del cual la comunidad construye la próxima capa de inteligencia fundamental y abierta'.

Lo que aún no se sabe

Ai2 no ha publicado puntuaciones detalladas de referencia frente a modelos comparables de Meta, Mistral o Qwen. Tampoco se han publicado cifras de latencia ni comparaciones de costos de inferencia. La página del flujo del modelo no especifica el hardware utilizado para el entrenamiento, el presupuesto computacional total ni el consumo de energía. Los pasos de razonamiento de la variante Think se muestran, pero la empresa no ha descrito la metodología de cadena de pensamiento en detalle. Estas brechas son notables para un proyecto basado en la transparencia. Pero los datos y el código son públicos, lo que significa que las auditorías independientes pueden llenarlas. ifbench-the-new-benchmark-testing-ai-instruction-following

La empresa está aceptando suscripciones para actualizaciones mensuales sobre el trabajo de Ai2, lo que sugiere que Olmo 3 no es un lanzamiento único, sino parte de un esfuerzo sostenido para redefinir la apertura en IA.