El EMO de Ai2 hace que la IA modular surja de los datos, no de reglas humanas

Ai2 ha lanzado EMO, un nuevo modelo de lenguaje de mezcla de expertos (MoE) preentrenado de extremo a extremo para que la estructura modular surja directamente de los datos, sin prioris definidos por humanos. El modelo permite a los usuarios activar solo un pequeño subconjunto de sus expertos, apenas el 12.5 % del total, para una tarea determinada, manteniendo un rendimiento casi completo del modelo. Sin embargo, también funciona como un modelo general sólido cuando se combinan todos los expertos.open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

Los modelos de lenguaje grandes se entrenan y despliegan típicamente como sistemas monolíticos: un solo modelo se inicializa, preentrena, ajusta y sirve como una entidad unificada. Pero las aplicaciones a menudo necesitan solo un subconjunto de capacidades: generación de código, razonamiento matemático o conocimiento específico del dominio. A medida que los modelos de frontera alcanzan rutinariamente billones de parámetros, usar y adaptar el modelo completo se vuelve poco práctico para la mayoría de los usuarios e incurre en costos computacionales y de memoria innecesarios.

Los modelos MoE parecen una forma natural de relajar esta restricción. En lugar de usar una gran red feedforward en cada capa, los MoE contienen muchas más pequeñas, llamadas expertos, y activan solo un pequeño subconjunto para cada token de entrada. En principio, una tarea que solo necesita una capacidad podría cargar solo los expertos relevantes.

En la práctica, sin embargo, los MoE existentes aún necesitan el modelo completo para funcionar bien. Incluso dentro de una sola entrada, diferentes tokens a menudo activan diferentes expertos, por lo que una tarea puede terminar usando todos los expertos durante su generación. Como muestran los investigadores de Ai2 en el artículo de EMO, esto ocurre en parte porque los expertos en los MoE estándar a menudo se especializan en patrones léxicos de bajo nivel, piensen en preposiciones o puntuación, en lugar de dominios o capacidades de alto nivel. Como resultado, pequeños subconjuntos de expertos no son utilizables de manera confiable por sí solos.what-the-5-day-old-paper-260623050-tells-us-about-the-future-of-ai

En cambio, Ai2 quería modelos MoE cuyos expertos se organizaran en grupos coherentes que pudieran ser utilizados y compuestos de manera selectiva.

Cómo EMO logra la modularidad emergente

Una forma de fomentar esto durante el preentrenamiento es enrutar tokens a expertos basándose en dominios semánticos predefinidos, como matemáticas, biología o código. Trabajos anteriores como BTX y el proyecto FlexOlmo de Ai2 lo han intentado. Sin embargo, los dominios predefinidos conllevan limitaciones importantes. Requieren etiquetas de dominio en todo el corpus de preentrenamiento, lo que puede ser ambiguo y costoso de obtener, y pueden inyectar demasiado sesgo humano en cómo se permite que el modelo se organice a sí mismo.

EMO adopta un enfoque diferente. La idea clave es que los tokens del mismo documento generalmente provienen del mismo dominio. Ai2 utiliza, por lo tanto, los límites de los documentos como una señal de supervisión débil: durante el entrenamiento, todos los tokens en un documento están restringidos a elegir sus expertos activos de un grupo de expertos compartido.

En un MoE con 10 expertos totales y 2 expertos activos por token, todos los tokens en un documento están restringidos a enrutarse dentro del mismo grupo de 4 expertos. Este grupo es elegido por el propio enrutador: promedia las preferencias de expertos del enrutador en todos los tokens del documento, luego selecciona los expertos más utilizados como el grupo compartido del documento. Diferentes documentos pueden usar diferentes grupos, permitiendo que grupos de expertos recurrentes emerjan directamente de los datos de entrenamiento.

Los investigadores señalan varias consideraciones de implementación:

• Balanceo de carga: En el entrenamiento estándar de MoE, el objetivo de balanceo de carga evita que el modelo colapse en solo un pequeño número de expertos. EMO aplica el balanceo de carga globalmente a través de muchos documentos, haciendo que los dos objetivos sean complementarios: EMO anima a los tokens dentro del mismo documento a usar un grupo de expertos coherente, mientras que el balanceo de carga global anima a diferentes documentos a cubrir colectivamente todos los expertos.
• Tamaño del grupo de documentos: En lugar de fijar un tamaño de grupo, Ai2 lo muestrea aleatoriamente durante el entrenamiento. Esto evita que EMO se sobreajuste a un solo tamaño de subconjunto y le permite admitir diferentes tamaños de subconjuntos de expertos en el momento de la inferencia.

Resultados de referencia y rendimiento

En pruebas de referencia de propósito general, EMO iguala el rendimiento de un modelo MoE estándar, lo que demuestra que el objetivo de modularidad no tiene un costo en el rendimiento del modelo completo. Sin embargo, la pregunta más importante es si el modelo aún puede funcionar cuando solo se mantiene un subconjunto de expertos. En este escenario, Ai2 construye subconjuntos de expertos específicos para tareas clasificando los expertos según su uso de enrutamiento en una pequeña cantidad de datos de validación de la tarea, manteniendo los expertos más utilizados y descartando el resto.ifbench-the-new-benchmark-testing-ai-instruction-following

Los resultados muestran que EMO se mantiene robusto bajo el uso selectivo de expertos. Al mantener solo el 25 % de los expertos (subconjunto de 32 expertos), EMO pierde solo aproximadamente un 1 % de rendimiento absoluto en todas las pruebas de referencia; incluso manteniendo solo el 12.5 % de los expertos (subconjunto de 16 expertos), la caída general es de solo alrededor del 3 %. Esto se mantiene tanto antes como después del ajuste fino. En contraste, el MoE estándar equivalente se degrada bruscamente a medida que el subconjunto de expertos se reduce, a menudo cayendo cerca o por debajo del rendimiento aleatorio en los ajustes de subconjuntos de expertos más pequeños.how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

Además, Ai2 muestra que seleccionar los expertos correctos para una tarea es sorprendentemente barato: un solo ejemplo con demostraciones de pocos disparos es suficiente para identificar un módulo que funciona a la par con uno seleccionado usando un conjunto de validación completo. EMO también funciona bien con enfoques de poda de expertos existentes como Easy-EP, y ambos se complementan entre sí.

En qué se especializan los subconjuntos de expertos

Para ver qué aprendió realmente EMO, los investigadores de Ai2 agruparon las activaciones del enrutador de los primeros 100 tokens en 12,000 documentos de preentrenamiento. La diferencia con un MoE estándar es marcada.

Los grupos de tokens de EMO corresponden a cosas como Salud, Médico y Bienestar, Reportajes de Noticias, Política y Elecciones de EE. UU., y Cine y Música. Un MoE estándar produce grupos como Preposiciones, Nombres Propios, Verbos Copulativos o Artículos Definidos. En EMO, los tokens de un documento dado caen principalmente en el mismo grupo; en un MoE estándar, terminan dispersos en muchos.

El contraste es más fácil de ver en un solo ejemplo. Tome un artículo de salud: en EMO, casi todos los tokens se enrutarían en el grupo de Salud, Médico y Bienestar. En un MoE estándar, el grupo principal es Posesivos y Artículos Definidos; el modelo agruparía el artículo con cada otro texto que use la palabra 'el' o 'tu', independientemente de de qué trate ese texto.

Debido a que EMO forma módulos que se asignan a dominios semánticos en lugar de características superficiales, los usuarios pueden elegir un pequeño subconjunto de expertos y aún tener un modelo funcional: el grupo corresponde a una capacidad real.the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

Publicación y trabajo futuro

Ai2 está publicando el modelo completo entrenado con EMO, una línea base estándar de MoE equivalente entrenada con los mismos datos y el código de entrenamiento. Los investigadores esperan que estos artefactos sean útiles para otros grupos que estudian la modularidad emergente en MoE.ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Queda más trabajo por hacer. EMO es un paso temprano hacia modelos grandes y dispersos más modulares, pero quedan muchas preguntas: cómo seleccionar y componer mejor los subconjuntos de expertos, cómo actualizar los módulos sin alterar el modelo completo y cómo usar la estructura modular para una mejor interpretabilidad y control. Publicar estos modelos debería ayudar a la comunidad a estudiar estas preguntas y avanzar hacia modelos de lenguaje modulares que sean más fáciles de implementar, adaptar, inspeccionar y componer.