Dos laboratorios de IA demuestran por qué los modelos abiertos ganan en industrias reguladas

Las empresas en industrias reguladas como servicios financieros, salud, academia y el sector público enfrentan un problema de adquisición con la IA. Muchos modelos se envían sin la procedencia de los datos, la documentación de riesgos o las protecciones de datos de entrada que los equipos de cumplimiento, legales y de seguridad necesitan para aprobar implementaciones de alto impacto. ai2-opens-the-hood-on-olmo-3-every-checkpoint-every-data-point-every-decision

Dos laboratorios de IA que construyen para industrias reguladas, Domyn y AISquared (ambos no afiliados a Ai2), han desarrollado modelos que se basan directamente en las versiones abiertas de Ai2. Con sede en Milán, Domyn se centra en la soberanía de la IA, la propiedad y el control total de los modelos y datos que implementan, para servicios financieros, fabricación avanzada y otros sectores regulados. Con sede en Washington, D.C., AISquared sirve al gobierno federal y a clientes empresariales estadounidenses en esas mismas industrias.

Ambos eligieron Olmo porque está disponible con el flujo completo del modelo, incluidos los datos de entrenamiento, el código y los planos arquitectónicos, proporcionando el alto nivel de transparencia y personalización necesario para las bases de clientes de Domyn y AISquared. gemma-4-is-not-a-chatbot-and-thats-the-point

Por qué AISquared eligió Olmo

A principios de este año, AISquared lanzó Bolt, una familia de modelos de lenguaje pequeños de pesos abiertos diseñados para flujos de trabajo empresariales como generación aumentada por recuperación (RAG), procesamiento de documentos y enrutamiento de modelos. Bolt Instruct, la subfamilia de seguimiento de instrucciones de la familia, está ajustado a partir de Olmo 2, Olmo 3 y Olmo 3.1 en tres tamaños: 1B, 7B y 32B.

Para Jacob Renn, cofundador y científico de datos principal de AISquared, elegir Olmo como base para Bolt se debió a la filosofía de apertura de Ai2.

"Debido a que Olmo es completamente abierto, tuvimos visibilidad completa de su arquitectura y datos de entrenamiento, lo que nos permitió un mayor nivel de confianza en comparación con modelos de pesos abiertos menos transparentes", dice Renn.

Otros modelos fundacionales que AISquared probó dependían de arquitecturas menos compatibles o métodos arcanos, y los ajustes resultantes "eran menos eficientes, más difíciles de implementar y trabajar con ellos, o requerían esquemas de entrenamiento mucho más complejos y costosos que aún así resultaban en peor rendimiento", dice Renn.

"La transparencia de Olmo y su licencia permisiva lo convirtieron en una elección fácil entre el conjunto de modelos originados en EE. UU. Además, su licencia aseguró que pudiéramos adaptar Olmo según fuera necesario y licenciarlo a nuestros clientes", añade Renn.

Además de Olmo, el equipo de AISquared personalizó Bolt Instruct para producir resultados estructurados legibles por máquina, reducir las tasas de alucinación en RAG, detectar información de identificación personal (PII) e intentos de jailbreak, y enrutar solicitudes a otros modelos. Dentro de UNIFI, la plataforma empresarial de AISquared, Bolt Instruct ahora desempeña dos roles: una capa de protección que bloquea contenido no permitido antes de que llegue a los sistemas posteriores y un enrutador que dirige cada solicitud al modelo más adecuado para manejarla.

Según Renn, la migración a Bolt redujo los costos de alojamiento de infraestructura de AISquared en aproximadamente un 50%, y los clientes vieron reducciones similares en los costos. navigating-the-edge-new-framework-promises-safer-ai-deployment-in-critical-systems

Cómo Domyn utilizó Dolma y Dolci

En mayo, Domyn lanzó Domyn Small, un modelo de razonamiento de pesos abiertos de 10 mil millones de parámetros construido en parte sobre los conjuntos de datos abiertos Dolma y Dolci de Ai2. Debido a que Dolma y Dolci se envían con fuentes documentadas y licencias permisivas, Domyn pudo publicar la receta de Domyn Small en una forma que las organizaciones reguladas pudieran rastrear de principio a fin.

"La afirmación de auditabilidad solo es defendible si podemos documentar lo que entró en los datos de entrenamiento de un modelo, no solo lo que salió del entrenamiento. Cualquier persona puede ir a ver exactamente lo que vio el modelo", dice Martin Cimmino, gerente de ingeniería de IA en Domyn.

Para desarrollar Domyn Small, Domyn partió de Italia 10B, un modelo fundacional que entrenó desde cero, y superpuso un pipeline de post-entrenamiento de múltiples etapas. Italia 10B le dio a Domyn una base inicial sólida, pero el modelo había sido entrenado para uso general en lugar de razonamiento, y su ventana de contexto era demasiado corta para los documentos largos con los que suelen trabajar los clientes de Domyn. Extenderlo requirió otra ronda de entrenamiento con datos de alta calidad y formato más largo.

Dolma cumplió con los requisitos. La fuente de sus datos, y cómo fueron limpiados y filtrados, es pública, por lo que Domyn pudo calibrarlos con respecto al resto de la mezcla de datos internos de la empresa "en lugar de volar a ciegas con rastreos web opacos", dice Cimmino. Además, la licencia abierta de Dolma y su clara procedencia ayudaron a "superar la revisión del lado de adquisiciones que debemos pasar para la implementación comercial descendente", añade Cimmino.

Después de Dolma, el siguiente paso fue enseñar a Domyn Small a dar respuestas claras y precisas en lugar de vagas o evidentemente incorrectas. Para hacer esto, Domyn recurrió a Dolci, el conjunto de datos de Ai2 que contiene alrededor de 260 mil pares de respuestas construido exactamente para este tipo de ajuste. Ai2 lanzó Dolci el año pasado junto con Olmo 3.

En GPQA-Diamond, un punto de referencia de razonamiento científico a nivel de posgrado, Dolci ayudó a Domyn Small a ganar 10.1 puntos, el mayor salto individual en el pipeline de post-entrenamiento del modelo.

"La recompensa empírica fue real", dice Cimmino.

Para los laboratorios de IA que atienden a clientes regulados, el estándar no es solo una alta capacidad, es auditabilidad y control. La Ley de IA de la UE eleva ese estándar aún más, exigiendo a los proveedores de modelos de IA de propósito general que publiquen resúmenes detallados de sus datos de entrenamiento. En EE. UU., los clientes federales tienen sus propias restricciones en cuanto a procedencia y licencias. what-openais-atlas-shutdown-says-about-its-product-strategy

Lo que cambia el panorama es el tipo de apertura ascendente que Ai2 incorpora en sus conjuntos de datos y otros artefactos de investigación.

"La documentación publicada de Ai2 se alimenta directamente de nuestros artefactos de trazabilidad y cumplimiento de la Ley de IA. El compromiso de lanzar toda la pila es genuinamente inusual a la escala a la que opera Ai2. El trabajo de Ai2 fundamenta una alternativa creíble a los pipelines cerrados propietarios para laboratorios como el nuestro que están construyendo bajo restricciones de soberanía e interés público", dice Cimmino.

Para laboratorios como Domyn y AISquared, el código abierto no es una filosofía, es un atajo de cumplimiento. Cuando cada línea de datos de entrenamiento y cada decisión arquitectónica es visible, los equipos de adquisiciones no necesitan tomar la palabra del proveedor. microsoft-open-sources-data-formulator-07-for-enterprise-data-analytics