Deux laboratoires d'IA viennent de prouver pourquoi les modèles ouverts gagnent dans les secteurs réglementés

Les entreprises des secteurs réglementés comme les services financiers, la santé, le monde universitaire et le secteur public sont confrontées à un problème d'approvisionnement en matière d'IA. De nombreux modèles sont livrés sans traçabilité des données, documentation des risques ou protections des données d'entrée dont les équipes de conformité, juridiques et de sécurité ont besoin pour approuver des déploiements à fort impact. ai2-opens-the-hood-on-olmo-3-every-checkpoint-every-data-point-every-decision

Deux laboratoires d'IA travaillant pour les secteurs réglementés, Domyn et AISquared (tous deux non affiliés à Ai2), ont développé des modèles qui s'appuient directement sur les versions ouvertes d'Ai2. Basée à Milan, Domyn se concentre sur la souveraineté de l'IA, la propriété et le contrôle complets des modèles et des données qu'elle déploie, pour les services financiers, la fabrication avancée et d'autres secteurs réglementés. Basée à Washington, D.C., AISquared sert le gouvernement fédéral et les clients entreprises américains dans ces mêmes secteurs.

Les deux ont choisi Olmo car il est disponible avec le flux complet du modèle, y compris les données d'entraînement, le code et les plans d'architecture, offrant le haut niveau de transparence et de personnalisation nécessaire aux bases de clients de Domyn et AISquared. gemma-4-is-not-a-chatbot-and-thats-the-point

Pourquoi AISquared a choisi Olmo

Plus tôt cette année, AISquared a publié Bolt, une famille de petits modèles de langage à poids ouverts conçus pour des flux de travail d'entreprise comme la génération augmentée de récupération (RAG), le traitement de documents et le routage de modèles. Bolt Instruct, la sous-famille de suivi d'instructions de la famille, est affiné à partir d'Olmo 2, Olmo 3 et Olmo 3.1 en trois tailles : 1B, 7B et 32B.

Pour Jacob Renn, co-fondateur et scientifique en chef des données d'AISquared, choisir Olmo comme base pour Bolt s'est résumé à la philosophie d'ouverture d'Ai2.

"Parce qu'Olmo est entièrement ouvert, nous avions une visibilité complète sur son architecture et ses données d'entraînement, ce qui nous a permis un niveau de confiance plus élevé par rapport à des modèles à poids ouverts moins transparents," déclare Renn.

Les autres modèles de base testés par AISquared reposaient sur des architectures moins bien soutenues ou des méthodes obscures, et les affinages résultants "étaient moins efficaces, plus difficiles à déployer et à utiliser, ou nécessitaient des schémas d'entraînement beaucoup plus complexes et coûteux qui donnaient toujours des performances inférieures," selon Renn.

"La transparence d'Olmo et sa licence permissive en ont fait un choix facile parmi l'ensemble des modèles d'origine américaine. De plus, sa licence garantissait que nous pouvions adapter Olmo selon nos besoins et le concéder sous licence à nos clients," ajoute Renn.

En plus d'Olmo, l'équipe d'AISquared a personnalisé Bolt Instruct pour produire des sorties structurées lisibles par machine, réduire les taux d'hallucination dans le RAG, détecter les informations personnelles identifiables (PII) et les tentatives de jailbreak, et acheminer les demandes vers d'autres modèles. À l'intérieur d'UNIFI, la plateforme d'entreprise d'AISquared, Bolt Instruct joue désormais deux rôles : une couche de garde-fou qui bloque le contenu non autorisé avant qu'il n'atteigne les systèmes en aval et un routeur qui dirige chaque demande vers le modèle le mieux adapté pour la traiter.

Selon Renn, la migration vers Bolt a réduit les coûts d'hébergement de l'infrastructure propre d'AISquared d'environ 50 %, les clients constatant des réductions similaires des coûts. navigating-the-edge-new-framework-promises-safer-ai-deployment-in-critical-systems

Comment Domyn a utilisé Dolma et Dolci

En mai, Domyn a publié Domyn Small, un modèle de raisonnement à poids ouverts de 10 milliards de paramètres construit en partie sur les ensembles de données ouverts Dolma et Dolci d'Ai2. Parce que Dolma et Dolci sont livrés avec des sources documentées et des licences permissives, Domyn a pu publier la recette de Domyn Small sous une forme que les organisations réglementées peuvent retracer de bout en bout.

"La revendication d'auditabilité n'est défendable que si nous pouvons documenter ce qui est entré dans les données d'entraînement d'un modèle, pas seulement ce qui est sorti de l'entraînement. N'importe qui peut aller voir exactement ce que le modèle a vu," déclare Martin Cimmino, responsable de l'ingénierie IA chez Domyn.

Pour développer Domyn Small, Domyn est parti d'Italia 10B, un modèle de base qu'il a entraîné à partir de zéro, et a superposé un pipeline de post-entraînement en plusieurs étapes. Italia 10B a donné à Domyn une base initiale solide, mais le modèle avait été entraîné pour un usage général plutôt que pour le raisonnement, et sa fenêtre de contexte était trop courte pour les longs documents avec lesquels les clients de Domyn travaillent habituellement. L'étendre nécessitait un autre cycle d'entraînement sur des données de haute qualité et de plus longue durée.

Dolma convenait parfaitement. La source de ses données, et comment elles ont été nettoyées et filtrées, est publique, donc Domyn a pu la calibrer par rapport au reste du mélange de données internes de l'entreprise "plutôt que de voler à l'aveugle sur des explorations web opaques," selon Cimmino. De plus, la licence ouverte de Dolma et sa provenance claire ont aidé à "passer la revue d'approvisionnement que nous devons réussir pour un déploiement commercial en aval," ajoute Cimmino.

Après Dolma, l'étape suivante consistait à enseigner à Domyn Small à donner des réponses claires et précises plutôt que vagues ou manifestement erronées. Pour ce faire, Domyn a utilisé Dolci, l'ensemble de données d'Ai2 contenant environ 260 000 paires de réponses conçues exactement pour ce type d'ajustement. Ai2 a publié Dolci l'année dernière en même temps qu'Olmo 3.

Sur GPQA-Diamond, un benchmark de raisonnement scientifique de niveau graduate, Dolci a aidé Domyn Small à gagner 10,1 points, le plus grand saut unique dans le pipeline de post-entraînement du modèle.

"Le gain empirique était réel," déclare Cimmino.

Pour les laboratoires d'IA servant des clients réglementés, la barre n'est pas seulement une capacité élevée, c'est l'auditabilité et le contrôle. La loi européenne sur l'IA relève encore cette barre, exigeant des fournisseurs de modèles d'IA à usage général qu'ils publient des résumés détaillés de leurs données d'entraînement. Aux États-Unis, les clients fédéraux ont leurs propres contraintes concernant la provenance et les licences. what-openais-atlas-shutdown-says-about-its-product-strategy

Ce qui change la donne, c'est le type d'ouverture en amont qu'Ai2 intègre dans ses ensembles de données et autres artefacts de recherche.

"La documentation publiée par Ai2 alimente directement nos artefacts de traçabilité et de conformité à la loi sur l'IA. L'engagement à publier la pile complète est vraiment inhabituel à l'échelle à laquelle Ai2 opère. Le travail d'Ai2 ancre une alternative crédible aux pipelines propriétaires fermés pour des laboratoires comme le nôtre qui construisent sous des contraintes de souveraineté et d'intérêt public," déclare Cimmino.

Pour des laboratoires comme Domyn et AISquared, l'open source n'est pas une philosophie, c'est un raccourci vers la conformité. Lorsque chaque ligne de données d'entraînement et chaque décision architecturale sont visibles, les équipes d'approvisionnement n'ont pas besoin de prendre la parole du fournisseur pour argent comptant. microsoft-open-sources-data-formulator-07-for-enterprise-data-analytics