AI开源
两大AI实验室证明:开放模型为何在受监管行业中胜出
Domyn和AISquared利用Ai2开源的Olmo系列及Dolma/Dolci数据集,为受监管行业构建模型。完全透明的架构和训练数据帮助他们满足合规要求,并将基础设施成本削减约50%。

金融服务业、医疗保健、学术界和公共部门等受监管行业的企业在AI采购上面临难题。许多模型未能提供合规、法律和安全团队审批高风险部署所需的数据渊源、风险文档或输入数据保护。ai2-opens-the-hood-on-olmo-3-every-checkpoint-every-data-point-every-decision
两家为受监管行业构建AI的实验室, , Domyn和AISquared(均与Ai2无关), , 开发了直接基于Ai2开放版本的模型。Domyn总部位于米兰,专注于AI主权, , 即对其部署的模型和数据的完全所有权和控制权, , 服务于金融服务业、先进制造业等其他受监管行业。AISquared总部位于华盛顿特区,服务于联邦政府及同一领域的美国企业客户。
两者选择Olmo是因为它提供了完整的模型流程,包括训练数据、代码和架构蓝图,为Domyn和AISquared的客户群提供了所需的高水平透明度和定制能力。gemma-4-is-not-a-chatbot-and-thats-the-point
为何AISquared选择Olmo
今年早些时候,AISquared发布了Bolt,一系列开放权重的小型语言模型,专为检索增强生成(RAG)、文档处理和模型路由等企业工作流设计。Bolt Instruct是该系列的指令微调子系列,基于Olmo 2、Olmo 3和Olmo 3.1在1B、7B和32B三种规模上进行微调。
对于AISquared联合创始人兼首席数据科学家Jacob Renn而言,选择Olmo作为Bolt的基础模型,关键在于Ai2的开放理念。
“因为Olmo完全开放,我们对其架构和训练数据有完全的可见性,相比透明度较低的开放权重模型,这让我们拥有更高水平的信任,”Renn表示。
AISquared测试的其他基础模型依赖于支持较少的架构或深奥的方法,由此产生的微调模型“效率更低,部署和操作更困难,或者需要更复杂且成本更高的训练方案,但性能仍然更差,” Renn说。
“Olmo的透明度和宽松许可使其在源自美国的一系列模型中成为轻松之选。此外,其许可确保我们可以根据需要调整Olmo并授权给客户,”Renn补充道。
在Olmo的基础上,AISquared团队定制了Bolt Instruct,以生成机器可读的结构化输出、降低RAG中的幻觉率、检测个人身份信息(PII)和越狱尝试,并在其他模型之间路由请求。在AISquared的企业平台UNIFI内部,Bolt Instruct扮演着双重角色:在不当内容到达下游系统之前进行拦截的护栏层,以及将每个请求路由到最适合处理该请求的模型的路由器。
据Renn称,迁移到Bolt使AISquared自身的基础设施托管成本降低了约50%,客户也看到了类似的成本降低。navigating-the-edge-new-framework-promises-safer-ai-deployment-in-critical-systems
Domyn如何利用Dolma和Dolci
今年5月,Domyn发布了Domyn Small,一个100亿参数的开放权重推理模型,部分基于Ai2开放的Dolma和Dolci数据集。由于Dolma和Dolci随附有文档记录的数据源和宽松许可,Domyn能够以受监管组织可端到端追溯的形式发布Domyn Small的配方。
“可审计性主张只有在能记录模型训练数据包含什么,而不仅仅是训练输出了什么时才站得住脚。任何人都可以查看模型确切地看到了什么,”Domyn AI工程经理Martin Cimmino表示。
为开发Domyn Small,Domyn从Italia 10B(一个从头训练的预训练模型)开始,并在其之上叠加了一个多阶段后训练流程。Italia 10B为Domyn提供了扎实的初始基础,但该模型是为通用用途而非推理训练的,其上下文窗口对于Domyn客户通常处理的长文档来说太短。扩展它需要进行另一轮高质量、长格式数据的训练。
Dolma正好符合要求。其数据来源以及数据的清洗和过滤方式都是公开的,因此Domyn可以根据公司内部数据集“进行校准,而不是在不透明的网络爬取中盲目飞行,”Cimmino说。此外,Dolma的开放许可证和清晰的来源帮助“通过了我们为下游商业部署必须完成的采购端审查,” Cimmino补充道。
在Dolma之后,下一步是训练Domyn Small给出清晰、准确的回答,而不是模糊或明显错误的回答。为此,Domyn使用了Dolci,这是Ai2包含约26万对响应数据的数据集,专为这种调优而构建。Ai2去年与Olmo 3一起发布了Dolci。
在研究生级别的科学推理基准GPQA-Diamond上,Dolci帮助Domyn Small提升了10.1个百分点,这是该模型后训练流程中最大的单一提升。
“实证回报是实实在在的,”Cimmino说。
对于服务受监管客户的AI实验室而言,门槛不仅是强大的能力,更是可审计性和控制力。欧盟人工智能法案进一步提高了这一门槛,要求通用人工智能模型提供商发布其训练数据的详细摘要。在美国,联邦客户对来源和许可也有自己的限制。what-openais-atlas-shutdown-says-about-its-product-strategy
改变格局的是Ai2在其数据集和其他研究成果中融入的那种上游开放性。
“Ai2发布的文档直接融入我们的可追溯性和人工智能法案合规工件中。在Ai2运营的规模下,承诺发布完整堆栈确实不寻常。对于像我们这样在主权和公共利益限制下构建的实验室来说,Ai2的工作为封闭的专有管道提供了一个可信的替代方案,”Cimmino说。
对于像Domyn和AISquared这样的实验室来说,开源不是一种哲学,而是一条合规捷径。当每一行训练数据和每一个架构决策都可见时,采购团队无需再相信供应商的片面之词。microsoft-open-sources-data-formulator-07-for-enterprise-data-analytics