SevenTnewS

开源基础设施

你的AI搜索管道坏了,这个开源框架来修管道。

构建AI搜索基础设施的团队仍然在管道连接上耗费太多时间。Search Toolkit将摄入、检索和评估统一到一个单一的开源框架中,消除了拼接不同工具所需的数周集成工作。它专为RAG质量、领域特定检索和代理搜索等企业用例而设计。

Emmanuel Fabrice Omgbwa Yasse

2026-07-11 · 阅读需 4 分钟

你的AI搜索管道坏了,这个开源框架来修管道。

为AI应用构建搜索基础设施已成为大部分团队视为不可避免的工程痛点。流程通常是:选择一个摄入工具,挑选一个向量数据库,连接一个检索库,然后加上不共享任何上述工具假设的评估脚本。每个组件使用自己的数据语言,期望自己的文档格式,并且在上游管道发生变化时崩溃。cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

今天发布的Search Toolkit公开预览版直接解决了这种碎片化问题。这个开源框架由多年开发企业搜索基础设施的团队构建,将摄入、检索和评估整合到一个单一的可组合接口下。无论团队的底层基础设施运行在哪里, , 云端、本地或边缘, , 该框架都能运作,并明确传递一个理念:团队应将工程时间花在搜索质量上,而非管道组装上。one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

“我们构建它是因为,构建搜索基础设施的团队仍然在管道连接上花费太多工程时间,”发布团队写道。“大多数人将不同的工具拼接起来用于摄入、检索和评估,每个工具都有自己的接口和对数据的假设。”the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

集成变更的真正成本

核心问题并非单个工具不好。而是它们之间的每个集成点都创造了一个随每次新数据源、每次模式变更和每次评估运行而增长维护表面积。团队报告需要花费数周时间才能达到一个点,即对自己的数据运行一次简单查询。评估检索质量往往需要另一个工具链,且后者有自己的数据形状假设,不一定匹配摄入管道产生的结果。the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Search Toolkit在架构层面上解决了这个问题。所有模块, , 摄入、检索和评估, , 共享一个公共配置接口。更换一个检索器、添加一个评估器、改变分块策略, , 管道的其余部分会自动适应,无需手动重新接线。

三个问题,一个框架

发布版将用例分为三个类别,每个代表当前企业搜索部署中的一个独特痛点。

企业搜索碎片化。大多数组织面临的不是一个搜索问题,而是十几个:内部维基、支持工单系统、文档仓库、文件存储、代码库。每个来源具有不同的结构和元数据,需要不同的处理才能良好索引。常见的结果要么是孤立索引无法一起搜索,要么是一个脆弱的自定义层成为新的维护负担。Search Toolkit提供跨来源类型的统一处理和索引模式,因此添加新来源不意味着重建管道。

RAG质量隔离。当检索增强生成系统返回不佳结果时,团队通常没有清晰的方式来确定问题是检索还是生成。通常的反射反应是调整提示、修改分块、更换模型,却不知检索器是否在返回正确上下文。Search Toolkit包含内置评估指标(召回率、精确率、MRR、NDCG),可独立测量检索器性能,使团队将检索质量与生成质量隔离开来。why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

领域特定检索。现成的检索器在通用文本上训练,难以处理法律文件、医疗记录、代码库和财务披露中的专业术语和文档结构。构建领域调谐检索团队最终往往从零开始构建自定义基础设施。Search Toolkit的可配置检索器, , BM25稀疏、基于嵌入的密集以及混合配置, , 允许团队针对特定领域进行调优,而无需重建检索层。how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

代理架构中的搜索

该框架出现在一个代理范式正在重塑企业如何看待检索的时刻。处理企业任务的代理需要访问企业上下文,并且它们需要以高吞吐量自主做出检索决策。基础设施质量直接影响每个下游步骤。

Search Toolkit支持代理的两种检索路径:大规模文档语料库的索引语义搜索,以及通过MCP集成从源系统实时拉取数据。代理可以在需要搜索大量内容时查询索引语料库,并在需要最新状态时从CRM、代码仓库或生产力工具实时拉取数据。the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

经过实战考验的部署

该框架专为高级企业用例设计,并已在金融服务、制造业、公共部门和媒体垂直领域进行测试。一个值得注意的部署涉及CMA CGM,它使用Search Toolkit与Voxtral一起帮助记者检测假新闻。该管道处理来自三个不同数据源的音频,并在端到端15秒内返回警报。Prompting a frontier model, a publisher's field notes…

Search Toolkit以开源形式发布,现在可通过一个入门应用模板获取,该模板提供预配置的Vespa索引、混合检索和示例数据。完整文档涵盖模式管理、相关性优化以及高级检索功能,包括LLM查询重写和重排序。