Votre pipeline de recherche IA est cassé. Ce framework open-source répare la plomberie.

Construire une infrastructure de recherche pour les applications d'IA est devenu une catégorie de douleur technique que la plupart des équipes acceptent comme inévitable. Le schéma est familier : choisir un outil d'ingestion, sélectionner une base de données vectorielles, connecter une bibliothèque de récupération, et ajouter des scripts d'évaluation qui ne partagent pas les hypothèses avec aucun des éléments précédents. Chaque composant parle son propre langage de données, attend son propre format de document, et casse lorsque le pipeline en amont change. cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

La version préliminaire publique d'aujourd'hui de Search Toolkit aborde directement cette fragmentation. Le framework open-source, construit par une équipe qui a développé une infrastructure de recherche d'entreprise pendant des années, réunit l'ingestion, la récupération et l'évaluation sous une interface unique et composable. Il fonctionne là où l'infrastructure d'une équipe fonctionne, cloud, sur site, ou en périphérie, et porte la proposition explicite que les équipes devraient passer leur temps d'ingénierie sur la qualité de la recherche, et non sur l'assemblage du pipeline. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

« Nous l'avons construit parce que les équipes construisant une infrastructure de recherche passent encore trop de temps d'ingénierie sur la plomberie, » a écrit l'équipe de publication. « La plupart assemblent des outils séparés pour l'ingestion, la récupération et l'évaluation, chacun avec sa propre interface et ses propres hypothèses sur les données. »

Le coût réel du churn d'intégration

Le problème sous-jacent n'est pas que les outils individuels sont mauvais. C'est que chaque point d'intégration entre eux crée une surface de maintenance qui croît avec chaque nouvelle source de données, chaque changement de schéma et chaque exécution d'évaluation. Les équipes rapportent passer des semaines simplement pour atteindre le point où elles peuvent exécuter une seule requête sur leurs propres données. Mesurer la qualité de la récupération nécessite souvent une autre chaîne d'outils, avec ses propres hypothèses de forme de données qui peuvent ou non correspondre à ce que le pipeline d'ingestion a produit. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Search Toolkit attaque cela au niveau de l'architecture. Tous les modules, ingestion, récupération, évaluation, partagent une interface de configuration commune. Échangez un récupérateur, ajoutez un évaluateur, modifiez la stratégie de découpage. Le reste du pipeline s'adapte sans réglage manuel.

Trois problèmes, un framework

La publication décompose les cas d'utilisation en trois catégories, chacune représentant un point de douleur distinct dans les déploiements actuels de recherche d'entreprise.

Fragmentation de la recherche d'entreprise. La plupart des organisations n'ont pas un seul problème de recherche. Elles en ont une douzaine : wikis internes, systèmes de tickets de support, référentiels de documents, stockage de fichiers, bases de code. Chaque source a une structure et des métadonnées différentes, nécessitant un traitement différent pour bien indexer. Le résultat standard est soit des index isolés qui ne peuvent pas être recherchés ensemble, soit une couche personnalisée fragile qui devient son propre fardeau de maintenance. Search Toolkit fournit des modèles de traitement et d'indexation cohérents entre les types de sources, de sorte que l'ajout d'une nouvelle source ne signifie pas reconstruire le pipeline.

Isolement de la qualité RAG. Lorsqu'un système de génération augmentée par récupération retourne de mauvais résultats, les équipes manquent généralement d'un moyen clair pour déterminer si le problème vient de la récupération ou de la génération. La réponse réflexe est de modifier les invites, d'ajuster le découpage et d'échanger les modèles, tout cela sans savoir si le récupérateur fait remonter le bon contexte. Search Toolkit inclut des métriques d'évaluation intégrées (rappel, précision, MRR, NDCG) qui mesurent la performance du récupérateur de manière indépendante, permettant aux équipes d'isoler la qualité de la récupération de la qualité de la génération. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

Récupération spécifique à un domaine. Les récupérateurs prêts à l'emploi sont entraînés sur du texte généraliste et peinent avec la terminologie spécialisée et les structures de documents des dossiers juridiques, des dossiers médicaux, des bases de code et des divulgations financières. Les équipes construisant une récupération adaptée à un domaine finissent souvent par construire une infrastructure personnalisée à partir de zéro. Les récupérateurs configurables de Search Toolkit, configurations BM25 sparse, dense basée sur les embeddings et hybrides, permettent aux équipes de s'adapter à leur domaine spécifique sans reconstruire la couche de récupération. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

La recherche dans une architecture agentique

Le framework arrive à un moment où le paradigme des agents redéfinit la façon dont les entreprises envisagent la récupération. Les agents travaillant sur des tâches d'entreprise ont besoin d'accéder au contexte d'entreprise, et ils prennent des décisions de récupération de manière autonome à volume élevé. La qualité de l'infrastructure affecte directement chaque étape en aval.

Search Toolkit prend en charge deux voies de récupération pour les agents : la recherche sémantique indexée sur de grands corpus de documents et l'extraction de données en direct depuis les systèmes sources via des intégrations MCP. Un agent peut interroger un corpus indexé lorsqu'il a besoin de rechercher sur un grand volume de contenu, et extraire des données en direct d'un CRM, d'un référentiel de code ou d'un outil de productivité lorsqu'il a besoin de l'état le plus récent. the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

Déploiements éprouvés

Le framework a été conçu pour des cas d'utilisation d'entreprise avancés et testé dans les secteurs des services financiers, de la fabrication, du secteur public et des médias. Un déploiement notable implique CMA CGM, qui utilise Search Toolkit aux côtés de Voxtral pour aider les journalistes à détecter les fausses nouvelles. Le pipeline traite l'audio de trois sources de données distinctes et renvoie des alertes en 15 secondes de bout en bout. Prompting a frontier model, a publisher's field notes…

Search Toolkit est publié en open-source et disponible dès maintenant via un modèle d'application de démarrage qui fournit une indexation Vespa préconfigurée, une récupération hybride et des données d'exemple. La documentation complète couvre la gestion des schémas, l'optimisation de la pertinence et les fonctionnalités avancées de récupération, y compris la réécriture de requêtes LLM et le reclassement.