Sipp.sh lance une bibliothèque open source pour l'inférence IA locale avec un gain de vitesse de 3 à 5 fois

Noumena Labs vient de lancer Sipp, une bibliothèque open source qui permet aux développeurs d'exécuter l'inférence IA localement ou dans le cloud via une seule API. L'idée est de pousser l'IA au-delà de l'interface de chat, en l'intégrant directement dans des applications web, des jeux ou des outils de bureau pour une surveillance et une prise de décision continues.

Dans son annonce, Noumena Labs qualifie Sipp de bibliothèque « opinionnée ». L'équipe a réalisé que les grands modèles de langage ne doivent pas être confinés aux boîtes de dialogue. « Nous avons commencé à réaliser qu'un LLM n'est pas seulement une interface de chat pour la récupération d'informations », indique le communiqué. « Il peut être intégré directement dans des applications web, des jeux ou des applications de productivité pour gérer la surveillance continue et la prise de décision. Il peut agir comme une sorte de « second cerveau », la main silencieuse qui guide et aide un utilisateur sans même qu'il s'en rende compte. »

La faible latence est la clé. L'équipe a construit une toute nouvelle pile en Rust et C++, en collaborant avec le projet llama.cpp. Dans le cadre de cette collaboration, Noumena Labs a contribué à la communauté en aidant à mettre à niveau le backend GGML WebGPU. Sipp est livré en tant que bibliothèque sans dépendance pour les environnements de bureau et web, offrant un gain de vitesse de 3 à 5 fois dans le décodage de tokens par rapport aux alternatives populaires.

La bibliothèque résout les problèmes de latence et de confidentialité de l'inférence uniquement cloud. En fonctionnant localement avec des vitesses de décodage rapides directement dans le navigateur, Sipp permet aux développeurs de créer des applications qui traitent les données sur l'appareil, maintenant les coûts de calcul bas et les données absolument privées.

Des cas d'utilisation précoces émergent déjà. Pensez à la surveillance continue avec vision locale, ou à la génération dynamique d'éléments de jeu dans un duel sorcier contre sorcier en temps réel. Noumena Labs considère ces exemples comme les premiers d'un nouveau paradigme où l'IA fonctionne comme un assistant invisible, répondant instantanément aux actions de l'utilisateur.

Sipp est entièrement open source et disponible sur GitHub sous l'organisation Noumena Labs. Vous pouvez le récupérer sur sipp.sh, où des démos en direct et des benchmarks sont également disponibles. L'entreprise invite les développeurs à exécuter leurs propres benchmarks et à participer aux discussions sur Discord.

Avec ce lancement, Noumena Labs positionne Sipp comme un outil fondateur pour ce qu'elle appelle la prochaine frontière de la conception UX : intégrer l'IA non pas comme une interface de chat séparée, mais comme un composant transparent et toujours actif de toute application.