AI基础设施
Sipp.sh 发布开源库，本地AI推理速度提升3至5倍
Noumena Labs 推出 Sipp，一个基于 Rust 和 C++ 新架构的开源AI推理库，令牌解码速度提升3-5倍。专为网页、游戏和桌面应用设计，Sipp 提供低成本、零延迟的计算能力，并确保数据完全隐私。
Noumena Labs 刚刚发布了 Sipp，这是一个开源库，允许开发者通过单一API在本地或云端运行AI推理。其理念是将AI超越聊天界面，直接嵌入网页应用、游戏或桌面工具，用于持续监控和决策。
在公告中，Noumena Labs 称 Sipp 为一个“有主见”的库。团队意识到大型语言模型不必局限于聊天框。“我们开始意识到，LLM 不仅仅是用于信息检索的聊天界面，”声明中写道，“它可以直接集成到网页、游戏或生产力应用中，处理持续监控和决策。它就像一个‘第二大脑’，在用户甚至没有意识到的情况下，默默引导和帮助用户。”
低延迟是关键。团队使用 Rust 和 C++ 构建了一个全新的架构，并与 llama.cpp 项目合作。作为合作的一部分，Noumena Labs 通过帮助升级 GGML WebGPU 后端回馈了社区。Sipp 以零依赖库的形式发布，适用于桌面和网页环境，令牌解码速度比主流替代方案快3到5倍。
该库解决了纯云端推理中延迟和隐私痛点。通过在浏览器中本地运行并提供快速解码速度，Sipp 让开发者能够构建在设备上处理数据的应用，从而保持低计算成本和绝对的数据隐私。
早期用例已经出现。比如使用本地视觉进行持续监控，或在实时巫师对战游戏中动态生成游戏元素。Noumena Labs 认为这些是一个新范式的首批例子，其中AI像一个隐形助手，即时响应用户操作。
Sipp 完全开源，可在 GitHub 上的 Noumena Labs 组织下获取。您可以从 sipp.sh 获取，那里还提供实时演示和基准测试。该公司邀请开发者运行自己的基准测试并加入 Discord 讨论。
通过这次发布，Noumena Labs 将 Sipp 定位为UX设计下一个前沿的基础工具：将AI集成，不是作为一个独立的聊天界面，而是作为任何应用中无缝、始终在线的组件。