إطلاق مكتبة Sipp.sh مفتوحة المصدر للاستدلال المحلي للذكاء الاصطناعي مع تسريع يصل إلى 3 إلى 5 أضعاف

أطلقت Noumena Labs لتوها Sipp، وهي مكتبة مفتوحة المصدر تتيح للمطورين تشغيل الاستدلال للذكاء الاصطناعي محليًا أو في السحابة عبر واجهة برمجة تطبيقات واحدة. الفكرة هي دفع الذكاء الاصطناعي إلى ما وراء واجهة الدردشة، وتضمينه مباشرة في تطبيقات الويب أو الألعاب أو أدوات سطح المكتب للمراقبة المستمرة واتخاذ القرارات.

في إعلانها، تصف Noumena Labs Sipp بأنها مكتبة "رأيية". أدرك الفريق أن نماذج اللغة الكبيرة لا يجب أن تكون محصورة في صناديق الدردشة. وجاء في البيان: "بدأنا ندرك أن LLM ليس مجرد واجهة دردشة لاسترجاع المعلومات. يمكن دمجه مباشرة في تطبيقات الويب أو الألعاب أو تطبيقات الإنتاجية للتعامل مع المراقبة المستمرة واتخاذ القرارات. يمكن أن يعمل كنوع من 'الدماغ الثاني'، اليد الصامتة التي ترشد المستخدم وتساعده دون أن يدرك ذلك."

زمن الاستجابة المنخفض هو المفتاح. بنى الفريق مجموعة جديدة تمامًا من Rust وC++، بالعمل جنبًا إلى جنب مع مشروع llama.cpp. كجزء من هذا التعاون، ساهمت Noumena Labs في المجتمع من خلال المساعدة في ترقية خلفية GGML WebGPU. تأتي Sipp كمكتبة بدون تبعيات لكل من بيئات سطح المكتب والويب، مما يوفر تسريعًا بنسبة 3 إلى 5 أضعاف في فك ترميز الرموز مقارنة بالبدائل الشائعة.

تعالج المكتبة مشكلات زمن الاستجابة والخصوصية للاستدلال السحابي فقط. من خلال التشغيل المحلي بسرعات فك ترميز سريعة مباشرة في المتصفح، تتيح Sipp للمطورين بناء تطبيقات تعالج البيانات على الجهاز، مما يحافظ على انخفاض تكاليف الحوسبة وخصوصية البيانات المطلقة.

حالات الاستخدام المبكرة بدأت بالفعل في الظهور. فكر في المراقبة المستمرة بالرؤية المحلية، أو التوليد الديناميكي لعناصر اللعبة في مبارزة ساحر ضد ساحر في الوقت الفعلي. ترى Noumena Labs هذه الأمثلة الأولى لنموذج جديد حيث يعمل الذكاء الاصطناعي كمساعد غير مرئي، يستجيب فورًا لإجراءات المستخدم.

Sipp مفتوح المصدر بالكامل ومتاح على GitHub تحت منظمة Noumena Labs. يمكنك الحصول عليه من sipp.sh، حيث تتوفر أيضًا عروض توضيحية حية ومعايير قياس. تدعو الشركة المطورين إلى تشغيل معاييرهم الخاصة والانضمام إلى مناقشات Discord.

مع هذا الإطلاق، تضع Noumena Labs Sipp كأداة أساسية لما تسميه الحدود التالية لتصميم تجربة المستخدم: دمج الذكاء الاصطناعي ليس كواجهة دردشة منفصلة، ولكن كمكون سلس ومستمر في أي تطبيق.