API جديد من كروم قد يوفر 177 ميجابايت لمشاركة نماذج الذكاء الاصطناعي في ذاكرة التخزين المؤقت عبر مواقع الويب

ها هي المشكلة: تقوم ببناء تطبيق ويب مدعوم بالذكاء الاصطناعي باستخدام Transformers.js. في الزيارة الأولى، يقوم المتصفح بتنزيل أوزان النموذج وملفات بيئة تشغيل WebAssembly، مخزناً إياها محلياً. ثم تقوم بتحميل تطبيق ثانٍ على مصدر مختلف يستخدم نفس النموذج بالضبط، على سبيل المثال، نموذج التعرف على الكلام الشهير Whisper. يقوم المتصفح بتنزيل وتخزين تلك الميغابايتات نفسها مرة أخرى. بالنسبة للنماذج الكبيرة، يمكن أن يؤدي هذا التكرار إلى إهدار مئات الميغابايتات من عرض النطاق الترددي ومساحة القرص لكل مستخدم. إنه أكثر من مجرد إزعاج؛ إنه استنزاف حقيقي. minimax-speech-28-brings-human-warmth-to-ai-voices-with-native-filler-words-and-high-fidelity-cloning

يعمل فريق كروم من جوجل على إصلاح لهذه المشكلة. إن واجهة برمجة تطبيقات التخزين عبر المصادر (COS) المقترحة هي مواصفات في مرحلة مبكرة تقدم واجهة مخصصة navigator.crossOriginStorage. بدلاً من ربط الموارد المخزنة مؤقتاً بعنوان URL والمصدر، وهو النموذج الحالي الذي يقسم ذاكرات التخزين المؤقت لأسباب أمنية، تحدد COS الملفات بواسطة تجزئة SHA-256 التشفيرية الخاصة بها. هذا يعني أنه سواء تم جلب مورد لأول مرة بواسطة https://site-a.com أو https://site-b.com، إذا كانت البايتات متطابقة، يمكن للمتصفح تقديمها من مخزن مشترك واحد. the-specialization-revolution-how-smaller-models-are-redefining-ais-future

كيف تعمل COS

تم تصميم واجهة برمجة التطبيقات عن قصد على غرار نظام ملفات المنشأ الخاص (OPFS)، المألوف بالفعل لمطوري الويب. لاسترداد ملف، يقوم التطبيق باستدعاء navigator.crossOriginStorage.requestFileHandle(hash)، حيث hash هو كائن يحتوي على الخوارزمية (SHA-256 حالياً) والقيمة السداسية العشرية. إذا كان الملف مخزناً بالفعل، تقوم الطريقة بإرجاع FileSystemFileHandle للقراءة. إذا لم يكن كذلك، يمكن للتطبيق الرجوع إلى جلب الشبكة ثم تخزين النتيجة باستخدام { create: true, origins: '*' } لجعلها متاحة عالمياً.

التحكم في الرؤية دقيق: يمكن للمطورين تعيين origins إلى '*' للموارد العامة، أو قائمة صريحة من المصادر المسموح بها للأصول الملكية، أو حذفها تماماً للمشاركة داخل نفس الموقع فقط. قرار تصميمي متعمد يمنع خفض مستوى الرؤية. بمجرد تخزين ملف عالمياً، يتم تجاهل أي محاولة لاحقة لتقييد مصادره بصمت، مما يحبط إساءة الاستخدام المحتملة.

النزاهة بشكل افتراضي

يتم التحقق تلقائياً من كل كتابة إلى COS مقابل التجزئة المعلنة. إذا كانت البايتات غير متطابقة، تفشل الكتابة. وهذا يمنح المستهلكين ضمان نزاهة ضمني لا توفره تنزيلات HTTP الحالية بشكل روتيني. بالنسبة لنماذج الذكاء الاصطناعي التي يتم تنزيلها من شبكات توصيل المحتوى، يعني هذا أن المطورين والمستخدمين يمكنهم الوثوق بأنهم يحصلون بالضبط على الأوزان المقصودة. why-generating-an-article-on-command-misses-the-point-of-journalism

حماية الخصوصية

التخزين عبر المصادر يثير حتماً شبح التتبع عبر المواقع. تعالج COS هذا بآليتين. أولاً، يشجع حقل origins الصريح المطورين على قصر الرؤية على تلك المصادر التي تحتاج إلى الوصول فقط. ثانياً، حتى بالنسبة للملفات المعلنة عالمياً، قد يقوم المتصفح بقمع تأكيد وجود ملف إذا تمت مواجهته على عدد قليل جداً من المصادر المميزة، مما يعيد نتيجة "غير موجود" بدلاً من تأكيد وجود الملف. يلاحظ أعضاء فريق كروم أن هذا التخفيف لا يزال قيد التحسين. يُنصح المطورون دائماً بالتعامل مع حالة عدم الوجود بالرجوع إلى الشبكة.

Transformers.js تجرب COS

مكتبة Transformers.js، التي تتيح لمطوري الويب تشغيل نماذج المحولات مباشرة في المتصفح عبر ONNX Runtime، قد قدمت بالفعل دعماً تجريبياً لـ COS. سطر واحد من التعليمات البرمجية يقوم بالاشتراك:

import { env } from "https://cdn.jsdelivr.net/npm/@huggingface/transformers@4.2.0";
env.experimental_useCrossOriginStorage = true;

عند التمكين، تحل المكتبة تجزئة SHA-256 لكل ملف نموذج يتم تتبعه بواسطة Xet وتتحقق من COS قبل التنزيل. في الاختبارات، يلغي هذا التنزيلات المكررة لنماذج مثل Xenova/whisper-tiny.en وبيئة تشغيل Wasm المشتركة، مما يوفر أكثر من 177 ميجابايت في حالة نموذج Whisper ASR وحده. تنطبق نفس التحسينات على WebLLM وwllama، اللتين قامتا أيضاً بدمج دعم COS. kog-laneformer-2b-the-latency-first-model-that-redefines-small-scale-inference

جربها اليوم

لا يوجد متصفح حتى الآن يطبق واجهة برمجة تطبيقات COS بشكل أصلي، ولكن يمكن للمطورين تثبيت إضافة التخزين عبر المصادر لكروم، والتي تحقن polyfill navigator.crossOriginStorage. مع الإضافة نشطة، زيارة تطبيقي عرض توضيحي مختلفين يستخدمان نفس النموذج يُظهر التطبيق الثاني يتم تحميله فوراً من COS بدلاً من إعادة تنزيل الأوزان.

يسعى فريق كروم بنشاط للحصول على ملاحظات حول الاقتراح عبر مستودع التخزين عبر المصادر. من شأن التنفيذ في المتصفح نفسه أن يجلب هذه التوفيرات في الأداء والتخزين لجميع مستخدمي الويب دون الحاجة إلى إضافة. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale