البنية التحتية السحابية
قفزات وحدة معالجة الرسوميات (GPU) اصطدمت بحائط. تكامل واحد هدمه.
من خلال تركيب تخزين هاجينج فيس كواجهة خلفية من الدرجة الأولى في سكاي بايلوت مع صفر رسوم نقل للقراءات، يمكن للفرق الآن تشغيل التدريب والاستدلال على أي سحابة تحتوي على وحدات معالجة رسوميات مجانية دون تكرار البيانات أو دفع رسوم نقل لكل جيجابايت. يجمع التكامل بين التركيب البطيء من خلال hf-mount مع إلغاء البيانات المكررة المدعوم من Xet للحفاظ على كفاءة نقل البيانات.
أي شخص حاول تدريب نموذج ذكاء اصطناعي على وحدة معالجة رسوميات في مزود خدمات سحابية مختلف عن البيانات يعرف الأمر: إما نسخ مجموعة البيانات الخاصة بك إلى كل دلو (bucket) للموردين، أو دفع رسوم نقل البيانات (egress fees)، حوالي 0.09 دولار/جيجابايت على AWS، في كل مرة تسحب فيها البيانات عبر الحدود. تتراكم التكاليف بسرعة عندما تكون النماذج الأساسية بعشرات الجيجابايتات ومجموعات البيانات تصل إلى تيرابايتات. عنق الزجاجة التالي بقيمة تريليون دولار في الذكاء…
تكامل جديد بين هاجينج فيس وسكاي بايلوت يستهدف نقطة الألم هذه مباشرة. تخزين هاجينج فيس، الذي كان سابقًا خدمة مستقلة، أصبح الآن واجهة خلفية من الدرجة الأولى في سكاي بايلوت، وهو برنامج جدولة المهام متعدد السحابات مفتوح المصدر. النتيجة: يمكن تركيب أي مستودع لهاجينج فيس، نموذج، مجموعة بيانات، أو دلو، في مهمة سكاي بايلوت باستخدام عنوان URL واحد hf://، وقراءة هذا التركيب لا تحمل أي رسوم نقل بغض النظر عن السحابة التي تعمل عليها وحدة معالجة الرسوميات.
كيف يعمل التكامل
الآلية بسيطة. تعلن مهمة سكاي بايلوت عن كتلة file_mounts بمصدر مثل hf://Qwen/Qwen3.5-4B ونوع تخزين hf. يستخدم سكاي بايلوت الواجهة الخلفية لـ FUSE من هاجينج فيس hf-mount لعرض هذا المستودع كمسار نظام ملفات محلي داخل الحاوية. يمكن أن يكون التركيب للقراءة فقط للنماذج ومجموعات البيانات، أو للقراءة والكتابة لدلائل هاجينج فيس المستخدمة كمخازن نقاط تفتيش. Qwen من علي بابا تبني نموذجًا لكل وظيفة ذكاء اصطناعي،…
يتم استخدام المصادقة باستخدام متغير البيئة HF_TOKEN الذي تمتلكه معظم الفرق بالفعل. يعمل هذا الرمز نفسه سواء تم تشغيل المهمة على AWS, GCP, Azure, Nebius, Lambda, أو كتلة Kubernetes. لا توجد مفاتيح دلو لكل سحابة لإدارتها.
القراءات البطيئة تبقي وحدات معالجة الرسوميات مشغولة
تفصيل أداء حاسم: يستخدم تركيب FUSE الجلب البطيء. عندما تستدعي عملية ما read() على ملف، يسحب hf-mount فقط البايتات المطلوبة فعليًا، وليس الملف بأكمله. يمكن لوظيفة التدريب أن تبدأ في معالجة البيانات على الفور تقريبًا، مع تدفق الدفعات الأولى أثناء جلب الدفعات اللاحقة. في اختبار الأداء مع ضبط دقيق لنموذج Qwen 3.5-4B، كان النموذج جاهزًا للتدريب في حوالي 30 ثانية مع ذروة إنتاجية تصل إلى 500 ميجابايت/ثانية.
يؤتي النهج البطيء ثماره بشكل أكبر في الحقبة الأولى، عندما يكون ذاكرة التخزين المؤقت المحلية على القرص فارغة. للحقب اللاحقة، يحتفظ hf-mount بذاكرة تخزين مؤقت محلية، لذا تبقى القراءات المتكررة محلية. سلوك ذاكرة التخزين المؤقت هذا هو نفسه سواء حدد المستخدمون MOUNT أو MOUNT_CACHED، وهو اختيار تصميم متعمد يختلف عن بعض الواجهات الخلفية لتخزين الكائنات السحابية.
القضاء على مشكلة جاذبية البيانات
الآثار الأعمق تنظيمية. نادرًا ما تأتي سعة وحدة معالجة الرسوميات اليوم من مزود واحد. تحجز الفرق كتلًا على مقدمي الخدمات الفائقة، وعناقيد على السحابات الجديدة مثل Lambda Labs أو Nebius، وأحيانًا رفوف محلية. تم بناء سكاي بايلوت للجدولة عبر هذه المجموعات غير المتجانسة. لكن تخزين الكائنات كان القيد، البيانات تعيش في دلو إقليمي لمزود واحد، وتشغيل مهمة في مكان آخر يعني إما نقل نسخة أو دفع رسوم نقل. الفخ الخفي الذي ينتظر وكلاء الذكاء الاصطناعي في بيئة الإنتاج
تخزين هاجينج فيس بسعر 12, 18 دولارًا/تيرابايت/شهر مقابل ما يقرب من 23 دولارًا/تيرابايت لـ AWS S3 بالإضافة إلى رسوم النقل يغير الاقتصاديات. يصبح الدلو غير مرتبط بسحابة معينة عمليًا، وليس فقط نظريًا. يمكن للفرق ترك سكاي بايلوت يختار عنقود وحدة المعالجة الرسومية الأرخص أو الأكثر توفرًا دون أخذ موقع البيانات في الاعتبار في القرار.
إلغاء البيانات المكررة المدعوم من Xet كرافعة أداء خفية
تستخدم الواجهة الخلفية للتخزين Xet، الذي يقسم الملفات إلى أجزاء محددة المحتوى بحجم 64 كيلوبايت تقريبًا ويخزن كل جزء فريد مرة واحدة. هذا له فوائد ملموسة لأعباء العمل كثيفة نقاط التفتيش. نقاط التفتيش التزايدية من تدريب المحول أو الضبط الدقيق للطبقات المجمدة تحمل فقط الأجزاء التي تغيرت. في اختبارات هاجينج فيس، أدت إضافة 10K صف إلى جدول Parquet يحتوي على 100K صف إلى نقل حوالي 10 ميجابايت بدلاً من ~106 ميجابايت كاملة.
إعادة تحميل الكتل المتطابقة يكون فوريًا تقريبًا. استغرقت نقطة تفتيش بحجم 8.43 جيجابايت موجودة بالفعل في الدلو حوالي 8 ثوانٍ للتحقق مقارنة بـ 24 ثانية للتحميل الأول، لأنه كان يلزم إرسال تجزئات الأجزاء فقط. تحدث النسخ من جانب الخادم بين المستودعات والدلائل أيضًا عن طريق المرجع بدلاً من تكرار البايت. السر وراء سرعة Bing: كيف تفوق mimalloc على مقايضة تخصيص…
ما يعنيه هذا للمكدس متعدد السحابات
التكامل مطور بشكل مشترك ومفتوح المصدر بالكامل. ساهم نيكيل جها (Nikhil Jha) في دعم store: hf الأولي؛ قام فريق هاجينج فيس برفع إصلاحات hf-mount FUSE اللازمة للحاويات غير المميزة، وهو قيد شائع على Kubernetes؛ وقام فريق سكاي بايلوت بتوصيله بالواجهة الخلفية للتخزين. نموذج NeMo AutoModel من NVIDIA يُحقق تسريعًا بمعدل 3.7x…
بالنسبة للفرق التي تستخدم بالفعل كلاً من Hugging Face Hub و SkyPilot، يكون الفرق ضئيلًا. بالنسبة للفرق التي تستخدم واحدًا فقط منهما، يخفض هذا التكامل حاجز اعتماد الآخر. أكبر قيد على التبني هو متطلبات التحميل: يحتاج hf-mount إلى صورة أساسية مع glibc 2.34+ و /dev/fuse متاح. تدعم معظم حاويات لينكس الحديثة هذا، لكن بعض الصور المصغرة قد لا تفعل ذلك.
يستمر الطلب على وحدة معالجة الرسوميات في تجاوز العرض من أي مزود واحد. قد تكون القدرة على التعامل مع الحوسبة كمورد قابل للاستبدال، دون أن يسحبه التخزين إلى مورد واحد، أمرًا ضروريًا. لا يصلح هذا التكامل كل مشكلة متعددة السحابات، لكنه يقتل واحدة من أكثرها عنادًا.