محرك MLX الخاص بـ Ollama أصبح أسرع وأقل استهلاكًا للذاكرة على معالجات Apple Silicon

أصدرت Ollama تحديثًا لمحرك MLX على معالجات Apple Silicon مع دعم تنسيق تكميم NVFP4 من NVIDIA، ونوى Metal مدمجة تزيد من سرعة توليد المخرجات بنسبة تصل إلى 20%، ونظام لقطات يقلل من معالجة المطالبات المتكررة في سير عمل الوكلاء.

يستهدف الإصدار ثلاث نقاط ضعف حدت من نشر نماذج اللغة المحلية على أجهزة Mac: جودة التكميم، وسرعة الاستنتاج، وعبء معالجة السياق المتكرر في جلسات الوكلاء متعددة الخطوات.

NVFP4 يقلص فقدان الجودة إلى النصف

يدعم محرك MLX من Ollama الآن تنسيق NVFP4 المحسّن للنماذج من NVIDIA، والذي يتتبع النطاق الديناميكي المحلي لأوزان النموذج بشكل أكثر دقة من تكميم q4_K_M الشائع. على نموذج Gemma 4 12B، يقلص NVFP4 تقريبًا فجوة الحيرة بين النسخة المكممة 4 بت وخط الأساس bf16 غير المكمم، مع الحفاظ على نفس بصمة الأداء.

يمكن الآن استيراد النماذج المحسّنة أصلاً للنشر في مراكز البيانات وتشغيلها على سطح مكتب Apple Silicon دون إعادة تدريب. تتيح هذه الميزة الجسرية للمطورين اختبار الاستنتاج على الأجهزة المحلية قبل التوسع إلى السحابة.

نوى Metal المدمجة تحقق تسريعًا بنسبة 20%

من خلال دمج عدة عمليات في نوى Metal مفردة عبر المترجم الفوري JIT الخاص بـ MLX، قامت Ollama بدفع توليد المخرجات ليكون أسرع بنسبة تصل إلى 20%. كما تمت إعادة كتابة خط أنابيب أخذ العينات المدعوم بوحدة معالجة الرسومات لتنفيذ أكثر كفاءة، وهو تغيير يتضاعف مع انخفاض ضغط الذاكرة الناتج عن تنسيق التكميم الجديد.

التخزين المؤقت للقطات يعالج جلسات الوكلاء المعقدة

الميزة البارزة هي نظام لقطات يحفظ حالة النموذج في نقاط رئيسية من المحادثة، مبني ليتعامل مع الديناميكيات المعقدة لجلسات الوكلاء الحقيقية. في حلقة الوكيل، كل استدعاء أداة يعيد إرسال النص الكامل للمحادثة: مطالبة النظام، تعريفات الأدوات، قراءات الملفات. هذا يعني غالبًا معالجة عشرات الآلاف من الرموز بشكل متكرر. يفشل التخزين المؤقت القياسي للبادئة عندما تتفرع المحادثات، أو يقوم نموذج تفكير بإسقاط رموز التفكير، أو يسلم الوكيل المهمة إلى وكيل فرعي.

يحفظ نظام اللقطات من Ollama الحالة في النقاط التي من المحتمل أن تعود إليها المحادثات: عند نقاط التفرع، وعلى فترات زمنية خلال المطالبات الطويلة، وقبل كل استجابة مباشرة. وهذا يسمح بتشغيل وكلاء متعددين بالتوازي، كل منهم يستأنف من حالته المحفوظة، مع معالجة السياق المشترك مرة واحدة فقط. يمكن لنماذج التفكير التي تتجاهل رموز التفكير في كل دورة أن تستأنف من لقطة مأخوذة قبل بدء الاستجابة، متجنبة المعالجة الكاملة. إذا قام مطور بتفرع محادثة لمتابعة مختلفة أو إعادة توليد استجابة، فسيتم حساب الاتجاه الجديد فقط.

النظام انتقائي وتدريجي لتجنب ملء الذاكرة. يتم تخزين اللقطات فقط عند النقاط الأكثر احتمالاً لإعادة استخدامها. هذا مهم للنماذج الأحدث ذات الانتباه ذي النافذة المنزلقة أو الطبقات المتكررة، حيث لا يمكن إرجاع الحالة بعد أن يتحرك النموذج إلى ما بعد نقطة المحادثة.

للبدء، قم بتنزيل أحدث إصدار من Ollama وقم بتشغيل ollama run gemma4:12b-mlx. للاستخدام في وكيل برمجي، استخدم ollama launch pi, model gemma4:12b-mlx.