Gemma 4 يعمل أسرع بنحو 90 بالمائة في Ollama 0.31 مع التنبؤ متعدد الرموز

يمنح Ollama 0.31 Gemma 4 دفعًا كبيرًا في السرعة على Apple Silicon. يمكن أن يصل توليد الرموز إلى 90 بالمائة أسرع في معيار وكيل البرمجة. الحيلة هي التنبؤ متعدد الرموز (MTP). يقترح نموذج أولي صغير عدة رموز في وقت واحد، ويتحقق النموذج الرئيسي من الدفعة بأكملها في تمريرة واحدة. لا حاجة لأي تهيئة. يعمل فورًا خارج الصندوق.

هذا مهم بشكل خاص لوكلاء البرمجة، حيث يتم استدعاء النموذج مرارًا أثناء قراءة الملفات وتشغيل الأدوات وحل المهام. التوليد الأسرع يجعل هؤلاء الوكلاء يشعرون بسرعة ملحوظة. تأتي أرقام المعايير من ظروف واقعية، وليس من عروض توضيحية منتقاة.

كيف يعمل التنبؤ متعدد الرموز في Ollama

يأتي Gemma 4 مع نموذج أولي خفيف الوزن يعمل جنبًا إلى جنب مع النموذج الرئيسي ويقترح الرموز القليلة التالية. ثم يتحقق النموذج الرئيسي من الاقتراح بأكمله في تمريرة واحدة، مع الاحتفاظ بأي رموز يوافق عليها. النموذج الأولي هو جزء صغير من حجم النموذج الرئيسي، لذا فإن اقتراحاته تكلف تقريبًا لا شيء من حيث الحساب. عندما تكون الاقتراحات صحيحة، يلتزم النموذج بعدة رموز مقابل سعر رمز واحد.

الكود قابل للتنبؤ بشكل خاص: الأقواس المغلقة والمعرفات المتكررة والقالب. يتم قبول اقتراحات النموذج الأولي في كثير من الأحيان. هذا هو السبب في أن MTP يتفوق في معايير البرمجة مثل معيار Aider polyglot، حيث يعمل وكيل حقيقي عبر سلسلة من مهام البرمجة.

يقوم Ollama بضبط طول الاقتراح تلقائيًا في وقت التشغيل. يتتبع عدد المرات التي يتم فيها قبول الاقتراحات ومدة استغراق كل تمريرة تحقق. ثم يختار الطول الذي يحقق أعلى عدد من الرموز في الثانية ويضبط مع تغير النص. إذا توقف قبول الاقتراحات، يعود المحرك إلى فك الترميز رمزًا واحدًا في كل مرة، لذا لا يؤدي MTP أبدًا إلى إبطاء التوليد.

فك الترميز التخميني ومساهمة نواة MLX

تبدأ كل جولة بتوقع النموذج الأولي لرمز، وإعادته لتوقع التالي، وتكرر ذلك حتى يصبح لديه سلسلة قصيرة من الاقتراحات، عادة من 2 إلى 8 رموز. ثم يتحقق النموذج الرئيسي من السلسلة بأكملها مرة واحدة، مع أخذ عينات في كل موضع لتحديد أي الاقتراحات تم قبولها. تبقى العملية بأكملها على GPU كتمريرة واحدة: الصياغة، وأخذ العينات، والتحقق، وأخذ العينات النهائي، دون العودة إلى CPU بينهما.

إذا تم رفض اقتراح، يعيد المحرك ذاكرة التخزين المؤقت للمفتاح والقيمة إلى آخر رمز مقبول. هذا غير مكلف لأنه يلمس أحدث الإدخالات فقط. يسجل النظام نقطة تراجع قبل كل اقتراح، لذا لا يكرر الرفض العمل السابق.

الجزء المكلف من MTP هو التحقق، وليس الصياغة. يقوم التحقق بتشغيل النموذج الكامل على دفعة الاقتراحات بأكملها مرة واحدة، وحجم تلك الدفعة (2 إلى 8 رموز) يقع بشكل محرج بين أحجام فك الترميز النموذجي (رمز واحد) والملء المسبق (دفعة كبيرة). لحل هذه المشكلة، ساهم فريق Ollama بنواة مخصصة لـ MLX تقرأ وتفك كل كتلة من الأوزان مرة واحدة وتعيد استخدامها عبر الدفعة بأكملها. لا توجد قراءات ذاكرة زائدة. على M5 Max مع تكميم nvfp4، يجعل ضرب المصفوفات الأكبر لـ Gemma 4 أسرع بمقدار 2x إلى 2.5x. نفس الحساب، حركة ذاكرة أقل.

بدء الاستخدام

يمكنك تنزيل Ollama 0.31 أو أحدث لنظام macOS وتشغيل وكيل برمجة مع Gemma 4 باستخدام أمر واحد. إذا قمت بالفعل بتنزيل Gemma 4، قم بسحب النموذج مرة أخرى للحصول على الإصدار الممكّن بـ MTP. يعمل إطلاق Ollama أيضًا مع Codex و Droid و OpenCode و Copilot وأطر عمل الوكيل الأخرى.

Gemma 4 هو أول نموذج يحصل على هذا التحسين في الأداء. يقول Ollama إن المزيد من النماذج ستحصل على دعم MTP في الإصدارات المستقبلية.