جوجل ديب مايند تطلق Gemma 4: نموذج بـ 26 مليار معامل يتحول إلى آلة استدلال على بطاقة رسومية واحدة

لقد تلاشى الخط الفاصل بين نماذج الحدود المتطورة الخاصة وإصدارات الأوزان المفتوحة مرة أخرى. نشرت جوجل ديب مايند التقرير الفني لـ Gemma 4 في 27 يوليو 2025، موضحة بالتفصيل مجموعة من النماذج التي تتحدى الافتراض بأن النماذج ذات الأوزان المفتوحة يجب أن تتخلف عن الأنظمة المغلقة في الاستدلال والفهم متعدد الوسائط والكفاءة.ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

Gemma 4 ليس نموذجًا واحدًا. إنه ثلاثة تهيئات: نموذج كثيف بحجم 2.6 مليار معامل، ونموذج كثيف بحجم 9.2 مليار معامل، ونموذج خبراء مختلطين بحجم 26 مليار معامل يقوم بتنشيط ما يقرب من 9.2 مليار معامل لكل رمز. النموذج المتغير للخبراء المختلطين، المبني على محول ترميز فقط معزز بمشفرات محول الرؤية لفهم الصور، هو الأبرز. فهو يتعامل مع النصوص والصور ومقاطع الفيديو القصيرة بشكل أصلي، وتضع نافذة السياق التي تبلغ مليون رمز إلى جانب أطول نماذج السياق في النظام البيئي للأوزان المفتوحة.how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

انقسام معماري متعمد

تقاربت العديد من المختبرات على المحولات الكثيفة للغة ونماذج رؤية منفصلة. Gemma 4 يدمج كلا الوسيطين في كومة تدريب واحدة. يستخدم العمود الفقري للنص محولًا سببيًا مع انتباه الاستعلامات المجمعة، وتطبيع الجذر التربيعي المتوسط، وتضمينات الموقع الدوارة. يعيد جانب الرؤية استخدام طبقات المحول نفسها بعد مشفر اللوحة ViT، مع انتباه متقاطع في الطبقات السابقة وإسقاط نهائي. يسمح هذا التصميم للنموذج بالاستدلال المشترك على مدخلات اللغة والبصرية دون عناء المشفرات المنفصلة في وقت الاستدلال.

يتم تدريب موجه الخبراء المختلطين بآلية توجيه softmax top-2، وهو اختيار يعطي الأولوية لموازنة الحمل عبر الخبراء. أثناء التدريب، يوزع الموجه الرموز بالتساوي بما يكفي بحيث لا تكون هناك حاجة لفقدان مساعد للموازنة، وهي تفصيل يقلل من تعقيد التدريب.

طول السياق الذي يغير حالات الاستخدام

نافذة السياق التي تبلغ مليون رمز على نموذج الخبراء المختلطين ليست حدًا أقصى نظريًا. يقيس التقرير أداء الاسترجاع عند نطاق مليون رمز باستخدام معايير RULER وLongContext، مما يظهر أن النموذج يحافظ على دقة استرجاع شبه مثالية. بالنسبة للمطورين الذين يبنون تطبيقات تتطلب استدلالًا على قواعد التعليمات البرمجية بأكملها، أو مستندات قانونية طويلة، أو نصوص فيديو متعددة الساعات، فإن طول السياق هذا يلغي الحاجة إلى التقسيم وخطوط أنابيب الاسترجاع التي تضيف زمن انتقال وتعقيدًا.the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

تدعم النماذج الكثيفة الأصغر سياقات بطول 256,000 رمز، وهو لا يزال أعلى بكثير من المتوسط لفئة حجمها.

الأداء الذي يعيد تشكيل التوقعات للأوزان المفتوحة

المعايير المبلغ عنها هي حيث يدعو Gemma 4 إلى مقارنة مباشرة مع نماذج أكبر بكثير. على معيار الاستدلال MMLU-Pro، يسجل النموذج المتغير للخبراء المختلطين 75.3%، متغلبًا على النماذج المغلقة مثل GPT-4o (73.6%) ومقتربًا من o3-mini (80.7%). على LiveCodeBench (v6)، يحقق 48.2%، متجاوزًا مرة أخرى GPT-4o ومتخلفًا عن o3-mini وClaude 4 Sonnet. على GPQA-Diamond، وهو معيار استدلال علمي على مستوى الدراسات العليا، يسجل نموذج الخبراء المختلطين 74.9%، متغلبًا على جميع النماذج غير Gemini التي تم اختبارها.

هذه الأرقام مهمة لأنها تأتي من نموذج خبراء مختلطين بحجم 26 مليار معامل ينشط فقط حوالي 9 مليارات معامل لكل رمز. قصة كفاءة المعامل واضحة: فقد استخرجت جوجل ديب مايند قدرة استدلال من عدد معامل نشط أصغر، مما يترجم إلى تكاليف استدلال أقل وتوليد أسرع على الأجهزة الاستهلاكية.

خط أنابيب تحسين الاستدلال

يخصص أحد الأقسام التقنية في التقرير تفاصيل طريقة تحسين الاستدلال القائمة على التعلم المعزز التي يسميها الفريق Round. تستخدم الطريقة نموذج مكافأة متناثر وضبط دقيق متكرر لدفع النموذج نحو سلاسل أطول من التفكير دون الانهيار في استدلال سطحي. تظهر دراسات الإزالة أن Round يحسن درجات الرياضيات GSM8K بنسبة 12.4 نقطة مئوية ودرجات البرمجة HumanEval بنسبة 8.9 نقاط مقارنة بالنموذج الأساسي المضبوط بدقة تحت الإشراف.the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

هذا مهم لأن تقنيات تحسين الاستدلال كانت تاريخيًا مجالًا للمختبرات الخاصة ذات ميزانيات الحوسبة الضخمة. من خلال توثيق الطريقة وجعلها مفتوحة المصدر جنبًا إلى جنب مع أوزان النموذج، تضع جوجل ديب مايند بين يدي مجتمع المصادر المفتوحة إجراءً عمليًا معروفًا لتحسين الاستدلال في محولات الخبراء المختلطين.

السلامة والبنية التحتية للاختبار الأحمر

يخصص التقرير مساحة كبيرة لتقييمات السلامة. أجرى الفريق اختبارًا أحمر مع 150 مختبرًا داخليًا و50 خبيرًا خارجيًا في المجال، تغطي مجالات من الأسلحة الكيميائية والبيولوجية إلى قدرات الهجوم السيبراني. تم اختبار النماذج على معيار سلامة Humanity's Last Exam، ويتضمن التقرير تصنيفًا للمخاطر والتدابير التخفيفية. ومن الجدير بالذكر أنه تم العثور على نماذج Gemma 4 ذات "قدرة ضئيلة" على المساعدة في إنشاء أسلحة CBRNE وعدم وجود زيادة في القدرات الهجومية السيبرانية مقارنة بالإصدارات السابقة من Gemma.anthropics-jailbreak-severity-scale-is-a-proposal-that-could-reshape-ai-safety-regulation

أصدرت جوجل ديب مايند أيضًا مجموعة بيانات سلامة جديدة تسمى ShieldGemma 2، تم تدريبها على مخرجات Gemma 4، والتي تسجل المحتوى الذي قد يكون ضارًا عبر جميع النماذج الثلاثة. سجلت جميع المتغيرات النموذجية ضمن نطاق "منخفض المخاطر" في التقييم المتدرج لإطار عمل سلامة الحدود المتطورة من جوجل.

ماذا يعني هذا للنظام البيئي

Gemma 4 يغير المشهد التنافسي للنماذج ذات الأوزان المفتوحة. إنه يأتي في وقت دفعت فيه مختبرات مثل Meta مع Llama 4 وAlibaba مع Qwen 3 وMistral AI جميعًا النماذج المفتوحة نحو أحجام أكبر واستدلال أفضل. ما يميز Gemma 4 ليس الحجم الخام بل الكفاءة المعمارية والتكامل متعدد الوسائط منذ البداية.

بالنسبة للمطورين، الآثار العملية واضحة: نموذج يعمل على بطاقة رسومية استهلاكية واحدة في بعض التهيئات، ويدعم مليون رمز من السياق، ويستدل بشكل تنافسي مع واجهات برمجة التطبيقات المغلقة، ويتم توزيعه بموجب ترخيص متساهل (CC BY 4.0 للتقرير، مع أوزان النموذج بموجب شروط استخدام Gemma).

لم تعلن جوجل ديب مايند عن نظام بيئي للشراكة أو مستوى دعم مؤسسي لـ Gemma 4، كما فعلت مع إصدارات Gemma السابقة. يقرأ التقرير وكأنه منشور بحثي أكثر من كونه إطلاق منتج. مفصل وشامل ويترك النشر للمجتمع.