Gemma 4 تجعل كل نموذج مفتوح الوزن آخر يبدو أكبر بعشر مرات

أصدرت جوجل ديب مايند نموذج Gemma 4، أحدث جيل من عائلة نماذجها مفتوحة الوزن، مع تغييرات معمارية تتحدى ما يمكن أن تفعله النماذج الصغيرة. تشمل العائلة خمسة تكوينات، من نموذج كثيف ذو 2.3 مليار معامل إلى نموذج رئيسي ذو 31 مليار معامل، وتضيف متغيرًا من نوع خليط الخبراء بإجمالي 26 مليار معامل (3.8 مليار نشط). ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

بالنسبة للمطورين والباحثين الذين يعملون على أجهزة استهلاكية، فإن الأرقام صعبة التجاهل. أصغر نموذج في Gemma 4، ذو 2.3 مليار معامل فعال، يطابق تقريبًا أداء نموذج Gemma 3 ذو 27 مليار معامل عبر مجموعة من المعايير. هذا تحسن في كفاءة المعامل بمقدار 10 أضعاف في جيل واحد.

وضع التفكير يصل إلى الأوزان المفتوحة

الإضافة الأكثر أهمية هي وضع التفكير، الذي يسمح للنماذج بتوليد آثار استدلال داخلية قبل إنتاج إجابة نهائية. كان هذا سابقًا مجالًا للنماذج المغلقة مثل سلسلة o من OpenAI، لكن هذه القدرة متاحة الآن بموجب ترخيص Apache 2.0. على معيار الرياضيات AIME 2026، يحقق نموذج 31 مليار معامل دقة 89.2% في وضع التفكير. يسجل متغير خليط الخبراء 88.3%. كلا الرقمين ينافسان نماذج أكبر بعدة مرات.

"نحن نعتقد أن الانفتاح في الذكاء الاصطناعي يمكن أن ينشر فوائد هذه التقنيات عبر المجتمع،" يكتب فريق Gemma في التقرير الفني، "ولكن يجب تقييم هذا باستمرار مقابل خطر الاستخدامات الخبيثة."

وضع التفكير اختياري. يمكن تشغيل النماذج في كل من التكوينات مع التفكير وبدونه، مما يمنح المطورين التحكم في متى يتم مقايضة زمن الاستجابة بعمق الاستدلال. على منهجية OpenAI o1 الملهمة، تنتج نماذج Gemma 4 أثرًا من سلسلة الأفكار محصورًا في رموز خاصة قبل الرد النهائي. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

هندسة بدون مشفر تعيد تعريف المعالجة متعددة الوسائط

الخطوة الأكثر جرأة من الناحية التقنية هي تصميم النموذج ذو 12 مليار معامل بدون مشفر. بدلاً من الاعتماد على مشفرات منفصلة للرؤية والصوت، والتي تبلغ عادةً مئات الملايين من المعاملات لكل منها، يقوم النموذج ذو 12 مليار معامل بإسقاط بقع RGB ذات 48 × 48 بكسل ومقاطع صوتية بطول 40 مللي ثانية مباشرة في فضاء تضمين نموذج اللغة الكبير. يتم استبدال مشفر الرؤية ذو 550 مليون معامل بضرب مصفوفة واحدة بحجم 35 مليون معامل. يتم التخلص بالكامل من مشفر الصوت ذو 305 ملايين معامل.

يقلل هذا النهج من تجزئة الذاكرة ويبسط النشر. في التعرف التلقائي على الكلام FLEURS، يحقق النموذج ذو 12 مليار معامل معدل خطأ في الكلمات يبلغ 0.063 على الإنجليزية، وهو تنافسي مع الأنظمة القائمة على المشفرات المخصصة. في مهام الترجمة CoVoST، يسجل 26.4 BLEU من اليابانية إلى الإنجليزية، دون أن يرى أبدًا مشفر كلام مدربًا بشكل صريح. aleph-alpha-unveils-t-free-a-tokenizer-free-architecture-for-sovereign-ai-1

كفاءة السياق الطويل والحوسبة

يعالج Gemma 4 مشكلة انفجار الذاكرة التي تعاني منها استدلالات السياق الطويل من خلال مجموعة منسقة من الخيارات المعمارية. تستخدم النماذج نسبة 5:1 من الانتباه بنافذة منزلقة محلية إلى الانتباه الذاتي العالمي (4:1 للنموذج ذو 2.3 مليار معامل)، بالإضافة إلى ترميز الموضعي p-RoPE. والأهم من ذلك، أن طبقات الانتباه العالمية تعيد استخدام المفاتيح كقيم، مما يقلل من بصمة ذاكرة التخزين المؤقت KV بنسبة تصل إلى 37.5%.

على معيار دقة RULER البالغ 128 ألف رمز، يسجل نموذج 31 مليار معامل 96.4%، وهو تحسن كبير مقارنة بـ 66.0% من Gemma 3. يحقق متغير خليط الخبراء 89.8%، بينما حتى النموذج ذو 4.5 مليار معامل يسجل 86.6%. يحكي معيار MRCR للإبرة في كومة القش قصة مماثلة: نموذج 31 مليار معامل يسجل 66.4% في سياق 128 ألف رمز، أي ما يقرب من خمسة أضعاف 13.5% من Gemma 3. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

رأس المسودة MTP، وهو نموذج انحداري صغير مدرب على التخمين التخميني، يسرع الاستدلال عن طريق توليد رموز متعددة لكل تمريرة أمامية. بالنسبة لأصغر النماذج، يقلل خدعة التجميع ذات أعلى k من الإسقاط النهائي من softmax ذو 262 ألف طريق إلى 4096 فقط، مما يحافظ على معدل القبول مع تقليل الحساب بشكل كبير. the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

القياس الكمي بدون تنازلات

يتم تطبيق التدريب على القياس الكمي ليس فقط على نموذج اللغة ولكن أيضًا على مشفرات الرؤية والصوت. يعمل مشفر الرؤية ذو 150 مليون معامل بدقة W8A8، مما يقلل الذاكرة إلى النصف من 400 ميجابايت إلى 200 ميجابايت مع تقليل زمن الاستجابة على الجهاز بنسبة 44%. يتقلص حجم مشفر الصوت من 390 ميجابايت إلى 87 ميجابايت، وهو انخفاض بنسبة 78%، من خلال مزيج من الدقة 2 بت و4 بت و8 بت لكل مجموعة طبقات.

نموذج 2.3 مليار معامل مع أوزان مكممة وذاكرة تخزين مؤقت KV من نوع int8 يشغل 0.8 جيجابايت فقط في سياق 32 ألف رمز. هذا صغير بما يكفي ليعمل على هاتف ذكي. نموذج 31 مليار معامل، في قياس Q4_0 مع ذاكرة تخزين مؤقت KV، يتسع في 19.2 جيجابايت، وهو في متناول بطاقة رسوميات استهلاكية واحدة. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

أداء المعايير ولوحة متصدرين Arena

على Chatbot Arena، يحقق Gemma 4 31B درجة Elo تبلغ 1451، وهي أعلى درجة لأي نموذج مفتوح الوزن كثيف. يسجل متغير خليط الخبراء 1438. كلا النموذجين يتفوقان على نماذج تحتوي على 10 إلى 50 ضعف عدد المعاملات، بما في ذلك DeepSeek V4 Flash Thinking (1436) وQwen 3.5 397B-A17B (1444). أفضل نموذج مغلق، Claude Fable 5، يقع عند 1508، لكنه ليس مفتوحًا. anthropic-redeploys-claude-fable-5-and-mythos-5-after-us-lifts-export-controls

على معايير البرمجة، يحقق نموذج 31 مليار معامل درجة Elo في Codeforces تبلغ 2150 و80.0% على LiveCodeBench v6. TerminalBench Hard، لتقييم مهام سطر الأوامر العاملة، يرى نموذج 31 مليار معامل عند 36.0%، مقارنة بـ 4.0% من Gemma 3. على الاستدلال العلمي (SciCode)، يسجل نموذج 31 مليار معامل 43.0%، أي أكثر من ضعف 21.0% من Gemma 3.

منصة للموجة القادمة

تم إصدار Gemma 4 بموجب ترخيص Apache 2.0، مما يسمح بالاستخدام التجاري والتعديل وإعادة التوزيع بدون حقوق ملكية. النماذج متاحة بتنسيقات bf16 ومكممة، مع دعم لمحركات استدلال رئيسية بما في ذلك llama.cpp. استفادت البنية التحتية للتدريب من مجموعات TPU v5p وv6e بما يصل إلى 12,288 شريحة لأكبر النماذج، باستخدام Pathways لتقليل البيانات المتوازية وZeRO-3 لتقسيم حالة المحسن.

يذكر التقرير الفني أن جميع النماذج تم تقييمها بدون مرشحات أمان لتقييم السلوك الجوهري، وأنه تم ملاحظة "تحسينات كبيرة في كل فئة من فئات سلامة المحتوى" مقارنة بالأجيال السابقة من Gemma. يشجع الفريق المطورين على تنفيذ تخفيفات على مستوى النظام مصممة خصيصًا لحالات استخدام محددة.