Gemma 4 vient de donner l’impression que tous les autres modèles open-weight sont 10 fois trop gros

Google DeepMind a publié Gemma 4, la nouvelle génération de sa famille de modèles open-weight, avec des changements architecturaux qui remettent en question ce que les petits modèles peuvent faire. La famille comprend cinq configurations, allant d’un modèle dense à 2,3 milliards de paramètres à un modèle phare à 31 milliards de paramètres, et ajoute une variante Mixture-of-Experts avec 26 milliards de paramètres totaux (3,8 milliards actifs). ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

Pour les développeurs et les chercheurs travaillant sur du matériel grand public, les chiffres sont difficiles à ignorer. Le plus petit modèle de Gemma 4, avec 2,3 milliards de paramètres effectifs, correspond à peu près aux performances du modèle Gemma 3 à 27 milliards de paramètres sur une série de benchmarks. C’est une amélioration de l’efficacité des paramètres de 10 fois en une seule génération.

Le mode réflexion arrive dans les poids ouverts

L’ajout le plus important est le mode réflexion, qui permet aux modèles de générer des traces de raisonnement internes avant de produire une réponse finale. Auparavant réservé aux modèles fermés comme la série o d’OpenAI, cette capacité est désormais disponible sous licence Apache 2.0. Sur le benchmark mathématique AIME 2026, le modèle à 31 milliards de paramètres atteint une précision de 89,2 % en mode réflexion. La variante MoE obtient 88,3 %. Ces deux chiffres rivalisent avec des modèles plusieurs fois plus grands.

« Nous croyons que l’ouverture dans l’IA peut diffuser les avantages de ces technologies à travers la société, écrit l’équipe Gemma dans le rapport technique, mais cela doit être continuellement évalué par rapport au risque d’utilisations malveillantes. »

Le mode réflexion est optionnel. Les modèles peuvent être exécutés en configurations de réflexion et de non-réflexion, donnant aux développeurs le contrôle sur le moment où échanger la latence contre la profondeur du raisonnement. Sur la méthodologie inspirée d’OpenAI o1, les modèles Gemma 4 produisent une trace de chaîne de pensée encapsulée dans des jetons spéciaux avant la réponse finale. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Architecture sans codeur redéfinit le traitement multimodal

Le geste techniquement le plus audacieux est la conception sans codeur du modèle à 12 milliards de paramètres. Au lieu de s’appuyer sur des codeurs visuels et audio séparés, typiquement des centaines de millions de paramètres chacun, le modèle à 12 milliards projette des patches RVB bruts de 48x48 et des morceaux audio de 40 ms directement dans l’espace d’intégration LLM. Le codeur visuel de 550 millions de paramètres est remplacé par une seule multiplication matricielle de 35 millions. Le codeur audio de 305 millions de paramètres est entièrement abandonné.

Cette approche réduit la fragmentation de la mémoire et simplifie le déploiement. Sur la reconnaissance vocale automatique FLEURS, le modèle à 12 milliards de paramètres atteint un taux d’erreur de mots de 0,063 en anglais, compétitif avec les systèmes basés sur des codeurs dédiés. Sur les tâches de traduction CoVoST, il obtient 26,4 BLEU du japonais vers l’anglais, sans jamais avoir vu un codeur vocal explicitement entraîné. aleph-alpha-unveils-t-free-a-tokenizer-free-architecture-for-sovereign-ai-1

Long contexte et efficacité de calcul

Gemma 4 s’attaque au problème d’explosion de mémoire qui frappe l’inférence avec un long contexte grâce à un ensemble coordonné de choix architecturaux. Les modèles utilisent un rapport 5:1 d’attention locale à fenêtre glissante par rapport à l’auto-attention globale (4:1 pour le modèle à 2,3 milliards), combiné au codage positionnel p-RoPE. Crucialement, les couches d’attention globale réutilisent les clés comme valeurs, réduisant l’empreinte du cache KV jusqu’à 37,5 %.

Sur le benchmark de précision RULER à 128k, le modèle à 31 milliards de paramètres obtient 96,4 %, une amélioration spectaculaire par rapport au 66,0 % de Gemma 3. La variante MoE atteint 89,8 %, tandis que même le modèle à 4,5 milliards obtient 86,6 %. Le benchmark MRCR de l’aiguille dans la botte de foin raconte une histoire similaire : le modèle à 31 milliards obtient 66,4 % avec un contexte de 128k, près de cinq fois mieux que les 13,5 % de Gemma 3. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

La tête de projet MTP, un petit modèle autorégressif entraîné pour le décodage spéculatif, accélère l’inférence en générant plusieurs jetons par passe avant. Pour les plus petits modèles, une astuce de clustering top-k réduit la projection finale d’un softmax à 262 000 voies à seulement 4 096, préservant le taux d’acceptation tout en réduisant considérablement le calcul. the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

Quantification sans compromis

L’entraînement conscient de la quantification est appliqué non seulement au modèle de langage mais aussi aux codeurs visuels et audio. Le codeur visuel de 150 millions de paramètres fonctionne en précision W8A8, réduisant de moitié la mémoire de 400 Mo à 200 Mo tout en réduisant la latence sur l’appareil de 44 %. L’empreinte du codeur audio passe de 390 Mo à 87 Mo, une réduction de 78 %, grâce à un mélange de précision par couche cluster de 2 bits, 4 bits et 8 bits.

Le modèle à 2,3 milliards de paramètres avec poids quantifiés et cache KV int8 occupe seulement 0,8 Go avec un contexte de 32k. Cela est suffisamment petit pour fonctionner sur un smartphone. Le modèle à 31 milliards, en quantification Q4_0 avec cache KV, tient dans 19,2 Go, à portée d’un seul GPU grand public. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

Performances des benchmarks et classement Arena

Sur Chatbot Arena, Gemma 4 31B atteint un Elo de 1451, le score le plus élevé pour tout modèle dense open-weight. La variante MoE obtient 1438. Les deux surpassent des modèles avec 10 à 50 fois plus de paramètres, y compris DeepSeek V4 Flash Thinking (1436) et Qwen 3.5 397B-A17B (1444). Le meilleur modèle fermé, Claude Fable 5, se situe à 1508, mais il n’est pas ouvert. anthropic-redeploys-claude-fable-5-and-mythos-5-after-us-lifts-export-controls

Sur les benchmarks de codage, le modèle à 31 milliards atteint un Elo Codeforces de 2150 et 80,0 % sur LiveCodeBench v6. TerminalBench Hard, évaluant les tâches agentiques en ligne de commande, voit le modèle à 31 milliards à 36,0 %, contre 4,0 % pour Gemma 3. Sur le raisonnement scientifique (SciCode), le modèle à 31 milliards obtient 43,0 %, plus du double des 21,0 % de Gemma 3.

Une plateforme pour la prochaine vague

Gemma 4 est publié sous licence Apache 2.0, permettant une utilisation commerciale, une modification et une redistribution sans redevance. Les modèles sont disponibles en formats bf16 et quantifiés, avec support des principaux moteurs d’inférence, y compris llama.cpp. L’infrastructure d’entraînement utilisait des pods TPU v5p et v6e avec jusqu’à 12 288 puces pour les plus grands modèles, utilisant Pathways pour la réduction parallèle des données et ZeRO-3 pour le partitionnement de l’état de l’optimiseur.

Le rapport technique note que tous les modèles sont évalués sans filtres de sécurité pour évaluer le comportement inhérent, et que des « améliorations majeures dans chaque catégorie de sécurité du contenu » ont été observées par rapport aux générations précédentes de Gemma. L’équipe encourage les développeurs à mettre en œuvre des atténuations au niveau du système adaptées à des cas d’utilisation spécifiques.