Gemma 4 de Google DeepMind transforme 26 milliards de paramètres en une machine de raisonnement qui tient sur un seul GPU

La frontière entre les modèles propriétaires de pointe et les versions à poids ouverts s'est de nouveau estompée. Google DeepMind a publié le rapport technique de Gemma 4 le 27 juillet 2025, détaillant une famille de modèles qui remettent en question l'hypothèse selon laquelle les modèles à poids ouverts doivent être en retard sur les systèmes fermés en matière de raisonnement, de compréhension multimodale et d'efficacité.ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

Gemma 4 n'est pas un modèle unique. Il s'agit de trois configurations : un modèle dense de 2,6 milliards de paramètres, un modèle dense de 9,2 milliards de paramètres et un modèle à mélange d'experts de 26 milliards de paramètres qui active environ 9,2 milliards de paramètres par token. La variante MoE, construite sur un transformateur à décodeur seul augmenté d'encodeurs Vision Transformer pour la compréhension d'images, est la plus remarquable. Elle traite nativement le texte, les images et les courtes vidéos, et sa fenêtre de contexte d'un million de tokens la place parmi les modèles aux contextes les plus longs dans l'écosystème à poids ouverts.how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

Une séparation architecturale délibérée

De nombreux laboratoires ont convergé vers des transformateurs denses pour le langage et des modèles de vision séparés. Gemma 4 fusionne les deux modalités en une seule pile entraînable. Le squelette textuel utilise un transformateur causal avec Attention par Groupe de Requêtes, Normalisation par la Moyenne Quadratique des Racines et Positionnements Rotatoires. Le côté vision réutilise les mêmes couches de transformateur après un encodeur par patch ViT, avec une attention croisée aux couches antérieures et un projecteur final. Cette conception permet au modèle de raisonner conjointement sur des entrées linguistiques et visuelles sans le surcoût d'encodeurs séparés au moment de l'inférence.

Le routeur MoE est entraîné avec un mécanisme de gating softmax top-2, un choix qui privilégie l'équilibrage de la charge entre les experts. Pendant l'entraînement, le routeur distribue les tokens de manière suffisamment uniforme pour qu'aucune perte auxiliaire ne soit nécessaire pour l'équilibrage, un détail qui réduit la complexité de l'entraînement.

Une longueur de contexte qui change les cas d'utilisation

La fenêtre de contexte d'un million de tokens sur le modèle MoE n'est pas un maximum théorique. Le rapport évalue la récupération dans la plage d'un million de tokens en utilisant les benchmarks RULER et LongContext, montrant que le modèle maintient une précision de récupération quasi parfaite. Pour les développeurs construisant des applications qui nécessitent un raisonnement sur des bases de code entières, de longs documents juridiques ou des transcriptions vidéo de plusieurs heures, cette longueur de contexte élimine le besoin de pipelines de découpage et de récupération qui ajoutent latence et complexité.the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

Les modèles denses plus petits supportent des contextes de 256 000 tokens, encore bien au-dessus de la moyenne pour leur catégorie de taille.

Des performances qui redéfinissent les attentes pour les poids ouverts

Les benchmarks rapportés sont l'endroit où Gemma 4 invite à une comparaison directe avec des modèles beaucoup plus grands. Sur le benchmark de raisonnement MMLU-Pro, la variante MoE obtient 75,3 %, surpassant des modèles fermés comme GPT-4o (73,6 %) et s'approchant de o3-mini (80,7 %). Sur LiveCodeBench (v6), elle atteint 48,2 %, dépassant à nouveau GPT-4o et suivant o3-mini et Claude 4 Sonnet. Sur GPQA-Diamond, un benchmark de raisonnement scientifique de niveau graduate, le modèle MoE obtient 74,9 %, battant tous les modèles non-Gemini testés.

Ces chiffres sont significatifs car ils proviennent d'un modèle MoE de 26B paramètres qui n'active qu'environ 9B paramètres par token. L'histoire de l'efficacité des paramètres est claire : Google DeepMind a extrait une capacité de raisonnement d'un nombre de paramètres actifs plus petit, ce qui se traduit par des coûts d'inférence plus bas et une génération plus rapide sur du matériel grand public.

Le pipeline d'amélioration du raisonnement

L'une des sections les plus techniques du rapport détaille une méthode d'amélioration du raisonnement basée sur l'apprentissage par renforcement que l'équipe appelle Round. L'approche utilise un modèle de récompense sparse et un ajustement fin itératif pour pousser le modèle vers des chaînes de pensée plus longues sans s'effondrer dans un raisonnement superficiel. Les études d'ablation montrent que Round améliore les scores de mathématiques GSM8K de 12,4 points de pourcentage et les scores de codage HumanEval de 8,9 points par rapport au modèle de base supervisé et ajusté finement.the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

Cela importe car les techniques d'amélioration du raisonnement ont historiquement été le domaine des laboratoires propriétaires avec des budgets de calcul massifs. En documentant et en ouvrant la méthode avec les poids du modèle, Google DeepMind offre à la communauté open-source une procédure de travail connue pour améliorer le raisonnement dans les transformateurs MoE.

Infrastructure de sécurité et de red-teaming

Le rapport consacre une place substantielle aux évaluations de sécurité. L'équipe a mené du red-teaming avec 150 testeurs internes et 50 experts externes, couvrant des domaines allant des armes chimiques et biologiques aux capacités de cyberattaque. Les modèles ont été testés sur le benchmark de sécurité Humanity's Last Exam, et le rapport inclut une taxonomie des risques et des atténuations. Notamment, les modèles Gemma 4 ont été jugés avoir une « capacité négligeable » pour aider à la création d'armes CBRNE et aucune augmentation des capacités cybernétiques offensives par rapport aux versions précédentes de Gemma.anthropics-jailbreak-severity-scale-is-a-proposal-that-could-reshape-ai-safety-regulation

Google DeepMind a également publié un nouvel ensemble de données de sécurité appelé ShieldGemma 2, entraîné sur les sorties de Gemma 4, qui évalue le contenu potentiellement nuisible sur les trois modèles. Toutes les variantes du modèle ont obtenu un score dans la plage « faible risque » dans l'évaluation à plusieurs niveaux du Google Frontier Safety Framework.

Ce que cela signifie pour l'écosystème

Gemma 4 modifie le paysage concurrentiel pour les modèles à poids ouverts. Il arrive à un moment où des laboratoires comme Meta avec Llama 4, Alibaba avec Qwen 3 et Mistral AI ont tous poussé les modèles ouverts vers des tailles plus grandes et un meilleur raisonnement. Le différenciateur de Gemma 4 n'est pas la taille brute mais l'efficacité architecturale et l'intégration multimodale dès le départ.

Pour les développeurs, les implications sont pratiques : un modèle qui fonctionne sur un seul GPU grand public dans certaines configurations, supporte un million de tokens de contexte, raisonne de manière compétitive avec les API fermées, et est distribué sous une licence permissive (CC BY 4.0 pour le rapport, avec les poids du modèle sous les conditions d'utilisation de Gemma).

Google DeepMind n'a pas annoncé d'écosystème de partenariat ou de niveau de support entreprise pour Gemma 4, comme il l'a fait avec les versions précédentes de Gemma. Le rapport ressemble plus à une publication de recherche qu'à un lancement de produit. Détaillé, approfondi, et laissant le déploiement à la communauté.