Gemma 4 acaba de hacer que todos los demás modelos de peso abierto parezcan 10 veces demasiado grandes

Google DeepMind lanzó Gemma 4, la nueva generación de su familia de modelos de peso abierto, con cambios arquitectónicos que desafían lo que los modelos pequeños pueden hacer. La familia incluye cinco configuraciones, desde un modelo denso de 2.3 mil millones de parámetros hasta un buque insignia de 31 mil millones de parámetros, y añade una variante de Mixture-of-Experts con 26 mil millones de parámetros totales (3.8 mil millones activos). ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

Para desarrolladores e investigadores que trabajan con hardware de consumo, los números son difíciles de ignorar. El modelo más pequeño de Gemma 4, con 2.3 mil millones de parámetros efectivos, iguala aproximadamente el rendimiento del modelo de 27 mil millones de Gemma 3 en una variedad de puntos de referencia. Esto es una mejora de eficiencia de parámetros de 10 veces en una sola generación.

El modo de pensamiento llega a los pesos abiertos

La adición más trascendental es el modo de pensamiento, que permite a los modelos generar rastros de razonamiento interno antes de producir una respuesta final. Anteriormente dominio de modelos cerrados como la serie o de OpenAI, esta capacidad ahora está disponible bajo la licencia Apache 2.0. En el punto de referencia de matemáticas AIME 2026, el modelo de 31B alcanza una precisión del 89.2% en modo de pensamiento. La variante MoE obtiene un 88.3%. Ambas cifras rivalizan con modelos muchas veces su tamaño.

"Creemos que la apertura en la IA puede difundir los beneficios de estas tecnologías en toda la sociedad", escribe el equipo de Gemma en el informe técnico, "pero esto debe evaluarse continuamente frente al riesgo de usos maliciosos".

El modo de pensamiento es opcional. Los modelos pueden ejecutarse tanto en configuraciones de pensamiento como de no pensamiento, dando a los desarrolladores control sobre cuándo intercambiar latencia por profundidad de razonamiento. En la metodología inspirada en OpenAI o1, los modelos Gemma 4 generan un rastro de cadena de pensamiento encerrado en tokens especiales antes de la respuesta final. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Arquitectura sin codificador redefine el procesamiento multimodal

El movimiento técnicamente más audaz es el diseño sin codificador del modelo de 12B. En lugar de depender de codificadores de visión y audio separados, típicamente de cientos de millones de parámetros cada uno, el modelo de 12B proyecta parches RGB de 48x48 y fragmentos de audio de 40 ms directamente en el espacio de incrustación del LLM. El codificador de visión de 550M se reemplaza por una sola multiplicación de matrices de 35M. El codificador de audio de 305M se descarta por completo.

Este enfoque reduce la fragmentación de la memoria y simplifica la implementación. En el reconocimiento automático del habla FLEURS, el modelo de 12B logra una tasa de error de palabras de 0.063 en inglés, competitivo con sistemas basados en codificadores dedicados. En las tareas de traducción CoVoST, obtiene un BLEU de 26.4 de japonés a inglés, sin haber visto nunca un codificador de habla entrenado explícitamente. aleph-alpha-unveils-t-free-a-tokenizer-free-architecture-for-sovereign-ai-1

Contexto largo y eficiencia computacional

Gemma 4 aborda el problema de la explosión de memoria que afecta la inferencia de contexto largo a través de un conjunto coordinado de elecciones arquitectónicas. Los modelos utilizan una proporción de 5:1 de atención de ventana deslizante local a autoatención global (4:1 para el modelo de 2.3B), combinado con codificación posicional p-RoPE. Crucialmente, las capas de atención global reutilizan las claves como valores, reduciendo la huella del KV cache hasta en un 37.5%.

En el punto de referencia de precisión RULER de 128k, el modelo de 31B obtiene un 96.4%, una mejora dramática frente al 66.0% de Gemma 3. La variante MoE alcanza un 89.8%, mientras que incluso el modelo de 4.5B obtiene un 86.6%. El punto de referencia MRCR de aguja en un pajar cuenta una historia similar: el modelo de 31B obtiene un 66.4% en contexto de 128k, casi cinco veces mejor que el 13.5% de Gemma 3. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

La cabeza drafter MTP, un pequeño modelo autorregresivo entrenado para decodificación especulativa, acelera la inferencia generando múltiples tokens por paso hacia adelante. Para los modelos más pequeños, un truco de agrupamiento de top-k reduce la proyección final de un softmax de 262,000 vías a solo 4,096, preservando la tasa de aceptación mientras reduce drásticamente el cómputo. the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

Cuantización sin compromiso

El entrenamiento consciente de la cuantización se aplica no solo al modelo de lenguaje sino también a los codificadores de visión y audio. El codificador de visión de 150M se ejecuta con precisión W8A8, reduciendo a la mitad la memoria de 400MB a 200MB mientras reduce la latencia en el dispositivo en un 44%. La huella del codificador de audio se reduce de 390MB a 87MB, una reducción del 78%, a través de una mezcla de precisión de 2 bits, 4 bits y 8 bits por capa de clúster.

El modelo de 2.3B con pesos cuantizados y KV cache de int8 ocupa solo 0.8GB en contexto de 32k. Eso es lo suficientemente pequeño como para ejecutarlo en un teléfono inteligente. El modelo de 31B, en cuantización Q4_0 con KV cache, cabe en 19.2GB, al alcance de una sola GPU de consumo. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

Rendimiento en puntos de referencia y la tabla de clasificación Arena

En Chatbot Arena, Gemma 4 31B alcanza un Elo de 1451, la puntuación más alta para cualquier modelo denso de peso abierto. La variante MoE obtiene un 1438. Ambos superan a modelos con 10 a 50 veces más parámetros, incluyendo DeepSeek V4 Flash Thinking (1436) y Qwen 3.5 397B-A17B (1444). El mejor modelo cerrado, Claude Fable 5, se sitúa en 1508, pero no es abierto. anthropic-redeploys-claude-fable-5-and-mythos-5-after-us-lifts-export-controls

En puntos de referencia de codificación, el modelo de 31B logra un Elo de Codeforces de 2150 y un 80.0% en LiveCodeBench v6. TerminalBench Hard, que evalúa tareas agentivas de línea de comandos, ve al modelo de 31B con un 36.0%, en comparación con el 4.0% de Gemma 3. En razonamiento científico (SciCode), el modelo de 31B obtiene un 43.0%, más del doble del 21.0% de Gemma 3.

Una plataforma para la próxima ola

Gemma 4 se lanza bajo la licencia Apache 2.0, permitiendo uso comercial, modificación y redistribución sin regalías. Los modelos están disponibles en formatos bf16 y cuantizados, con soporte para motores de inferencia principales incluyendo llama.cpp. La infraestructura de entrenamiento utilizó pods de TPU v5p y v6e con hasta 12,288 chips para los modelos más grandes, usando Pathways para la reducción de datos paralela y ZeRO-3 para el particionamiento del estado del optimizador.

El informe técnico señala que todos los modelos se evalúan sin filtros de seguridad para evaluar el comportamiento inherente, y que se observaron "mejoras importantes en cada categoría de seguridad de contenido" en relación con generaciones anteriores de Gemma. El equipo anima a los desarrolladores a implementar mitigaciones a nivel de sistema adaptadas a casos de uso específicos.