El Gemma 4 de Google DeepMind convierte 26 mil millones de parámetros en una máquina de razonamiento que cabe en una GPU

La línea entre los modelos propietarios de frontera y los lanzamientos de peso abierto se ha difuminado nuevamente. Google DeepMind publicó el informe técnico de Gemma 4 el 27 de julio de 2025, detallando una familia de modelos que desafían la suposición de que los modelos de peso abierto deben rezagarse respecto a los sistemas cerrados en razonamiento, comprensión multimodal y eficiencia.ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

Gemma 4 no es un solo modelo. Son tres configuraciones: un modelo denso de 2,6 mil millones de parámetros, un modelo denso de 9,2 mil millones de parámetros y un modelo de mezcla de expertos de 26 mil millones de parámetros que activa aproximadamente 9,2 mil millones de parámetros por token. La variante MoE, construida sobre un transformador solo de decodificador aumentado con codificadores de transformador de visión para la comprensión de imágenes, es la destacada. Maneja texto, imágenes y videos cortos de forma nativa, y su ventana de contexto de 1 millón de tokens la coloca entre los modelos de contexto más largo en el ecosistema de peso abierto.how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

Una división arquitectónica deliberada

Muchos laboratorios han convergido en transformadores densos para el lenguaje y modelos de visión separados. Gemma 4 fusiona ambas modalidades en una pila entrenable única. La columna vertebral de texto utiliza un transformador causal con atención de consultas agrupadas, normalización de raíz cuadrada media y posiciones rotatorias incrustadas. El lado de la visión reutiliza las mismas capas de transformador después de un codificador de parches ViT, con atención cruzada en capas anteriores y un proyector final. Este diseño permite que el modelo razone conjuntamente sobre entradas de lenguaje y visuales sin la sobrecarga de codificadores separados en tiempo de inferencia.

El enrutador MoE está entrenado con un mecanismo de compuerta softmax top-2, una elección que prioriza el equilibrio de carga entre los expertos. Durante el entrenamiento, el enrutador distribuye los tokens de manera suficientemente uniforme para que no se requiera una pérdida auxiliar para el equilibrio, un detalle que reduce la complejidad del entrenamiento.

Longitud de contexto que cambia los casos de uso

La ventana de contexto de 1 millón de tokens en el modelo MoE no es un máximo teórico. El informe evalúa la recuperación en el rango de 1 millón de tokens utilizando los puntos de referencia RULER y LongContext, mostrando que el modelo mantiene una precisión de recuperación casi perfecta. Para los desarrolladores que crean aplicaciones que requieren razonamiento sobre bases de código completas, documentos legales extensos o transcripciones de video de varias horas, esta longitud de contexto elimina la necesidad de dividir en fragmentos y canalizaciones de recuperación que agregan latencia y complejidad.the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

Los modelos densos más pequeños admiten contextos de 256.000 tokens, aún muy por encima del promedio para su clase de tamaño.

Rendimiento que remodela las expectativas para los pesos abiertos

Los puntos de referencia reportados son donde Gemma 4 invita a una comparación directa con modelos mucho más grandes. En el punto de referencia de razonamiento MMLU-Pro, la variante MoE obtiene un 75,3%, superando a modelos cerrados como GPT-4o (73,6%) y acercándose a o3-mini (80,7%). En LiveCodeBench (v6), logra un 48,2%, superando nuevamente a GPT-4o y quedando por detrás de o3-mini y Claude 4 Sonnet. En GPQA-Diamond, un punto de referencia de razonamiento científico de nivel de posgrado, el modelo MoE obtiene un 74,9%, superando a todos los modelos que no son Gemini probados.

Estas cifras son significativas porque provienen de un modelo MoE de 26 mil millones de parámetros que activa solo unos 9 mil millones de parámetros por token. La historia de eficiencia de parámetros es clara: Google DeepMind ha exprimido capacidad de razonamiento a partir de un recuento de parámetros activos más pequeño, lo que se traduce en costos de inferencia más bajos y generación más rápida en hardware de consumo.

El pipeline de mejora del razonamiento

Una de las secciones más técnicas del informe detalla un método de mejora del razonamiento basado en aprendizaje por refuerzo que el equipo llama Round. El enfoque utiliza un modelo de recompensa disperso y ajuste fino iterativo para empujar al modelo hacia cadenas de pensamiento más largas sin colapsar en un razonamiento superficial. Los estudios de ablación muestran que Round mejora las puntuaciones de matemáticas GSM8K en 12,4 puntos porcentuales y las puntuaciones de codificación HumanEval en 8,9 puntos en comparación con el modelo base ajustado por supervisión.the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

Esto es importante porque las técnicas de mejora del razonamiento han sido históricamente dominio de laboratorios propietarios con presupuestos masivos de cómputo. Al documentar y publicar el método junto con los pesos del modelo, Google DeepMind entrega a la comunidad de código abierto un procedimiento de trabajo conocido para mejorar el razonamiento en transformadores MoE.

Infraestructura de seguridad y pruebas de adversarios

El informe dedica un espacio sustancial a las evaluaciones de seguridad. El equipo realizó pruebas de adversarios con 150 evaluadores internos y 50 expertos externos en diversos campos, cubriendo áreas desde armas químicas y biológicas hasta capacidades de ciberataques. Los modelos fueron probados en el punto de referencia de seguridad Humanity's Last Exam, y el informe incluye una taxonomía de riesgos y mitigaciones. En particular, se encontró que los modelos Gemma 4 tienen "capacidad insignificante" para ayudar en la creación de armas CBRNE y ningún aumento en las capacidades cibernéticas ofensivas en comparación con versiones anteriores de Gemma.anthropics-jailbreak-severity-scale-is-a-proposal-that-could-reshape-ai-safety-regulation

Google DeepMind también lanzó un nuevo conjunto de datos de seguridad llamado ShieldGemma 2, entrenado con las salidas de Gemma 4, que puntúa contenido potencialmente dañino en los tres modelos. Todas las variantes del modelo obtuvieron puntuaciones dentro del rango de "riesgo bajo" en la evaluación escalonada del Marco de Seguridad Fronteriza de Google.

Lo que esto significa para el ecosistema

Gemma 4 cambia el panorama competitivo de los modelos de peso abierto. Llega en un momento en que laboratorios como Meta con Llama 4, Alibaba con Qwen 3 y Mistral AI han empujado los modelos abiertos hacia tamaños más grandes y mejor razonamiento. El diferenciador de Gemma 4 no es el tamaño bruto, sino la eficiencia arquitectónica y la integración multimodal desde el principio.

Para los desarrolladores, las implicaciones son prácticas: un modelo que se ejecuta en una sola GPU de consumo en algunas configuraciones, admite 1 millón de tokens de contexto, razona de manera competitiva con las API cerradas y se distribuye bajo una licencia permisiva (CC BY 4.0 para el informe, con los pesos del modelo bajo los Términos de Uso de Gemma).

Google DeepMind no ha anunciado un ecosistema de asociaciones o un nivel de soporte empresarial para Gemma 4, como lo hizo con versiones anteriores de Gemma. El informe se lee más como una publicación de investigación que como un lanzamiento de producto. Detallado, minucioso y dejando el despliegue a la comunidad.