Gemma 4 funciona casi un 90 % más rápido en Ollama 0.31 con predicción de múltiples tokens

Ollama 0.31 le da a Gemma 4 un importante impulso de velocidad en Apple Silicon. La generación de tokens puede ser hasta un 90 % más rápida en una evaluación de agente de codificación. El truco es la predicción de múltiples tokens (MTP). Un pequeño modelo borrador propone varios tokens a la vez, y el modelo principal verifica todo el lote en una sola pasada. Sin necesidad de configuración. Funciona inmediatamente.

Esto es especialmente relevante para agentes de codificación, donde el modelo se invoca repetidamente mientras lee archivos, ejecuta herramientas y resuelve tareas. Una generación más rápida hace que esos agentes se sientan notablemente más ágiles. Las cifras de la evaluación provienen de condiciones realistas, no de demostraciones seleccionadas.

Cómo funciona la predicción de múltiples tokens en Ollama

Gemma 4 incluye un modelo borrador ligero que funciona junto al modelo principal y propone los siguientes varios tokens. Luego, el modelo principal verifica toda la propuesta en una sola pasada, conservando los tokens con los que está de acuerdo. El modelo borrador es una fracción del tamaño del modelo principal, por lo que sus propuestas cuestan casi nada de computar. Cuando las propuestas son correctas, el modelo confirma múltiples tokens al precio de uno.

El código es especialmente predecible: cierres de corchetes, identificadores repetidos, plantillas. Las propuestas del modelo borrador se aceptan con frecuencia. Por eso MTP sobresale en evaluaciones de codificación como la evaluación Aider polyglot, donde un agente real trabaja a través de una serie de tareas de programación.

Ollama ajusta automáticamente la longitud del borrador en tiempo de ejecución. Realiza un seguimiento de la frecuencia con la que se aceptan las propuestas y cuánto tiempo lleva cada verificación. Luego, elige la longitud que produce la mayor cantidad de tokens por segundo y se ajusta a medida que cambia el texto. Si las propuestas dejan de ser aceptadas, el motor vuelve a la decodificación de un token a la vez, por lo que MTP nunca ralentiza la generación.

Decodificación especulativa y la contribución del kernel MLX

Cada ronda comienza con el modelo borrador prediciendo un token, realimentándolo para predecir el siguiente y repitiendo hasta tener una secuencia corta de propuestas, típicamente de 2 a 8 tokens. Luego, el modelo principal verifica toda la secuencia a la vez, muestreando en cada posición para decidir qué propuestas se aceptan. Todo el proceso permanece en la GPU como una sola pasada: generación del borrador, muestreo, verificación y muestreo final, sin regresar a la CPU entre medias.

Si una propuesta se rechaza, el motor retrocede la caché de clave-valor hasta el último token aceptado. Esto es económico porque solo afecta a las entradas más recientes. El sistema registra un punto de retroceso antes de cada propuesta, por lo que un rechazo nunca rehace trabajo anterior.

La parte costosa de MTP es la verificación, no la generación del borrador. La verificación ejecuta el modelo completo sobre todo el lote de propuestas a la vez, y ese tamaño de lote (de 2 a 8 tokens) se encuentra incómodamente entre los tamaños típicos de decodificación (un token) y prellenado (lote grande). Para solucionarlo, el equipo de Ollama contribuyó un kernel personalizado a MLX que lee y desempaqueta cada bloque de pesos una vez y lo reutiliza en todo el lote. Sin lecturas redundantes de memoria. En un M5 Max con cuantización nvfp4, hace que las multiplicaciones de matrices más grandes de Gemma 4 sean de 2 a 2.5 veces más rápidas. Misma computación, menos tráfico de memoria.

Cómo empezar

Puedes descargar Ollama 0.31 o posterior para macOS e iniciar un agente de codificación con Gemma 4 usando un solo comando. Si ya descargaste Gemma 4, vuelve a descargar el modelo para obtener la versión con MTP. Ollama launch también funciona con frameworks de agentes como Codex, Droid, OpenCode, Copilot y otros.

Gemma 4 es el primer modelo en obtener esta mejora de rendimiento. Ollama dice que más modelos recibirán soporte MTP en futuras versiones.