Le moteur MLX d'Ollama est désormais plus rapide et moins gourmand en mémoire sur Apple Silicon

Ollama a publié une mise à jour du moteur MLX pour Apple Silicon avec le support du format de quantification NVFP4 de NVIDIA, des noyaux Metal fusionnés qui accélèrent la génération de sortie jusqu'à 20 % et un système d'instantanés qui réduit le traitement redondant des invites dans les workflows d'agents.

Cette version cible trois points sensibles qui ont limité le déploiement local de LLM sur le matériel Mac : la qualité de la quantification, la vitesse d'inférence et la surcharge du traitement répété du contexte dans les sessions d'agents multi-tours.

NVFP4 réduit de moitié la perte de qualité

Le moteur MLX d'Ollama prend désormais en charge le format NVFP4 optimisé pour les modèles de NVIDIA, qui suit la plage dynamique locale des poids du modèle plus précisément que la quantification courante q4_K_M. Sur le modèle Gemma 4 12B, NVFP4 réduit approximativement de moitié l'écart de perplexité entre la version quantifiée en 4 bits et la référence bf16 non quantifiée, tout en conservant la même empreinte de performance.

Les modèles initialement optimisés pour le déploiement en centre de données peuvent désormais être importés et exécutés sur un bureau Apple Silicon sans réentraînement. Cette fonction de pontage permet aux développeurs de tester l'inférence sur du matériel local avant de passer à l'échelle du cloud.

Les noyaux Metal fusionnés offrent un gain de vitesse de 20 %

En fusionnant plusieurs opérations en un seul noyau Metal via le compilateur juste-à-temps de MLX, Ollama a accéléré la génération de sortie jusqu'à 20 %. Le pipeline d'échantillonnage accéléré par GPU a également été réécrit pour une exécution plus efficace, un changement qui se cumule avec la réduction de la pression mémoire due au nouveau format de quantification.

Le cache d'instantanés gère les sessions d'agents complexes

La fonctionnalité phare est un système d'instantanés qui sauvegarde l'état du modèle à des points clés d'une conversation, conçu pour la dynamique complexe des sessions d'agents réelles. Dans une boucle d'agent, chaque appel d'outil renvoie la transcription complète : invite système, définitions d'outils, lectures de fichiers. Cela signifie souvent traiter des dizaines de milliers de jetons de manière répétée. Le cache de préfixes standard échoue lorsque les conversations bifurquent, qu'un modèle de réflexion abandonne des jetons de raisonnement ou qu'un agent passe la main à un sous-agent.

Le système d'instantanés d'Ollama sauvegarde l'état aux endroits où les conversations sont susceptibles de revenir : aux points de branchement, à intervalles dans les longues invites, et juste avant chaque réponse. Cela permet à plusieurs agents de s'exécuter en parallèle, chacun reprenant à partir de son propre état sauvegardé, le contexte partagé n'étant traité qu'une seule fois. Les modèles de réflexion qui éliminent les jetons de raisonnement à chaque tour peuvent reprendre à partir d'un instantané pris avant le début de la réponse, évitant ainsi un retraitement complet. Si un développeur bifurque une conversation pour un suivi différent ou régénère une réponse, seule la nouvelle direction doit être calculée.

Le système est sélectif et incrémental pour éviter de saturer la mémoire. Les instantanés sont stockés uniquement aux points les plus susceptibles d'être réutilisés. Cela est important pour les modèles plus récents avec attention à fenêtre glissante ou couches récurrentes, où l'état ne peut pas être rembobiné après que le modèle a dépassé un point de conversation.

Pour commencer, téléchargez la dernière version d'Ollama et exécutez ollama run gemma4:12b-mlx. Pour une utilisation dans un agent de codage, utilisez ollama launch pi, model gemma4:12b-mlx.