Ollama的MLX引擎在Apple Silicon上速度更快、内存占用更低

Ollama为Apple Silicon发布了MLX引擎更新，支持NVIDIA的NVFP4量化格式、融合Metal内核（使输出生成速度提升高达20%）以及一个快照系统，可减少代理工作流中的冗余提示处理。

此次发布针对了限制Mac硬件上本地LLM部署的三个痛点：量化质量、推理速度以及多轮代理会话中重复上下文处理的开销。

NVFP4将质量损失减半

Ollama的MLX引擎现在支持NVIDIA的模型优化NVFP4格式，该格式比常见的q4_K_M量化更紧密地跟踪模型权重的局部动态范围。在Gemma 4 12B模型上，NVFP4大致将4位量化版本与未量化的bf16基线之间的困惑度差距减半，同时保持相同的性能开销。

最初为数据中心部署优化的模型现在可以直接导入并在Apple Silicon桌面端运行，无需重新训练。这一桥接功能让开发者可以在扩展到云端之前，先在本地硬件上测试推理。

融合Metal内核带来20%速度提升

通过MLX的即时编译器将多个操作融合到单个Metal内核中，Ollama将输出生成速度提升了高达20%。GPU支持的采样管线也被重写以实现更高效的执行，这一变化与新型量化格式带来的内存压力降低相辅相成。

快照缓存应对混乱的代理会话

最突出的功能是一个快照系统，它可以在对话的关键节点保存模型状态，专为真实代理会话的混乱动态而设计。在代理循环中，每次工具调用都会重新发送整个对话记录：系统提示、工具定义、文件读取。这通常意味着重复处理数万个令牌。当对话出现分支、思维模型丢弃推理令牌或代理将任务交给子代理时，标准前缀缓存会失效。

Ollama的快照系统在对话可能返回的节点保存状态：在分支点、长提示的间隔处以及每次响应之前。这使得多个代理可以并行运行，每个代理从自己的保存状态恢复，共享上下文仅处理一次。每次轮次丢弃推理令牌的思维模型可以从响应开始前拍摄的快照恢复，避免完全重新处理。如果开发者为了不同的后续问题而分支对话，或者重新生成响应，只需计算新方向。

该系统具有选择性和增量性，以避免耗尽内存。快照仅存储在最可能被重复使用的节点。这对于具有滑动窗口注意力或循环层的新型模型尤为重要，因为一旦模型经过某个对话点，状态就无法回退。

要开始使用，请下载最新的Ollama并运行ollama run gemma4:12b-mlx。若在编码代理中使用，请运行ollama launch pi, model gemma4:12b-mlx。