Ollama 0.30 带来更快的 GPU 推理和原生 GGUF 模型支持

Ollama 刚刚发布了 0.30 版本，它解决了本地运行 LLM 时最令人困扰的两个问题：GPU 性能和模型兼容性。此次更新声称在 NVIDIA 硬件上的吞吐量提升高达 20%，并通过默认的 Vulkan 支持将 GPU 加速扩展到更多设备，同时深化了与 GGUF 模型生态系统的联系。

更快的推理，更广的覆盖

这里的大新闻针对的是 NVIDIA 用户。Ollama 0.30 整合了 NVIDIA 和 llama.cpp 团队的优化，团队使用 RTX 5090 上 Q4_K_M 量化的 Gemma 4 26B 模型量化了结果。实际提升会因模型、硬件和量化方式而异，但 20% 对于运行本地推理循环的开发者来说是一个有意义的改进。

对大多数人来说更重要的是：Vulkan GPU 加速现在默认开启。以前，使用 AMD 或 Intel GPU 的用户通常需要安装特定于供应商的库或调整配置才能获得 GPU 支持的推理。现在 Ollama 处理了这种复杂性，因此模型在更多设备上开箱即用地运行在 GPU 上。

GGUF 生态系统扩展

Ollama 0.30 扩展了 GGUF 模型兼容性，包括 LFM 和 Prism 等模型系列，以及来自 Unsloth 的微调模型。这之所以重要有两个原因。首先，用户可以直接从 Hugging Face 拉取 GGUF 文件，并通过简单的 Modelfile 工作流运行，无需转换步骤。其次，它使 Ollama 与更广泛的开源 LLM 生态系统更加紧密地保持一致，在该生态系统中，GGUF 已成为本地部署的默认量化格式。

工作流很简单：下载一个 GGUF 文件（或一个包含多个文件的目录），创建一个指向它的 Modelfile，然后运行 ollama create 和 ollama run。如果模型支持工具调用，Ollama 会继承该能力，从而通过单个 ollama launch 命令实现与 Claude Code、Hermes Agent 和 OpenClaw 等编码代理的集成。用户可以使用 ollama show my-model 验证工具支持。

战略定位

此版本巩固了 Ollama 对 GGML 生态系统的押注，该生态系统支撑着 llama.cpp 和更广泛的本地 AI 运动。通过默认使用 Vulkan 并原生接受 GGUF 文件，该项目缩小了玩家级部署和即插即用之间的差距。对于构建本地 AI 工具、个人助理、编码代理或自定义工作流的开发者来说，Ollama 0.30 降低了准入门槛，而无需特定 GPU 品牌。

此次更新也悄然指向了一种竞争动态：随着基于云的推理成本对于高使用量场景来说仍然难以预测，Ollama 这样的本地运行器提供了可预测的延迟和零 API 成本。更快的 GPU 支持和更广泛的硬件兼容性只会强化这一论点。

Ollama 0.30 现已可在 macOS、Linux 和 Windows 上下载。