Ollama 与 vLLM：企业本地推理框架怎么选
一个胜在简单，一个胜在吞吐。选错不影响跑通，但会影响生产环境的成本与体验。
一句话结论：PoC、单机、部门级与离线场景用 Ollama 更快上手；多用户、高并发、长上下文生产环境用 vLLM 更划算。两者可以并存：Ollama 做开发与兜底，vLLM 扛线上流量。
核心差异
| 维度 | Ollama | vLLM |
|---|---|---|
| 定位 | 开箱即用的本地模型运行工具 | 高吞吐推理服务框架 |
| 安装与上手 | 几条命令即可 | 需要配置模型与参数，门槛稍高 |
| 并发吞吐 | 适合小规模并发 | 支持连续批处理，吞吐更高 |
| 显存利用 | 简单直接 | 更精细的显存与 KV Cache 管理 |
| 长上下文 | 可用，但并发下压力大 | 长上下文与多请求场景更稳 |
| 适用场景 | PoC、单机、离线、部门级 | 生产环境、多用户、高并发 |
什么时候选 Ollama
- 快速验证模型效果、做 PoC。
- 单机或小团队部署（几十人内、低并发）。
- 离线/边缘环境，需要简单可靠。
- 作为开发调试与兜底模型。
什么时候选 vLLM
- 多用户同时使用、需要稳定低延迟。
- 长上下文场景（合同、报告、图纸说明）。
- 希望提高吞吐、降低单请求成本。
- 生产环境需要指标、限流与弹性扩缩容。
组合建议
- PoC 用 Ollama 快速验证。
- 上线前按真实并发压测，评估是否需要 vLLM。
- 生产环境可用 vLLM 承载主流量，Ollama 做开发/兜底。
- 在 RatioMax 中按任务路由模型，兼顾成本与效果。
常见问题
Ollama 和 vLLM 哪个快？
低并发下差异不大；高并发与长上下文场景 vLLM 吞吐通常更高。建议用真实负载压测。
可以直接从 Ollama 换到 vLLM 吗？
模型权重可以复用，但接口与部署方式不同；在平台侧按新的 OpenAI 兼容地址配置即可切换。
小公司有必要上 vLLM 吗？
如果用户少、并发低，Ollama 足够；有 20+ 人高频使用或长文档场景再评估 vLLM。
两者能一起用吗？
可以。不同任务/模型走不同框架，平台侧统一配置路由。