Ollama 企业部署：本地大模型接入知识库与智能体
Ollama 是最简单的本地大模型运行方式。这篇讲清企业部署的安装、模型选择、显存与并发、安全加固，以及如何接入知识库与智能体。
结论：Ollama 适合 PoC 与单机/小团队部署，几条命令即可拉起本地模型；企业生产环境要额外做监听地址限制、反向代理鉴权、GPU 资源规划与并发压测。接入 RatioMax 后即可用本地模型做知识库问答与智能体推理。
适用场景
- PoC 验证：快速验证模型在真实问题上的效果。
- 单机/部门级部署：几十人以内、并发不高的知识问答。
- 离线环境：无外网、需要本地模型。
安装（Linux）
官方提供了安装脚本与 Docker 镜像，两种方式都可用于企业部署：
# 方式一：安装脚本（生产环境建议先审查脚本）
curl -fsSL https://ollama.com/install.sh | sh
# 方式二：Docker（推荐企业内部）
docker run -d --gpus all -p 127.0.0.1:11434:11434 \
-v /data/ollama:/root/.ollama --name ollama ollama/ollama拉取与选择模型
模型规模与量化版本直接决定显存占用与效果。以下命令以千问系列为例（具体标签以 Ollama 模型库为准）：
ollama pull qwen2.5:7b
ollama pull qwen2.5:14b
ollama list
ollama run qwen2.5:7b "用一句话解释什么是 RAG"显存与并发规划
| 7B~14B 级模型 | 单卡（消费级/专业卡）可起步，适合小团队与 PoC |
|---|---|
| 32B 级模型 | 建议多卡或高显存专业卡，适合复杂问答与工具调用 |
| 并发用户 | 并发越高显存与延迟压力越大，需要压测后决定副本数 |
| 上下文长度 | 上下文越长占显存越多；长文档场景建议先检索再压缩 |
内网与安全加固
- 只监听 127.0.0.1，通过 Nginx 反向代理并加鉴权/白名单。
- 不要直接把 11434 端口暴露到公网。
- 模型目录与日志纳入备份与权限管理。
- 出网策略：离线环境可完全断网运行。
接入 RatioMax 知识库与智能体
- 在平台模型配置中新增 Ollama 地址（OpenAI 兼容接口）。
- 选择模型并设为默认或按任务路由。
- 创建知识库，导入文档并测试问答效果。
- 在智能体中把知识库检索配置为工具，验证多步任务。
生产环境建议
高并发、长上下文、多用户场景建议评估 vLLM 或企业统一推理平台；Ollama 更适合 PoC、部门级与离线场景。两种方式可以并存，按任务路由。
相关页面
常见问题
Ollama 能用于生产环境吗？
可以用于部门级、中小并发场景；高并发与长上下文建议 vLLM 或企业推理平台。关键是做好鉴权、资源规划与压测。
Ollama 需要什么显卡？
7B~14B 级模型单卡可起步，32B 以上建议多卡或高显存专业卡；量化版本可降低显存需求。
Ollama 可以离线运行吗？
可以。模型拉取后可在无外网环境运行；首次拉取模型需要网络或离线导入模型文件。
Ollama 和 vLLM 怎么选？
PoC 与单机部署选 Ollama 更简单；多用户、高并发、长上下文选 vLLM 或企业推理平台。
如何接入企业知识库？
在 RatioMax 中把 Ollama 配置为模型，知识库问答与智能体即可使用本地模型推理。