千问（Qwen）私有化部署：本地知识库与智能体落地
把通义千问部署在企业自己的服务器上，结合 RatioMax 知识库与智能体，让员工在内网安全使用千问做知识问答与业务自动化。
为什么在企业内私有化千问
通义千问在中文理解、工具调用与指令遵循上表现均衡，是很多企业私有化落地的首选模型之一。私有化之后，制度、合同、客户资料与内部数据不需要经过外部服务，模型响应也更稳定。
- 数据不出内网：推理、检索、日志都在企业服务器内。
- 中文与长文档友好：适合制度问答、合同审查、报告摘要、客服话术等中文场景。
- 可调可控：模型版本、量化方式、并发与超时都可以按业务调。
Qwen 模型怎么选
| 版本档位 | 建议场景 |
|---|---|
| 小规模版本（如 7B / 14B 级） | 知识问答、文档摘要、客服辅助；单机或小规模部署即可 |
| 中大规模版本（如 32B 级） | 复杂问答、多工具调用、合同与图纸场景；建议多卡或更高显存 |
| 超大规模版本 | 高复杂度推理与长文档分析；通常需要集群与专项优化 |
| 量化版本 | 显存受限时可选择量化版本，以少量精度换更低成本 |
实际选择要结合并发量、时延要求、显存与预算；没有把握时先做小规模 PoC，用真实问题集评测再定版本。
部署方式
Ollama
最简单的本地推理方式，适合 PoC 与单机部署；模型拉取后直接对外提供接口。
vLLM / 企业推理服务
高并发场景常用，适合多用户、长上下文与批量任务；可由企业已有推理平台统一提供。
容器化部署
与 RatioMax 知识库、智能体服务一起用 Docker Compose 或 Kubernetes 部署。
混合路由
敏感知识与敏感数据走本地千问，通用任务走云端模型，按数据分级配置。
与 RatioMax 组合后的能力
- 知识库问答：千问基于企业知识库回答，引用可点回原文段落，答不出会明确说明。
- 智能体：千问作为推理模型，调用知识检索、数据库、企业 API 与 MCP 工具完成多步任务。
- 多入口使用：Web 控制台、企业微信/飞书/钉钉、桌面客户端与 API。
- 权限与审计：空间隔离 + 四级 RBAC，知识库级权限与访问审计。
硬件与容量评估要点
| 显存 | 按模型规模与上下文长度评估；并发越高、上下文越长，所需显存越大 |
|---|---|
| CPU / 内存 | 知识库解析、检索与智能体服务需要 CPU 与内存资源，与推理资源分开规划 |
| 存储 | 文档原文、向量索引与对象存储；大量扫描件建议独立对象存储 |
| 网络 | 内网服务互通；如有外部 API 调用，需配置出网策略与审计 |
我们可以在部署前提供一份资源评估表（按用户数、并发、文档量与模型档位测算）。
延伸阅读
常见问题
千问私有化部署需要多少显存？
取决于模型档位、量化方式、上下文长度与并发：7B~14B 级模型可用单卡起步，32B 级以上通常需要多卡；知识库与智能体服务另需 CPU/内存资源。建议先用真实问题集做 PoC 评估。
可以离线运行吗？
可以。模型权重与推理服务部署在内网后，知识问答与智能体可以在无外网环境运行；只有主动接入的外部服务才需要出网。
支持通义千问哪些版本？
支持千问系列开源模型，按企业需要选择不同规模与量化版本；具体可部署版本以实际获取的模型权重为准。
Ollama 和 vLLM 怎么选？
PoC 与单机小规模用 Ollama 更简单；多用户、高并发、长上下文场景建议 vLLM 或企业统一推理平台。
千问私有化之后还能用云端模型吗？
可以按数据分级混合使用：敏感数据走本地千问，通用任务走云端 API，在同一平台内配置与切换。
部署后怎么持续优化效果？
用真实问题集做评测，持续调整解析与分块策略、检索参数与提示词；平台提供检索调试与全链路追踪。