大模型私有化部署：把 AI 能力放进企业内网
用企业自己的服务器运行模型、知识库与智能体，数据不出内网；支持千问（Qwen）、DeepSeek、Llama 等开源模型与 20+ 厂商 API 混合使用。
为什么越来越多企业选择私有化部署
- 数据合规：制度、合同、图纸、客户资料不出内网，满足等保、审计与行业监管要求。
- 可控可审计：模型版本、提示词、知识库版本、调用日志都在自己手里，可回放、可追责。
- 成本可控：高频调用场景自建推理比按 token 计费更可控；低频场景可以混合使用云端 API。
- 可定制：模型微调、行业词表、解析策略、权限模型都可以按企业需要调整。
一套方案覆盖模型、知识、智能体与桌面
模型层
支持千问 Qwen、DeepSeek、Llama 等开源模型本地部署（Ollama / vLLM / 企业推理服务），也兼容 DeepSeek、Qwen、智谱、OpenAI 等 20+ 厂商 API，可按任务混合调度。
知识层
知识库多格式解析（PDF/Word/Excel/图片/扫描件）、混合检索 + ReRank、引用溯源、Wiki 知识图谱与空间级权限。
智能体层
可视化的智能体与工作流编排、ReAct 推理、工具与沙盒、MCP 接入，把知识检索与业务系统串起来。
使用层
Web 控制台、IM 渠道（企微/飞书/钉钉等）、桌面客户端与 API，员工按习惯使用同一套知识。
部署形态
| 单机部署 | Docker Compose 一键部署，适合 PoC、部门级或 200 人以内团队 |
|---|---|
| 集群部署 | Kubernetes 部署，四个核心服务独立扩缩容，适合集团多空间、万级文档 |
| 混合部署 | 核心知识库在内网，模型调用可对接企业已有推理平台或经网关访问云端模型 |
| 客户端 | Windows / Linux 桌面客户端，内置运行时，统一账号登录 |
实施步骤
- 需求评估：梳理知识来源、用户规模、并发与合规要求，明确必须内网的范围。
- 环境准备：服务器 / GPU 资源、对象存储、数据库与网络策略；信创环境可单独评估。
- 模型选型：按任务选择千问或 DeepSeek 的不同规模版本，确定推理框架与并发。
- 知识入库：接入数据源、配置解析与分块策略，建立知识库与权限模型。
- 智能体搭建：把检索、业务 API 与流程编排成智能体或工作流。
- 上线与运营：灰度、评测、审计与持续治理，按月迭代。
常见私有化模型组合
| 组合 | 适用场景 |
|---|---|
| 千问 Qwen 系列 | 中文理解与工具调用均衡，适合知识问答、客服、办公助手，可从小规模版本起步 |
| DeepSeek 系列 | 推理与代码能力突出，适合复杂分析、数据分析与智能体规划 |
| Llama / 其他开源 | 用于特定语言或已有模型资产的企业 |
| 混合调用 | 敏感数据用本地模型，通用任务走云端 API，按数据分级路由 |
具体选型需要结合并发量、响应时延、显存资源与预算评估，可以联系我们做一次免费的部署评估。
延伸阅读
常见问题
私有化部署需要什么硬件？
取决于模型规模与并发：7B~14B 级模型可用单张消费级/专业卡起步，32B 以上与高并发场景建议多卡或集群；知识库与智能体服务另需 CPU/内存与存储。可以先做小规模 PoC 再扩容。
数据真的不会出内网吗？
模型、知识库、智能体、客户端均可部署在内网；只有你主动接入的外部服务（如云端模型 API）才会产生外网请求，可按数据分级选择是否启用。
支持哪些模型？
支持千问（Qwen）、DeepSeek、Llama 等开源模型本地部署，也兼容 DeepSeek、Qwen、智谱、Moonshot、OpenAI、Gemini 等 20+ 厂商 API。
部署周期多久？
标准 Docker Compose 单机部署通常 1~3 天可跑通 PoC；含权限、数据接入与智能体的完整上线一般 2~6 周，视数据量与定制范围而定。
和直接买云端知识库有什么区别？
私有化部署的数据、模型与权限都在企业内，可审计、可定制；云端方案上线更快、免运维，适合非敏感场景。两者也可以混合。
能接入公司现有统一登录吗？
支持 OIDC 单点登录，可对接企业已有身份提供商（如 Casdoor、Keycloak、AD 等）。