如果你正有搭建个人本地知识库的需求，那这篇文章绝对不容错过。

需要注意的是，本地知识库搭建从易到难，不同方案对能力的要求各不相同。其中，复杂的案例甚至需要具备 Python 编程基础以及算法能力。所以，除非你对效果和安全性有着极致追求，否则选择简单方案往往就能满足需求。

一、对安全性无要求或文件不涉密的情况

这类情况统一推荐选择云厂商的 API 平台。

初始方案：调用大模型 API + 本地客户端

技术选型：硅基流动或任意 API 平台 + CherryStudio。若仅搭建知识库，也可使用 AnythingLLM 作为本地客户端。

优势：操作极为简单方便，只需简单配置 API 并下载客户端即可使用。

劣势：实际效果较难契合个性化需求。

部署教程：小白必看！手把手教你用 DeepSeek + CherryStudio 搭建本地知识库

进阶方案：大模型 API + 云平台

技术选型：Coze

优势：使用灵活，可配置工作流、图像流，还能分发至飞书、微信公众号等平台。

劣势：免费账户存在严格限额，知识库存储也有上限。

高级方案：大模型 API + 开源项目

技术选型：Dify、FastGPT

优势：开源部署，使用更为灵活高效。

劣势：需要具备 Python 基础，还需学会搭建 Docker 环境，使用相对复杂。

最终方案：大模型 API + 自研

技术选型：可参考 Langchain - Chatchat，二次开发地址：GitHub - chatchat-space/Langchain-Chatchat: Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchainLangchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain - GitHub - chatchat-space/Langchain-Chatchat: Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM, Qwen 与 Llama 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchainhttps://github.com/chatchat-space/Langchain-Chatchat

优势：灵活性更高。

劣势：前端为 Nextjs，后端是 Python，采用 LangChain 框架，开发难度较高，仅适合有编程基础或有充足时间钻研的人群。

二、存在涉密数据或对安全性要求极高的情况

此方案对电脑配置有要求。根据实际经验，低于 14b 的模型难以有效回答问题。预算有限的朋友，建议选择调用 API 方案，不仅更简单，而且相对更省钱。

初级方案：ollama + CherryStudio

优势：操作简单便捷，适合新手入门。

劣势：在部分场景下效果欠佳。

部署教程：大模型本地部署保姆级教程！只需三步！（附安装包）

进阶方案：ollama + 开源项目 FastGPT、Dify

优势：能够构建工作流，实现更复杂的功能。

劣势：需要掌握 Python 基础，并且懂得 docker 部署。

高级方案：llama.cpp、vLLM

优势：llama.cpp 可进行源码部署，对于一些 ollama 官方尚未更新支持的模型，使用 llama.cpp 也能部署。vLLM 支持的模型更多，是主流的推理框架，若对性能有要求，一般都会选用 vLLM。

劣势：主要适用于 linux 环境，在 Windows 下部署难度较高，需要具备较高的技术基础才能掌握。vLLM 支持的模型数量多于 llama.cpp，但使用难度也更高。

备选方案：xinference、TGI、OpenLLM、SGI、TensorRT - LLM、OpenVino