时间过的真快呀，最近AI和机器人的热度越来越高，能看到相关话题的文章越来越多。我在想，作为一个普通打工仔，我们能做什么，除了不断问AI生成答案，然后问完解决完就扔在脑后？想必不是长久之计，所以将知识沉淀，搭建一个私人知识库，来辅助自己建立脑中的知识库才是最重要的,今天就来给大家介绍如何利用开源项目打造一款私有AI知识库！

前言

为何选择本地部署？

这个分个人还是企业，如果个人用，其实各种免费在线知识库也够用了，但对于企业来说可不能图方便，需考虑以下方面

数据隐私：使用本地部署方式，所有数据都保存在自己控制的服务器中，避免了外部服务带来的数据隐私泄露风险。

高度可定制：根据自身需求进行配置与扩展，能够灵活地适配各种业务场景。

智能问答：结合RAG和DeepSeek的能力，可以让知识库具备智能问答功能，提升工作效率。

可扩展性：支持大规模数据的处理与管理，能够持续扩展和更新知识库内容。

RAG技术原理

RAG（Retrieval-Augmented Generation）技术结合了信息检索和文本生成。当我们提出问题时，不仅可以根据问题内容从知识库中检索相关的信息，还能够根据检索到的信息生成准确且高质量的回答。这种方式比传统的生成模型更为准确，更适用于知识库的问答场景。

工具介绍

在这里插入图片描述

Dify

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。

社区版地址：
https://github.com/langgenius/dify

腾讯ima

腾讯发布的一款AI智能工作台产品，不但接入了自家的混元大模型，还有的满血DeepSeek，可以搜索微信公众号的内容，把公众号文章变成你的知识库，所以如果不喜欢自己折腾，就用这款产品吧。

官方地址：
https://ima.qq.com/

FastGPT

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

社区地址：
https://github.com/labring/FastGPT

RAGFlow

RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。

社区地址：
https://github.com/infiniflow/ragflow/

以上这些工具大家可以根据喜好选择使用，希里安这里主要选择RAGFlow进行介绍，因为开源且支持商业化，可玩性和配置都较为灵活。

特点： 纯CPU运行、无需GPU

搭建步骤

步骤1：环境准备

首先，确保服务器或本地机器符合以下要求：

  • 操作系统：Linux或Windows

  • 内存：至少16GB，建议32GB以上

  • 存储空间：至少500GB的空闲磁盘空间，用于存储数据和模型

  • Docker：RAGFlow和DeepSeek都支持Docker部署，Docker >= 24.0.0 & Docker Compose >= v2.26.1

若尚未安装Docker（Windows、Mac，或者 Linux），可以参考官方文档进行安装

步骤2：安装Ollama

# 下载安装脚本   curl -fsSL https://ollama.com/install.sh -o ollama_install.sh      # 替换官方下载地址，为了下载更快   sed -i 's|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.7/|' ollama_install.sh

步骤3： 运行DeepSeek 8b模型

ollama pull deepseek-r1:8b      ollama run deepseek-r1:8b

负载情况： 分别为8C16G、32C32G

纯CPU运行，虽然输出稍慢，但也能接受，大家可以尝试以下

步骤4： 运行RAGFlow

RAGFlow可以Docker运行，部署非常简单。以下是安装步骤：

1.确保 vm.max_map_count 不小于 262144

如需确认 vm.max_map_count 的大小：
$ sysctl vm.max_map_count
如果 vm.max_map_count 的值小于 262144，可以进行重置：# 这里我们设为 262144:
$ sudo sysctl -w vm.max_map_count=262144
你的改动会在下次系统重启时被重置。如果希望做永久改动，还需要在 /etc/sysctl.conf 文件里把 vm.max_map_count 的值再相应更新一遍：vm.max_map_count=262144

2.克隆仓库：

打开终端，输入以下命令拉取RAGFlow代码：

git clone https://github.com/infiniflow/ragflow.git
    1. 创建并启动容器：进入 docker 文件夹，利用提前编译好的 Docker 镜像启动服务器：

    运行以下命令会自动下载 RAGFlow slim Docker 镜像 v0.16.0-slim。请参考下表查看不同 Docker 发行版的描述。如需下载不同于 v0.16.0-slim 的 Docker 镜像，请在运行 docker compose 启动服务之前先更新 docker/.env 文件内的 RAGFLOW_IMAGE 变量。比如，你可以通过设置 RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0 来下载 RAGFlow 镜像的 v0.16.0 完整发行版。

$ cd ragflow/docker   $ docker compose -f docker-compose.yml up -d

  1. 服务器启动成功后再次确认服务器状态：
$ docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功：

     `____   ___    ______ ______ __     / __ \ /   |  / ____// ____// /____  _      __    / /_/ // /| | / / __ / /_   / // __ \| | /| / /   / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /   /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/      * Running on all addresses (0.0.0.0)   * Running on http://127.0.0.1:9380   * Running on http://x.x.x.x:9380   INFO:werkzeug:Press CTRL+C to quit`

系统配置注意事项

系统配置涉及以下三份文件：

.env：存放一些基本的系统环境变量，比如 SVR_HTTP_PORT、MYSQL_PASSWORD、MINIO_PASSWORD 等。

service_conf.yaml.template：配置各类后台服务。
docker-compose.yml: 系统依赖该文件完成启动。

请务必确保 .env 文件中的变量设置与 service_conf.yaml.template 文件中的配置保持一致！如果不能访问镜像站点 hub.docker.com 或者模型站点 huggingface.co，请按照.env注释修改 RAGFLOW_IMAGE 和 HF_ENDPOINT。

步骤5：登录并配置RAGFlow

  1. 登录：

  1. 检查Ollama状态：

步骤6：整合RAGFlow与DeepSeek

  1. 连接RAGFlow与DeepSeek：在RAGFlow的配置界面中，找到“模型提供商”设置项，将DeepSeek的API地址填入RAGFlow中。这样，RAGFlow就可以在检索到相关信息后，调用DeepSeek进行问答生成。

  1. 调整配置参数：根据实际需要，您可以调整RAGFlow和DeepSeek的配置参数。例如，设置检索的优先级，调整模型的推理速度与质量等。

步骤7：私有知识库创建配置

  1. 创建知识库：通过RAGFlow的Web界面，可以输入问题并测试系统的回答是否准确。确保系统能够根据上传的文档和DeepSeek的推理能力给出正确的答案。

  1. 配置知识库模型：

  • 调整RAGFlow中的检索引擎，选择更合适的检索算法。

  • 针对DeepSeek进行性能优化，设置合理的硬件资源。

步骤8：测试优化

  1. 上传文件：向RAGFlow中添加新的文档，扩展知识库的内容。RAGFlow会自动更新向量索引，以确保信息检索的准确性。

  1. 测试知识库文档：随着数据的积累，可以定期对DeepSeek进行再训练，以提高问答系统的准确性和智能性。可以看到回答会引用我们上传的文件里面的内容。

步骤9： 创建agent

这里创建一个SQL助手agent，它类似于一个智能调度员，能够连接外部知识库、API接口，甚至执行自定义任务，让检索增强生成（RAG）系统更加高效和智能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

# 人工智能 # 服务器 # 数据库 # 运维 # rpa
Logo
DeepSeek技术社区

欢迎加入DeepSeek 技术社区。在这里，你可以找到志同道合的朋友，共同探索AI技术的奥秘。

更多推荐

cover

百度文心4.5 Turbo与DeepSeek、豆包、元宝对比：技术路径与市场格局分析​​

avatar DeepSeek技术社区

基于Deepseek-LLM与腾讯云HAI的高效爬虫开发实战指南

本方案已在实际业务中实现日均千万级数据采集，相比传统方案提升3倍效率的同时降低40%的运维成本。未来可扩展方向包括：结合LLM实时生成反爬对抗策略利用HAI弹性扩缩容应对突发流量构建自动化验证码破解工作流通过持续融合AI与云原生技术，智能爬虫系统将突破传统数据采集的边界，为企业打造真正的数据智能基础设施。更多AI学习资料请添加学习助手领取资料礼包视频学习资料：从0开始开发超级AI智能体，干掉所有重

avatar DeepSeek技术社区
cover

谈谈Llama4 和DeepSeek GRM

avatar DeepSeek技术社区