导读

知识库:deepseek从过年开始火以后，现在大模型越来越热，但是大家发现deepseek的网站经常是没反应，所以越来越多的人开始部署本地大模型，但是个人认为本地大模型其实没有实际意义，因为我们训练的数据肯定没有deepseek训练的强大，但是本地大模型有一个很重要的环节，就是公司的内部资料，也就是所谓的知识库，公司需要训练自己的机器人，把自己的重要数据植入到机器人中，今天就从deepseek本地部署开始，手把手指导大家如何搭建自己的知识库。

作者：vivi，来源：osinnovation

1. 安装 Ollama

2. 下载大模型

3. 安装 Docker

4. 克隆 Dify 源代码至本地

5. 启动 Dify

1 ollama安装

 因为ollama是托管的github，国内的用户访问比较费劲，今天告诉大家一个办法能快速下载ollama，先登录这个网站s://github.moeyy.xyz/

在文件链接输入框内，键入最新版本的地址，系统自动可以安装，因为版本会更新，我现在的版本就是0.5.12，可以下载这个以后继续更新。

https://github.com/ollama/ollama/releases/download/v0.3.6/OllamaSetup.exe

如果下载不了：我也百度网盘分享这个材料。

链接: https://pan.baidu.com/s/18Fd5vFIdZAd_arGpntHVLg?pwd=ruxg 提取码: ruxg

安装还是比较简单，一步一步的操作就可以，因为软件默认装C盘,所以你需要C盘预留5g的空间，其实后面还有其他软件的安装，最好是有30G的空间。

2 大模型安装

 ①我们看到ollama网站的有个models的页签，这个地方就是下载大模型的，我选择的是14b，我电脑配置是I7处理器，64G内存，显卡是2060，下面我到网上找到一个配置表，单价可以根据配置表看看下载那个模型合适，模型当然是越大越好，14b文件大约9G.

② 我们需要在管理员模式，输入ollama run deepseek-r1:14b，这个参数是上图的点按钮复制。

③回车以后系统级能自己下载模型，因为这个地方也是海外服务器，所以速速比较慢，如果中途失败，重试几次。

④安装以后，我们就直接可以提问回答问题，下图是回答的截图页面，我想大家都不希望在这个黑白的界面问与回答问题，这个时候我们可以下载一些软件，也就是一些UI替代这黑白的界面。如果要退出可以按【Ctrl  +  d】or  【/bye】。

⑤ Chatbox前端搭建，官网：chatboxai.app/zh，可以安装软件，软件配置也非常的简单。下面有一步一步的截图，按照截图操作即可 。

3 安装DOCKER

因为我们后面用到dify这个软件，这个软件需要部署到docker只能，所以需要先下载docker，操作的步骤也很简单，登录网站，然后下载，然后一步一步操作。

下载以后需要注册下，因为是海外网站，所以需要“相关申请”。

docker安装以后。我们就需要下载dify，这玩意是可以建立机器人交互界面和知识库搭建，这软件是python开发的，所以很多参数可以下载源代码，然后修改，重新部署到容器中，后续文章是介绍如何修改代码重新部署，可能有人问，为什么需要修改代码？因为我们知道知识库的训练是有方法的，那这些拆分的方法，我们都可以去写代码自定义规则实现。dify的源代码地址是https://github.com/langgenius/dify，如果大家无法下载，我也提供百度网盘。

当然你有git工具也可以不通过上面下载的方式，直接通工具拉下来。

4 克隆Dify源代码至本地

git clone https://github.com/langgenius/dify.git

如果无法下载的可以网盘下载

链接: https://pan.baidu.com/s/1uvSKZDer0IdvQrkIqnHTdg?pwd=jjxb 提取码: jjxb

下载以后我们需要解压，在docker文件下面修改如下文件的参数

# 启用自定义模型

CUSTOM_MODEL_ENABLED=true

#指定ollama的api地址

OLLAMA_API_BASE_URL=host.docker.internal::11434

上面的url不要修改。

修改完是上述参数以后，需要设置下系统的环境变量，如果不设置环境变量，可能网络无法访问。

做完上述工作，我们就需要从网上拉镜像文件记住目录位置是dify下面的docker下面输入docker compose up -d，如果不在这个下面输入，命令不生效。

如果出现下图错误，需要在docker中修改镜像地址。镜像地址可以到百度中查询下，找到以后需要添加到docker中，具体添加的位置是下下图开始

添加完成以后，继续执行docker compose up -d 看到下面绿色的说明是成功部署，中间如果还是很慢，网络需要“海外的权限”。

安装成功以后在docker容器中就会看到下面绿色的节点，dify成功部署到容器中。

5 启动Dify

输入地址127.0.0.1，第一次需要比较长的时间。

如果出现下面的错误，可以先把doker停止，，然后docker compose up -d下服务，可能资源不够。

停止的步骤如下：

如果服务器能成功启动，输入127.0.0.1就要可以进入下面的页面，写邮箱用户名和密码即可，需要记住，以后每次登录需要。

系统登录进来就下面的页面。页面主要就三大块，一块是工作室那一排，一块是下面的磁贴，还有一块就是后台设置。我们从后台设置开始。

我们需要和deepseek大模型关联，在设置中找到模型供应商的选项。

安装ollama插件，安装以后需要刷新下页面。

我们可以看到上面就出现一个待配置的菜单，我们添加模型。

添加模型有两个参数需要设置，一个是模型名称，一个是基础地址，模型名称我们可以通过ollama list命令找到名字，复制进去就可以，地址就是是固定，我开始想把域名修改，但是发现保存的时候不生效。

注意：host.docker.internal这个地址不要随便修改，开始我就这里耽误很久。

上述工作完成以后，我们就需要设置人机交互，在主页面中我们看到创建空白应用的选项。

选择聊天和输入对应的名字，创建的以后一直报错，报错的页面具体如下，

这个问题困扰我一天，后来发现这个一个bug，web服务的代码有错误，

具体修复可以参考下面文章

https://blog.csdn.net/weixin_62828995/article/details/145835023

然后我们看到下面的界面就可以人机交互。上面就是大模型的本地部署全部工作，里面包含我出错的解决方式

。

下面就要开始做知识库的创建，我们这个时候还需要下载一个模型，是关于本地知识库的。ollama pull bge-m3，直接从网上下载就好，大约有1个多G的大小，下载玩以后需要配置对应的关系。

我们安装好以后dify可以看到两个大模型，一个是deekseek一个是bge-m3.下面开始创建知识库，切换到知识库的菜单，选择创建知识库，知识库的格式有很多种，我演示的word。

word文档里面就两行数据，一行是提问，一行是回答，在这里为强调系统会参考我提供的数据，我特别把名字和扛把子加进去。

切换到聊天机器人的页面，选择上下文，就是我准备的word文档。

我输入问题，可以发现大模型是参考我的word问答那个做总结的，下图中的红框就是我在word文档中输入的训练参数。

同样的问题，如果我不提供上下文，我们看大输出的结果和有word文档的结果差异还是蛮大的，所以知识库的搭建还需要提前准备好一些回答的素材。

以上就是从大模型的搭建到本地知识库创建的所有过程。后面有时间会研究dify的源代码，看看修改什么参数，能让机器人变得更智能。