智算风云

DeepSeek+知识库

本地化部署操作说明书

20252

修改历史

日期

版本号

作者

修改说明

更改请求号

 2025/2/12

V0.9

康明吉

 2025/2/14

V1.0

李幼庭

 2025/2/28

V1.1

李幼庭

增加了应用场景:编写周报、文件分析和外挂知识库

注释:“变更请求号”为文档正式发布后需要变更时的编号。

目录

第一章 引言 

1.1. 阅读对象 

1.2. 相关术语 

第二章 安装部署 

2.1. 准备安装文件 

2.2. 安装ollama 

2.2.1. 设置ollama系统环境变量 

2.2.2. 安装ollama 

2.3. 部署DeepSeek R1模型 

2.4. 安装chatBox 

第三章 应用场景(周报与文件分析) 

3.1. 模型周报编写 

3.2. 模型文件分析 

第四章 外挂知识库 

4.1. Ollama+AnythingLLM 

4.2. 硅基流动API+Cherry Studio 

4.3. 一站式R1+知识库ima.copilot 

  • 引言

蛇年来临,DeepSeek崛起,象哪吒闹海一样风云全球,比美ChatGpt4,价格乃二十分之一,成亿成亿的网民争先下载访问,搞得官网很累,回答一两问题后就不愿意回你了。不过听说已经请了我们的算力座天翼云仙来帮忙,很快就能解决问题。

DS可以编写文案、长文本总结,提取文件中心思想、纲要....,当在享受DS带来便利时,如果把内部资料传到互联网处理

,造成泄密的话,那网信安可不答应了...

必须要有解决方案,万能开源的DS提供了本地化部署方案,下面我们一步一步带你在本机上安装DS,包你学会、满意,在安装过程中任何疑问都可以联系我(13316099086)。   

    1. 阅读对象

本文档的预期读者对象为公司职能部门办公人员,想在本地部署应用DS。

    1. 相关术语

请您去问DS解释,它会说的更加详细、明了。

  • 安装部署
    1. 准备安装文件

到官网下载(https://ollama.com/)。这里,我直接把下载好的文件发给你。

    1. 安装ollama
      1. 设置ollama系统环境变量

C盘空间非常富裕的同事可以忽略这一步。

在磁盘空间比较空余的盘新建文件夹,命名如ollama,然后在个人电脑的“设置”-“关于”-“高级系统设置”里面添加系统环境变量OLLAMA_MODELS,环境变量的值为新建文件夹的路径:

      1. 安装ollama

安装ollama,点击安装文件一直下一步

  1. 找到下载那好的exe文件双击进行安装
  2. 直接点击这里的install进行软件的安装,等待几分钟即可

  1. 如何判断我们的ollama如何安装完毕呢?我们直接win+R输入cmd调出命令行进入到命令模式,输入命令ollama -v查看是否安装成功,输入完命令出现了版本号的话就说明你安装成功了

4)重启ollama.设置的系统环境变量要重启ollama才会生效,所以在右下角鼠标右键点击ollama图标,选择quit ollama。

之后在windows的徽标键这里点击,选择ollama图标就可再次启动ollama。

    1. 部署DeepSeek R1模型

在cmd窗口中运行命令ollama pull deepseek-r1:7b,即可下载对应的7B版本模型权重文件,也可替换成8B或14B的模型,具体视个人电脑的内存容量而定。一般7B和8B的模型版本可以满足日常使用,根据公司办公电脑情况,推荐7B。

如果你的下载速度很慢的话,你可以CTRL+C先退出这个命令,然后再输入命令重新进行下载,还是会从上次的下载进度继续下载的,这样做,可以发现速度快了些

这里一般需要下载2个小时,你可以同时去做其他事情。

如果你不想等待那么长时间,你可以联系我,我1分钟内帮你搞定这漫长的下载。

看到success后,可以在命令行会话中输入你要问的问题,本地部署反映还是很灵敏的。退出会话重进入,“ollama run deepseek-r1:7b”.

我们可以输入命令ollama list重新查看我们已经下载好了的模型,那么我们可以发现这里的R1 7B是我们刚刚下载好的模型

    1. 安装chatBox

我们打开chat的官网进行下载操作,我们直接点击免费下载就行了,当然了这里也可以直接使用我发给你的文件,更快。

我们双击安装包,点击下一步

选择好我们对应的文件夹进行安装操作,安装目录的话我们可以自行进行设置,尽量放在D盘,不要放在C盘

然后我们就可以在这个可视化的界面进行聊天了,可以发现反应的速度很快,回答的话也很智能,那么到这里的话我们本地部署的R1就可以使用了

铁子们,是不是很简单呀!那就开开心心用起来吧,在过程中如有问题,随时找我,包你快速搞定、学会、满意!

  • 应用场景(周报与文件分析)
    1. 模型周报编写

在输入栏将工作内容提交给模型,比如“周一开工作会议,周二周三分别去 了A客户和B客户拜访,周三去机房检查,周五参加培训班,同时周一到周五跟进项目C,写成周报”,模型会进行分析并提示缺少那些数据或内容,可反复提问不断完善

    1. 模型文件分析 

下载将一份复杂的文件上传,要求将其中“交付”相关的问题进行处理

  • 外挂知识库

DeepSeek最强外挂!用知识库给AI喂数据,让它更懂你

如何让DeepSeek结合我们企业的内部知识生成回答?

如何让DeepSeek根据小红书的爆款笔记,生成内容?

想让AI结合本地信息,每次创建会话时都要上传文件,还限制文件大小,太麻烦了,有没有方法优化?

我的回答是:搭建个人知识库!

1.搭建个人知识库,就可以让DeepSeek更好、更准确地为你生成回答。

2.可以随时增减更新,不用频繁上传参考文件,无需任何代码知识,使用起来简单又高效。

什么是个人知识库,它是怎么起作用的呢?

如果把DeepSeek比作我们的大脑,对话就是考试,DeepSeek的回答就是基于我们学过的知识(用于训练的数据)。在知识库内容里“学一学“、“找一找”,生成的回答就更准确。

搭建个人知识库的三种方式,满足大家不同场景下的需求:

1.本地部署DeepSeek+搭建知识库

优点:无需联网,数据隐私性强,完全免费;

缺点:对配置有一定的要求,基本上用不了DeepSeek-R1满血版;

适合对数据隐私需求比较高的企业;

2.API调用DeepSeek+搭建知识库

优点:方便,支持DeepSeek-R1满血版,可用大模型非常多;

缺点:需要消耗Tokens,长期使用会产生一定的费用;

3.直接使用DeepSeek+知识库一站式工具

优点:使用简单,支持DeepSeek-R1满血版,可以使用其他人共享的知识库;

缺点:PC端仅支持上传本地文件;

适合小白用户,不需要本地部署,就能快速拥有一个个人知识库,还完全免费。

    1. Ollama+AnythingLLM

本地部署DeepSeek搭建知识库,需要用到Ollama和AnythingLLM。

我们需要用Ollama下载DeepSeek,不会的同学可以参考前面本地部署DeepSeek的教程。

下载好DeepSeek后,我们进入系统的环境变量设置。(路径:右键单击我的电脑-高级系统设置)

打开AnythingLLM官网,选择对应的系统版本进行下载。下载完成之后直接安装。

接下来就是创建个人知识库的重点了!我们点开设置图标。

在人工智能提供商-LLM首选项里,选择Ollama作为LLM提供商,在Ollama Base URL里输入http://0.0.0.0:11434。

返回首页,点击+新工作区接下来我们就可以在知识库里上传内容了。

支持上传本地文件,也可以输入网页链接上传,所以不管是我们总结内化的文件,还是在网上刷到的有用的信息,都可以用来丰富知识库。

上传之后的文件会先到左边的暂存区域(所有知识库共用,所以在有多个知识库的情况下,我们最好在暂存区建文件夹分别管理)。

右方工作区就是知识库的全部内容,可以随时新增或者删减来优化它。

我们在对话界面,选择工作区,DeepSeek就会根据里面的文档内容生成更精确的回答。

    1. 硅基流动API+Cherry Studio

DeepSeek-R1满血版+知识库

可以通过API调用DeepSeek,再搭建知识库,在搭建知识库的时候,还需要选择嵌入模型。

我们来到硅基流动的官网,点击API密钥。新建API密钥,单击复制密钥备用。

打开Cherry Studio官网,下载应用。

安装完成后进入应用,点击左下角的设置。在模型服务里选择硅基流动,输入我们刚才新建的密钥,点击检查。

检查一下DeepSeek-R1,弹出连接成功的提醒,就说明可以正常使用DeepSeek-R1满血版对话啦。

如果不成功,需要点击页面中的管理,手动添加一下DeepSeek-R1模型。

我们还需要回到硅基流动的官网,去配置一个嵌入模型。

嵌入模型可以将我们上传的文件转换成计算机容易理解的数字,然后储存到它的向量数据库中。我们在向它提问时,它就会通过RAG技术,在数据库中搜索相关的答案,最终输出给我们。

在模型广场,选择嵌入。

点击复制模型名称:BAAI/bge-m3

回到Cherry Studio界面,点击管理。点击+号,添加嵌入模型。

填写知识库名称并选择嵌入模型为BAAI/bge-m3,点击确定。

上传文件的页面,它支持文件形式非常多。方便我们随时查看知识库的内容。

我们回到对话界面,在最下方的对话框选择DeepSeek-R1模型和刚才创建好的知识库,就可以开始使用了。

生成的回答会在最后显示引用内容以及具体引用的文档信息。

    1. 一站式R1+知识库ima.copilot

用ima.copilot一键创建知识库,界面简洁,操作简单,还完全免费。

不需要多种工具搭配使用,直接对话DeepSeek-R1满血版。

我们需要下载ima.copilot的客户端。打开后,点击首页的知识库。

点击创建知识库。

输入知识库名称和描述。

点击上传文件。

ima.copilot很方便的一点是,它可以和小程序端通用。

当我在手机上看到一篇特别好的公众号时,可以点击右上角的”..."选择更多打开方式,一键存入我的知识库。

在知识库的界面,我们可以直接和DeepSeek-R1满血版开始对话。

ima.copilot最强大的地方在于,就算你不懂得搭建知识库,你也可以使用别人共享给你的知识库。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐