本地部署deepseek及应用场景
智算风云DeepSeek+知识库本地化部署操作说明书2025年2月修改历史日期版本号作者修改说明更改请求号 2025/2/12V0.9康明吉 2025/2/14V1.0李幼庭 2025/2/28V1.1李幼庭增加了应用场景:编写周报、文件分析和外挂知识库注释:“变更请求号”为文档正式发布后需要变更时的编号。目录第一章 引言 1.1. 阅读对象 1.2. 相关术语 第二章 安装部署 2.1. 准备安
智算风云
DeepSeek+知识库
本地化部署操作说明书
2025年2月
修改历史
日期 |
版本号 |
作者 |
修改说明 |
更改请求号 |
2025/2/12 |
V0.9 |
康明吉 |
||
2025/2/14 |
V1.0 |
李幼庭 |
||
2025/2/28 |
V1.1 |
李幼庭 |
增加了应用场景:编写周报、文件分析和外挂知识库 |
|
注释:“变更请求号”为文档正式发布后需要变更时的编号。
目录
蛇年来临,DeepSeek崛起,象哪吒闹海一样风云全球,比美ChatGpt4,价格乃二十分之一,成亿成亿的网民争先下载访问,搞得官网很累,回答一两问题后就不愿意回你了。不过听说已经请了我们的算力座天翼云仙来帮忙,很快就能解决问题。
DS可以编写文案、长文本总结,提取文件中心思想、纲要....,当在享受DS带来便利时,如果把内部资料传到互联网处理
,造成泄密的话,那网信安可不答应了...
必须要有解决方案,万能开源的DS提供了本地化部署方案,下面我们一步一步带你在本机上安装DS,包你学会、满意,在安装过程中任何疑问都可以联系我(13316099086)。
本文档的预期读者对象为公司职能部门办公人员,想在本地部署应用DS。
请您去问DS解释,它会说的更加详细、明了。
到官网下载(https://ollama.com/)。这里,我直接把下载好的文件发给你。
C盘空间非常富裕的同事可以忽略这一步。
在磁盘空间比较空余的盘新建文件夹,命名如ollama,然后在个人电脑的“设置”-“关于”-“高级系统设置”里面添加系统环境变量OLLAMA_MODELS,环境变量的值为新建文件夹的路径:
。
安装ollama,点击安装文件一直下一步
- 找到下载那好的exe文件,双击进行安装。
- 直接点击这里的install进行软件的安装,等待几分钟即可。
- 如何判断我们的ollama如何安装完毕呢?我们直接win+R输入cmd调出命令行进入到命令模式,输入命令ollama -v查看是否安装成功,输入完命令出现了版本号的话就说明你安装成功了
4)重启ollama.设置的系统环境变量要重启ollama才会生效,所以在右下角鼠标右键点击ollama图标,选择quit ollama。
之后在windows的徽标键这里点击,选择ollama图标就可再次启动ollama。
在cmd窗口中运行命令ollama pull deepseek-r1:7b,即可下载对应的7B版本模型权重文件,也可替换成8B或14B的模型,具体视个人电脑的内存容量而定。一般7B和8B的模型版本可以满足日常使用,根据公司办公电脑情况,推荐7B。
如果你的下载速度很慢的话,你可以CTRL+C先退出这个命令,然后再输入命令重新进行下载,还是会从上次的下载进度继续下载的,这样做,可以发现速度快了些。
这里一般需要下载2个小时,你可以同时去做其他事情。
如果你不想等待那么长时间,你可以联系我,我1分钟内帮你搞定这漫长的下载。
看到success后,可以在命令行会话中输入你要问的问题,本地部署反映还是很灵敏的。退出会话重进入,“ollama run deepseek-r1:7b”.
我们可以输入命令ollama list重新查看我们已经下载好了的模型,那么我们可以发现这里的R1 7B是我们刚刚下载好的模型。
我们打开chat的官网进行下载操作,我们直接点击免费下载就行了,当然了这里也可以直接使用我发给你的文件,更快。
我们双击安装包,点击下一步
选择好我们对应的文件夹进行安装操作,安装目录的话我们可以自行进行设置,尽量放在D盘,不要放在C盘
然后我们就可以在这个可视化的界面进行聊天了,可以发现反应的速度很快,回答的话也很智能,那么到这里的话我们本地部署的R1就可以使用了。
铁子们,是不是很简单呀!那就开开心心用起来吧,在过程中如有问题,随时找我,包你快速搞定、学会、满意!
在输入栏将工作内容提交给模型,比如“周一开工作会议,周二周三分别去 了A客户和B客户拜访,周三去机房检查,周五参加培训班,同时周一到周五跟进项目C,写成周报”,模型会进行分析并提示缺少那些数据或内容,可反复提问不断完善
下载将一份复杂的文件上传,要求将其中“交付”相关的问题进行处理
DeepSeek最强外挂!用知识库给AI喂数据,让它更懂你
如何让DeepSeek结合我们企业的内部知识生成回答?
如何让DeepSeek根据小红书的爆款笔记,生成内容?
想让AI结合本地信息,每次创建会话时都要上传文件,还限制文件大小,太麻烦了,有没有方法优化?
我的回答是:搭建个人知识库!
1.搭建个人知识库,就可以让DeepSeek更好、更准确地为你生成回答。
2.可以随时增减更新,不用频繁上传参考文件,无需任何代码知识,使用起来简单又高效。
什么是个人知识库,它是怎么起作用的呢?
如果把DeepSeek比作我们的大脑,对话就是考试,DeepSeek的回答就是基于我们学过的知识(用于训练的数据)。在知识库内容里“学一学“、“找一找”,生成的回答就更准确。
搭建个人知识库的三种方式,满足大家不同场景下的需求:
1.本地部署DeepSeek+搭建知识库
优点:无需联网,数据隐私性强,完全免费;
缺点:对配置有一定的要求,基本上用不了DeepSeek-R1满血版;
适合对数据隐私需求比较高的企业;
2.API调用DeepSeek+搭建知识库
优点:方便,支持DeepSeek-R1满血版,可用大模型非常多;
缺点:需要消耗Tokens,长期使用会产生一定的费用;
3.直接使用DeepSeek+知识库一站式工具
优点:使用简单,支持DeepSeek-R1满血版,可以使用其他人共享的知识库;
缺点:PC端仅支持上传本地文件;
适合小白用户,不需要本地部署,就能快速拥有一个个人知识库,还完全免费。
本地部署DeepSeek搭建知识库,需要用到Ollama和AnythingLLM。
我们需要用Ollama下载DeepSeek,不会的同学可以参考前面本地部署DeepSeek的教程。
下载好DeepSeek后,我们进入系统的环境变量设置。(路径:右键单击我的电脑-高级系统设置)
打开AnythingLLM官网,选择对应的系统版本进行下载。下载完成之后直接安装。
接下来就是创建个人知识库的重点了!我们点开设置图标。
在人工智能提供商-LLM首选项里,选择Ollama作为LLM提供商,在Ollama Base URL里输入http://0.0.0.0:11434。
返回首页,点击+新工作区。接下来我们就可以在知识库里上传内容了。
它支持上传本地文件,也可以输入网页链接上传,所以不管是我们总结内化的文件,还是在网上刷到的有用的信息,都可以用来丰富知识库。
上传之后的文件会先到左边的暂存区域(所有知识库共用,所以在有多个知识库的情况下,我们最好在暂存区建文件夹分别管理)。
右方工作区就是知识库的全部内容,可以随时新增或者删减来优化它。
我们在对话界面,选择工作区,DeepSeek就会根据里面的文档内容生成更精确的回答。
DeepSeek-R1满血版+知识库
可以通过API调用DeepSeek,再搭建知识库,在搭建知识库的时候,还需要选择嵌入模型。
我们来到硅基流动的官网,点击API密钥。新建API密钥,单击复制密钥备用。
打开Cherry Studio官网,下载应用。
安装完成后进入应用,点击左下角的设置。在模型服务里选择硅基流动,输入我们刚才新建的密钥,点击检查。
检查一下DeepSeek-R1,弹出连接成功的提醒,就说明可以正常使用DeepSeek-R1满血版对话啦。
如果不成功,需要点击页面中的管理,手动添加一下DeepSeek-R1模型。
我们还需要回到硅基流动的官网,去配置一个嵌入模型。
嵌入模型可以将我们上传的文件转换成计算机容易理解的数字,然后储存到它的向量数据库中。我们在向它提问时,它就会通过RAG技术,在数据库中搜索相关的答案,最终输出给我们。
在模型广场,选择嵌入。
点击复制模型名称:BAAI/bge-m3。
回到Cherry Studio界面,点击管理。点击+号,添加嵌入模型。
填写知识库名称并选择嵌入模型为BAAI/bge-m3,点击确定。
上传文件的页面,它支持文件形式非常多。方便我们随时查看知识库的内容。
我们回到对话界面,在最下方的对话框选择DeepSeek-R1模型和刚才创建好的知识库,就可以开始使用了。
生成的回答会在最后显示引用内容以及具体引用的文档信息。
用ima.copilot一键创建知识库,界面简洁,操作简单,还完全免费。
不需要多种工具搭配使用,直接对话DeepSeek-R1满血版。
我们需要下载ima.copilot的客户端。打开后,点击首页的知识库。
点击创建知识库。
输入知识库名称和描述。
点击上传文件。
ima.copilot很方便的一点是,它可以和小程序端通用。
当我在手机上看到一篇特别好的公众号时,可以点击右上角的”..."选择更多打开方式,一键存入我的知识库。
在知识库的界面,我们可以直接和DeepSeek-R1满血版开始对话。
ima.copilot最强大的地方在于,就算你不懂得搭建知识库,你也可以使用别人共享给你的知识库。
更多推荐
所有评论(0)