
DeepSeek接入本地私有知识库,有电脑就能搞,这个方案可以封神了!【喂饭级教程】
之前有一篇文章介绍了通过腾讯云的LKE平台搭建知识库,但是有朋友担心上传云端的资料泄露。今天咱们直接搭建本地知识库(数据在本地,私有),再也不用担心数据泄露啦~本期用到的两位主角分别是性价比最高的大模型DeepSeek(V3、R1),和知识库效果之王FastGPT(开源智能体平台)。DeepSeek + FastGPT 可谓强强联手,确实可以封神了!大家可以先看看,我在FastGPT上传公众号文章
之前有一篇文章介绍了通过腾讯云的LKE平台搭建知识库,但是有朋友担心上传云端的资料泄露。
今天咱们直接搭建本地知识库(数据在本地,私有),再也不用担心数据泄露啦~
本期用到的两位主角分别是性价比最高的大模型DeepSeek(V3、R1),和知识库效果之王FastGPT(开源智能体平台)。
DeepSeek + FastGPT 可谓强强联手,确实可以封神了!
大家可以先看看,我在FastGPT上传公众号文章搭建知识库,结合DeepSeek的问答效果,回答的很全面(完全可以帮我去回答大家的问题,解放双手啦)
DeepSeek接入个人知识库 整个流程如下:
1.先在本地部署FastGPT;
2.获取火山引擎的DeepSeek API(模型id、API地址、apikey)
3.将DeepSeek接入FastGPT;
4.在FastGPT构建知识库;
5.将知识库和DeepSeek结合使用;
其中1、2、3步骤在之前的文章中已经有喂饭级教程
本地部署FastGPT,并接入DeepSeek
我们需要用到目前速度最快的DeepSeek API之一:火山引擎DeepSeek API
获取方式也在上面这篇文章中有介绍。
下面这篇有对部分厂商DeepSeek API速度做测评,感兴趣的朋友可以看看
DeepSeek API测速
今天我们重点讲如何在本地的FastGPT中快速搭建个人知识库,以及将知识库结合DeepSeek使用。
PS:本系列并不简单,适合动手能力强的朋友
好了话不多说,开始喂饭~
补充:FastGPT接入DeepSeek(V3和R1)
补充说明一下,最新版的FastGPT支持直接在页面配置大模型,所以,也可以不用之前所讲的one-api中转站。
我们先在FastGPT接入DeepSeek V3
如下图,我们在fastgpt账号->模型提供商->模型配置->新增模型->语言模型
就可以直接配上火山引擎的DeepSeek API
将火山引擎中DeepSeek-V3的模型id复制下来,粘贴到下图的模型id位置,可以给模型起一个别名,方便后续区分。
然后将火山引擎申请的apikey粘贴到下图中的【自定义请求key】
并填写火山的API地址
火山引擎 大模型的API地址:
https://ark.cn-beijing.volces.com/api/v3/chat/completions
我们配置火山引擎的DeepSeek-R1也是类似操作,只不过需要勾选上【支持输出思考】
随后,我们可以在工作台创建一个测试智能体,AI模型选择刚才新建的火山引擎DeepSeek-R1,在右侧的调试预览页面发送问题测试
FastGPT搭建个人知识库
其实之前写过一篇FastGPT搭建个人知识库教程,不过使用的是FastGPT Saas版。
FastGPT Saas版搭建知识库
本次讲如何使用本地部署的开源FastGPT搭建个人知识库。
FastGPT构建知识库需要用到索引模型和重排模型
这两种模型我们都可以到 硅基流动 免费白嫖~
硅基流动地址:https://cloud.siliconflow.cn/models
如下,硅基流动 有5个索引模型可选,其中4个是免费的~
在API密钥页面,新建硅基流动的apikey,复制保存
我们还是和刚才新增火山DeepSeek API一样,在FastGPT新增索引模型
选择配置对中文更友好、且免费的:BAAI/bge-large-zh-v1.5
按照如下填写配置,然后点击确定
硅基流动索引模型请求地址:https://api.siliconflow.cn/v1/embeddings
为了知识库检索效果更优,我们还需要配置一个重排模型
在FastGPT新增重排模型
重排模型选择免费的:BAAI/bge-reranker-v2-m3
到这里免费的索引模型和重排模型就配置好啦~
接下来我们开始搭建FastGPT的知识库。
在FastGPT 知识库这里,新建->通用知识库
索引模型选择刚刚配置好的 BAAI/bge-large-zh-v1.5
文本理解模型选择我们配置的 火山引擎DeepSeek-V3
创建成功之后,我们选择导入文本数据集
这里我选择本地文件
把准备好的知识库资料(是部分公众号文章的txt文件)
虽然FastGPT支持直接上传pdf等,但是实测转换成txt或者md的效果会更好。推荐使用textIn、或者doc2X等工具进行转换。
上传完成之后点击下一步
这里一定要选择 问答拆分,然后点击下一步
点击开始
可以看到资料都在索引中了,接下来要做的就是等待
等到所有资料状态都变成 已就绪,那么知识库就初步搭建完毕啦
DeepSeek接入个人知识库
知识库创建完成之后需要关联到DeepSeek智能体使用
先进入之前创建的FastGPT智能体,关联知识库->选择
选择刚才创建的 公众号文章知识库,点击完成
配置知识库参数(如下图)
选择混合检索,勾选上结果重排
引用上限可以先设置到4000左右,最低相关度0.5
PS:这两个值后续可以根据回答效果去调整,以优化知识库检索效果
引用上限:每次检索的最大token数量。中文约1字=1.7 tokens
最低相关度:只有评分大于设定相关度的文档片段才会被提取出来
开启问题优化,选择V3模型
当然,知识库问答效果是需要调优的
总之,当你觉得根据知识库回答的内容过于庞杂时,就把最低相关度调高(一般0.7左右)
当你觉得回答内容过于简短(有缺失),可适当把最低相关度调低(0.3左右)
引用上限一般3000左右即可。
不过上面的建议值仅供参考,具体需要您不断测试,不断调整,最终得到一个更适配业务的参数值。
至于prompt,我的prompt很简单:
你是公众号:袋鼠帝AI客栈,的智能小助理,帮助用户找到相关AI文章内容,用猫娘的语气回复
回复效果如下,还不错,至少DeepSeek-V3完全能理解,建议写prompt的时候表达清楚意思即可,一开始不用尝试复杂的prompt。
如果要实现更复杂的业务逻辑,可以上工作流,FastGPT的工作流节点虽然还不够丰富,但该有的也都有了。
完成上述操作之后,这个搭载了DeepSeek的智能体就成功接入个人知识库啦~
后续就可以根据个人知识库来回答问题,做你的最强赛博数字分身!
当然只有知识库是本地的,还不能说是绝对安全,如果DeepSeek也用本地的,那么整个链路将达到最安全的状态(无需联网都可以使用)。
如果这篇文章阅读量过万,下篇给大家分享本地DeepSeek + 本地知识库
如果您还有更好的DeepSeek接入知识库方案,欢迎评论区聊聊~
AI大模型学习路线
如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!
扫描下方csdn官方合作二维码获取哦!
这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

更多推荐
所有评论(0)