上篇分享了 [国产AI之光!DeepSeek本地部署教程,效果媲美GPT-4],今天分享下deepseek +本地知识库的部署。

前排提示,文末有大模型AGI-CSDN独家资料包哦!

先画个数据流程流程。

基于Cherry Studio搭建(首选)

基于本地的deepseek搭建个人知识库。 使用本地服务,安装嵌入模型,用于将文本数据转换为向量标识的模型。

#命令行窗口执行拉取下即可。  
ollama pull bge-m3  
pulling manifest  
pulling daec91ffb5dd... 100% ▕████████████████████████████████████████████████████████▏ 1.2 GB  
pulling a406579cd136... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB  
pulling 0c4c9c2a325f... 100% ▕████████████████████████████████████████████████████████▏  337 B  
verifying sha256 digest  
writing manifest  
success  


下载cherry studio

根据自己的环境下载cherry studio

安装的时候,注意安装到其他磁盘,不要在c盘安装。

本地模型知识库
配置本地ollama

操作步骤:

  1. 找到左下角设置图标

  2. 选择模型服务

  3. 选择ollama

  4. 点击管理

  5. 点击模型后面的加号(会自动查找到本地安装的模型)

  6. 减号表示已经选择了

知识库配置

  1. 选择知识库

  2. 选择添加

  3. 选择嵌入模型

  4. 填写知识库名称

添加知识文档

cherry可以添加文档,也可以添加目录(这个极其方便),添加完以后出现绿色的对号,表示向量化完成。

搜索验证

  1. 点击搜索知识库

  2. 输入搜索顺序

  3. 点击搜索 大家可以看下我搜索的内容和并没有完全匹配,不过已经和意境关联上了。

大模型处理

  1. 点击左上角的聊天图标

  2. 点击助手

  3. 点击默认助手(你也可以添加助手)

  4. 选择大模型

  5. 选择本地deepseek,也可以选择自己已经开通的在线服务

  6. 设置知识库(不设置不会参考)

  7. 输入提问内容

  8. 发问

大家可以看到deepseek已经把结果整理了,并告诉了我们参考了哪些资料。

满血版

差别就是大模型的选择,在模型服务里配置下在线的deepseek服务即可。

如果你的知识库有隐私数据,不要联网!不要联网!不要联网!

方案二 基于AnythingLLM搭建

下载AnythingLLM Desktop

下载以后,安装的时候,注意安装到其他磁盘,不要在c盘安装。

AnythingLLM 配置

点击左下角的设置

1. 点击 LLM首选项

2. 选择ollama作为模型提供商

3. 选择已安装的deepsek 模型

4. 注意下地址

5. 保存

1. 向量数据库不用动即可,使用自带的(ps:如果没有选择安装目录,默认在c盘,如果后续有需要可以挪走)

2. 嵌入模型配置

3. 可以使用自带的,也可以使用ollama安装好的

4. 配置完点击左下角的返回即可

配置工作区

  1. 新建的工作区

  2. 默认会话

  3. 上传知识库文档

将文档拖拽到上传框。ps: 只需要拖拽一次就行了,它在聊天框能看到。不知道为什么,我这拖拽以后,没看到上传成功,然后又拖拽了几次。然后聊天框就好多份。

当然你可以配置远程文档,confluence、github都可以。

ps: 需要注意的是文档在工作区间内是共用的。

api功能

AnythingLLM 可以提供api访问的功能,这个可以作为公共知识库使用。

总结

整个操作下来,AnythingLLM 的体验没有cherry好。AnythingLLM就像一个包壳的web应用(后来查了下,确实是)。AnythingLLM 得具备一定的程序思维,给技术人员用的。非技术人员还是使用cherry吧。作为喜欢折腾的开发人员,我们可以结合dify使用。

最后

个人知识库+本地大模型的优点

  • 隐私性很好,不用担心自己的资料外泄、离线可用

  • 在工作和学习过程中对自己整理的文档,能快速找到,并自动关联

  • 在代码开发上,能参考你的开发习惯,快速生成代码

读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!
在这里插入图片描述

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉获取方式:

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐