
10分钟本地安装属于自己的基于Deepseek大模型的知识库,小白级,再也不用将保密文件上传到互联网了!
上一篇文章讲解使用ollama来在自己的计算机上安装最火爆的deepseek大模型程序。实现了deepseek命令行自由([本地免费使用最强开源大模型DeepSeek傻瓜安装指南,再也不担心上不去ChatGPT了。今天继续讲解如何安装一个像chatgpt一样的图形界面来访问本地安装的deepseek大模型。不到10分钟你就可以使用deepseek模型来帮助你回答任何问题。
上一篇文章讲解使用ollama来在自己的计算机上安装最火爆的deepseek大模型程序。实现了deepseek命令行自由([本地免费使用最强开源大模型DeepSeek傻瓜安装指南,再也不担心上不去ChatGPT了。]
今天继续讲解如何安装一个像chatgpt一样的图形界面来访问本地安装的deepseek大模型。不到10分钟你就可以使用deepseek模型来帮助你回答任何问题。
如何你想让大模型来分析或者回答你自己私有的文件材料,你还可以使用这些界面程序来构建你自己的本地知识库,大模型在你的机器上就可以分析你的文件,再也不用上传到互联网,承担信息泄露风险了。
先上一个安装后,使用自己的本地投研报告文件集来问答的使用效果图:
回顾一下上一篇文章介绍了大模型本地部署模式一:
使用Ollama部署deepseek模型。我们安装了ollama,然后ollama可以调用大模型权重文件,但我们只能从windows命令行形式访问大模型,体验不好。
今天我来介绍大模型本地部署模式二:
使用GPT4all图形应用程序替代ollama和cmd程序,而且可以很简单地构建属于自己的文件知识库,再也不用上传文件到互联网上了,产生信息泄露的风险。
模式二中,GPT4ALL是nomic-ai开发的开源软件。GPT4All是能够在你的笔记本或者台式计算机运行的大型语言模型(LLMs)。它并不强制需要GPU,CPU也能流畅地运行该语言模型。它大大简化了大模型的本地安全使用。
模式二本地部署使用只需要三个步骤,你就可以使用图形化界面来与deepseek进行聊天了。加上第四步,就可以构建自己的私有知识库了。依据你网速快慢,其中费时主要是第2步和第3步下载文件。其它费时不会超过10分钟。
步骤1. 下载GPT4all安装程序
步骤2. 安装GPT4All程序。
步骤3. 下载大模型权重文件。
步骤4. 导入你的私有文件,构建RAG私有知识库。
开练!
步骤1. 下载GPT4all安装程序
访问著名开源 github 或者到nomic.ai 网站下载GPTAll安装程序。
https://github.com/nomic-ai/gpt4all?tab=readme-ov-file
在github的界面上滑动到下面安装程序链接,选择你的平台:windows或者mac,点击下载
步骤2. 安装GPTAll程序。
在你的下载文件夹中找到刚才下载的GPT4all安装程序,
点击安装运行后出现下面界面:
可以点击next,然后设置安装目录,你可以使用缺省,但我一般把它安装到简单的路径中,例如c:\ai\gpt4all 目录下。
然后一路点击"next" 按钮。
然后出现下面界面,点击”install“ 按钮。
程序会继续下载相关程序,我们就等待下载和安装结束。
到这一步时就按照结束了,点击”next“.
点击”finsihed“
安装完成后,到windows 开始菜单中就可以看见这个GPT4all了。
步骤3. 下载大模型权重文件。
打开GPTAll。 点击”Find Models" 来下载大模型权重文件。
在这个模型探索界面,下滑可以找到各种大模型说明和权重下载按钮,选择自己喜欢的。你的计算机配置一般都可以选择DeepSeek-R1-distilled 1.5B 或者7B。 我们先选择7B的,点击”download"
因为模型权重文件网站可能是无法直接连接的,需要科学上网。需要权重的文件的同学关注本公众号后可以后台输入:deepseek7b, 或者deepseek1.5b 来获得70亿和15亿参数大模型权重网盘下载链接。
模型权重下载后,会放到一个目录下,这个目录你可以点击屏幕左侧的“settings” 页面查看到:
下载完成, 点击左边菜单栏“Home"回到主界面, 点击”Start Chatting“
在上边的模型选择list中选择Deepseek,你就可以开始聊天了。 聊天界面与其它大模型聊天界面差不多,这里就不介绍了。
这时候如果你想构建属于自己的本地RAG知识库,就需要告诉GPT4All哪里找到你的本地文件。这就需要进行步骤4.
步骤4. 导入你的私有文件,构建RAG私有知识库。
4.1 点击LocalDocs 菜单,打开文件Collection构建界面,点击Add Doc Collection
4.2 你可以构建多个Collection,我们建立第一个,输入Name和文件夹名称。文件夹中放你需要大模型提取的文件。
4.3. 点击”Create Collection“ 系统开始构建知识库。这里注意到,你还需要使用Embedding大模型。系统需要embedding大模型将你的文件编码成机器能处理的语言。GPT4ALL安装时会自带这个nomic-embed-text-v.15 模型。如果看不到的话,也是使用Model下载界面先下载这个模型。
系统Embedding时,观察这个百分比,也许需要几分钟。
4.4 当LocalDocs界面中的Collection显示”ready" 状态后,文件就都embedding好了。 就可以开始使用了。
4.5 回到Chatting界面。 在Chatting界面右上角有个”local doc“按钮,选择你刚刚建立的Collection,你的聊天问题就先与这个Collection中的文件查询,然后将文件查询结构输入大模型融合回答你的问题了。
输入你的问题后,回车。 就可以看到模型开始从你的”投研报告“ 知识库中开始寻找。
最后模型返回你需要的结果:
至此,恭喜!你就完成了本地知识库的搭建!
还有很多可以设置优化的地方,大家有问题可以留言。
一定要记住关注,转发,点赞哟!!!
最后需要解释一点,我们讨论的1.5B,7B,14B,70亿deepseek大模型都是经过蒸馏的meta的llama或者阿里千问模型,deepseek将自己的推理能力转移部分到这些模型中。这种蒸馏技术(distilled)也大大加强了这些小模型的推理能力。 如果你想运行deepseek的671B大模型,至少需要8块GPU,600G以上显卡内存。
如何学习AI大模型?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
更多推荐
所有评论(0)