
10分钟本地安装属于自己的基于Deepseek大模型的知识库,小白级,再也不用将保密文件上传到互联网了!
今天继续讲解如何安装一个像chatgpt一样的图形界面来访问本地安装的deepseek大模型。不到10分钟你就可以使用deepseek模型来帮助你回答任何问题。如何你想让大模型来分析或者回答你自己私有的文件材料,你还可以使用这些界面程序来构建你自己的本地知识库,大模型在你的机器上就可以分析你的文件,再也不用上传到互联网,承担信息泄露风险了。先上一个安装后,使用自己的本地投研报告文件集来问答的使用效
今天继续讲解如何安装一个像chatgpt一样的图形界面来访问本地安装的deepseek大模型。不到10分钟你就可以使用deepseek模型来帮助你回答任何问题。
如何你想让大模型来分析或者回答你自己私有的文件材料,你还可以使用这些界面程序来构建你自己的本地知识库,大模型在你的机器上就可以分析你的文件,再也不用上传到互联网,承担信息泄露风险了。
先上一个安装后,使用自己的本地投研报告文件集来问答的使用效果图:
回顾一下上一篇文章介绍了大模型本地部署模式一:
使用Ollama部署deepseek模型。我们安装了ollama,然后ollama可以调用大模型权重文件,但我们只能从windows命令行形式访问大模型,体验不好。
今天我来介绍大模型本地部署模式二:
使用GPT4all图形应用程序替代ollama和cmd程序,而且可以很简单地构建属于自己的文件知识库,再也不用上传文件到互联网上了,产生信息泄露的风险。
模式二中,GPT4ALL是nomic-ai开发的开源软件。GPT4All是能够在你的笔记本或者台式计算机运行的大型语言模型(LLMs)。它并不强制需要GPU,CPU也能流畅地运行该语言模型。它大大简化了大模型的本地安全使用。
模式二本地部署使用只需要三个步骤,你就可以使用图形化界面来与deepseek进行聊天了。加上第四步,就可以构建自己的私有知识库了。依据你网速快慢,其中费时主要是第2步和第3步下载文件。其它费时不会超过10分钟。
步骤1. 下载GPT4all安装程序
步骤2. 安装GPT4All程序。
步骤3. 下载大模型权重文件。
步骤4. 导入你的私有文件,构建RAG私有知识库。
开练!
步骤1. 下载GPT4all安装程序
访问著名开源 github 或者到nomic.ai 网站下载GPTAll安装程序。
https://github.com/nomic-ai/gpt4all?tab=readme-ov-file
在github的界面上滑动到下面安装程序链接,选择你的平台:windows或者mac,点击下载
步骤2. 安装GPTAll程序。
在你的下载文件夹中找到刚才下载的GPT4all安装程序,
点击安装运行后出现下面界面:
可以点击next,然后设置安装目录,你可以使用缺省,但我一般把它安装到简单的路径中,例如c:\ai\gpt4all 目录下。
然后一路点击"next" 按钮。
然后出现下面界面,点击”install“ 按钮。
程序会继续下载相关程序,我们就等待下载和安装结束。
到这一步时就按照结束了,点击”next“.
点击”finsihed“
安装完成后,到windows 开始菜单中就可以看见这个GPT4all了。
步骤3. 下载大模型权重文件。
打开GPTAll。 点击”Find Models" 来下载大模型权重文件。
在这个模型探索界面,下滑可以找到各种大模型说明和权重下载按钮,选择自己喜欢的。你的计算机配置一般都可以选择DeepSeek-R1-distilled 1.5B 或者7B。 我们先选择7B的,点击”download"
因为模型权重文件网站可能是无法直接连接的,需要科学上网。需要权重的文件的同学关注本公众号后可以后台输入:deepseek7b, 或者deepseek1.5b 来获得70亿和15亿参数大模型权重网盘下载链接。
模型权重下载后,会放到一个目录下,这个目录你可以点击屏幕左侧的“settings” 页面查看到:
下载完成, 点击左边菜单栏“Home"回到主界面, 点击”Start Chatting“
在上边的模型选择list中选择Deepseek,你就可以开始聊天了。 聊天界面与其它大模型聊天界面差不多,这里就不介绍了。
这时候如果你想构建属于自己的本地RAG知识库,就需要告诉GPT4All哪里找到你的本地文件。这就需要进行步骤4.
步骤4. 导入你的私有文件,构建RAG私有知识库。
4.1 点击LocalDocs 菜单,打开文件Collection构建界面,点击Add Doc Collection
4.2 你可以构建多个Collection,我们建立第一个,输入Name和文件夹名称。文件夹中放你需要大模型提取的文件。
4.3. 点击”Create Collection“ 系统开始构建知识库。这里注意到,你还需要使用Embedding大模型。系统需要embedding大模型将你的文件编码成机器能处理的语言。GPT4ALL安装时会自带这个nomic-embed-text-v.15 模型。如果看不到的话,也是使用Model下载界面先下载这个模型。
系统Embedding时,观察这个百分比,也许需要几分钟。
4.4 当LocalDocs界面中的Collection显示”ready" 状态后,文件就都embedding好了。 就可以开始使用了。
4.5 回到Chatting界面。 在Chatting界面右上角有个”local doc“按钮,选择你刚刚建立的Collection,你的聊天问题就先与这个Collection中的文件查询,然后将文件查询结构输入大模型融合回答你的问题了。
输入你的问题后,回车。 就可以看到模型开始从你的”投研报告“ 知识库中开始寻找。
最后模型返回你需要的结果:
至此,恭喜!你就完成了本地知识库的搭建!
还有很多可以设置优化的地方,大家有问题可以留言。
一定要记住关注,转发,点赞哟!!!
最后需要解释一点,我们讨论的1.5B,7B,14B,70亿deepseek大模型都是经过蒸馏的meta的llama或者阿里千问模型,deepseek将自己的推理能力转移部分到这些模型中。这种蒸馏技术(distilled)也大大加强了这些小模型的推理能力。 如果你想运行deepseek的671B大模型,至少需要8块GPU,600G以上显卡内存。
那么,如何系统的去学习大模型LLM?
作为一名深耕行业的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?我自学没有方向怎么办?这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!这些问题啊,也不是三言两语啊就能讲明白的。
所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。
由于篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
👉大模型学习指南+路线汇总👈
我们这套大模型资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
👉①.基础篇👈
基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
👉②.进阶篇👈
接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
👉③.实战篇👈
实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
👉④.福利篇👈
最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!
更多推荐
所有评论(0)