
DeepSeek+AnythingLLM本地化部署,打造个人专属智能助手
最近已有不少大厂开启春招宣讲了。节前,我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了深入的讨论。在当今信息爆炸的时代,个人知识管理变得尤为重要。通过本地化部署 DeepSeek 模型,并结合 AnythingLLM,我们可以快速构建属于自己的 AI 驱动知识库,实现高效的信息管
最近已有不少大厂开启春招宣讲了。
节前,我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。
针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了深入的讨论。
总结链接如下:
喜欢本文记得收藏、关注、点赞
在当今信息爆炸的时代,个人知识管理变得尤为重要。通过本地化部署 DeepSeek 模型,并结合 AnythingLLM,我们可以快速构建属于自己的 AI 驱动知识库,实现高效的信息管理和智能化的知识检索。
本地化部署知识库保障我们个人资料不被外泄,结合大模型打造我们专属AI问答系统。
注: 本文软件部署环境为Windows 10 以上,无复杂配置。
安装Ollama
Ollama 是一个本地大模型运行框架,支持一键下载和部署 Llama、Mistral、DeepSeek 等模型,简单高效,适用于 Mac、Linux 和 Windows,开发者只需运行 ollama run model_name 即可调用模型,无需复杂配置。
Ollama安装步骤
打开Ollama官网:
https://ollama.com
点击Download按钮:
选择你的电脑操作系统平台进行下载:
等下载完成后,进行安装:
安装完成后,打开cmd控制台,输入ollama,出下如下图提示,即表明Ollama安装成功:
配置模型文件存放路径,我们在系统属性中配置大模型下载存放的环境变量,如下图:
安装deepseek-r1
在Ollama官网,我们搜索deepseek-r1,根据自己电脑的硬件配置,选择合适的模型:
在模型页面选择合适的模型参数,复制安装命令:
无GPU电脑硬件要求:
有GPU电脑硬件要求:
打开cmd控制台界面,输入模型安装命令,我这里安装的是1.5b参数的模型,执行命令:ollama run deepseek-r1:1.5b,等待模型安装完成后,输入"你是?":
到此我们完成deepseek-r1模型的本地化部署。
安装AnythingLLM
AnythingLLM 是一个开源的本地知识库助手,可以让你轻松构建私有化的 AI 知识库,支持 PDF、TXT、Markdown 等多种文件格式,结合 Llama、GPT-4 等大模型进行智能问答。它提供 Web 界面,易于管理和调用,适合个人和企业打造专属 AI 助手。
打开AnythingLLM官网:
https://anythingllm.com
单击Download for desktop按钮:
选择自己的操作系统平台,进行下载:
下载完成后我们进行安装:
安装过程中AnythingLLM会自动安装调用Ollama的库函数:
安装完成后,打开AnythingLLM,点击Get started按钮:
在 LLM Preference界面中选择Ollama,如下图:
上图中,点击右侧箭头进行下一步,此页面显示Data Handling & Privacy,无需进行操作,进入下一步:
在这个界面输入你的邮箱等信息后,进入下一个页面:
在这个页面填入你的工作区名称,点击下一步:
到这里已进入程序主界面:
测试建立个人知识库
本次测试使用如下内容(智能手表使用说明书.docx):
一、产品概述
欢迎使用本智能手表。本手表集健康监测、运动记录、智能提醒等多种功能于一体,为您的日常生活提供便捷的智能体验。
二、产品清单
智能手表 ×1
充电线 ×1
使用说明书 ×1
保修卡 ×1
三、产品功能
基本功能:时间显示、闹钟、计时器、天气预报。
健康管理:心率监测、血氧检测、睡眠监测、压力检测。
运动模式:支持多种运动模式,如跑步、骑行、游泳等。
智能提醒:消息通知、来电提醒、久坐提醒。
其他功能:蓝牙音乐控制、远程拍照、查找手机。
四、产品使用
开机与关机
长按侧边按钮3秒开机。
长按侧边按钮5秒可关机。
充电方法
使用附赠的充电线连接手表与电源。
充电时请确保接口干燥。
蓝牙连接
在手机端下载“智能手表APP”(可在应用商店搜索)。
打开APP,根据指引进行蓝牙配对。
操作方式
触摸屏滑动可切换界面。
按钮短按返回上一层,长按进入快捷菜单。
五、注意事项
本手表防水等级为IP68,可用于日常防水,但请勿长时间浸泡。
佩戴时请保持表带清洁,避免过紧导致皮肤不适。
长时间不使用时,请充满电后存放,以延长电池寿命。
请勿自行拆卸或维修本手表,如遇故障请联系售后服务。
六、售后服务
本产品享受一年保修服务,非人为损坏情况下,提供免费维修或更换服务。若有任何问题,请联系官方客服。
感谢您选择本智能手表,祝您使用愉快!
选择我们建立的Test工作区,上传此文档:
上传文档并准备移入工作区,如下图:
把文档移动到工作区,并点击Save and Embed,等系统处理完成:
Embed解释:
文档 Embed = 把文本变成向量 + 存入数据库 + 进行相似搜索。它是 AI 知识库、搜索推荐、智能问答的核心技术,让 AI 理解文本语义,而不只是匹配关键词。
返回主页面,我们询问一下AnythingLLM关于文档中“智能手表的注意事项”:
我们先看下文档中智能手表的注意事项:
五、注意事项
本手表防水等级为IP68,可用于日常防水,但请勿长时间浸泡。
佩戴时请保持表带清洁,避免过紧导致皮肤不适。
长时间不使用时,请充满电后存放,以延长电池寿命。
请勿自行拆卸或维修本手表,如遇故障请联系售后服务。
大模型结合上下文给我们反馈的智能手表注意事项:
好的,我现在需要回答用户关于智能手表注意事项的问题。首先,我会回忆一下提供的上下文,这里提供了产品说明书的内容。
从上下文中,我看到第六部分是“注意事项”。这部分详细列出了使用前需要注意事项。比如防水等级、佩戴时保持清洁、长时间不使用时充满电等。
接下来,我要把这些信息整理出来,并用简洁明了的语言呈现给用户。确保涵盖所有关键点,同时避免重复或遗漏。
最后,我会检查一下是否有额外的信息可能被漏掉,或者是否需要添加更多细节来帮助用户更好地理解。但根据现有上下文,这部分已经足够全面了。
智能手表的注意事项:
防水等级:该型号防水等级为IP68,适合日常使用,但在长时间浸泡时应小心避免。
佩戴时保持清洁:表带过紧可能导致皮肤不适,保持适当宽松有助于舒适度。
长时间不使用时:请充满电后存放以延长电池寿命。
综上,我们可以看到大模型的回答基本上引用了文档的内容。
使用nomic-embed-text进行文档Embed
系统自带的Embedding Model可能在长上下文中支持不好,我们可以使用nomic-embed-text模型对文档进行 Embed,操作如下:
在Ollama官网搜索nomic-embed-text模型,并复制安装命令,如下图:
打开cmd控制台,输入安装命令,等待安装完成,如下图:
在AnythingLLM首页中,点击设置进入设置界面,对系统做如下设置,即可切换文档 Embed模型:
更多推荐
所有评论(0)