目录

一、准备工作

二、拉取 nomic-embed-text 模型

三、安装和配置 AnythingLLM

四、投喂数据

五、验证投喂结果


前面已经介绍过我这样的 AI 小白如何快速本地化部署 deepseek-r1 AI 模型,那么本地化部署的意义何在呢?当然是个性化投喂数据实现专业定制了,下面就教你怎么来实现。

若想在本地自动投喂数据给 DeepSeek,可按以下步骤操作:

一、准备工作

1.安装 Ollama:Ollama 是用于本地运行和管理大模型的工具。访问 Ollama 官网 https://ollama.com ,选择适合自己操作系统的版本进行下载安装。官网下载 ollama 超级慢,请看下面备注的文章从百度云盘下载安装包。

2.部署 DeepSeek R1 模型:安装好 Ollama 后,打开命令行界面,访问 Ollama 官网的 “模型” 选项,找到 “DeepSeek R1”,根据电脑显存容量选择合适的模型版本,如 1.5b 版本等,然后复制对应的下载命令到命令行中执行,完成模型的下载和部署。

此步骤详见: 五分钟搞定 DeepSeek 本地化部署亲测体验,自定义 Ollama 安装路径和模型存储路径,Ollama 安装包分享_ollama run deepseek-r1 要多久-CSDN博客

二、拉取 nomic-embed-text 模型

在命令行中输入

ollama pull nomic-embed-text

拉取 nomic-embed-text 模型。这个模型在数据投喂过程中用于文本嵌入,是实现数据检索和理解的重要工具。

三、安装和配置 AnythingLLM

1.下载安装:进入 AnythingLLM 官网  https://anythingllm.com/ ,下载对应操作系统的安装包(中间有一个真人检测,办公室一切正常,但家里电脑检测时死循环过不去,所以我在这里也提供一下网盘分享安装包),按照提示完成安装。并将显示设置为中文:

通过网盘分享的文件:AnythingLLMDesktop.exe
链接: https://pan.baidu.com/s/1VjQXAukZSTo4KAdNmqR9Uw?pwd=6wg4 提取码: 6wg4

安装完成后跳过欢迎界面,一处都不用设置,直到显示创建工作区,此时为你的工作区随便取一个霸气的名字:

接下来进行界面显示设置,注意不是工作区设置:

在外观设置页,将显示语言改为 "Chiness"

便于后续设置:

2.配置模型:
-在刚才设置外观的界面上点击“人工智能提供商”选项,点击下一级的 “LLM 首选项”界面,LLM提供商选择 Ollama ,Ollama Model 选择前面下载过的 DeepSeek - R1 系列模型,选择完毕后记得点击 “Savechanges” 保存设置,否则不生效。

-继续点击 “ Embedder 首选项” 界面,嵌入引擎提供商选择 Ollama ,Ollama Embedding Mode 选择 “nomic-embed-text:latest”,然后点击“保存更改”。这个模型用于解析你投喂的数据。其他用默认设置即可。

至此,AnythingLLM 工作的首选项基本设置完成,其他设置需要你自行摸索了,因为我也是小白,我也是问 AI 的。

3.工作区设置:
-下面在设置界面点击返回按钮回到工作区

-在工作区界面,点击你创建的工作区,才会显示出工作区设置设置按钮,这个按钮没有提示名字,点击它转到工作区设置界面,

在“聊天设置”界面,“工作区 LLM 提供者” 选择 “Ollama”,工作区聊天模型选择 “deepseek - r1” 和 LLM首选项对应的模型,并滚动鼠标滚轮翻到最下方点击 “Update workspace” 保存设置。

-在代理配置界面,同样设置,选择 “Ollama” 和 “deepseek - r1” 模型,点击 “Update workspace agent”。

注意要选择了正确的 LLM 提供商才会显示下载的对应模型。

四、投喂数据

1.上传文件:在 AnythingLLM 的工作区界面,点击一个向上箭头的 “上传” 按钮,打开资料上传投喂界面:

点击上传文件或拖拽投放区,选择文件打开或直接从资源管理器拖动文件放到该区域也可完成上传。

选择需要上传的文件( AI 说支持 PDF、Txt、Word、Excel、PPT 等常见文档格式,但为了方便,我先用 Text 格式的来测试投喂成果)先点击上传,

为便于以后管理,可以在文档区建立分类文件夹,将上传的文件移动进去

再在左侧选择已经上传的文件或资料文件夹,点击 “Move to Workspace”。

-保存嵌入:点击 “Save and Embed”,等待数据文件上传并嵌入到 DeepSeek 的知识库中。这个过程中,AnythingLLM 会自动处理数据,完成向 DeepSeek 的数据投喂。。

投喂成功后,资料后面就会显示撤回和固定按钮,左侧文档区则已经不存在这些文件,如果要应用于其他工作区,你需要重新上传。

撤回的资料会备注“已缓存”图标。

注意,撤回的资料将不在可用于查询。

五、验证投喂结果

投喂完成后,就可以向 DeepSeek 提问与投喂数据相关的内容,来验证其是否已经理解和记忆了这些信息。

同时 ,请注意,上传的文本文件必须使用 UTF-8 编码格式,否则识别不了:

同时,1.5b 的资料总结能力相当糟糕,基本看不懂资料,资料中明确提示的内容它都不一定能归纳出来,不建议使用,有兴趣的可以自己尝试。

相比之下,32b 基本工作正常,归纳资料逻辑清晰准确,但是我的机器跑 32b 还是稍微有那么一点点卡,等试试 14b 的能力看看。

下面是 14b 表现:

看来 14b 的资料总结能力也还过得去,14b 在我机器上可以流畅运行,下面依然是 14b 的表现,看来比 1.5b 好的不是一点半点。

继续测试了下 14b ,看起来表现很不错,可以从上传的资料中总结出主人的酒品一般:

更多功能请自己探索。

此记!

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐