前言

语言模型的有效应用可以给企业带来巨大经济效益,本文就介绍了Windows平台的部署所需要的模型的安装步骤并构建本地知识库。


一、本地部署Ollama和DeepSeek-R1-7b

https://www.cnblogs.com/qubernet/p/18702147中,作者已经介绍了详细的安装步骤,不在此赘述。本文采用的步骤包括:

通过命令安装

Ollama官网下载Windows版本安装包到文件夹D:\Dowdloads中。设置指定安装路径D:\anzhuanglujing\Ollama. 在下载DeepSeek模型之前,需要添加环境变量OLLAMA_MODELS(模型下载路径),Path中需要添加Ollama安装路径。关于环境变量的用户变量与系统变量的区别,可见相关博客.

唯一需要注意的是,将环境变量设置成功后,需要重启Ollama生效。本机设置结果如下:
在这里插入图片描述
DeepSeek模型下载成功后,可以在cmd中查看和运行:
在这里插入图片描述

二、Anything LLM的安装和使用

1.安装

AnythingLLM官网下载并安装到路径D:\anzhuanglujing\AnythingLLM,打开AnythingLLM会自动检测本地部署的模型,所以前提确保Ollama本地部署的模型正常运行。笔者没有重新安装Anything LLM,下图截自网络:
在这里插入图片描述
在AnythingLLM中可以更换模型,本文采用7b模型:
在这里插入图片描述

2.使用

2.1 新建工作区(workspace)并测试Chat功能

在这里插入图片描述

2.2 新建工作区(workspace)并测试RAG功能

添加本地知识库步骤如下:

步骤一:上传本地知识库的文档

在左侧工作区找到上传按钮并上传文档
在这里插入图片描述
在这里插入图片描述

步骤二:文档向量化

选中文档并点击“移动到工作区(Move to workspace)”,然后点击“嵌入(save and embed)”。嵌入是将文本转换为矢量的过程。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
嵌入成功之后,锁定右上角的图钉图标,来使用知识库。

步骤三:验证

在test12中新建对话,问它,老北京炸酱面怎么制作?从输出结果中看,模型的确学到了刚刚上传的知识库。
在这里插入图片描述


总结

以上就是关于地道老北京炸酱面的制作方法(并不是),本文仅仅简单介绍了AnythingLLM的使用,而如何提供 API 接口供其他设备使用,敬请期待下一篇博客。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐