Windows本地部署Ollama+DeepSeek-R1-7b+AnythingLLM及应用
语言模型的有效应用可以给企业带来巨大经济效益,本文就介绍了Windows平台的部署所需要的模型的安装步骤并构建本地知识库。以上就是关于地道老北京炸酱面的制作方法(并不是),本文仅仅简单介绍了AnythingLLM的使用,而如何提供 API 接口供其他设备使用,敬请期待下一篇博客。
Windows本地部署Ollama+DeepSeek-R1-7b+AnythingLLM
前言
语言模型的有效应用可以给企业带来巨大经济效益,本文就介绍了Windows平台的部署所需要的模型的安装步骤并构建本地知识库。
一、本地部署Ollama和DeepSeek-R1-7b
https://www.cnblogs.com/qubernet/p/18702147中,作者已经介绍了详细的安装步骤,不在此赘述。本文采用的步骤包括:
通过命令安装
在Ollama官网下载Windows版本安装包到文件夹D:\Dowdloads中。设置指定安装路径D:\anzhuanglujing\Ollama. 在下载DeepSeek模型之前,需要添加环境变量OLLAMA_MODELS(模型下载路径),Path中需要添加Ollama安装路径。关于环境变量的用户变量与系统变量的区别,可见相关博客.
唯一需要注意的是,将环境变量设置成功后,需要重启Ollama生效。本机设置结果如下:
DeepSeek模型下载成功后,可以在cmd中查看和运行:
二、Anything LLM的安装和使用
1.安装
从AnythingLLM官网下载并安装到路径D:\anzhuanglujing\AnythingLLM,打开AnythingLLM会自动检测本地部署的模型,所以前提确保Ollama本地部署的模型正常运行。笔者没有重新安装Anything LLM,下图截自网络:
在AnythingLLM中可以更换模型,本文采用7b模型:
2.使用
2.1 新建工作区(workspace)并测试Chat功能
2.2 新建工作区(workspace)并测试RAG功能
添加本地知识库步骤如下:
步骤一:上传本地知识库的文档
在左侧工作区找到上传按钮并上传文档
步骤二:文档向量化
选中文档并点击“移动到工作区(Move to workspace)”,然后点击“嵌入(save and embed)”。嵌入是将文本转换为矢量的过程。
嵌入成功之后,锁定右上角的图钉图标,来使用知识库。
步骤三:验证
在test12中新建对话,问它,老北京炸酱面怎么制作?从输出结果中看,模型的确学到了刚刚上传的知识库。
总结
以上就是关于地道老北京炸酱面的制作方法(并不是),本文仅仅简单介绍了AnythingLLM的使用,而如何提供 API 接口供其他设备使用,敬请期待下一篇博客。
更多推荐
所有评论(0)