本地部署deepseek经验
说明:大语言模型运行非常吃配置,个人笔记本效果不是很好,一般运行不了最好的模型,如果有条件最好用高端显卡。由于本人水平有限,本文属于基本部署尝试,如有不妥请另行参考。
说明:大语言模型运行非常吃配置,个人笔记本效果不是很好,一般运行不了最好的模型,如果有条件最好用高端显卡。由于本人水平有限,本文属于基本部署尝试,如有不妥请另行参考。
目录
一、本地部署deepseek需要什么?
1、ollama(必要)
2、方案一:+chatbox(建议)
3、方案二:+docker+open-webui
4、方案三:+python+open-webui
5、方案四:+pycharm+continue(适合开发人员)
二、ollama安装
1、ollama(必要) :Ollama是一个开源项目,主要用于在本地运行、管理和部署大型语言模型(LLMs)。它支持多种模型,如Llama、Mistral、deepseek等,让用户无需依赖云端服务就能在本地进行AI应用开发。(下载点击这里)
下载之后傻瓜式安装,装好后使用命令提示符或者powershell使用以下命令来检查是否安装好,
查看ollama 版本命令:
ollama -v
如下图所示,
查看已经下载的模型命令:
ollama list
如下图所示,(我已经下载了模型,刚安装应该什么都没有)
其他命令可以参考这里,也可以通过下述命令自己查看,
ollama help
其实到这里主体已经安装完成了但是,ollama安装是在C盘,下载的模型也是,太占用C盘内存,因此我希望将其移动到其他盘下面,可以参考这里。
1.迁移Ollama安装目录:首先,将Ollama的安装目录从默认的C盘移动到D盘。这包括移动Ollama可执行文件所在的目录以及模型文件所在的目录。具体步骤如下:
将C:\Users\XX\AppData\Local\Programs\Ollama
这个文件夹移动到D盘,例如改为D:\Ollama
。同时,将模型文件所在的目录C:\Users\XX.ollama
也移动到D盘,例如改为D:\Ollama\.ollama
。
2.修改环境变量:接下来,需要修改系统的环境变量,以便Ollama能够正确找到新的安装位置。
修改用户变量的PATH
变量,将原来的C:\Users\XX\AppData\Local\Programs\Ollama
路径更新为新的位置,即D:\Ollama
。在系统变量中新建一个名为OLLAMA_MODELS
的变量,设置其值为模型文件的新位置,例如D:\Ollama\models
。
3.验证安装:完成上述步骤后,可以通过运行Ollama命令行工具来验证安装是否成功。例如,通过输入ollama -v
命令来打印Ollama的版本号,或者使用ollama list
来列出已下载的模型。
最后使用下述命令安装自己需要的模型,
ollama run deepseek-r1:1.5b
其他模型模型命令可在此处查看,
选择你需要的模型
我们可以在命令窗口直接启动模型并进行对话,
但是命令窗口对话十分不方便因此希望将其处理成常见网页聊天的形式,
三、方案一:+chatbox
首先下载安装chatbox(此处),进去之后,设置模型api(请确保模型已经下载并启动)
这样就可以开始对话了。
四、方案二:+docker+open-webui
五、方案三:+python+open-webui
六、方案四:+pycharm+continue
该方法适用于编程人员,首先下载安装pycharm(2020.3.5版本没有适配的continue插件,建议安装更高版本,我使用的是2024.2的版本)
而后在插件市场里搜索continue并安装,
在下图中打开continue设置
我们可以看到如下的配置文件
修改上述红圈内的内容就可以了,
provider填ollama,
apikey填本机http://127.0.0.1:11434,剩下两个自己命名。
接下来就可以使用自己的本地模型了,
好了,总得有个结尾吧!
更多推荐
所有评论(0)