十分钟本地部署DeepSeek~
十分钟本地部署DeepSeek~
最近被国产大模型 DeepSeek 刷屏,试用了一下确实挺好用的,最大的问题是服务器老是崩溃
我们可以通过本地部署在自己的终端上随时使用,部署到本地后无需联网即可直接使用。
第一步
访问 https://ollama.com/ 进入 Ollama 官网下载 Ollama ,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Windows 版本。
打开下载目录文件夹,在文件夹中使用cmd命令窗口执行以下代码,将ollama安装在D盘(不建议安装在C盘-因为默认是C盘)
OllamaSetup.exe /DIR="D:\Ollama"
win+r,cmd ,输入 ollama help 并按回车键,这个操作是为了验证这个软件是否安装成功,如果没有报错的话则表示这个软件安装成功。
回到 https://ollama.com/ 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。
点击 Deepseek-r1 后会进入详情界面,里面有多个参数规模可供选择,从 1.5b 到 671b 都有。
这里我们需要根据自己电脑的硬件配置来选择模型大小,下面是一个模型大小配置参考表格,大家可根据自己的电脑配置来自行选择,部署的本地模型越大,使用的深度求索效果就越好。
查看本机显存大小:
- 下
Windows键 + R
打开运行对话框。 - 输入
dxdiag
并按下回车键,这将打开DirectX诊断工具。 - 在诊断工具中,切换到“显示”标签页,这里会列出你的显卡信息,包括显存大小。
选择好模型规模后,复制右边的一个命令。
命令复制完成后回到命令提示符窗口,将刚刚复制的命令粘贴到命令提示符窗口中并按回车键即可下载模型。
模型下载完成后,我们就直接可以在命令提示符面板中使用它了。
第二步
虽然我们可以在本地正常使用 Deepseek 这个模型了,但是这个 AI 工具的面板是非常简陋的,很多人使用不习惯,这时我们就可以通过 Chatbox 这个可视化图文交互界面来使用它。
点击 https://chatboxai.app/zh 进入 Chatbox 官网,Chatbox 虽然有本地客户端,但我们也可以直接使用网页版。
进入 Chatbox 网页版本后点击使用自己的 API Key 或本地模型。
点击后会进入模型提供方选择界面,这里选择 Ollama API 。
根据这个教程操作一下。
在 Windows 上配置
在 Windows 上,Ollama 会继承你的用户和系统环境变量。
-
通过任务栏退出 Ollama。
-
打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。
-
点击编辑你账户的环境变量。
为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 *。
-
点击确定/应用以保存设置。
-
从 Windows 开始菜单启动 Ollama 应用程序。
重启 Ollama 程序后,我们需要将 Chatbox 设置界面关闭并重新打开,重新打开 Chatbox 设置界面后即可选择 Deepseek 模型了,选择后 Deepseek 模型后点击保存即可。
开始使用吧~
更多推荐
所有评论(0)