我们本地部署的大模型都不是DeepSeek满血版(R1&V3),我们本地化部署的都是蒸馏后的模型,满血版一般都是企业级的应用了,比如腾讯元宝。

个人版想要安装满血版,除非你是款爷,而且手上有大几百万的卡做支持。

可以先查看下自己计算机的内存,为后面具体选择deekseek-r1模型 时做准备。

Task Manager(任务管理器) -> Performance(性能) ---> Memory(内存)

1. 下载安装Ollama

Ollama 是一个轻量级的本地AI模型运行框架,可在本地运行各种开源大语言模型(如LlamaMistral等)

浏览器输入网址:https://ollama.com/download

选择一个系统进行下载: macOS/Linus/Windows

本机以 Download Ollama on Windows安装为例。安装之后,Ollama会自动运行。

打开CMD命令工具,输入ollama敲回车来验证,是否安装成功.

ollama 

2. 更改Ollama默认配置

由于ollama默认是将模型下载到C盘的,如果你的C盘空间空间很足,可以忽略此步,直接到下一步操作。

deepseek-r1:14b下载完成大概9G。

2.1 更改环境变量 

开始-->设置-->输入 环境变量 -->选择“编辑系统环境变量”。

如果你系统默认语言是英文,则输入system environment, 然后选择Edit  the system environment varaibles

2.1.1 添加OLLAMA_MODELS变量到System varriables(系统变量)里面。

OLLAMA_MODELS: D:\OLLAMA_MODELS

D:\OLLAMA_MODELS更改成你自己的路径

2.1.2 添加OLLAMA_HOST和OLLAMA_ORIGINS变量到User varriables(用户变量)里面

OLLAMA_HOST:0.0.0.0

OLLAMA_ORIGINS:*

都设置好后,点击OK保存更改。

2.3 重启ollama

打开任务管理器,点击Service“服务”选项卡,找到名为“ollama.exe”或“Ollama app.exe”的进程。

选中目标进程后,点击右下角的“结束任务”按钮。注意,可能需要先结束“Ollama app.exe”(守护进程),再结束“ollama.exe”。

或者右击进行重启。

如果重启失败,你可以通过重启电脑进行重启。

3. 安装DeepSeek-r1模型

安装DeepSeek-r1模型: https://ollama.com/library/deepseek-r1

搜索出来有很多个版本,区别就是参数不一样:1.5b,7b,8b,14b,32b,70b,671b.每个版本对应所需的内存大小都不一样。

如果你电脑运行内存为8G那可以下载1.5b,7b,8b的蒸馏后的模型

如果你电脑运行内存为16G那可以下载14b的蒸馏后的模型

我这里选择14b的模型,参数越大,使用DeepSeek的效果越好.

 3.1 安装deepseekr-1:14b

在CMD中运行一下命令:

ollama run deepseek-r1:14b

如果下载失败可以多次运行命令进行下载。

我们也可以在命令行中输入,ollama list 查看是否成功下载了模型,下图的内容表明下载成功。

ollama list

下载成功后会列出来deepseek-r1:14b

 3.2 运行deepseekr-1:14b

在CMD中运行一下命令运行r1.

ollama run deepseek-r1:14b

启动成功后,就可以输入我们想问的问题,然后点击回车,模型首先会进行深度思考(也就是think标签包含的地方),思考结束后会反馈我们问题的结果。

4. AI客户端助手安装

ChatBox是客户端形式的Chat的部署,Open WebUI是网页版Chat,如果你想共享给同一个局域网的用户,可选择Web UI.

4.1 ChatBox下载安装

Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

我们通过ollama下载模型后,可以在命令行使用deepseek了,但是命令行的形式不够方便,所以我们可以借助chatBox,它拥有美观的UI,只要接入ollama的Api就可以使用了。此处我还是选择Windows下载,下载完成后进行安装。

Charbox安装完成后,启动Chatbox, 点击“设置”--> "模型" -->"Ollama API", 更改API域名到http://127.0.0.1:11434, 模型选择“deepseek-r1:14b”.

4.2. Open WebUI安装

网页版Chat,如果你想共享给同一个局域网的用户,可选择Web UI.

Open WebUI是面向 LLM 的用户友好型 WebUI(以前称为 Ollama WebUI)

github地址: https://github.com/open-webui/
官网地址: Open WebUI
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线操作。它支持各种 LLM 运行程序,包括 Ollama 和 OpenAI 兼容的 API。

具体安装与配置可自行百度或问豆包、文心一言.

5. 注意事项

选择蒸馏模型的大小,需要结合自己的电脑实际情况来选择,这会关系到,模型回答的速度以及效果问题。

Ollama API默认端口11434, 如果同一个局域网无法访问到你机器部署的deekseek,可以把11434加入到防火墙放行端口(新建 入站规则,出站规则)。

Open WebUI默认端口8080.

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐