DeepSeek本地部署 | 小白一站式步骤
模型下载完成后,在终端中继续输入 “ollama run deepseek - r1: 对应版本号”(如 “ollama run deepseek - r1:7b” ),即可进入与 DeepSeek 模型的交互界面,在命令行中输入问题,模型会给出回答。选择好需要的模型版本后,点击模型列表右侧的 “download” 按钮,开始下载模型。完成设置后,点击软件左上方的搜索图标(放大镜),在出现的搜索框
一、借助 Ollama 部署
(Ollama 是一个开源的、易于使用的本地大语言模型运行工具,在本地部署大模型过程中发挥着关键作用)
1. 安装 Ollama
- Windows 系统:
-
- 打开浏览器,访问 Ollama 官网(https://ollama.com)。
-
- 点击 “Download for Windows” 下载对应的安装程序。
-
- 下载完成后,双击安装程序,按照安装向导提示,一路点击 “Next” 直至安装完成。建议安装在 C 盘,以避免后续配置环境变量的麻烦。安装完成后,桌面会出现 Ollama 图标。
- Mac 系统:
-
- 进入 Ollama 官网,点击 “Download for macOS”。
-
- 将下载得到的.dmg 文件打开,按照指引将 Ollama 图标拖移至 “Applications” 文件夹完成安装。
- Linux 系统(以 Ubuntu 为例):打开终端,输入命令 “curl -fssl https://ollama.com/install.sh | sh”,按提示完成安装。
安装完成后,可通过打开终端(Windows 用户按 Win + R,输入 cmd 打开命令提示符;Mac 用户直接打开 “Terminal”;Linux 用户使用默认终端),输入 “ollama list” 来验证安装是否成功。若终端显示类似 “llama3” 等模型名称,说明安装无误。
2. 下载 DeepSeek 模型
在终端中输入不同命令,可下载对应版本的 DeepSeek 模型:
- 1.5B 版本(适合 CPU 及低配 GPU,文件较小,适合初步体验和简单任务):ollama run deepseek - r1:1.5b
- 7B 版本(适合普通内容创作、日常对话及开发测试场景,对硬件要求适中,推荐 16GB 内存 + 8GB 显存):ollama run deepseek - r1:7b
- 8B 版本(在 7B 基础上更精细,适合对内容质量要求较高的普通用户场景):ollama run deepseek - r1:8b
- 14B 版本(适合专业及深度内容创作场景,如复杂科研报告撰写、代码深度优化等,建议 12 核 CPU + 32GB 内存 + 16GB 显存):ollama run deepseek - r1:14b
- 32B 版本:ollama run deepseek - r1:32b
- 70B 版本(最高性能版本,但对硬件要求极高):ollama run deepseek - r1:70b
若不确定选择哪个版本,可直接在终端输入 “ollama run deepseek - r1”,默认会下载 7B 版本。模型下载时间取决于网络状况,可能需要几分钟到几十分钟不等。
3. 与DeepSeek模型交互
模型下载完成后,在终端中继续输入 “ollama run deepseek - r1: 对应版本号”(如 “ollama run deepseek - r1:7b” ),即可进入与 DeepSeek 模型的交互界面,在命令行中输入问题,模型会给出回答。例如输入 “帮我写一篇关于春天的散文”,模型便会生成相应内容。此后每次使用,若 Ollama 已启动,只需打开终端输入上述运行命令即可与模型对话。若关闭电脑后重新打开,需再次通过上述方式启动 Ollama 并运行模型。
二、通过 LM Studio 部署(操作相对直观,有图形界面)
(LM Studio 是一款专为运行和管理大语言模型而设计的桌面应用程序,在本地部署大模型场景中具有独特优势。)
1. 安装 LM Studio 客户端
- 访问 LM Studio 官网(https://lmstudio.ai/) 。
- 根据操作系统,点击相应的下载按钮,如 Windows 用户点击 “Download LM Studio for Windows”,下载安装包。
- 下载完成后,双击运行安装包,按照默认设置,一路点击 “下一步” 直至安装完成。安装完成启动 LM Studio 后,点击软件右下角的设置图标(小齿轮),在 “language” 选项中选择 “简体中文”,将界面语言切换为中文。
2. 加载 DeepSeek 模型
在 LM Studio 的设置界面中,找到 “常规” 部分,勾选 “Use LM Studio's Hugging Face” 的复选框。
这一步操作是为了让 LM Studio 能够从 Hugging Face 平台搜索并下载模型。
完成设置后,点击软件左上方的搜索图标(放大镜),在出现的搜索框中输入 “deepseek”,稍等片刻,软件会列出各种不同版本的 DeepSeek 模型。
选择好需要的模型版本后,点击模型列表右侧的 “download” 按钮,开始下载模型。下载时间会因网络状况和模型大小而有所不同,可能需要几分钟到数小时不等。
下载完成后,点击 LM Studio 左上方的对话框图标,在弹出的模型选择窗口顶部,找到并选择刚才下载好的 DeepSeek 模型。同时,你还可以在顶部的设置区域,根据自己的需求和电脑硬件性能,设置上下文长度和 GPU 负载等参数。
设置完成后,等待模型加载完成,即可开始使用 DeepSeek 模型。
三、技术极客的手动部署方式(适合有一定技术基础,追求极致定制的用户)
1. 环境准备
- 操作系统:推荐使用 Linux(如 Ubuntu 20.04 或更高版本),也支持 Windows 系统。
- Python:确保安装 3.8 或更高版本。
- GPU:需配备支持 CUDA 的 NVIDIA GPU,推荐显存 16GB 以上,以保障模型运行效率。例如 NVIDIA RTX 30 系列及以上显卡。
- CUDA:安装 11.2 或更高版本,可从 NVIDIA 官网下载对应版本安装包进行安装。
- CUDNN:安装 8.1 或更高版本,安装时需与 CUDA 版本对应匹配。
2. 安装依赖
打开终端,输入以下命令安装必要依赖项:
sudo apt - get update
sudo apt - get install - y python3 - pip python3 - dev python3 - venv git
3. 创建虚拟环境
为避免依赖冲突,建议在虚拟环境中操作,输入以下命令创建名为 “deepseek - env” 的虚拟环境:
python3 - m venv deepseek - env
source deepseek - env/bin/activate
4. 安装 PyTorch
根据 CUDA 版本安装 PyTorch,例如 CUDA 11.2 的安装命令如下:
pip install torch torchvision torchaudio --extra - index - url https://download.pytorch.org/whl/cu112
5. 克隆 DeepSeek 仓库
从 GitHub 克隆 DeepSeek 的代码库,在终端输入:
git clone https://github.com/deepseek - ai/deepseek.git
cd deepseek
6. 安装项目依赖
安装项目所需的 Python 依赖,执行命令:
pip install - r requirements.txt
7. 下载预训练模型
从 DeepSeek 官方提供的链接下载预训练模型权重,并将其放置在 “models/” 目录下。也可使用命令(假设模型权重已上传到某个服务器):
wget https://example.com/path/to/deepseek_model.pth - O models/deepseek_model.pth
8. 配置环境变量
设置必要的环境变量,例如指定模型路径和 GPU 设备号,在终端输入:
export MODEL_PATH=models/deepseek_model.pth
export CUDA_VISIBLE_DEVICES=0
9. 运行模型
使用以下命令启动模型推理或训练:
python run.py --model_path $MODEL_PATH --input "你的输入文本"
10. 测试模型
可通过提供输入文本来测试模型输出,如:
python run.py --model_path $MODEL_PATH --input "你好,DeepSeek!"
部署完成后在完成测试模型步骤的命令行窗口中,只要该窗口未关闭,模型服务仍在后台运行。你可以继续在命令行中输入运行模型的指令,同上述命令行只需将"你好,DeepSeek!"换作你想询问DeepSeek的问题即可继续使用。
更多推荐
所有评论(0)