环境准备

1. 操作系统：

• 支持 macOS、Linux（推荐 Ubuntu/Debian）或 Windows（需 WSL2）。

• 确保系统已安装最新驱动和依赖库。

1. 硬件要求：

• CPU：建议至少 4 核以上。

• 内存：16GB+（7B 模型需 8GB+，13B 模型需 16GB+）。

• GPU（可选）：NVIDIA GPU（支持 CUDA）或 AMD GPU（支持 ROCm）可显著加速推理。

1. 依赖安装：

• 安装 Docker（可选，用于容器化部署）。

• 确保已安装 curl、wget 等基础工具。

步骤 1：安装 Ollama

Ollama下载地址 Ollama、docker、chatbox、Cherry Studio、Visual Studio工具包 - 语义熔炉

Ollama 是一个开源工具，支持在本地运行和部署大型语言模型。

Linux/macOS 安装

# 一键安装脚本curl -fsSL https://ollama.com/install.sh | sh

Windows 安装

1. 安装 WSL2 并配置 Linux 子系统（如 Ubuntu）。

2. 在 WSL2 中执行上述 Linux 安装命令。

验证安装

ollama --version# 启动服务（默认端口 11434）ollama serve

步骤 2：获取 DeepSeek 模型

DeepSeek 模型需转换为 Ollama 支持的格式（如 GGUF）。以下是两种方法：

方法 1：通过 Ollama 官方库（若支持）

1. 查看支持的模型列表：

ollama list

若官方库已提供 DeepSeek 模型，直接拉取：

ollama pull deepseek-7b

方法 2：手动下载模型文件

1. 从 HuggingFace 或官方渠道下载 GGUF 格式的 DeepSeek 模型（如 deepseek-7b.Q4_K_M.gguf）。

2. 将模型文件保存到本地目录（如 ~/models/）。

步骤 3：创建 Modelfile

在模型文件同级目录创建 Modelfile，定义模型配置：

FROM ~/models/deepseek-7b.Q4_K_M.ggufPARAMETER temperature 0.7SYSTEM """You are DeepSeek-R1, an AI assistant developed by DeepSeek."""

步骤 4：构建并运行模型

1. 构建自定义模型：ollama create deepseek-custom -f Modelfile

2. 启动模型：ollama run deepseek-custom

3. 测试对话： >>> 你好，我是谁？ 高级配置 GPU 加速

• NVIDIA GPU：安装 CUDA 驱动和 nvidia-container-toolkit（Docker 用户）。

• AMD GPU：安装 ROCm 驱动。

• 启动时添加 --gpu 参数：

PARAMETER num_ctx 4096 # 上下文长度PARAMETER num_gpu 1 # 使用 GPU 数量

更多命令参考原文地址： Docker国内镜像源部署deepseek - 语义熔炉