一、Ollama 环境安装‌

‌

1. 下载安装包‌

访问 Ollama 官网，选择 Windows 版本（745MB 的 .exe 文件），双击默认安装至 C:\Program Files\Ollama‌24。
‌注意‌：若需自定义安装路径，以管理员身份运行命令行执行：

OllamaSetup.exe /DIR=D:\AIOllama

避免占用系统盘空间‌。
系统盘够的话还是建议安装在系统盘。

2. ‌验证安装‌

打开 PowerShell 或命令提示符，输入：

ollama -v

输出版本号（如 0.5.7）表示安装成功‌。
任务栏出现 🦙 图标表明服务已启动‌。

二、DeepSeek-GGUF 模型部署‌

1‌.模型选择与下载‌

‌配置匹配‌：

设备类型	推荐模型版本	显存/内存需求
低配设备	1.5B/Q4	4GB 内存
中配设备	7B/Q4	8GB显存+内存
高性能	14B/Q4	16GB 显存+内存

参考显卡型号：RTX 3060+ 建议 7B 及以上‌

‌手动下载 GGUF 文件‌：
从 Hugging Face 等平台获取 deepseek-r1-xxb-Q4_K_M.gguf 文件，保存至 C:\Users\[用户名]\.ollama\models
建议安装一个LM Studio，使用LM Studio下载gguf。
详见：
使用LM Studio0.3.9+DeepSeek R1部署本地（LM Studio 换源）
2. ‌模型加载‌

在模型目录创建 Modelfile 文件，内容如下：

FROM deepseek-r1-xxb-Q4_K_M.gguf
PARAMETER num_ctx 4096  # 上下文长度
PARAMETER num_gpu_layers 32  # GPU加速层数（NVIDIA显卡需启用）

报错的话去掉最后一句
执行模型构建命令：

ollama create deepseek-r1 -f Modelfile

三、运行与测试‌

1. ‌命令行交互

ollama run deepseek-r1

输入问题（如 你好）测试模型响应‌。

‌客户端集成‌

安装 Chatbox 客户端，设置 API Provider 为 Ollama，端口 11434，选择 deepseek-r1 模型‌。
同时也可以安装AnythingLLM客户端，详见：
Ollama+AnythingLLM安装

通过图形界面对话，提升使用体验‌。
‌四、性能优化‌
‌GPU 加速配置‌

确保已安装 CUDA 11.2+ 和对应显卡驱动‌。
修改 Modelfile 中 num_gpu_layers 参数（如 32 层）以分配更多 GPU 资源‌。
‌内存管理‌

后台常驻服务命令（避免频繁加载）：

ollama serve >> ollama.log 2>&1

日志文件 ollama.log 可排查运行问题‌。

五、常见问题‌

‌显存不足‌：降低量化等级（如 Q4→Q3）或选择更小模型‌。

‌安装报错‌：以管理员权限运行命令行‌。

‌模型路径错误‌：确认 .gguf 文件位于 C:\Users[用户名].ollama\models‌37。

通过以上步骤，可在 Windows 10 系统完成 DeepSeek-GGUF 模型的本地部署与运行。