Windows 11 部署 GPUStack 运行 DeepSeek
DeepSeek 是一个强大的深度学习框架,适用于图像识别、自然语言处理等任务。GPUStack 是一个高效的 GPU 资源管理工具,能够帮助用户更好地利用 GPU 资源进行深度学习任务。本文将详细介绍如何在 Windows 11 系统上部署 GPUStack 并运行 DeepSeek。Windows 11 操作系统(建议版本 11.7 或更高)CUDA 包含显卡驱动程序GPUStack 安装问题
1. 介绍
DeepSeek 是一个强大的深度学习框架,适用于图像识别、自然语言处理等任务。GPUStack 是一个高效的 GPU 资源管理工具,能够帮助用户更好地利用 GPU 资源进行深度学习任务。本文将详细介绍如何在 Windows 11 系统上部署 GPUStack 并运行 DeepSeek。
2. 环境准备
2.1 硬件要求
- NVIDIA GPU(建议至少 8GB 显存)
- 多核 CPU(建议 Intel i5 或更高)
2.2 环境介绍
- Windows 11 操作系统
- CUDA Toolkit(建议版本 11.7 或更高)
CUDA 包含显卡驱动程序 - GPUStack 安装
3. 安装与配置
3.1 CUDA 安装
安装很简单,一路下一步。
3.2 GPUStack 安装
- 下载 GPUStack 安装包:
Invoke-Expression (Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content
安装过程中,回下载相关程序和插件。
GPUStack 使用80,10150,10151端口监听。
3.3 GPUStack 运行
http://localhost 访问 Dashboard。
3.4 安装 Deepseek
模型库
选择 Deepseek R1 模型
保存后,模型下载初始化,开始下载。
下载完成校验成功自动运行。
开始使用:
4. 模型对比总结
问题:请帮忙写一个 Sql Server 批量删除指定列表表的脚本
- R1 1.5B
- 速度很快,每秒3-4个TOKEN
- 输出结果真是没脸见,准确度差
- R1 14B
- 速度非常慢,每秒1-2个TOKEN
- 结果的准确度提高,和想要的偏差不大
- 体验毫无
5. 重启
电脑重启后,直接打开 PowerShell 运行 GPUStack Start 即可。
6. 14B 资源使用前后
使用DS 14B,资源跑满。
结束DS后。
6. 结论
在 Windows 11 系统上成功部署 GPUStack 并运行 DeepSeek。GPUStack 能够有效管理 GPU 资源,而 DeepSeek 则为深度学习任务提供了强大的支持。在这个时代,工作和生活真的是多姿多彩!
愿所有人,都能享受时代进步带来的便利。
更多推荐
所有评论(0)