deepseek本地部署
deepseek版本选择。
·
deepseek概述
deepseek版本选择
DeepSeek-R1-Distill Models
Model | Base Model | Download |
---|---|---|
DeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5-Math-1.5B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-7B | Qwen2.5-Math-7B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Llama-8B | Llama-3.1-8B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-14B | Qwen2.5-14B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Qwen-32B | Qwen2.5-32B | 🤗 HuggingFace |
DeepSeek-R1-Distill-Llama-70B | Llama-3.3-70B-Instruct | 🤗 HuggingFace |
注:
由于deepseek开源大模型顶配资源要求较高,从以上6中大模型中选择;
32B参数为分界线,推荐个人使用;
70B参数推荐中小企业使用。
ollama程序安装
注意事项:设备要做大模型和深度学习需要C在250G的存储,只做一种至少要在150G
ollama下载
windows安装
# 进入到ollama程序下载路径,在路径栏输入CMD执行如下命令 OllamaSetup.exe /DIR="D:\Program Files\Ollama"
环境配置
模型参数路径配置:
变量名:OLLAMA_MODELS(不可变)
变量值:自己的模型安装路径
模型地址配置:
变量名称:OLLAMA_HOST
变量值:0.0.0.0
模型端口配置:
变量名称:OLLAMA_PORT
变量值:11434
模型参数下载
ollama run deepseek-r1:7b
更多推荐
所有评论(0)