最近deepseek超级火,简单记录下学习本地通过docker部署deepseek大模型的过程,可以参考这个过程在本地部署玩一玩。

Windows配置:NVIDIA RTX 4060 32GB 

docker版本:27.1.1

安装ollama

        docker的安装这里就不介绍了,咱们直接来安装ollama吧,ollama 是一款开源工具,旨在让用户在本地计算机上运行大型语言模型(LLM),例如Deepseek、Llama、Gemma等等,跨平台使用,Windows、Linux、Mac上都能下载。

github地址:https://github.com/ollama/ollama

docker部署

C:\Users\ccc> docker run -d  -p 11434:11434 --name ollama ollama/ollama
C:\Users\ccc>docker ps                                                                                        
CONTAINER ID   IMAGE                                COMMAND               CREATED          STATUS               
     PORTS                      NAMES                                                                                                                                              
28aff6cfc879   ollama/ollama                        "/bin/ollama serve"   4 days ago       Up 6 hours           
     0.0.0.0:11434->11434/tcp   ollama   

进入容器,查看ollama用法

C:\Users\ccc>docker exec -it 28aff6cfc879 bash                                                                
root@28aff6cfc879:/#  
root@28aff6cfc879:/# 
root@28aff6cfc879:/# ollama                                                                                     
Usage:                                                                                                          
  ollama [flags]                                                                                                
  ollama [command]                                                                                              
                                                                                                                
Available Commands:                                                                                             
  serve       Start ollama                                                                                      
  create      Create a model from a Modelfile                                                                   
  show        Show information for a model                                                                      
  run         Run a model                                                                                       
  stop        Stop a running model                                                                              
  pull        Pull a model from a registry                                                                      
  push        Push a model to a registry                                                                        
  list        List models                                                                                       
  ps          List running models                                                                               
  cp          Copy a model                                                                                      
  rm          Remove a model                                                                                    
  help        Help about any command                                                                            
                                                                                                                
Flags:                                                                                                          
  -h, --help      help for ollama                                                                               
  -v, --version   Show version information                                                                      
                                                                                                                
Use "ollama [command] --help" for more information about a command. 

安装大模型

仓库地址:deepseek-r1

下载合适的大模型,我现在这个配置顶多跑个32b的

root@28aff6cfc879:/# ollama pull deepseek-r1:14b 

下载完成之后可以运行大模型:ollama run  deepseek-r1:14b

部署UI

github地址:https://github.com/open-webui/open-webui

docker run  -p 3000:8080 -d  --name open-webui --add-host=host.docker.internal:192.168.1.30
  -v open-webui:/app/backend/data --restart always ghcr.io/open-webui/open-webui:main

--add-host=host.docker.internal:192.168.1.30: 这个192.168.1.30修改成本地的ip地址,一般在cmd控制台可以用ipconfig命令查看,目的是在容器内添加一条解析,把host.docker.internal这个域名解析到本地ip,官网用的是 --add-host=host.docker.internal:host-gateway,咱们可以直接用ip代替host-gateway,避免映射错误

-v open-webui:/app/backend/data: 数据持久化

端口映射自定义,我这用的是官网推荐的3000

容器Running后,浏览器访问:http://127.0.0.1:3000,我这是注册过了,所以显示登录页面,默认第一次访问先注册账户

登录之后,选择已下载的大模型,可以建立对话

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐