centos7部署DeepSeek

当下Deepseek非常火,本文将带大家在自己的服务器搭建deepseek使用。

关闭防火墙与selinux
[root@bogon ~]# systemctl stop firewalld && systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@bogon ~]# setenforce 0

替换阿里yum源
[root@bogon ~]# cd /etc/yum.repos.d/
[root@bogon yum.repos.d]# ls
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo    CentOS-Vault.repo
CentOS-CR.repo    CentOS-fasttrack.repo  CentOS-Sources.repo  CentOS-x86_64-kernel.repo
[root@bogon yum.repos.d]# rm -rf *
[root@bogon yum.repos.d]# curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  2523  100  2523    0     0   8636      0 --:--:-- --:--:-- --:--:--  8670

安装必要的使用工具
[root@bogon yum.repos.d]# yum install -y vim wget net-tools

获取Ollama,部署DeepSeek要用到 Ollama,它支持多种大模型

https://ollama.com/download/linux

在这里插入图片描述
下载安装Ollama,macOS、Linux 和 Windows都可以下载安装,我这里选用linux系统。

[root@bogon ~]# curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述

在Service中增加下面两行
[root@bogon ~]# vim /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

在这里插入图片描述

然后重启ollama服务
[root@bogon ~]# systemctl daemon-reload
[root@bogon ~]# systemctl restart ollama
[root@bogon ~]# netstat -lntp 
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1082/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1259/master         
tcp6       0      0 :::11434                :::*                    LISTEN      9101/ollama         
tcp6       0      0 :::22                   :::*                    LISTEN      1082/sshd           
tcp6       0      0 ::1:25                  :::*                    LISTEN      1259/master

11434为ollama的端口

测试访问

在这里插入图片描述

第二步:部署Deepseek R1模型

还是在ollama官网上,点击Models,选择deepseek-r1,不同版本对应的体积大小不同,体积越大模型越精细化,只需要复制命令即可,我这里选择8b。

在这里插入图片描述
在这里插入图片描述

[root@bogon ~]# ollama run deepseek-r1:8b

注:这里等待的时间比较长,需要多等一会,一直到最后出现success为止

成功之后可以在cli命令行模式下进行简单的聊天

[root@bogon ~]# ollama run deepseek-r1:8b
>>> 你好
<think>

</think>

你好!很高兴见到你,有什么我可以帮忙的吗?

在这里插入图片描述
ctrl+d 退出聊天

第三步 安装open-webui 界面化访问

安装docker

[root@bogon ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
[root@bogon~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@bogon ~]# yum install -y docker-ce
[root@bogon ~]# systemctl start docker && systemctl enable docker

运行open-webui容器

[root@bogon ~]# docker run -d  -p 8081:8080  -e OLLAMA_BASE_URL=http://10.9.44.232:11434 -v /data/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

浏览器访问:

http://10.9.44.232:8081/auth

在这里插入图片描述
在这里插入图片描述

按提示创建管理员账号,创建完成之后需要多等待一会,弹出登陆页面。整个过程需要等待时间过长,有可能是因为博主的机器配置与网络有关

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
好了现在可以开始使用了,给deepseek发送你想问的问题吧

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐