
Linux下快速部署DeepSeek大模型
随着deepseek-r1模型的应用越来越多,能够运行该模型的App或网站也是层出不穷,或许因为太过火热,总是卡在“服务器忙”。本着一名程序媛,能自己动手,就折腾不止的精神,今天就用一台Linux虚拟机快速部署下本地AI会话。
随着deepseek-r1模型的应用越来越多,能够运行该模型的App或网站也是层出不穷,或许因为太过火热,总是卡在“服务器忙”。
本着 一名程序媛,能自己动手,就折腾不止的精神,今天就用一台Linux虚拟机快速部署下本地AI会话。
💞更多内容,可关注公众号“ 一名程序媛 ”,我们一起从 0 - 1
学编程💞
1 下载ollama框架
小科普下,deepseek-r1
只是大语言模型,里面包含了所有可能的知识库与推理算法,
但是人才,你也要给它个家(接口)才能正常交流吧。ollama
即是这样一个开源的本地大语言模型运行框架。
国外的,好在不用墙,直接访问官网下载即可。但官网给出的是一个.sh
安装脚本,这样安装对于咱来说,可靠性不高,还是找到离线包比较好。
根据官网给出的手动安装指南,是通过curl
下载包,速度上不确定,还是直接复制其中的文件地址,借助第三方下载工具来的快些,当然,直接丢到浏览器访问下载也是可以的
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
# 上方链接中的安装包路径
https://ollama.com/download/ollama-linux-amd64.tgz
2 开始安装
说是安装,鉴于Linux
下一切皆文件的机制,其实就是把上面下载的压缩包再解压而已Github
上手动安装说明也有给出相应步骤,可以参考它直接解压到usr
目录下
解压出来后其实就两个文件夹lib
和bin
,正好对应/usr
下的目录,后续在终端中可直接运行ollama
命令
我习惯自己定义目录,就将压缩包放到了/opt/mysoft
下,解压后得到一个子目录,命令文件在./ollama/bin/ollama
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
# 使用官网提示解压到/usr的可直接下一步
cd /opt/mysoft
tar -xzf ollama-linux-amd64.tgz
# 将命令软链接到家目录下的bin目录(也在环境变量中,需要手动建立bin目录)
ln -s /opt/mysoft/ollama/bin/ollama $HOME/bin/ollama
3 运行ollama服务
有了lib
和bin
就算安装完成了,打开一个终端把ollama
框架运行起来,再开启另一个终端测试及与大模型会话
ollama serve # 开启ollama服务
# 打开另一终端
ollama -v # 检查是否正常运行
4 运行deepseek-r1模型并进行交互式会话
同docker
一样,很简单的一条命令,即可从ollama
官网拉取相应的大模型(首次),后续即可愉快的使用啦
直接切换成中文,打个招呼试下吧?
ollama run deepseek-r1:1.5b
>>>/bye # 退出交互式命令行界面(快捷键Ctrl + D)
5 多说一句
可能对于大众来说,有GUI
界面的更适合,那就要再在ollama
模型外再套一层,通过API
接口传送会话
有时间再弄了,交互式对话对我来说更有感觉(装杯)
另外要提的一点,就是deepseek
模型参数量上,1.5b
会让你感觉傻傻的,8b
及以上又卡卡的,
我是用的7b
,虚拟机中跑虽然也卡,但相对能接受,就先用着吧。有钱钱换好机器的时候再上更大参数!加油,给我们!
最后再补充一句,这样简单的设置只适合在内网学习测试或自用,如果要共享到外网,根据最近的报道,ollama
默认设置等同于“裸奔”来看,一定一定要在防火墙上下下功夫,同时进行相应的访问身份验证机制,安全永远是第一位的。
💞更多内容,可关注公众号“ 一名程序媛 ”,我们一起从 0 - 1
学编程💞
更多推荐
所有评论(0)