随着deepseek-r1模型的应用越来越多,能够运行该模型的App或网站也是层出不穷,或许因为太过火热,总是卡在“服务器忙”。

本着 一名程序媛,能自己动手,就折腾不止的精神,今天就用一台Linux虚拟机快速部署下本地AI会话。

💞更多内容,可关注公众号“ 一名程序媛 ”,我们一起从 0 - 1 学编程💞

1 下载ollama框架

小科普下,deepseek-r1只是大语言模型,里面包含了所有可能的知识库与推理算法,
但是人才,你也要给它个家(接口)才能正常交流吧。ollama即是这样一个开源的本地大语言模型运行框架。

国外的,好在不用墙,直接访问官网下载即可。但官网给出的是一个.sh安装脚本,这样安装对于咱来说,可靠性不高,还是找到离线包比较好。

根据官网给出的手动安装指南,是通过curl下载包,速度上不确定,还是直接复制其中的文件地址,借助第三方下载工具来的快些,当然,直接丢到浏览器访问下载也是可以的

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
# 上方链接中的安装包路径
https://ollama.com/download/ollama-linux-amd64.tgz 

2 开始安装

说是安装,鉴于Linux下一切皆文件的机制,其实就是把上面下载的压缩包再解压而已
Github上手动安装说明也有给出相应步骤,可以参考它直接解压到usr目录下

解压出来后其实就两个文件夹libbin,正好对应/usr下的目录,后续在终端中可直接运行ollama命令
我习惯自己定义目录,就将压缩包放到了/opt/mysoft下,解压后得到一个子目录,命令文件在./ollama/bin/ollama

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

# 使用官网提示解压到/usr的可直接下一步
cd /opt/mysoft
tar -xzf ollama-linux-amd64.tgz
# 将命令软链接到家目录下的bin目录(也在环境变量中,需要手动建立bin目录)
ln -s /opt/mysoft/ollama/bin/ollama $HOME/bin/ollama

3 运行ollama服务

有了libbin就算安装完成了,打开一个终端把ollama框架运行起来,再开启另一个终端测试及与大模型会话

ollama serve # 开启ollama服务

# 打开另一终端
ollama -v # 检查是否正常运行

4 运行deepseek-r1模型并进行交互式会话

docker一样,很简单的一条命令,即可从ollama官网拉取相应的大模型(首次),后续即可愉快的使用啦
直接切换成中文,打个招呼试下吧?

ollama run deepseek-r1:1.5b

>>>/bye # 退出交互式命令行界面(快捷键Ctrl + D)

5 多说一句

可能对于大众来说,有GUI界面的更适合,那就要再在ollama模型外再套一层,通过API接口传送会话
有时间再弄了,交互式对话对我来说更有感觉(装杯)

另外要提的一点,就是deepseek模型参数量上,1.5b会让你感觉傻傻的,8b及以上又卡卡的,
我是用的7b,虚拟机中跑虽然也卡,但相对能接受,就先用着吧。有钱钱换好机器的时候再上更大参数!加油,给我们!

最后再补充一句,这样简单的设置只适合在内网学习测试或自用,如果要共享到外网,根据最近的报道,ollama默认设置等同于“裸奔”来看,一定一定要在防火墙上下下功夫,同时进行相应的访问身份验证机制,安全永远是第一位的。

💞更多内容,可关注公众号“ 一名程序媛 ”,我们一起从 0 - 1 学编程💞

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐