如何在centos服务器或者ubuntu服务器上部署大模型,deepseek R1模型。

一、服务器安装部署DeepSeek R1

1、安装ollama并配置deepseek模型

        1)ollama安装命令:

                curl -fsSL https://ollama.com/install.sh | sh

                安装完成后,验证是否安装成功

                ollama -v

                如果显示Ollama的版本信息,则表示安装成功。

        2)下载并部署DeepSeek模型

                使用Ollama下载DeepSeek模型。例如,下载DeepSeek-R1模型:

                        ollama run deepseek-r1:[选择合适的版本,如7b或1.5b等]

                下载1.5b的命令示例:ollama run deepseek-r1:1.5b

下载完成后,可以通过命令行与DeepSeek模型进行交互。也可以通过postman等工具进行交互。如果需要部署一个Web界面来与模型进行对话,可以考虑使用Open WebUI等工具。

打开浏览器,输入服务器的公网IP地址和所映射的端口号(如http://[公网IP]:[宿主机端口]),即可访问DeepSeek的Web界面。

在Web界面中,可以输入问题或指令与DeepSeek模型进行对话。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐