基于Ubuntu Ollama 部署 DeepSeek-R1:32B 聊天大模型（附带流式接口调用示例）

最近 DeepSeek出来了，很火，说是能跟ChatGpt o1 媲美，结果，用了DeepSeek的官方服务，提示“服务器繁忙请稍后再试。”，我就想，算了，自己部署个吧。我这个是基于docker部署的，首先要docker 支持显卡，这样才会跑的更快，基于CPU 还是比较卡的，耗费的内存也比较多。部署非常方便，除了下载很慢，基本都是环境问题，环境解决完就没啥大问题。

热爱python的小谢

1931人浏览 · 2025-02-12 10:12:45

热爱python的小谢 · 2025-02-12 10:12:45 发布

最近 DeepSeek出来了，很火，说是能跟ChatGpt o1 媲美，结果，用了DeepSeek的官方服务，提示“服务器繁忙请稍后再试。”，我就想，算了，自己部署个吧。

我这个是基于docker部署的，首先要docker 支持显卡，这样才会跑的更快，基于CPU 还是比较卡的，耗费的内存也比较多。

部署非常方便，除了下载很慢，基本都是环境问题，环境解决完就没啥大问题。

服务器基础资源

这就来个服务器部署，目前服务器资源大致如下:

操作系统 : Ubuntu 24.04
显卡：Tesla P100-PCIE-16GB * 2
CPU：48核
内存：64G

运行docker命令

docker run --name ollama -d --restart=always --gpus=all -v /data/docker/ollama:/root/.ollama -p 11434:11434 ollama/ollama

运行完即可

然后，进入到容器内开始执行命令

docker exec -it ollama /bin/sh

然后执行下载并运行32B 的模型

ollama run deepseek-r1:32b

如果资源不够，可以运行 1.5b 或者 7B的模型

ollama run deepseek-r1:1.5b

下载提示

null

如果像上面这样能得到MB以上的速度，就说明网络已经非常好了，实际上过一会儿就会降到几百KB，很慢，这个时候，我们只需要 Ctrl + C ，然后，重新输入下载的命令速度就会提升上来，重复此过程，可以加快下载。

先给几个命令

ollama pull deepseek-r1:1.5b //拉取模型
ollama run deepseek-r1:1.5b //运行模型
ollama list  //查看所有模型

允许防火墙，这样就可以在自己局域网电脑上访问了

sudo ufw allow  11434/tcp

来先看下都有什么模型

ollama list

null

有三个模型了

ollama run deepseek-r1:32b

在这里插入图片描述

直接提示要发送一个消息给它，我们给它一个消息，比如，DeepSeek为何如此优秀?

好吧，回答的好简短，好官方，然后，再问他，如何看待目前的各种AI产品？

null

这次就回答的特别多了。

现在模型部署好了，我们也可以通过 http地址来看当前 Ollama运行的状态如何.

http://192.168.0.120:11434/

null

也可以通过这个api查看部署的模型有什么

http://192.168.0.120:11434/api/tags

null

可以看到，我用Ollama部署了3个模型。

gpu资源耗费情况

null

可以看到还好，单卡16GB，还剩5GB 左右，留给其他业务使用。

实际上Ollama部署好模型后，就可以直接用接口来调用了。

这个就是我自己调用接口实现的本地效果，也是很好用的，省的在docker里面敲来敲去。

null

主要用.net代码

引入一个nuget包

Codeblaze.SemanticKernel.Connectors.Ollama

具体代码如下:

static async Task Main(string[] args)
{
    var builder = Kernel.CreateBuilder().AddOllamaChatCompletion("deepseek-r1:32b", "http://192.168.0.120:11434");

    builder.Services.AddScoped<HttpClient>();
    var kernel = builder.Build();

    while (true)
    {
        string input = "";
        Console.Write("请输入: ");
        input = Console.ReadLine();
        Console.WriteLine("");
        var contents = kernel.InvokePromptStreamingAsync(input);

        if (contents == null)
        {
            Console.WriteLine("Error: 内容为空!");
            continue;
        }
        else
        {
            Console.WriteLine($"\nDeepseek: \n");
            awaitforeach (var item in contents)
            {
                Console.Write(item.ToString());
            }
        }
        Console.WriteLine("");
    }
}

相关地址

https://github.com/kesshei/OllamaDemo
https://gitee.com/kesshei/OllamaDemo

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模型中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次打破界限的机会，一次让普通人也能逆袭契机。

DeepSeek的优点

read-normal-img

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行，对于想要转行创业，提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

read-normal-img

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

read-normal-img

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

read-normal-img