系统:Ubuntu 22.04.2 LTS (GNU/Linux 6.8.0-52-generic x86_64)
软件:
    Docker version 28.0.2
    Docker-compose version 1.29.2
    Dify 1.1.0 
    Ollama 0.6.2
    Deepseek-r1:70b

docker,docker-compose部署掠过,教程比比皆是。

准备工作,root下创建 /data/ollama/models

部署 ollama:

    拉取镜像
    docker pull ollama/ollama:0.6.2
    
    运行ollama    
    docker run -d -v /data/ollama/models/:/data/models -v /etc/localtime:/etc/localtime:ro -e OLLAMA_MODELS=/data/models -p 11434:11434 --gpus all --restart always --name ollama-0.6.2 ollama/ollama:0.6.2

    进入ollama容器
    docker exec -it ollama-0.6.2 bash

    启动deepseek-r1:70b
    ollama run deepseek-r1:70b

    运行后会开始下载70b,大概40G,下载完成后,会有一个对话测试。成功对话则表示模型部署成功。
    结束对话 输入/bye

    查看模型列表
    ollama list

    查看运行中的模型
    ollama ps

    ollama访问地址
    服务器IP:11434

部署dify

git下载dify文件

    进入目录 /data,运行命令,这里指定了版本1.1.0,不指定版本,把命令 --branch 1.1.0 去掉
    git clone https://github.com/langgenius/dify.git --branch 1.1.0

    下载完成后,目录data下,会有一个文件夹dify
    进入dify中的docker目录下 cd /data/dify/docker

    执行docker-compose up -d

 如图所示则表示dify部署完成。

    注册dify


    访问dify
    浏览器访问:服务器IP,输入注册账号和密码即可

    打开设置


    点击模型供应商,在搜索栏输入ollama

    在搜索结果中,找到ollama,点击安装,等待安装成功。

    安装成功后,添加模型
    

具体填入

然后保存。

    模型加入完成。就可以进入首页工作室中,创建应用
具体部署,请参考官方教程

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐