Dify 接入大模型

Dify 是基于大语言模型的 AI 应用开发平台,初次使用Dify时,需要设置模型供应商,全球主流的模型供应商都支持,例如 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列、Google 的 Gemini 系列、阿里的通义千问(Qwen)、深度求索的DeepSeek等等。

1. 获取API Key

如果是生产环境使用,去对应供应商的官网注册并且购买额度。

如果是个人学习、开发使用,可以使用硅基流动提供的或者使用自己本地部署的大模型。硅基流动提供多种大模型可供调用,包括当下流行的DeepSeek-R1,DeepSeek-V3、QwQ-32B、BGE-M3 等等

目前注册可以免费领取2000万token,用来学习基本也够了,注册地址:
官方注册地址

输入手机号、短信验证码,登录即可,没有注册过会自动注册
image-20250331214038113

API密钥 -> 新建 API 密钥。将新建好的密钥妥善保管
image-20250331211245595

2. 配置模型供应商

初次使用Dify时,需要设置模型供应商

点击右上角头像,点击"设置"
image-20250323212557663

1.1 安装模型供应商

点击"模型供应商",找到硅基流动,鼠标移动上去,点击安装
image-20250331220625438

点击设置,输入前面获取的API Key,点击保存
image-20250331220830816

点击"显示模型"可以看到所有支持的模型
image-20250331221046788

其他模型供应商添加方式同理。

如果你本机电脑没有部署大模型,用模型供应商提供的服务就可以了。

如果你本地部署了大模型,请往下看,确保已经启动了相关服务。参考往期的文章:Ollama安装教程、DeepSeek私有化部署

1.2 添加本地部署的大模型

找到Ollama,点击"添加模型"
image-20250323212727875

模型类型选择大语言(LLM)模型
模型名称是在Ollama里安装的模型,可以在命令行窗口通过Ollama list查看已安装的模型。 deepseek-r1:7b
image-20250331222054924

基础 URL:http://host.docker.internal:11434
image-20250323220902582

说明:因为我们的Dify是采用Docker容器的方式部署的,如果没有做端口穿透的话,默认是访问容器内的11434端口,而Ollama是安装在宿主机(即运行 Docker 的机器),host.docker.internal 会自动解析为宿主机的内部 IP 地址(如 192.168.x.x 或 127.0.0.1),使得容器内的应用能通过该域名直接访问宿主机上运行的服务

在LLM节点,可以看到既可以选择在线的大模型,也可以选择本地部署的大模型
image-20250401105157954

至此,模型供应商配置完毕

👉 搜索"北灵聊AI"获取最新更新,免费领取教程资料和源码

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐