通义千问1.5-1.8B-Chat-GPTQ-Int4集成指南：与Dify平台构建AI工作流

你是不是已经成功在星图GPU平台上部署了通义千问1.5-1.8B-Chat-GPTQ-Int4模型，看着它运行良好，却不知道下一步该怎么把它变成一个真正能用的应用？比如，你想做个智能客服，或者一个能帮你写周报的助手，但感觉从模型到应用之间还隔着一道鸿沟。

别担心，这道鸿沟今天就能填平。本文将手把手带你，把那个已经部署好的模型，无缝集成到Dify这个强大的AI应用开发平台里。你不用再从头写复杂的后端接口和前端界面，只需要跟着步骤点点配置，就能快速搭建起一个功能完整、可对外服务的AI应用。整个过程，就像给模型插上了一双翅膀，让它从实验室飞向真实世界。

1. 准备工作：理清思路与检查清单

在开始动手之前，我们先花几分钟，把整个流程和需要的东西理清楚。这能帮你避免中途卡壳，事半功倍。

1.1 你需要准备什么？

首先，确保你已经完成了以下两步，这是今天所有操作的基础：

1. 一个正在运行的通义千问模型服务：假设你已经按照星图平台的教程，成功部署了 Qwen1.5-1.8B-Chat-GPTQ-Int4 模型，并且拿到了它的API访问地址。这个地址通常长这样：http://你的服务器IP:端口/v1。请把它记下来，后面会频繁用到。
2. 一个Dify平台环境：你可以使用Dify的云端服务，也可以在本地或自己的服务器上部署Dify社区版。本文的操作在两者上基本通用。

1.2 集成流程全景图

简单来说，我们要做三件事，它们环环相扣：

• 第一步：在Dify里“认领”你的模型。告诉Dify：“嘿，我有个很棒的模型在这里，这是它的地址和钥匙，以后调用它就找它。”
• 第二步：用这个模型创建一个应用。比如，创建一个“智能客服机器人”应用，并设定好它该怎么和用户对话。
• 第三步：测试并发布你的应用。看看机器人回答得怎么样，没问题就可以生成一个链接，分享给其他人用了。

听起来是不是挺简单的？我们这就开始。

2. 第一步：在Dify中配置模型供应商

现在，我们打开Dify平台，开始正式的集成工作。第一步是让Dify认识并能够调用你的通义千问模型。

2.1 进入模型配置页面

登录你的Dify工作空间后，在左侧菜单栏找到并点击 “模型供应商” 。这里就像是Dify的“模型库管理中心”。

点击页面上的 “添加模型供应商” 按钮，你会看到一个长长的支持列表，比如OpenAI、Anthropic等。我们的模型是自定义部署的，所以需要找到 “自定义模型” 或 “OpenAI-Compatible” 这类选项（不同Dify版本名称可能略有差异，其核心是支持标准OpenAI API格式的模型）。

2.2 填写模型连接信息

选择“自定义/OpenAI-Compatible”后，会弹出配置表单。你需要填写几个关键信息：

• 模型供应商名称：给你这个连接起个名字，比如“我的通义千问-1.8B”。
• 模型类型：选择 文本生成 或 聊天，因为我们的模型是Chat版本。
• API 端点：粘贴你之前记下的模型API地址，即 http://你的服务器IP:端口/v1。注意：地址末尾的 /v1 通常很重要，这是OpenAI兼容接口的常见路径。
• API 密钥：如果你的模型部署设置了API密钥认证（例如在启动命令中通过 --api-key 参数指定），就在这里填写。如果部署时没设置，这里可以留空，但出于安全考虑，生产环境建议设置。

一个参考的配置示例如下（请根据你的实际情况替换）：

供应商名称：星图-Qwen1.8B-Chat
API端点：http://192.168.1.100:8000/v1
API密钥：sk-你的实际密钥（如果设置了）

填写完毕后，可以点击 “测试连接” 按钮。如果看到“连接成功”的提示，恭喜你，最关键的桥梁已经架设好了！然后保存配置。

2.3 添加具体的模型实例

连接成功后，你还需要在这个供应商下“上架”具体的模型。在刚刚创建的供应商卡片上，点击“添加模型”。

• 模型名称：填写 Qwen1.5-1.8B-Chat-GPTQ-Int4。这个名称是用来在Dify内部标识的，你可以自定义，但建议和实际模型对应。
• 模型ID：这里填写模型在API调用时使用的名称。对于通义千问，通常就是 qwen1.5-1.8b-chat。这一点很关键，模型服务会根据这个ID来路由请求。如果你不确定，可以查看模型部署的文档或通过API测试确认。

保存后，你的模型就会出现在Dify的模型列表里，随时待命了。

3. 第二步：创建你的第一个AI应用

模型准备好了，现在我们来用它造一个“产品”。我们以创建一个简单的智能聊天机器人为例。

3.1 创建新应用

在Dify左侧菜单点击 “应用”，然后点击 “创建新应用”。选择 “对话型应用”，因为我们要做的是多轮聊天机器人。

给你的应用起个名字，比如“IT技术支持助手”，并写一段简单的描述。

3.2 配置应用模型与提示词

进入应用编排界面后，你会看到一个可视化的编排面板。我们主要关注两个部分：

1. 选择模型：

   • 在“对话”节点（通常已默认添加）中，点击模型选择框。
   • 你应该能在下拉列表中看到我们刚才添加的 Qwen1.5-1.8B-Chat-GPTQ-Int4。选中它。

2. 编写提示词：

   • 提示词（Prompt）是告诉模型如何扮演角色的指令。这是决定应用智能程度的关键。
   • 在“对话”节点的系统提示词框中，输入你设定的角色和规则。例如：

     你是一个专业的IT技术支持助手，态度友好且耐心。请用简洁明了的中文回答用户关于电脑、网络、软件使用等方面的问题。如果遇到不确定的问题，请如实告知，不要编造信息。
     

   • 一个好的提示词能极大地约束和引导模型的输出，使其更符合你的应用场景。

3.3 试试对话效果

配置好后，点击页面右上角的 “预览” 按钮，右侧会弹出聊天测试窗口。

在底部输入框里问它一个问题，比如：“我的电脑无法连接Wi-Fi了，应该怎么排查？” 看看它的回答是否专业、符合你设定的“技术支持助手”身份。

如果回答不尽如人意，可以返回去调整提示词，比如增加更具体的指令，或者强调回答的格式。这个过程就是“提示词工程”的微调，非常直观。

4. 第三步：进阶编排与工作流搭建

基础的聊天机器人已经完成了。但Dify的强大之处在于“工作流”，它允许你将多个步骤串联起来，实现更复杂的逻辑。我们来看一个稍微复杂点的例子：创建一个“周报生成助手”。

4.1 设计工作流逻辑

这个应用的目标是：用户输入本周完成的工作要点，助手能自动整理并生成一段结构清晰的周报总结。

逻辑可以拆解为：

1. 用户输入：接收用户输入的零散工作项。
2. 模型总结：调用通义千问模型，将零散项整理成通顺的段落。
3. 格式化输出：将模型生成的内容，套入一个固定的周报模板中。

4.2 使用工作流画布实现

在Dify中，点击“创建新应用”，这次选择 “工作流” 类型。

1. 添加开始节点：从左侧拖入一个“开始”节点，它代表用户输入的入口。我们可以配置一个文本输入变量，比如叫 work_items。
2. 添加LLM节点：拖入一个“LLM”节点，并选择我们的通义千问模型。
   • 在这个节点的提示词中，我们可以这样写：

     请将用户提供的本周工作要点，整理成一段流畅的周报总结段落。要点如下：
     {{work_items}}
     要求：语言正式、条理清晰、突出重点。
     

     这里的 {{work_items}} 会引用上一步用户输入的内容。
3. 添加文本模板节点：再拖入一个“文本处理”类节点（或直接使用提示词模板）。
   • 在这里，我们可以预设一个周报模板，并将上一步模型生成的总结嵌入进去。

     **本周工作总结：**
     {{model_output}}
     
     **下周计划：**
     1. [待用户填写]
     2. [待用户填写]
     
     **遇到的问题与建议：**
     - 无
     

     这里的 {{model_output}} 会引用LLM节点生成的结果。
4. 连接节点：用连线将“开始” -> “LLM” -> “文本模板”节点依次连接起来。
5. 测试工作流：点击预览，在输入框里写下几条工作要点，例如：“完成了用户登录模块开发；修复了数据导出功能的两个bug；参加了团队技术分享会”。运行工作流，看看最终输出的周报格式是否令人满意。

通过这样的拖拽和连接，你就能构建出远比简单聊天复杂的自动化AI流程，比如客服工单分类、内容审核、数据分析报告生成等等。

5. 测试、发布与分享

应用搭建好了，最后一步就是把它交付出去。

5.1 全面测试

在发布前，务必进行多轮测试：

• 功能测试：尝试输入各种问题，包括边缘情况、长问题、含糊的问题，看看模型的回复是否稳定、符合预期。
• 性能测试：观察响应的速度。由于我们使用的是量化后的1.8B小模型，并在本地或近端部署，延迟通常很低，体验会很好。
• 提示词优化：根据测试结果，反复调整系统提示词，这是提升应用效果性价比最高的方法。

5.2 发布与集成

测试无误后，在应用概览页面点击 “发布”。

发布后，你可以获得多种集成方式：

• 网站嵌入：Dify会生成一段JavaScript代码，你可以直接嵌入到自己的网站中。
• API访问：获得一个专属的API端点，可以从你的小程序、移动App或其他后端服务调用。
• 公开链接分享：直接生成一个可分享的URL，任何人点开就能使用你的AI应用。

6. 写在最后

走到这里，你已经完成了从“一个部署在服务器上的模型”到“一个可对外提供服务的AI应用”的完整闭环。整个过程，你几乎没有编写一行后端代码，只是通过Dify这个可视化平台进行了配置和编排。

这种模式极大地降低了AI应用开发的门槛。你可以快速地将通义千问这样的模型能力，封装成解决具体业务问题的工具。无论是内部效率助手，还是面向客户的产品功能，迭代速度都变得非常快。

当然，这只是一个起点。你可以探索Dify更高级的功能，比如知识库检索（让你的模型基于自有文档回答问题）、工具调用（让模型能执行查询天气、计算等操作），来打造更智能、更强大的应用。最重要的是，你已经掌握了核心的集成方法，剩下的就是发挥你的想象力，去创造更多的可能性了。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。