多模态AIAgent开发实践 邓立国、周驰岷、邓淇等 清华大学出版社【行情 报价 价格 评测】-京东

《多模态AI Agent开发实践》1~6章试读-CSDN博客

本章案例基于qwen-vl-plus大模型，实现“图片＋文本”跨模态交互（工业巡检图像分析），严格遵循指定依赖与.env文件API调用规范，可直接运行，衔接前5章的图片加载方法，实现多模态基础推理。

【示例6.1】本示例加载工业巡检图片，通过qwen-vl-plus分析图片中设备是否存在异常，输出详细分析结果。实现代码如下：

# 多模态大模型基础案例（qwen-vl-plus 工业图像异常分析）

# 依赖：langchain==0.3.25 langgraph==1.0.5 langchain-core==1.2.7 langchain-community==0.4.1 python-dotenv

from dotenv import load_dotenv

import os

import base64

load_dotenv()

# 官方正确：必须用 ChatTongyi

from langchain_community.chat_models import ChatTongyi

from langchain_core.messages import HumanMessage

def image_to_base64(image_path):

    with open(image_path, "rb") as f:

        return base64.b64encode(f.read()).decode("utf-8")

def main():

    # 1. 初始化 qwen-vl-plus 多模态模型

    llm = ChatTongyi(

        model_name="qwen-vl-plus",

        api_key=os.getenv("QWEN_API_KEY"),

        temperature=0.1,

        max_tokens=1024

    )

    # 2. 加载图片

    image_path = "industrial_test.jpg"

    try:

        img_b64 = image_to_base64(image_path)

        print(f"✅ 图片加载成功：{image_path}")

    except:

        print(f" 图片不存在：{image_path}")

        return

    # ===================== 关键修复：官方标准格式 =====================

    messages = [

        HumanMessage(content=[

            {"text": """

请分析这幅工业巡检图片，完成以下任务：

1. 描述图片中的核心设备与场景；

2. 检查是否存在泄漏、破损、异常磨损、变形等异常；

3. 给出明确结论：正常 / 异常 ＋ 详细说明。

""" },

            {"image": f"data:image/jpeg;base64,{img_b64}"}

        ])

    ]

    # 3. 调用模型

    print("\n 正在使用 qwen-vl-plus 分析图片...")

    response = llm.invoke(messages)

    # 4. 输出结果

    print("\n" + "="*60)

    print(" qwen-vl-plus 多模态图像分析结果")

    print("="*60)

    print(response.content)

    print("="*60)

if __name__ == "__main__":

    main()

运行输出：

✅ 图片加载成功：industrial_test.jpg

 正在使用 qwen-vl-plus 分析图片...

============================================================

 qwen-vl-plus 多模态图像分析结果

============================================================

[{'text': '### 1. 描述图片中的核心设备与场景\n\n这幅图片展示了一个工业巡检的场景，位于一个大型工厂或化工厂内部。场景的核心设备包括：\n\n- **管道系统**：画面中布满了大量的金属管道，这些管道纵横交错，连接着各种设备和机器。管道的颜色主要是银色和白色，部分管道上可能有保温层。\n- **电机和泵组**：前景中可以看到几台大型电机和泵组，它们安装在混凝土基座上，用于驱动流体或其他介质的输送。电机外壳为蓝色，表面光滑。\n- **阀门和仪表**：管道上安装了多个阀门和仪表，用于控制流体的流动和监测压力、温度等参数。\n- **支撑结构**：整个场景由金属支架和立柱支撑，确保管道和设备的稳定安装。\n\n两名穿着蓝色工作服、戴着安全帽的工作人员正在巡检，他们手持文件夹，似乎在记录或核对设备的运行情况。\n\n### 2. 检查是否存在泄漏、破损、异常磨损、变形等异常\n\n通过对图片的仔细观察，可以进行以下检查：\n\n- **泄漏**：从图片中未发现明显的泄漏迹象。管道和设备表面没有可见的液体滴落或气泡，也没有明显的锈迹或湿痕。\n- **破损**：所有设备和管道的外观看起来完好无损，没有明显的裂纹、断裂或其他破损现象。\n- **异常磨损**：电机和泵组的外壳没有明显的磨损痕迹，表面光滑且无刮擦。管道和阀门也没有显示出异常的磨损或腐蚀。\n- **变形**：管道和设备的形状保持正常，没有明显的弯曲、扭曲或其他变形现象。\n- **其他异常**：从图片中未发现明显的异常现象，如过热导致的变色、振动引起的松动等。\n\n### 3. 结论\n\n**结论：正常**\n\n**详细说明**：\n\n根据对图片的分析，该工业巡检场景中的设备和环境均处于正常状态。管道、电机、泵组及其他相关设备没有发现泄漏、破损、异常磨损或变形等异常现象。两名工作人员正在进行常规的巡检工作，他们的行为符合标准的操作流程。整体来看，该场景的设备运行状态良好，没有明显的安全隐患或故障迹象。\n\n如果需要进一步确认，建议进行更详细的现场检查，包括使用专业仪器检测设备的运行参数（如温度、压力、振动等），以确保设备的长期稳定运行。'}]

============================================================

案例说明：本案例衔接前5章的图片加载方法，通过.env文件管理API密钥，调用qwen-vl-plus实现跨模态推理，输出图片分析结果，直观体现多模态大模型的核心能力，同时适配指定依赖版本，为第7章LangChain集成奠定实操基础。运行后可根据图片实际内容，得到设备状态的详细分析。若图片存在管道泄漏、设备破损等异常，则会明确标注异常位置与表现。