LFM2.5-VL-1.6B实战教程：结合LangChain构建图文RAG增强问答系统

1. 项目概述

LFM2.5-VL-1.6B是Liquid AI发布的一款轻量级多模态大模型，专为端侧和边缘设备设计。这个模型结合了1.2B参数的语言模型和约400M参数的视觉模型，能够在低显存环境下快速响应。

核心特点：

• 轻量级设计：仅需3GB GPU显存即可运行
• 多模态能力：同时处理图像和文本输入
• 边缘计算友好：适合离线部署
• 多语言支持：覆盖中英日韩等8种语言

2. 环境准备与快速部署

2.1 硬件要求

组件	最低配置	推荐配置
GPU	NVIDIA 4GB显存	NVIDIA 8GB+显存
内存	8GB	16GB+
存储	10GB可用空间	20GB+

2.2 快速启动方式

WebUI方式（已配置开机自启）：

# 检查服务状态
supervisorctl status lfm-vl

# 重启服务
supervisorctl restart lfm-vl

# 查看实时日志
tail -f /var/log/lfm-vl.out.log

启动后访问：http://localhost:7860

命令行方式：

cd /root/LFM2.5-VL-1.6B
python webui.py

3. 基础API使用

3.1 图片问答基础示例

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForImageTextToText

# 加载模型
MODEL_PATH = "/root/ai-models/LiquidAI/LFM2___5-VL-1___6B"
processor = AutoProcessor.from_pretrained(MODEL_PATH, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(
    MODEL_PATH,
    device_map="auto",
    dtype=torch.bfloat16,
    trust_remote_code=True
)
model.eval()

# 准备图片和问题
image = Image.open("product.jpg").convert('RGB')
question = "这张图片中的产品是什么？有什么特点？"

# 构建对话
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image},
            {"type": "text", "text": question}
        ]
    }
]

# 生成回答
text = processor.apply_chat_template(conversation, tokenize=False)
inputs = processor.tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=256)
    
response = processor.batch_decode(outputs, skip_special_tokens=True)[0]
print("模型回答:", response)

3.2 使用网络图片

from transformers.image_utils import load_image

# 加载网络图片
url = "https://example.com/product.jpg"
image = load_image(url)

# 后续处理与本地图片相同

4. 结合LangChain构建RAG系统

4.1 RAG系统架构设计

用户提问 → LangChain → 向量数据库检索 → LFM2.5-VL处理 → 生成回答
           (文本处理)   (相关知识片段)    (多模态理解)

4.2 实现步骤详解

步骤1：安装必要库

pip install langchain chromadb sentence-transformers

步骤2：构建向量数据库

from langchain.vectorstores import Chroma
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.document_loaders import DirectoryLoader

# 加载文档
loader = DirectoryLoader('docs/', glob="**/*.pdf")
documents = loader.load()

# 创建向量数据库
embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-en-v1.5")
vector_db = Chroma.from_documents(documents, embeddings, persist_directory="db")

步骤3：集成LFM2.5-VL

from langchain.chains import RetrievalQA
from langchain.llms import HuggingFacePipeline

# 创建LangChain管道
qa_chain = RetrievalQA.from_chain_type(
    llm=HuggingFacePipeline.from_model_id(
        model_id=MODEL_PATH,
        task="image-text-to-text",
        device="cuda"
    ),
    chain_type="stuff",
    retriever=vector_db.as_retriever()
)

# 使用示例
image = Image.open("manual.jpg")
question = "根据产品手册，这个按钮的功能是什么？"
response = qa_chain.run({"image": image, "query": question})
print(response)

5. 进阶应用场景

5.1 产品说明书问答系统

实现流程：

1. 将产品PDF说明书转换为向量数据库
2. 用户上传产品图片并提问
3. 系统结合图片内容和说明书知识生成回答

def answer_product_question(image_path, question):
    # 加载图片
    image = Image.open(image_path)
    
    # 检索相关知识
    docs = vector_db.similarity_search(question, k=3)
    context = "\n".join([doc.page_content for doc in docs])
    
    # 构建多模态输入
    conversation = [
        {
            "role": "user",
            "content": [
                {"type": "image", "image": image},
                {"type": "text", "text": f"根据以下信息回答问题:\n{context}\n\n问题:{question}"}
            ]
        }
    ]
    
    # 生成回答
    inputs = processor(conversation, return_tensors="pt").to(model.device)
    outputs = model.generate(**inputs, max_new_tokens=512)
    return processor.decode(outputs[0], skip_special_tokens=True)

5.2 多图文档分析

def analyze_multiple_images(images, question):
    # images是包含多个PIL.Image对象的列表
    content = [{"type": "image", "image": img} for img in images]
    content.append({"type": "text", "text": question})
    
    conversation = [{"role": "user", "content": content}]
    inputs = processor(conversation, return_tensors="pt").to(model.device)
    outputs = model.generate(**inputs, max_new_tokens=1024)
    return processor.decode(outputs[0], skip_special_tokens=True)

6. 性能优化建议

6.1 生成参数调优

任务类型	temperature	min_p	max_new_tokens	适用场景
事实问答	0.1-0.3	0.1	256-512	产品支持、知识查询
创意生成	0.7-1.0	0.05	512-1024	营销文案、故事创作
代码相关	0.1	0.1	1024	技术文档分析

6.2 批处理优化

# 同时处理多个问答
def batch_process(queries):
    # queries是包含多个(image, question)元组的列表
    conversations = [
        [{"role": "user", "content": [
            {"type": "image", "image": img},
            {"type": "text", "text": q}
        ]}] for img, q in queries
    ]
    
    inputs = processor(conversations, padding=True, return_tensors="pt").to(model.device)
    outputs = model.generate(**inputs, max_new_tokens=256)
    return processor.batch_decode(outputs, skip_special_tokens=True)

7. 常见问题解决

7.1 模型加载问题

错误现象：模型加载失败或显存不足

解决方案：

# 检查模型文件完整性
ls -lh /root/ai-models/LiquidAI/LFM2___5-VL-1___6B/

# 尝试降低精度加载
model = AutoModelForImageTextToText.from_pretrained(
    MODEL_PATH,
    device_map="auto",
    torch_dtype=torch.float16,  # 使用半精度
    trust_remote_code=True
)

7.2 API调用错误

错误示例：'str' object has no attribute 'to'

正确调用方式：

# 错误方式
inputs = processor.apply_chat_template(...).to(device)

# 正确方式
text = processor.apply_chat_template(..., tokenize=False)
inputs = processor.tokenizer(text, return_tensors="pt")
inputs = {k: v.to(model.device) for k, v in inputs.items()}

8. 总结与展望

LFM2.5-VL-1.6B作为一款轻量级多模态模型，结合LangChain的RAG能力，可以构建强大的图文问答系统。本教程展示了从基础使用到进阶集成的完整流程，包括：

1. 模型基础API调用方法
2. 与LangChain的集成方案
3. 实际应用场景实现
4. 性能优化技巧

这种组合特别适合需要处理产品手册、技术文档等图文混合内容的场景，能够显著提升信息检索和问答的准确性。

未来可以进一步探索：

• 结合更多文档类型（PPT、Excel等）
• 实现多轮对话能力
• 优化边缘设备部署方案

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。