LangChain 多模型切换实战：用 OpenAI 兼容接口统一管理 GPT/Claude/Gemini

ROMANTXWD

226人浏览 · 2026-08-06 20:25:38

ROMANTXWD · 2026-08-06 20:25:38 发布

最近在做一个 AI 应用，需要同时支持多个大模型，让用户可以自由切换。一开始分别接了 OpenAI、Anthropic、Google 的官方 SDK，代码越写越乱，维护起来头大。

后来想到一个思路：找一个 OpenAI 兼容的 API 代理服务，把所有模型都统一到同一个接口格式下，这样 LangChain 只需要对接一套 SDK 就行了。

试了几个方案，最后用了一个国内的聚合平台（支持支付宝充值，对国内开发者比较友好）。这篇文章就来分享一下整个接入过程和踩过的坑。

一、为什么要统一接口？

做多模型支持的朋友应该都有体会：

每个厂商的 SDK 用法不一样，要写一堆适配层
不同模型的参数、返回格式有差异，处理起来很繁琐
要管理一堆 API Key，安全和运维都是问题
充值麻烦，尤其是海外平台，没有信用卡根本用不了

如果能统一到 OpenAI 的 API 格式下，问题就简单多了——一套代码，改个 model 名字就能切换模型。

二、环境准备

我用的是一个叫 97AIPRO 的聚合平台，它完全兼容 OpenAI API 格式。当然你也可以用其他类似的平台，原理是一样的。

安装依赖：

pip install langchain openai python-dotenv

配置 .env 文件：

# 这里填你的 API Key 和接口地址
# 如果用的是其他兼容平台，改这两个地方就行
OPENAI_API_KEY=your_api_key
OPENAI_BASE_URL=https://api.97aipro.com/v1

注意：变量名用 OPENAI_ 前缀是因为 LangChain 的 ChatOpenAI 默认读这两个环境变量。换平台只需要改这两个值，代码不用动。

三、基础对话

先跑一个最简单的例子：

from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage, SystemMessage
from dotenv import load_dotenv

load_dotenv()

llm = ChatOpenAI(
    model="gpt-4o",
    temperature=0.7,
)

messages = [
    SystemMessage(content="你是一个专业的技术顾问"),
    HumanMessage(content="用 Python 写一个快速排序算法")
]

response = llm(messages)
print(response.content)

代码和直接用 OpenAI 官方 API 完全一样，只是 base_url 和 api_key 不同。迁移成本基本为零。

四、一行代码切换模型

这是统一接口最大的好处——切换模型只改 model 参数：

# GPT-4o
llm = ChatOpenAI(model="gpt-4o")

# Claude 3.5 Sonnet
llm = ChatOpenAI(model="claude-3-5-sonnet-20241022")

# Gemini Pro
llm = ChatOpenAI(model="gemini-pro")

我做了一个简单的 A/B 测试框架，同一个 prompt 跑三个模型对比效果，5 分钟就搞定了。如果是分别接官方 SDK，光写适配代码就得半天。

踩坑提醒：不同模型的上下文长度、最大输出 token 数不一样，切换的时候要注意调整 max_tokens 参数，不然可能会报错。

五、RAG 知识库实战

光说不练假把式，我们来搭一个完整的 RAG 知识库系统。

安装额外依赖：

pip install langchain chromadb tiktoken

完整代码：

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain.chat_models import ChatOpenAI
from dotenv import load_dotenv

load_dotenv()

# 1. 加载文档（实际项目中从文件读取）
documents = [
    "LangChain 是一个用于开发大语言模型应用的框架。",
    "Chroma 是一个轻量级的向量数据库，适合原型开发。",
    "RAG 的全称是 Retrieval-Augmented Generation，即检索增强生成。",
    "Embedding 模型可以将文本转换为向量表示。",
    "相似度搜索是 RAG 系统的核心步骤之一。",
]

# 2. 文档切分
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=20,
    length_function=len,
)
texts = text_splitter.create_documents(documents)

# 3. 构建向量库
embeddings = OpenAIEmbeddings(model="text-embedding-ada-002")
db = Chroma.from_documents(texts, embeddings)

# 4. 创建检索链
llm = ChatOpenAI(model="gpt-4o", temperature=0)
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=db.as_retriever(search_kwargs={"k": 3}),
    return_source_documents=True,
)

# 5. 提问
result = qa_chain({"query": "什么是 RAG？"})
print(result["result"])

性能优化建议：如果文档量大，建议先用 embedding 模型批量生成向量存到本地，下次直接加载，不用每次都重新生成，能省不少时间和费用。

六、流式输出

对话类应用一定要开流式输出，用户体验好很多：

from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

llm = ChatOpenAI(
    model="gpt-4o",
    streaming=True,
    callbacks=[StreamingStdOutCallbackHandler()],
    temperature=0,
)

response = llm([HumanMessage(content="解释一下什么是向量数据库")])