# OpenAI-compatible API 网关实践：Claude/GPT/Gemini 的重试和备用模型切换 在真实业务里接入 Claude API、GPT 或 Gemini，最容易低估的不是单次请求怎么写，而是失败时系统会不会稳住。小团队如果只有一个模型、一个 key、一个固定 endpoint，遇到超时、限流、模型维护或额度波动时，用户侧看到的就是整条链路不可用。 ViralAPI 的定位是把 Claude、GPT、Gemini 等模型统一到 OpenAI-compatible API 调用方式里，让业务代码可以先按标准 Chat Completions 接入，再在网关层处理分组、备用模型和预算。官网：https://viralapi.ai ## 1. 统一 OpenAI-compatible API 调用 多数业务可以先把调用封装成一个很薄的 client，不要把模型、供应商和重试逻辑散落在业务代码里。 ```bash curl https://api.viralapi.ai/v1/chat/completions \ -H "Authorization: Bearer $VIRALAPI_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "claude-3-5-sonnet", "messages": [ {"role": "system", "content": "You are a concise assistant."}, {"role": "user", "content": "Summarize this support ticket."} ], "temperature": 0.2 }' ``` 这样做的好处是：应用层只认一个 OpenAI-compatible API，后续从 Claude 切到 GPT 或 Gemini，不需要大面积改业务代码。 ## 2. Python：区分可重试和不可重试错误 不要对所有错误无脑重试。401/403 通常是鉴权或权限问题，重试只会浪费；429、502、503、504 才更适合进入退避和备用模型流程。 ```python from openai import OpenAI import time client = OpenAI( api_key="YOUR_VIRALAPI_KEY", base_url="https://api.viralapi.ai/v1", ) RETRYABLE_STATUS = {429, 500, 502, 503, 504} MODELS = ["claude-3-5-sonnet", "gpt-4o-mini", "gemini-1.5-pro"] def chat_with_fallback(messages): last_error = None for model in MODELS: for attempt in range(3): try: return client.chat.completions.create( model=model, messages=messages, temperature=0.2, timeout=30, ) except Exception as exc: status = getattr(exc, "status_code", None) last_error = exc if status not in RETRYABLE_STATUS: raise time.sleep(2 ** attempt) raise last_error ``` 这里的重点不是把所有请求都切到最贵模型，而是先定义优先级：核心链路用稳定官方分组，低风险批处理可以用更注重预算的分组。 ## 3. Node.js：业务侧保留最小路由信息 ```javascript import OpenAI from "openai"; const client = new OpenAI({ apiKey: process.env.VIRALAPI_KEY, baseURL: "https://api.viralapi.ai/v1", }); const modelGroups = { support: ["claude-3-5-sonnet", "gpt-4o-mini"], batch: ["gemini-1.5-flash", "gpt-4o-mini"], }; export async function runChat(scene, messages) { let lastError; for (const model of modelGroups[scene] ?? modelGroups.support) { try { return await client.chat.completions.create({ model, messages, temperature: 0.2, }); } catch (err) { lastError = err; if (![429, 500, 502, 503, 504].includes(err.status)) throw err; } } throw lastError; } ``` ## 4. 分组选择建议 如果团队已经有真实 API 调用量，建议按调用场景拆分，而不是只问单价： - 福利分组：官方 1.5 折，适合预算敏感、可接受波动的非核心任务。 - 官转分组：官方 6 折，适合日常业务调用，兼顾成本和可用性。 - 稳定官方分组：官方 8 折，适合核心链路、客户可见功能和高稳定性需求。 ## 5. 上线前检查清单 1. 所有 API 调用都设置 timeout。 2. 只对 429、5xx、网关超时做退避重试。 3. 至少准备一个备用模型，例如 Claude 主用、GPT 或 Gemini 备用。 4. 记录模型、状态码、耗时、token 用量和最终是否 fallback。 5. 把高价值链路和低价值批处理拆到不同分组，避免互相影响预算。 ViralAPI 更适合有真实调用需求、能自助接入、关心稳定性和预算平衡的小团队或批量采购客户。商务咨询和合作入口：miutayoung@gmail.com，Telegram / WeChat：viral_8866。

#Claude API#GPT#Gemini#OpenAI-compatible API#API网关