问题界定：多模型路由的隐性成本

企业级 AI 中台常需同时接入 ChatGPT、Claude 和 DeepSeek 等模型，但各家的 API 协议、计费单元和速率限制存在显著差异。例如： - DeepSeek 按 token 计费且支持 128K 上下文，而 Claude 的计费策略随版本浮动 - ChatGPT 的 429 状态码语义与 Claude 的速率限制响应头格式不同 - 三家模型的 P99 延迟分布在 800ms~2s 不等

表面相似的 SDK 封装背后，隐藏着账单偏差、超时熔断不一致等工程风险。

决策依据：四维评估框架

1. 成本敏感型路由

• 按租户划分：适合明确预算约束的场景（如 SaaS 产品按套餐限流）
• 优势：账单归属清晰，易于设置硬上限
• 缺陷：高价值任务可能被低配额模型拖累
• 按任务类型划分：推荐对成本容忍度差异大的场景
• 示例：内部知识库问答优先走 DeepSeek（高性价比），客户敏感会话切 Claude（合规性）
• 实施要点：需建立任务标签体系（如 cost_priority=high|low）

2. 延迟与 SLA 保障

• 实时对话类请求应路由到 P95 <1s 的模型（需实测各区域延迟）
• 批处理任务可启用 DeepSeek 的连续批处理模式（throughput 优先）
• 关键发现：DeepSeek-V4 在 8k~32k 上下文区间的 P99 延迟波动小于 Claude-3

3. 上下文长度适配

• 超过 32K 的文档解析任务自动路由到 DeepSeek-V4
• 短文本交互可降级到低版本 Claude 以节省成本
• 特殊处理：对于 RAG 场景，当召回文档总长度 >64k 时强制启用 DeepSeek 的 128k 模式

4. 合规与审计要求

• 金融场景需强制记录模型供应商和 API 版本
• 通过网关注入 request_id 实现全链路追踪
• 实践案例：某银行在网关层添加模型指纹（如 DeepSeek-V4-20240615）

落地步骤：混合路由实现方案

阶段一：基础路由层

# 网关配置示例（Nginx+Lua）
location /v1/chat {
  access_by_lua_block {
    local tenant = ngx.var.arg_tenant_id
    if tenant == "finance" then
      ngx.var.backend = "deepseek_prod"
    elseif ngx.var.request_length > 32768 then
      ngx.var.backend = "claude_100k"
    end
  }
}

阶段二：动态降级策略

1. 实时监控各模型的 429/5xx 错误率
2. 当 DeepSeek 的 P99 延迟 >2s 时，将非关键任务切至 Claude
3. 熔断恢复后，按 10% 流量梯度回切
4. 进阶技巧：结合历史数据预测高峰期（如周一早 9 点预加载模型）

阶段三：成本归因优化

• 在响应头注入 X-Model-Cost 包含实际消耗 token 数
• 按月生成分模型、分租户的 token 消耗热力图
• 反模式警示：避免仅按成功请求计费而忽略失败请求的 token 消耗

深度实践：DeepSeek 专项优化

1. 长上下文加速

• 启用 vLLM 的 paged attention 特性
• 实测数据：128k 上下文的吞吐量提升 40%（A100-80G 环境）

2. 负载均衡策略

• 基于 GPU 显存使用率动态分配请求（DeepSeek 的显存占用更线性）
• 当单卡显存 >90% 时，新请求路由到其他节点

3. 会话一致性保障

• 相同 session_id 强制路由到同一模型版本
• 采用分布式 Redis 记录会话状态（包含上次使用的模型标识）

反例边界：何时不该做智能路由

1. 超低延迟场景：医疗急救等需要固定延迟基线的场景，多级路由会增加不确定性
2. 强一致性要求：若用户会话中途切换模型可能导致风格突变
3. 小规模部署：日均请求量 <1k 时，维护多套 SDK 的成本可能超过节省
4. 特殊合规要求：某些地区规定必须使用指定供应商的模型

观测指标检查清单

• 关键指标：各模型维度的 QPS/P99/错误率
• 成本看板：token 单价 * 实际消耗量（区分输入/输出）
• 业务指标：路由切换前后的任务完成率对比
• DeepSeek 专属监控项：
• 长上下文请求占比
• 投机解码命中率
• 显存碎片化程度

演进路线建议

1. 初期：按租户划分确保基础隔离
2. 中期：增加基于任务标签的路由
3. 成熟期：实现实时成本/性能均衡算法

网关路由不是银弹，需结合 DeepSeek 等模型的特性和业务实际需求做渐进式优化。建议每季度重新评估路由策略，模型供应商的更新（如 DeepSeek-V4 的连续批处理改进）可能改变原有平衡。