在企业级 LLM 服务中，API 网关的多租户管理是平衡资源效率与安全的关键。本文基于 DeepSeek 推理栈，拆解三个核心问题：如何设计租户配额体系？熔断策略如何避免级联故障？密钥轮换怎样不影响在线服务？

租户配额的三层控制

1. 基础配额：每个租户分配固定 QPS（如 10/s）和月 token 额度（如 1000 万），通过 Redis 计数器实现原子操作。建议使用 Redis 的 INCRBY 和 EXPIRE 命令组合实现按月重置。
2. 动态调整：根据历史用量自动升降级，例如连续 3 天超 80% 用量则触发 +20% 临时扩容。动态调整算法应考虑：
3. 工作日/节假日流量模式
4. 同类租户的基准用量
5. 当前集群剩余容量
6. 熔断阈值：当单租户错误率 >5% 或延迟 P99 >2s 时，自动降级到 50% 配额并通知运维。建议设置梯度熔断：
7. 首次触发：仅记录日志
8. 持续 5 分钟：降低配额
9. 持续 30 分钟：临时封禁

关键配置项（以 Nginx + Lua 实现为例）：

location /v1/chat {
  access_by_lua_block {
    local tenant = ngx.var.arg_apikey
    local limit = redis.call('GET', 'quota:'..tenant)
    if tonumber(limit) <= 0 then
      ngx.exit(429)
    end
    redis.call('DECR', 'quota:'..tenant)

    -- 动态调整逻辑
    local usage = redis.call('GET', 'usage:'..tenant)
    if tonumber(usage) > 0.8 * tonumber(limit) then
      redis.call('INCRBY', 'quota:'..tenant, math.floor(tonumber(limit)*0.2))
    end
  }
}

熔断策略的工程实现

• 指标采集：Prometheus 统计每个租户的请求成功率、延迟分布、token 消耗速率。推荐采集以下黄金指标：
• 请求量（QPS）
• 错误率（4xx/5xx）
• 延迟（P50/P95/P99）

• 资源使用率（GPU-Util）

• 分级响应：

• 轻度过载（CPU >70%）：返回 503 并携带 Retry-After 头，建议值 5-10 秒

• 严重故障（节点不可用）：自动切换至备份区域，需确保：

  • 会话状态同步（通过 Redis 跨区复制）
  • 数据一致性（最终一致性模型）

• 会话保持：通过 HTTP Cookie 确保同一用户的请求路由到相同 DeepSeek 推理实例，避免 KV cache 失效。实现要点：

• Cookie 有效期与会话长度对齐（如 30 分钟）
• 加密 Cookie 内容防止篡改
• 支持会话转移时的渐进式迁移

密钥安全实践

1. 轮换机制：每月自动生成新 API Key，旧 Key 保留 7 天过渡期。关键实现步骤：
2. 使用 KMS 托管主密钥
3. 新 Key 生成后先写入备库

4. 通过双写确保无缝切换

5. 审计日志：记录每个 Key 的调用方 IP、时间戳和消耗 token 数，写入 ELK 供溯源。建议日志字段：

   {
     "timestamp": "今年-01-01T00:00:00Z",
     "api_key": "sk_xxx",
     "endpoint": "/v1/chat",
     "tokens": 1024,
     "client_ip": "1.2.3.4"
   }

6. 泄漏应对：通过实时风控检测异常调用模式（如突然的地理位置跳跃），立即冻结可疑 Key。检测规则示例：

7. 同一 Key 在 1 小时内从不同国家调用
8. 调用频率突增 10 倍以上
9. 非常用时间段的批量调用

避坑指南

• 避免全局静态配额：某金融客户因未设置突发流量缓冲，导致促销活动时全线服务被熔断。解决方案：
• 设置 20% 的弹性缓冲池

• 针对 VIP 租户设置更高的突发上限

• 慎用简单轮询负载均衡：未考虑 GPU 显存占用的均衡分配，引发部分节点 OOM。改进方案：

• 基于显存使用率动态权重

• 预留 10% 显存应对突发

• 测试环境隔离不足：某次密钥轮换演练污染了生产环境的 Redis 计数器。防护措施：

• 使用独立的 Redis 命名空间
• 自动化测试前强制检查环境变量

实施后某电商客户关键指标变化：

进阶优化方向

1. 智能预测扩缩容：基于时间序列预测未来 1 小时用量，提前调整配额
2. 细粒度计费：按模型版本（如 DeepSeek-V4 vs V3）设置差异化费率
3. 跨区域容灾：当主区域不可用时，自动将流量切换到备份区域

结论：通过三层配额控制、分级熔断和密钥生命周期管理，我们成功为某头部电商平台构建了日均 1.2 亿次调用的稳定服务。核心经验：动态调整优于静态限制，渐进式熔断比一刀切更友好，密钥安全需要从生成到销毁的全流程管控。