Claude 3.7 Sonnet 的 Extended Thinking 模式出来之后，很多人把它当成了"深度推理"任务的首选。但随之而来的问题是：这个模式调用量大的时候特别容易触发 429（限速），而且不像普通请求那样可以简单地 retry——因为 thinking 模式有特殊的流式格式和参数要求。

TheRouter 最新版本（v1.7+）专门处理了这个问题，让 Anthropic thinking 请求也能无缝 fallback。

问题的技术细节

先说为什么这个问题不好处理。

Anthropic 的 thinking 模式请求，在 body 里会有这样的参数：

{
  "model": "claude-3-7-sonnet-20250219",
    "max_tokens": 16000,
      "thinking": {
          "type": "enabled",
              "budget_tokens": 10000
                },
                  "messages": [...]
                  }
                  ```
如果你的 fallback 目标是另一个不支持 `thinking` 参数的模型（比如 Claude 3.5 Sonnet），直接把这个请求转发过去会报错。

另外，thinking 模式的响应里有 `thinking` 类型的 content block，解析逻辑和普通文本不一样。这些细节如果处理不好，fallback 之后客户端会收到格式错误的响应，比无 fallback 更糟。

## TheRouter 的解法：alias 解析 + 智能参数清洗

TheRouter 在 fallback 链路里加了两个关键处理：

**1. Alias 解析**：你可以配置一个别名指向多个模型，TheRouter 自动处理优先级

```yaml
# TheRouter 路由配置
routes:
  - alias: "claude-thinking"
  -     models:
  -       - provider: anthropic
  -         model: claude-3-7-sonnet-20250219
  -         priority: 1
  -       - provider: anthropic  
  -         model: claude-3-5-sonnet-20241022
  -         priority: 2
  -         strip_thinking: true  # fallback时自动去掉thinking参数
  - ```
**2. 参数清洗**：当 fallback 到不支持 thinking 的模型时，自动剥离 `thinking` 字段，避免参数报错

调用方代码完全不需要改变：

```python
from anthropic import Anthropic

client = Anthropic(
    api_key="your-therouter-key",
        base_url="https://api.therouter.ai"
        )
# 正常写 thinking 请求，TheRouter 会处理 fallback
response = client.messages.create(
    model="claude-thinking",  # 你配置的 alias
        max_tokens=16000,
            thinking={
                    "type": "enabled",
                            "budget_tokens": 10000
                                },
                                    messages=[{"role": "user", "content": "分析这段代码的时间复杂度..."}]
                                    )
# 如果 claude-3-7 限速，会自动 fallback 到 claude-3-5
# 响应格式完全兼容，不需要特殊处理

Fallback 触发条件

TheRouter 支持配置多种 fallback 触发条件：

对于 thinking 请求，还额外支持：

• thinking_unsupported — fallback 模型不支持 thinking 时自动降级
• • budget_exceeded — thinking budget 超出限制时自动调整

实测效果

在某些高峰时段，Claude 3.7 Sonnet 的 thinking 模式限速比较明显（尤其是 Anthropic 直接的 API）。配置了 fallback 之后，服务可用性从 ~85% 提升到了 99%+。

降级时的体验差异主要体现在"思考过程"的深度上，但最终回答的质量在大多数任务上差异不大。

监控 Fallback 情况

TheRouter 的 Dashboard 里可以看到 fallback 的统计：

• 各模型的命中率和降级率
• • 按时间维度的健康状态
• • 每次 fallback 的触发原因
    这样你就知道"我的请求大概有多少在用 thinking 模式，多少降级了"，方便决策是否需要升级 Anthropic 的 rate limit 配额。

适合谁用

• 已经在用 Claude thinking 模式做代码分析、复杂推理的团队
• • 对可用性要求高（SLA > 99%）的生产环境
• • 想在不改代码的情况下给 AI 调用加一层稳定性保障的开发者
    有兴趣的可以去 therouter.ai 看看，文档里有完整的 fallback 配置示例。