核心取决于硬件、量化方式、是否开启 think、上下文长度，2026年初可直接参考的实测范围。

一、影响响应时间的关键变量

1. 量化精度
   • FP16：最快，但显存占用大（A100 约 60GB）
   • 4-bit GPTQ/GGUF：速度略降，但显存大幅降低（可在 24GB 卡跑）
2. 推理框架
   • vLLM / TensorRT-LLM：比 HuggingFace Transformers 快 2–5 倍
3. 上下文长度
   • 短上下文（< 1K）：最快
   • 长上下文（32K–128K）：首 Token 延迟上升，生成速度略有下降
4. 批处理 / 并发
   • 单请求：延迟最低
   • 多并发：吞吐上升，但单请求延迟增加

二、开启 think 模式（/think）的影响

开启思考模式后，模型会先生成内部推理链（...），再输出答案：

• 速度下降：整体耗时增加 2–3 倍
• 首 Token 更慢：延迟从几百毫秒 → 1–3 秒
• 生成速度：降至 10–20 tokens/s
• 适用场景：数学题、复杂推理、代码生成（准确率显著提升）

三、核心指标（非思考模式 /no_think）

1. 服务器级 GPU（A100 80GB / A10G 24GB）

• 首 Token 延迟（TTFT）：
  • A100 80GB + vLLM：350–600 ms
  • A10G 24GB：~1.2 s
• 生成速度（吞吐）：
  • A100 80GB：25–50 tokens/s（约 20–40 ms/token）
  • A10G 24GB：18–22 tokens/s
• 整段回复（约 100 tokens）：
  • A100：2–4 秒
  • A10G：5–7 秒

2. 消费级 GPU（RTX 4090 / 4070Ti，4-bit 量化）

• 首 Token 延迟：800–2000 ms（随输入长度增加）
• 生成速度：15–30 tokens/s
• 整段 100 tokens：6–10 秒

3. 本地 CPU（无 GPU，仅作参考）

• 基本不可用：首 Token 几十秒，生成速度 < 1 token/s

总结

• A100 + vLLM + 非思考模式：首字 0.5 秒内，100 字回答 3 秒左右
• A10G + 非思考模式：首字 1 秒，100 字回答 5 秒左右
• RTX 4090 + 4-bit：首字 1 秒，100 字回答 6–8 秒
• 开启 think：时间 ×2–3