【AI测试智能体20】面试官问我Temperature怎么设，我把这篇甩给了他

weixin_37899718

385人浏览 · 2026-07-29 08:00:22

weixin_37899718 · 2026-07-29 08:00:22 发布

摘要

上一篇我们测了 temperature 对数学计算的影响——所有温度都 100% 正确。但这不够。如果 temperature 对简单任务没影响，那对复杂任务呢？

同一个电商销售分析任务，temperature=0.3 和 temperature=1.0 的结果差多少？ 作为电商数据分析智能体的测试员，这个问题直接影响我的测试策略——低温适合跑数据查询和报告生成，高温适合探索性分析。这篇我们测创意写作、逻辑推理和电商场景任务。数据是 2026-07-21 真实跑的，模型 deepseek-v4-pro。

一、实验设计

任务：

创意写作：写一个约 200 字的科幻微小说（AI测试工程师发现被测模型在"作弊"，最后发现作弊的其实是自己）
逻辑推理：三人说谎谜题（甲说乙在说谎，乙说丙在说谎，丙说甲乙都在说谎，只有一人说真话，谁在说真话？）
电商场景：生成月度销售分析报告（给定 5 月销售额 120 万及品类占比，要求结构化报告且不编造未给出指标）

设置：

模型：deepseek-v4-pro（DeepSeek）
温度：0.3 和 1.0
每个温度跑 2 次

二、真实数据

创意写作（科幻微小说）


temperature	成功率	平均 Token	平均耗时	说明
0.3	100% (2/2)	192	3.1s	故事完整，有反转
1.0	100% (2/2)	189	2.8s	故事完整，细节略有不同

逻辑推理（三人说谎）


temperature	成功率	平均 Token	平均耗时	说明
0.3	100% (2/2)	317.5	2.9s	给出结论与推理
1.0	100% (2/2)	261	2.4s	同样成功；Token 略少

电商场景（月度销售分析报告）


temperature	成功率	平均 Token	平均耗时	说明
0.3	100% (2/2)	598.5	4.9s	结构化报告，Token 最高档
1.0	100% (2/2)	513.5	4.9s	同样成功；平均 Token 低于 0.3

本轮未复现「高温度超时」；若换更长推理/更严 timeout，仍可能出现。

对比：任务复杂度与 Token


任务类型	平均 Token（跨温度）	复杂度
创意写作	~190	中
逻辑推理	~290	高
电商销售报告	~556	中高

三、关键发现

样本量说明：各温度仅跑 2 次。样本偏小，结果仅供参考。

1. 任务越结构化/偏报告，token 越高

电商报告 Token 约为创意写作的 2.9 倍。复杂任务需要更多「组织输出」的步数。

2. 本轮未看到「温度越高 token 越高」的稳定规律

创意写作 0.3→1.0 Token 几乎持平；逻辑与电商在 1.0 时平均 Token 反而略低。说明 temperature 对 Token 的影响依赖任务与模型，不能一刀切外推。

3. 成功率不是唯一的衡量指标

本轮全部成功，但不代表 temperature 无影响——影响仍可能体现在输出多样性、推理路径与（电商场景下的）是否编造未给出指标。需结合人工抽检，不能只看成功率。

四、对测试的启示

1. 简单任务不能代表复杂任务

若只测算术题，容易得出"temperature 不影响成功率"的片面结论。测试集必须覆盖不同复杂度。

2. Temperature 设置建议


任务类型	建议 temperature	理由
数学/代码	0.1-0.3	最大化可重复性
数据查询/报告生成	0.3	销售数据需要准确，低温减少幻觉风险
逻辑推理	0.3	平衡稳定性和完整性
创意写作	0.7-1.0	需要多样性
探索性分析	0.7-0.8	异常发现、趋势洞察需要发散
安全测试	0.3	找边界 case，低温度更严格

核心原则：temperature 不是"越低越好"，而是"按任务类型选择"。

3. 评估指标需要多元化

成功率 100% 不代表没有问题。需要同时看 Token、输出多样性、响应时间与事实忠实度。

五、总结

Temperature 对 DeepSeek 本轮复杂任务的影响，主要不在「是否成功」，而在 Token/写法差异；电商报告 Token 显著高于创意写作。测试时固定 temperature 是为了保证可比性。

面试题模块

Q1：Temperature 参数对智能体的影响有多大？

A：影响非常大。实测数据显示，Temperature=0.1 时 Agent 的规划路径几乎固定（确定性），Temperature=0.8 时同个任务 5 次跑出 3 种不同的规划路径。温度越高，Agent 的"创造力"越强，但"稳定性"越差。生产环境建议 Temperature 设在 0.1-0.3 之间。