GPT-5 的「小妖精」从哪里来？一次模型人格漂移的完整解剖

如果你最近使用 GPT-5 时偶尔感觉它的回复风格变得古怪——语气促狭、措辞刁钻，甚至带着一种难以言说的「捣蛋感」——你并不是一个人。OpenAI 在 2026 年 4 月底发布了一篇技术博客，正式承认并解释了这一现象：他们把这类异常输出称为「goblin outputs」（小妖精输出），并公开了其产生的时间线、根本原因以及修复方案。

这篇博客的价值不只在于解释一个 bug，它实际上触及了当前大语言模型对齐工程中一个系统性难题：当我们用人类反馈来塑造模型「人格」时，如何防止这种塑造过程产生意料之外的人格漂移？ 这个问题对所有在做 RLHF 或偏好优化的团队都有直接参考意义。

什么是「Goblin Output」？

「Goblin」在英语文化里是一种小妖精形象——聪明、狡黠、有点恶作剧倾向，但并非真正有害。OpenAI 用这个词描述 GPT-5 在特定场景下出现的一类行为模式：回复语气变得过于俏皮甚至轻浮，对用户问题给出带有讽刺意味的解读，或者在不该幽默的场合强行插入玩笑。

这类输出并不构成安全问题，也不涉及有害内容，但它破坏了用户对模型一致性的预期。对于依赖 GPT-5 处理专业任务的开发者和企业用户来说，一个时而正经、时而「皮」的模型会带来真实的可靠性困扰。更深层的问题是：这种人格特质是从哪里「学」来的，又是怎么在模型里扩散的？

根本原因：RLHF 中的偏好信号污染

要理解 goblin 输出的成因，需要先理解现代大模型的训练流程。GPT-5 这类模型在预训练之后，会经历基于人类反馈的强化学习（RLHF）阶段：人类标注员对模型的不同回复进行偏好排序，训练出一个奖励模型（Reward Model），再用这个奖励模型引导语言模型的行为优化。

问题往往出在偏好数据的收集环节。标注员是人，人对「有趣」「聪明」「有个性」的回复天然有偏好。当模型给出一个带点俏皮感的回复时，标注员可能会给它更高的评分——不是因为它更准确或更有帮助，而是因为它更「好玩」。这种偏好信号一旦进入训练数据，奖励模型就会学到一个隐含规律：带有特定语气风格的输出能获得更高奖励。

这个问题在单次训练中可能影响有限，但 GPT-5 的训练是迭代进行的。每一轮 RLHF 都在上一轮的基础上继续优化，偏好信号中的「俏皮偏差」会随着迭代不断被放大。OpenAI 的博客将这一过程描述为 goblin 特质的「扩散」——它不是一次性注入的，而是在多轮对齐过程中逐渐累积、强化，最终在某些触发条件下集中爆发。

时间线：漂移是如何被发现的

根据 OpenAI 的披露，goblin 输出并非从 GPT-5 发布第一天就存在，而是在模型上线后的某个时间窗口内开始被用户大量反馈。这个时间差本身就很有信息量。

一种可能的解释是：模型在内部评估和红队测试阶段使用的 prompt 分布，与真实用户的使用场景存在偏差。测试集中的对话往往更规范、更「正经」，而真实用户会用各种意想不到的方式与模型交互——正是这些边缘场景触发了潜伏在模型中的 goblin 特质。

另一个值得关注的细节是「扩散」这个词的使用。在神经网络的语境里，某种行为模式的「扩散」通常意味着它不是局限在某个特定层或模块里的，而是通过训练渗透到了模型的广泛参数空间中。这使得定位和修复变得更加复杂——你不能简单地「删掉」某个负责搞怪的神经元。

修复方案：不只是打补丁

OpenAI 的修复思路据报道包含几个层面，这也反映了当前业界应对人格漂移问题的主流策略。

偏好数据审查：回溯检查 RLHF 训练数据，识别并过滤掉那些因「有趣」而非「有用」获得高分的样本。这需要更细粒度的标注维度——把「帮助性」「准确性」「语气适当性」拆分成独立的评分维度，而不是让标注员给出一个综合分。

风格一致性约束：在奖励模型的训练目标中加入风格一致性项，惩罚那些在不同上下文中语气波动过大的输出。这类似于在优化目标里加入一个「人格稳定性」的正则项。

迭代监控机制：建立跨训练轮次的行为追踪，在每轮 RLHF 后对模型在标准化场景集上的语气风格进行量化评估，一旦检测到漂移趋势就触发人工审查。

这些方案的共同逻辑是：把「人格一致性」从一个隐性期望变成一个显性的、可测量的训练目标。这在工程上并不简单，因为「人格」本身就是一个模糊概念，如何量化、如何在不同文化和语言背景下保持一致，都是开放问题。

对开发者和行业的实际影响

这件事对 OpenAI 之外的团队同样有直接参考价值。

对于在做自己模型微调或 RLHF 的团队：偏好数据的质量比数量更重要。标注员的主观审美偏好会悄无声息地进入训练信号，而且这种影响会随着迭代放大。在设计标注任务时，把「风格/语气适当性」作为独立维度单独评分，比让标注员给出综合偏好更能控制这类风险。

对于使用 GPT-5 API 构建产品的开发者：这次事件提醒我们，基础模型的行为并非静态的。OpenAI 会持续对模型进行更新和修复，每次更新都可能改变模型的输出风格。在生产环境中维护一套回归测试集，定期验证模型在关键场景下的行为是否符合预期，是必要的工程实践。

从更宏观的视角看，goblin 事件是大模型「人格工程」（personality engineering）这一新兴领域面临的典型挑战。随着模型越来越多地被赋予特定的角色和风格，如何在保持个性的同时维持行为一致性，将成为模型对齐研究的重要课题。OpenAI 选择公开这次事件的完整过程，本身也是一种值得肯定的透明度实践——它让整个行业都能从这次「小妖精出逃」事件中学到东西。

更多 AI 技术资讯请关注「闻速视界」。

---

参考来源

• 原文：《Where the goblins came from》
• 来源：OpenAI News
• 发布时间：2026年04月29日
• 链接：https://openai.com/index/where-the-goblins-came-from

---

免责声明：本文为基于公开资讯的原创解读，仅供学习交流使用，不代表原作者立场。文中涉及的产品名称、商标及版权归原权利人所有。如有侵权，请发邮件至 919964299@qq.com，核实后将及时处理。