系列第 8 篇 · 长短文本差异

✅ 【实测说明】：本篇本机真跑——用纯 NumPy 引擎加载本地 Qwen2.5-0.5B，生成 4 档长度（~60 / ~160 / ~320 / ~640 字）的 AI 文各 3 段，配同长度的人写文，跑「困惑度(PPL) + n-gram 冗余度」双信号检测器，逐档算准确率。阈值沿用本机对本批样本重算的 PPL 45.16 / n-gram 0.05。全程无 key、无 torch，脚本 forensics_ep7_8_9.py（第8期段）可复现。

一句话结论

前几期我们默认「一段文就能判」。第 8 期专门压长度这个变量：同样用 AI 写的文，缩到 60 字左右，检测器的准确率从 100% 掉到 83%——有一段 AI 文被误判成「人类」放过了；而 160 字以上，准确率回到 100%。根因很硬：文本越短，用来算困惑度的 token 越少，PPL 估计的方差越大，一段本该像 AI 的短文本，PPL 可能刚好落在阈值附近（实测那段漏网的短 AI 文 PPL=19.28，紧挨 45.16 的阈值），于是被错判成人写。对读者最实在的提醒：朋友圈、微博、商品短评这类「短 AI 文案」恰恰是检测器最易漏的；对检测方：短文本不该强行给「真/假」结论，而该标「样本不足、存疑」。

背景与痛点：为什么短文本是检测器的软肋

你 everyday 看到的 AI 内容，大量是短的：一条带货文案、一句鸡汤、一条伪装的评论、一段视频标题。这些文本 token 少，而困惑度（PPL）本质是「在多少上下文里预测下一个字」——上下文越短，预测越像猜，PPL 的数字就越抖。人类写短句也可能很「顺」（PPL 低），AI 写短句也可能因为截断显得「磕巴」（PPL 高）。两个分布在中段重叠，阈值一划就有人要被错分。我想用本机实验把这条「长度—准确率」曲线画出来，看短到什么程度开始漏。

实验设计：4 档长度 ×（AI 3 段 + 人类 1 段），双信号逐档判

1. 本机 0.5B 生成 4 档长度的 AI 文：~60 / ~160 / ~320 / ~640 字，每档 3 段（主题：弃用微服务 / 本地部署踩坑 / AI 编程助手偏见）。
2. 手寫同 4 档长度的人类文各 1 段（带个人语气、生活细节，非模型生成）。
3. 对每段跑 PPL + n-gram 冗余度，按阈值（PPL<45.16 且 n-gram>0.05 判 AI）给结论；逐档统计「AI 判对率」「人类判对率」「综合准确率」。
4. 单独捞出被错判的短 AI 文样本，看它到底「像人」在哪。

真实数字表（本机真跑）

A. 长度—准确率曲线（PPL<45.16 且 n-gram>0.05 判 AI）

规律一目了然：长度过短（~60字）准确率塌到 83%，160 字以上稳在 100%。 注意一个反直觉点：短「人类」文判得反而更准（PPL 高达 931，明显不像 AI），塌陷的是「短 AI 文被漏判成人类」这一头——也就是检测器放过了本该抓的 AI。

B. 漏网样本（被错判为「人类」的短 AI 文）

我，我偏爱 AI 编程助手，因为它们能帮助我更好地学习和理解。
但是，我也有一些偏见，比如它们可能无法理解一些复杂的概念，……
（实测 PPL=19.28，低于人类阈值区间，被判「人类」→ 假阴性）

这段只有 60 字、且开头有重复口头禅（「我，我…」），PPL 落在 19.28——刚好在「AI 基线(1.5~21) 上沿」和「人类(>45)」之间，检测器拿不准，给了「人类」。这就是短文本的典型坑：样本太少，PPL 估计的方差大，边界样本最容易被错分。

我试的「发现」：短不是骗术，是检测器的技术上限

猫鼠对抗第 8 招，结论不是「某种骗术」，而是「检测器自己的边界」：

• 短 AI 文漏判，是因为信号噪声大，不是因为你「写得好」。上面那段漏网的 AI 文没有任何刻意伪装，只是短 + 略磕巴，PPL 就飘到了阈值附近。换句话说，越短的内容，检测器越该「谦虚」——宁可标存疑，也别强行判真假。
• 长 AI 文反而最稳。640 字档 AI 平均 PPL 1.52、n-gram 0.726，离人类（PPL>190）差了一个数量级，双信号牢牢钉死。所以「写一长段 AI 文」检测难度最低，「写一句 AI 短句」反而最容易混过去。
• 给「躲检测」的人一个反直觉提醒：别去学什么高级绕过，把 AI 文截成短句、拆成碎片发反而最安全——但这恰恰说明短文本平台（评论区、短动态）是鉴伪最薄弱的阵地，读者更要警惕「看似随意的一两句话」。

对防御方的启示

• 如果你是检测方：① 短文本不要强行给二分类结论。当文本 token 数低于某个下限（本机实测约 <80 字风险明显上升），应输出「样本不足 / 存疑」，而不是「AI / 人类」——强行判只会制造假阴性（放过 AI）和假阳性（冤枉人）。② 用上下文补齐：一条短评不可靠，就把「同账号的历史发言 + 上下文会话」拼起来再判，把短文本变成「长上下文」再算 PPL，方差立刻下降。③ 短文本更该靠行为/元数据辅助：新号集中发短 AI 文案、发布节奏机械，这些信号比单条 PPL 更稳。
• 如果你是平台：评论区、弹幕、短动态是 AI 水军最爱用的形态，也正是单条文本检测最弱的。最低成本的做法是账号级聚合判定——单条存疑就标存疑，但一个账号连续多条都「存疑/像 AI」就整体加权。
• 如果你是读者：看到一条「特别像随口一说」的短内容（尤其是带货、引战、站队类），别因为它短、像人话就放松。短，恰恰是 AI 文案最容易蒙混的长度。

可复用脚本

• forensics_ep7_8_9.py（第8期段）：本地 Qwen2.5-0.5B 生成 4 档长度 AI 文 + 同长度人写文，跑 PPL/n-gram 双信号，输出长度—准确率曲线与漏网样本。改主题和长度档即可复现「~60字 83%、160字以上 100%」。

下篇预告

第 8 期说清了「长度」这个边界：短内容检测器易漏。那如果长度够了，但故意模仿某个真人的文风写呢——用 few-shot 让 AI 学「老工程师毒舌腔」，检测器会不会被文风带偏？第 9 期做文风对抗：针对性仿写，到底能不能骗过双信号检测器。

系列《AI 鉴伪实战：猫鼠对抗，我替你试了》持续更新。每篇都本机真跑、给可复用脚本、并收敛成防御方法论。