Joffoo's blog

The ethereal flight, oft rehearsed in the theater of one's dreams...

AI 检测 AI 检测(阳本):有没有 AI 味难道要 AI 自己说了算?

之前说过,用 Skill 战胜不了 AI 检测器,本质是用规则战胜不了神经网络。

但也有人说过,可以接入朱雀的 API,做一个反馈环路,让 Agent 自己决定怎么修改语句,你只需要指定目标,之后就看模型自己的智慧了。

接入朱雀

大家可能对下面这个页面更熟悉一些,登录账号之后每天有 20 次的免费检测机会。检测之后可以看到哪部分有 AI 创作嫌疑,哪部分人类创作特征是显著的。

其实你可以去 EdgeOne 控制台 实名申请一个 API key,之后把教程丢给 Agent 让它自己配置一个检测 Skill,如果有相关场景可以让它调用朱雀大模型自己检测。

之前的两篇文章,我测过翻译、回译对 AI 率的影响(谁解 AI 味:为什么 AI 写的东西这么难读?AI 翻译会不会影响 AI 率?),测过市面上两款 Skill 的效果,还开发了自己的遮味工作流(去 AI 味之我见:让 Agent 学会“因声求气”),都是用朱雀 API 做的检测。

经常在网上刷到 Lauren Tan(@poteto)说 AI 编程中验证是相当重要的一环。让 Agent 接入朱雀 API,其实就是把写作这个流程加上了验证反馈。

但如果只是做成一个文章生产流水线,对我来说还没有那么有意思,我倒是喜欢让 Agent Cosplay 研究者,让它去研究朱雀这个不可解的黑盒,看一下能有什么局部的理解。

镜像实验

在公众号发过文章之后,会有一个自动转成贴图的功能,在我理解,就是用更轻量的形式,给自己的内容做广告。图片部分就是一个标题转成的封面,之后是文章中的插图,配的短文一看就是 AI 写的。

于是我自己用 AI 重写了一版,测出来 AI 率很高 0.9961。

既然我已经有一篇手写的长文,直接尽量使用原句让 AI 重写了一版,效果显著,AI 率直接掉到 0.0093。

句号索引 所属段落 样本 A(p = 0.9961) 样本 B(p = 0.0093)
S0 P1 AI 翻译长篇小说常前后不一,前面是“施瓦辛格”,后面变成“舒华辛力加”。 AI 翻译长篇文本时容易前后不一致,前面是施瓦辛格,后面是舒华辛力加。
S1 P1 提前提取全书术语表虽能解决,却极耗 token 与人工筛选的精力。 我对提前跑一遍术语表感到厌烦,于是先切片,让 AI 先翻译,再把新词写入术语表,并检索后文,没再出现就不存。
S2 P2 我改用“边翻译边累积”的动态术语表,并检索后文剔除一次性词汇。 为了再省点 token,我想只把当前分片出现的术语放进提示词。
S3 P2 后来为进一步省钱,我尝试只向提示词注入当前分片出现的术语,结果栽了跟头:同一人名混用平假名与片假名,局部匹配失效,生生译出了“悠儿”和“佑二”两个角色。 结果遇到平假名和片假名:术语表里存了平假名,分片里却只出现片假名,匹配不上,于是生生多出两个人名,一个“悠儿”,一个“佑二”。
S4 P3 我最终放弃了过度优化。 我选择了放弃。
S5 P3 比起省下几块钱的 token,译本出现硬伤、消耗自己有限的注意力,才是更不能接受的代价。 我的注意力是有限的,token 成本不过降低几块,但译本出现硬伤,哪怕只是有这种风险,对我来说也是不能接受的。

让我自己分析的话,人(我自己)的写法比较随意。AI 会写“前面是……后面变成……”,而我只是写“前面是……后面是……”,没有非要换个说法的强迫症属性。

我之前可能不是这样写文章的,但现在确实没有“语不惊人死不休”的想法,写完就算。

AI 的分析是:AI 写东西常常总结,而我保留了口语习惯(流水账);AI 的句式更为工整,而我不是;AI 写得更抽象客观,而我有具象体感。

自己分析或者让 AI 分析,都差不多,陈词滥调。既然我们有了反馈,就可以直接让 AI 自己去做“研究”。

这里的 /better 其实是来自 Felix Rieseberg 写的一篇文章,把文章里提升 Agent 回答深度的提示词封装成了技能,写下来大概是这样的:

我希望你把这项任务做得更深入,而不是把任务范围扩大。在重写我的要求之前,请先回答四个问题:

这个领域最顶尖的专业人士,会做哪些我目前没有要求你做的事情?

相比那些已经整理、加工过的信息,他们会从哪些最原始的材料入手?

他们会使用哪些具体的方法和工具?

除了你和我自己的判断,还有什么外部证据能够证明结果是正确的?然后,根据这些答案,重新编写我的提示词,让它准确地要求完成上述工作。

这篇文章的标题是“如何更有野心”,我现在的心明显野了。

我常常无脑用这段深度提示词,封装成 /better 之后用起来就更加无脑,把我自己的“深度”直接转交给了 AI,但好处是你能学到一些之前全然无知的东西。

AI 把之前的段落拆分成三部分 (P1, P2, P3),在 AI 生成的样本 A 和我自己语言拼凑的样本 B 之间做全排列组合,测试输出的置信度 $p$ 和对数几率 $\ell$:

段落组合 (P1, P2, P3) AI 段落数 朱雀置信度 $p$ 对数几率 $\ell = \ln\frac{p}{1-p}$ 相对全人类基线 (BBB) 的 $\Delta \ell$ 判定分类
(B, B, B) 0 0.0093 -4.67 0.00 人类 (Label 0)
(B, A, B) 1 0.1046 -2.15 +2.52 人类 (Label 0)
(A, B, B) 1 0.1513 -1.72 +2.95 人类 (Label 0)
(B, B, A) 1 0.5059 +0.02 +4.69 AI (Label 1)
(B, A, A) 2 0.5347 +0.14 +4.81 AI (Label 1)
(A, B, A) 2 0.6988 +0.84 +5.51 AI (Label 1)
(A, A, B) 2 0.7127 +0.91 +5.58 AI (Label 1)
(A, A, A) 3 0.9961 +5.54 +10.21 AI (Label 1)

可以看出第三段 P3 的影响最为显著,当仅保留 1 个 AI 段落时,(B, A, B) 与 (A, B, B) 均停留在 0.10 至 0.15 的安全区;唯独 (B, B, A) 仅凭第 3 段短短 47 个字,就产生了 +4.69 的 Logit 增量,单独将整篇人类文本推过 0.50 阈值线(0.5059)。

为什么要这样算?其实这个是二分类 Softmax 的反推公式。

朱雀后台原本是按 Label 0 / 1 / 2 三分类算 Softmax 的,但它只暴露了一个汇总的置信度 $p$(softmax_confidence),没给三类各自的原始概率明细。所以我们用二分类的逆运算做近似反推。

另一方面,还原成线性可以更为直观地理解每一段的作用,而不会被 Sigmoid 曲线的缓急所蒙蔽。

AI 还计算了单独某句话的置信度影响,影响最大的是 S1 和 S5,正是压缩内容最为明显的两句话。

此外,还计算了标点的影响和虚词的影响,可以看出标点影响较小,而虚词影响极大,这些虚词分别是:

  • 常 → 时容易(AI 翻译长篇小说常前后不一 → AI 翻译长篇小说时容易前后不一致)
  • 虽……却极……与 → 虽然……但很……和(虽能解决,却极耗 token 与人工筛选的精力 → 虽然能解决,但很耗 token 和人工筛选的精力)
  • 为进一步 → 为了再(后来为进一步省钱 → 后来为了再省钱)
  • 只向……注入 → 只往……里放(只向提示词注入当前分片出现的术语 → 只往提示词里放当前分片出现的术语)
  • 与 → 和(平假名与片假名 → 平假名和片假名)

自指引擎

之后我让 Agent 把前面的内容写成了一份报告,再把报告写成文章,并且检测文章的 AI 率,测出来是 0.3546。

对 AI 率较高的段落,Agent 继续自行研究。

我已经没什么参与的兴趣,于是让 Agent 调用“蜂群” /Swarm 写了一篇文章同步发表,作为另一种并置的镜像 AI 检测 AI 检测(阴本):一次关于 AI 检测器的自指实验记录。

朱雀测不出来,但这篇 AI 味还是相当重,比如:“如果平时自己改 AI 辅助写的稿子想少走点弯路,从上面这五十多组测试数据里能直接拿走四条实话。”

什么叫“直接拿走四条实话”,什么叫“拿走实话”,什么又叫“四条实话”?

但毕竟是一份心意,这四条是说:

  1. 术语和标点影响不算大;
  2. “让步转折”之类的写法拆成先后顺序,不要单字虚词;
  3. 写具体细节;
  4. 要降低检测率,就控制变量用检测器多次测试,不靠模型直觉。

划重点

  1. 你可以让 Agent 接入朱雀检测模型的 API,让 Agent 自行降低文字的 AI 率,但这种方式也不能有效减轻 AI 味。
  2. 探索黑盒系统时,可以学习 Agent 的思路,把复杂问题拆解成一系列小的对照实验,逐点击破。
  3. 使用 Agent 时善用技能、提示词和自带插件,比如文中提到的 /better 和 /Swarm。

第四点,前面三点都是戏仿得到 APP 的课程结尾。我不认为这篇文章有任何重点,只是一次记录,并且我的兴趣(甚至是耐心)已经随着写作而消耗殆尽。

说点有意思的。

我之前还做过一次实验,脏话能不能影响朱雀的检测结果。最后发现,如果只是间歇性加脏话,或者是连续脏话宣泄都不行,只有纯粹骂街才可以,那种没有任何叙述、没有任何诉求的“纯粹”。

朱雀说,softmax_confidence 0.2569,Label 0,纯人类创作。

这算是 AI 检测对人的一种刻板印象吧。

文章目录

  1. 接入朱雀
  2. 镜像实验
  3. 自指引擎
  4. 划重点

Proudly powered by Hexo and Theme by Hacker
© 2026 Fengyukongzhou