三分之一arXiv现“AI味”，CS论文65%被标记，数学仅0.7%

难道三分之一的arXiv论文竟出自AI之手？

最近，一项来自unslop的研究在外网引发热议。

它的检测器把过去一年计算机科学领域65%的新论文标成了红色。

网友甚至专门造出一个称呼——「大泔水时代」。

但在同一时期，数学论文的比例却只有0.7%。

ChatGPT一出现，曲线便迅速上扬

研究团队共扫描12750篇arXiv论文，覆盖时间从2023年1月一直延伸到2026年7月。

研究选取十个学科作为目标，每个领域每月抽取约25篇全文。

对照组来自2021至2022年，也就是ChatGPT尚未诞生的纯人类写作时期。

数据显示，在2021至2022年，标记率始终保持在0.4%；ChatGPT发布以后，曲线只用几个月便急剧上升。

最近一个完整季度的标记率达到32%，而2026年初的峰值甚至接近39%。

按学科观察，计算机科学的情况最突出，标记率达到65%。

ChatGPT出现之前，该领域基准值仅为0.2%；只过了短短三年，数字便增长了300多倍。

其后依次是定量生物学56.3%、电气工程51.3%、经济与金融47%；继续往下，则是应用物理34%、统计31.3%、凝聚态物理24%、高能物理14%和天体物理10.7%。

排名末尾的是数学，比例为0.7%。

而且这可能还只是下限；如果AI文本隐藏得足够好，检测器便无法将其识别。

使用同一台检测仪检查同一个论文库，结果差距接近100倍。

究竟是数学家都在坚持手工写作，还是检测机器面对数学公式时根本无法识别？

低至0.7%的原因，或许是机器失明

其实，unslop已经在报告中亲自写下了答案。

想一想标准数学论文的样子：页面中充斥符号、公式、定理和证明，真正以英语写成的散文句子少之又少。

然而，这台检测器只能识别文字，关注的是句子结构、用词习惯以及段落组织方式。

数学论文仅有的少量文字，又往往是「设X为某某」「由引理3可推导」一类格式化语句，与检测器训练时接触的科学英语几乎不在同一频道。

因此，团队也承认当前研究仍然存在许多局限：

数学论文的0.7%目前无法证明什么。数学家或许确实很少使用AI，也可能只是检测器无法理解数学论文，而现有数据不能区分这两种解释。

对照组规模同样偏小。每个学科仅有200篇ChatGPT问世前的论文；按照0.4%的误报率计算，2000篇中总共只有8篇被标记，因此只能进行粗略估算。

另一个问题是前文提到的检测不全。所以这些数字仅代表下限，真实比例只可能更高。

竞争越激烈的领域，对AI越依赖

那么，使用AI写论文的究竟是谁？

答案隐藏在斯坦福开展的另一项两年期研究中。

2024年3月，斯坦福Weixin Liang团队率先把测量范围扩展至同行评审：ICLR 2024的审稿意见中，约10.6%的句子曾被LLM大幅修改。论文尚未全部测完，审稿人已经率先采用了它。

到了2025年8月，同一团队把样本扩大至112万篇论文，研究还直接发表于《自然·人类行为》。

结果表明，截至2024年9月，CS论文摘要被LLM修改的比例最高达到22.5%。其中使用最频繁的，是发布预印本最勤、身处竞争最激烈领域的研究者。

领域越卷，使用程度就越高。

在这里，AI写作已变成一场军备竞赛：同行都借助AI加快速度，只靠手写的人自然会慢上一拍。

难怪X上一条流传颇广的相关转发，配文里第一行就是：「提示词：写一篇能发arXiv的论文。」

它检测的是「味道」，并不是AI本身

不过，不要急着用这65%给论文定罪。

团队也在报告中承认，检测器无法区分「由AI润色语法」与「整篇交给机器完成」，只能识别文字中机器味的浓度。

所以65%应理解为「65%的论文读起来像AI」，而不能解读成「65%的论文由AI写成」。

真正棘手的是，人类自己也会染上这种机器味。

一些不相信结果的研究者把多年前的旧论文放进检测工具，竟有27%到74%的内容被标记为红色。

而在那些论文写成时，ChatGPT甚至还没有出现。

背后的原因并不难理解。

翻阅如今的学术期刊，到处都是大型语言模型、基准测试和业界最前沿等表述。文字越标准、结构越规整，就越容易符合检测器认定的机器特征。

更何况，LLM本就是用这类论文训练的。并非学者的文字像AI，而是AI从诞生起就写得像学者。

当所有文字都开始遭到怀疑

事实上，这两年里，我们一直在做与检测器相同的事情。

看到四平八稳、语句工整，还不时出现「不仅……而且……」的文字，人们心中便会一紧：这会不会是AI写的？

unslop的检测器，相当于把这种近乎玄学的嗅觉，变成了能够批量生产数字的仪器。

毕竟，怀疑一旦进入脑海，就再也难以卸下。

过去，“写下来”这件事本身便是一种背书。一个人肯花几个小时组织文字，至少代表他认真对待。

如今，即使文字写得再漂亮，也可能只得到一句「AI吧」。

甚至有人刻意避开使用了半辈子的词语，只因为它们「听起来太AI」。

现在，「AI味」正逐渐成为席卷文字领域的一种新原罪。

荒诞之处在于，时至今日，我们仍然无法精确测量这种「AI味」到底由哪些成分构成。