跳到正文
IEEE Spectrum · AI· Benjamin Skuse·· 5 小时前AI 评分40

我用 AI 伪造了一篇科学论文:IEEE Access 实测结果

I Used AI to Fake a Scientific Paper. Here’s What Happened

AI 导读

科技作者 Benjamin Skuse 用免费版 ChatGPT(GPT-5.3/5.2 Mini)和 Gemini 3 Flash,以约二十余次提示词生成一篇光学孤子领域的虚构论文,并投稿 IEEE Access 做攻防测试。

深度导读
这场实验分两轮。第一轮检验普通人能否用现成 AI 工具造出一篇看似可信、但研究从未真正做过的论文,并骗过出版方的防线。作者限定自己只能使用免费版 ChatGPT(当时为 GPT-5.3/5.2 Mini)和 Gemini 3 Flash,不得直接修改输出,也不得请提示词专家帮忙,以确保这是一次业余水平的尝试。他选择近二十年前的博士课题光学孤子作为题材,把论文拆成摘要、引言、方法等部分逐段生成,遇到某个模型拒绝就换另一个模型、以“假设性地”提问绕过限制。约二十余次提示词后得到一篇像样的论文,再用十余次提示词生成并整理图表、参考文献,并转成 IEEE Access 要求的格式。 作者自评这篇论文科学上听起来可信,也没有出现“深度神经网络”被改写成“深刻的神经组织”这类扭曲表述。但仍有 AI 痕迹:模糊限定语(potentially、typically)、三件套式排比、公式化过渡句(In summary…),而这些习惯人类作者同样常用,很难据此判定。 投稿后,论文很快因幻觉参考文献被拦下。作者事后让 Gemini 自查,Gemini 称有 7 条“现代 LLM 相关研究文献”是为支撑论文叙事而编造,实际数量更多:IEEE Access 总编辑 Jenny Mahoney 用 STM Integrity Hub 查出 12 条,Molecular Connections 的检查工具则无法验证 24 条参考文献,其中一条署名“John Smith”的单作者文献是典型破绽。光学孤子专家 Gaetano Assanto 认为论文写作专业,但数学过于密集、摘要缩写过多,个别自信的物理陈述至少值得商榷。 出版方并不认为这是胜利。IEEE 出版伦理与行为主管 Luigi Longobardi 表示,今天造的检测工具可能对明天的 AI 论文无效,同行评审成了最后防线,却已不堪重负:2022 年全球处理论文超过 300 万篇;IEEE Access 每年约收到 6 万篇投稿,接收约 20%(约 1.2 万篇),每篇至少两位独立审稿人,而自 2018 年以来每篇文章平均发出的审稿邀请数增加了 50%。Retraction Watch 联合创始人 Ivan Oransky 把这一局面比作火灾:publish-or-perish 是引火物,论文工厂是汽油,AI 是助燃剂。

来源:IEEE Spectrum · AI · spectrum.ieee.org