她编了个假病叫“蓝光狂躁症”,AI们集体信了,还给人看病
        某一天,一个普通用户打开ChatGPT,输入了自己的症状:眼睛酸痛发痒,眼皮有点发红。

        AI很快给出了诊断建议,还提到了一个听起来很专业的病名bixonimania,中文可以叫“蓝光狂躁症”。

        它解释说,这是一种因长时间看屏幕、暴露在蓝光下而导致的眼部疾病。

        听起来挺合理的,毕竟我们每天盯着屏幕的时间确实太长了。

        但问题是,这个病根本不存在。它是一个瑞典研究员的发明,准确地说是一场精心设计的陷阱。

        而AI,连同它背后那些号称“最先进”的算法,毫无防备地跳了进去。

         一场精心设计的“钓鱼”实验 故事要从阿尔米拉·图恩斯特伦(Almira Thunström)说起。

        她是瑞典哥德堡大学的医学研究员,平时的工作之一是教学生理解大语言模型(LLM)是如何工作的。

        在课堂上,她会展示AI是如何从巨型数据库中“学习”的,基本上就是把整个互联网的内容都抓取下来,然后喂给AI。

        她还会演示“提示注入”攻击,也就是用特定的提示词把AI引导到错误的方向。

        有一天,她冒出了一个想法:如果我故意在互联网上发布一些假的医学信息,AI会不会照单全收,然后把它当作真知识传播出去?

        于是,“蓝光狂躁症”诞生了。她选择这个名字是有原因的。

        Bixon-这个词根是虚构的,Bixonimania听起来很像医学术语,但任何受过训练的医生都应该能看出问题:眼科疾病怎么可能用“mania”(狂躁)这个精神病学术语来命名?

        这就像给感冒起名叫“鼻涕抑郁症”一样荒谬。AI生成的蓝光狂躁症(一种虚构的疾病)图像丨Preprints.org https://doi.org/qzm4 (2024).2024年3月15日,她在Medium上发布了两篇关于这个“疾病”的博客。

        随后的4月和5月,她又上传了两篇看起来很正式的“学术论文”到学术社交网络SciProfiles。

        论文的第一作者是拉兹利夫·伊兹古布列诺维奇(Lazljiv Izgubljenovic),一个用AI生成头像的虚构研究者。

        他的工作单位是加州新星城(Nova City)的阿斯特里亚地平线大学(Asteria Horizon University),这所大学和这座城市都是凭空捏造的。

        两篇虚构的论文,以及一个用AI生成头像的虚构研究者丨sciprofiles.com但图恩斯特伦并不想真的骗人,她在论文里埋了无数彩蛋,提醒读者这是假的。

        致谢部分感谢了“星际舰队学院的玛丽亚·博姆(Maria Bohm)教授,感谢她在USS企业号上的实验室”。

        资助方包括“小丑鲍勃教授基金会(Professor Sideshow Bob Foundation)”、“指环王大学(University of Fellowship of the Ring)”和“银河三合会(Galactic Triad)”。

        论文里更是直接写着“本文全部内容都是捏造的”和“招募了50名年龄在20至50岁之间的虚构人物作为暴露组”。

        这些线索已经明显到近乎荒诞。任何认真读过论文的人都不可能上当。

        但 AI 不读论文。它只是扫描、匹配、拼接。 AI们集体沦陷 图恩斯特伦发布假论文后不到一个月,奇迹般的事情发生了,或者说灾难般的事情发生了。

        2024年4月13日,微软Bing的Copilot开始向用户介绍“蓝光狂躁症”,称它是“一种有趣且相对罕见的疾病”。

        同一天,Google的Gemini也开始建议用户,如果怀疑自己得了这个病,应该去看眼科医生。

        4月27日,Perplexity AI甚至给出了具体的患病率:每 9 万人中有 1 人受影响。

        OpenAI的ChatGPT也加入了这场集体幻觉,开始根据用户描述的症状判断他们是否患有“蓝光狂躁症”。

        这些AI不仅在用户直接询问“蓝光狂躁症”时给出答案,还会在用户咨询“眼睑色素沉着”或“长时间看屏幕后眼睛不适”等症状时,主动推荐这个疾病。

        AI们集体沦陷丨图虫创意伦敦大学学院研究健康错误信息的博士生亚历克斯·鲁阿尼(Alex Ruani)看到这个实验结果时震惊了。

        “如果科学过程本身以及支持这一过程的系统都被骗过了,我们就完蛋了,”她说,“这是一堂关于错误信息和虚假信息如何运作的大师课。”

        更令人不安的是,即便到了 2026 年,这些AI系统仍然没有完全“清醒”。

        它们的态度反复无常,时而怀疑,时而又深信不疑。2026年3月11日,ChatGPT还在说这个病“可能是编造的”。

        但几天后,它就改口了,开始认真地解释“蓝光狂躁症是眶周黑色素沉着症的一种新提出的亚型,被认为与暴露于数字屏幕的蓝光有关”。

        同月,微软Copilot说这“还不是一个广泛认可的医学诊断”,但紧接着又说“几篇新兴论文和病例报告”都在讨论它。

        2026年1月,Perplexity将蓝光狂躁症描述为“一个新兴术语”。

        当媒体向这些 AI 公司求证时,它们都强调了自己的改进。

        但改进的速度,显然赶不上错误信息传播的速度。为什么AI会上当?

        要理解AI为什么会被骗,我们需要先理解它是怎么“学习”的。

        想象一下,你要训练一个从未见过世界的人成为医学专家。

        你的方法是把他关在一个图书馆里,让他读完所有的书,然后就让他出来给人看病。

        这个人可能会记住很多医学术语,能流利地引用各种研究,但他并不真正“理解”疾病是什么。

        他只是在做模式匹配,看到某些症状描述,就联想到书里相似的段落,然后复述出来。

        大语言模型就是这样工作的。它们从数据库中“阅读”了海量的互联网内容,然后学会了如何根据输入的问题,生成看起来合理的回答。

        大语言模型从数据库中“阅读”了海量的互联网内容,然后学会了如何根据输入的问题,生成看起来合理的回答丨图虫创意但它们不会判断信息的真假。

        它们不一定知道“星际舰队学院”是《星际迷航》里的虚构机构,也不知道“小丑鲍勃”是《辛普森一家》里的反派角色。

        它们只看到这是一篇格式规范的学术论文,有作者、有单位、有参考文献,那就应该是可信的。

        哈佛医学院的研究员马哈茂德·奥马尔(Mahmud Omar)专门研究过这个问题。

        他发现,当错误信息被包装成专业格式(比如医院出院记录或临床论文)时,AI产生幻觉的概率会显著增加。

        “当文本看起来专业,像医生写的那样,幻觉率就会增加,”奥马尔说。

        这就像一个骗子,穿上白大褂、戴上听诊器,就更容易让人相信他是医生。

        AI也会被这种“专业外表”欺骗。 更可怕的事情:人类也上当了 2024年,有印度研究人员在期刊Cureus上发表了一篇关于眼周色素沉着的论文。

        在这篇经过同行评审、正式发表的学术论文中,作者引用了图恩斯特伦的假研究,并认真地写道:“蓝光狂躁症是一种与蓝光暴露相关的新兴眶周黑色素沉着症形式;关于其机制的进一步研究正在进行中。”这篇论文后来被撤回了。

        但撤稿声明来得太晚,它已经在学术数据库中存在了一段时间,可能已经被其他研究者看到、下载,甚至引用。

        被撤回的研究。由于文中存在三篇无关参考文献,其中一篇涉及虚构疾病,该论文已被撤回丨cureus.com更令人担忧的是,这不是个别现象。

        图恩斯特伦说,她发现有好几篇发表的论文都引用了她的假研究。

        最可能的解释是,这些研究者在写论文时,让 AI帮忙搜索相关文献。

        AI给出了一堆参考文献,包括图恩斯特伦的假论文。研究者直接复制粘贴到自己的论文里,连标题都没仔细看一眼,更别说打开原文阅读了。

        当假论文被真论文引用,真论文又被更多论文引用,假的就会逐渐“洗白”。

        它会出现在越来越多的文献综述里,出现在教科书的参考文献里,最终可能被当作“已有研究表明”的依据。

        而这一切,就发生在我们眼前。在AI时代,我们如何区分真实和虚假?

        丨图虫创意蓝光狂躁症的故事听起来像个笑话,但它揭示的问题一点也不好笑。

        如果一个精心设计的假疾病能在几周内被主流 AI 系统接受并推荐给用户,那么有多少其他未被发现的错误信息正在流通?

        实验提出了一个尖锐的问题:在AI时代,我们如何区分真实和虚假?

        答案可能很简单,但也很难做到,那就是永远不要完全信任AI的输出。

        无论是医疗建议、学术引用,还是任何重要信息。或许有一天,AI会变得足够聪明,能够识别出这些荒谬的线索。

        但在那一天到来之前,保持怀疑、保持警惕,可能是我们在这个AI 时代最需要的生存技能。

        参考文献[1]Stokel-Walker, C. (2026). Scientists invented a fake disease. AI told people it was real. Nature. https://www.nature.com/articles/d41586-026-01100-y[2]Osmanovic Thunström, A. et al. (2024). What is Bixonimania? SciProfiles. https://doi.org/qzm5 (虚构论文,已标注)[3] Omar, M. et al. (2026). Hallucination rates in large language models processing medical misinformation. Lancet Digital Health, 8, 100949. https://doi.org/10.1016/j.landig.2025.100949作者:数芽编辑:黎小球封面图来源:Nano Banana 2本文来自果壳,未经授权不得转载.如有需要请联系[email protected]点个“小爱心”吧
🔗 原文链接:http://mp.weixin.qq.com/s?__biz=MTg1MjI3MzY2MQ==&mid=2652356190&idx=1&sn=3fd605852e3dd91b1f0a2cf4806960b3&chksm=5c4729989449287007aa5429ca4ea452737e7bba62ea8e5fab19d5bc1cd8f6f77d78255eace9
← 返回列表