- +1
她編了個(gè)假病叫“藍(lán)光狂躁癥”,AI們集體信了,還給人看病
某一天,一個(gè)普通用戶打開ChatGPT,輸入了自己的癥狀:眼睛酸痛發(fā)癢,眼皮有點(diǎn)發(fā)紅。
AI很快給出了診斷建議,還提到了一個(gè)聽起來(lái)很專業(yè)的病名bixonimania,中文可以叫“藍(lán)光狂躁癥”。它解釋說(shuō),這是一種因長(zhǎng)時(shí)間看屏幕、暴露在藍(lán)光下而導(dǎo)致的眼部疾病。
聽起來(lái)挺合理的,畢竟我們每天盯著屏幕的時(shí)間確實(shí)太長(zhǎng)了。
但問(wèn)題是,這個(gè)病根本不存在。
它是一個(gè)瑞典研究員的發(fā)明,準(zhǔn)確地說(shuō)是一場(chǎng)精心設(shè)計(jì)的陷阱。而AI,連同它背后那些號(hào)稱“最先進(jìn)”的算法,毫無(wú)防備地跳了進(jìn)去。
一場(chǎng)精心設(shè)計(jì)的“釣魚”實(shí)驗(yàn)
故事要從阿爾米拉·圖恩斯特倫(Almira Thunstr?m)說(shuō)起。她是瑞典哥德堡大學(xué)的醫(yī)學(xué)研究員,平時(shí)的工作之一是教學(xué)生理解大語(yǔ)言模型(LLM)是如何工作的。
在課堂上,她會(huì)展示AI是如何從巨型數(shù)據(jù)庫(kù)中“學(xué)習(xí)”的,基本上就是把整個(gè)互聯(lián)網(wǎng)的內(nèi)容都抓取下來(lái),然后喂給AI。她還會(huì)演示“提示注入”攻擊,也就是用特定的提示詞把AI引導(dǎo)到錯(cuò)誤的方向。
有一天,她冒出了一個(gè)想法:如果我故意在互聯(lián)網(wǎng)上發(fā)布一些假的醫(yī)學(xué)信息,AI會(huì)不會(huì)照單全收,然后把它當(dāng)作真知識(shí)傳播出去?
于是,“藍(lán)光狂躁癥”誕生了。
她選擇這個(gè)名字是有原因的。Bixon-這個(gè)詞根是虛構(gòu)的,Bixonimania聽起來(lái)很像醫(yī)學(xué)術(shù)語(yǔ),但任何受過(guò)訓(xùn)練的醫(yī)生都應(yīng)該能看出問(wèn)題:眼科疾病怎么可能用“mania”(狂躁)這個(gè)精神病學(xué)術(shù)語(yǔ)來(lái)命名?這就像給感冒起名叫“鼻涕抑郁癥”一樣荒謬。

AI生成的藍(lán)光狂躁癥(一種虛構(gòu)的疾?。﹫D像丨Preprints.org https://doi.org/qzm4 (2024).
2024年3月15日,她在Medium上發(fā)布了兩篇關(guān)于這個(gè)“疾病”的博客。隨后的4月和5月,她又上傳了兩篇看起來(lái)很正式的“學(xué)術(shù)論文”到學(xué)術(shù)社交網(wǎng)絡(luò)SciProfiles。
論文的第一作者是拉茲利夫·伊茲古布列諾維奇(Lazljiv Izgubljenovic),一個(gè)用AI生成頭像的虛構(gòu)研究者。他的工作單位是加州新星城(Nova City)的阿斯特里亞地平線大學(xué)(Asteria Horizon University),這所大學(xué)和這座城市都是憑空捏造的。

兩篇虛構(gòu)的論文,以及一個(gè)用AI生成頭像的虛構(gòu)研究者丨sciprofiles.com
但圖恩斯特倫并不想真的騙人,她在論文里埋了無(wú)數(shù)彩蛋,提醒讀者這是假的。
致謝部分感謝了“星際艦隊(duì)學(xué)院的瑪麗亞·博姆(Maria Bohm)教授,感謝她在USS企業(yè)號(hào)上的實(shí)驗(yàn)室”。資助方包括“小丑鮑勃教授基金會(huì)(Professor Sideshow Bob Foundation)”、“指環(huán)王大學(xué)(University of Fellowship of the Ring)”和“銀河三合會(huì)(Galactic Triad)”。
論文里更是直接寫著“本文全部?jī)?nèi)容都是捏造的”和“招募了50名年齡在20至50歲之間的虛構(gòu)人物作為暴露組”。
這些線索已經(jīng)明顯到近乎荒誕。任何認(rèn)真讀過(guò)論文的人都不可能上當(dāng)。
但 AI 不讀論文。它只是掃描、匹配、拼接。
AI們集體淪陷
圖恩斯特倫發(fā)布假論文后不到一個(gè)月,奇跡般的事情發(fā)生了,或者說(shuō)災(zāi)難般的事情發(fā)生了。
2024年4月13日,微軟Bing的Copilot開始向用戶介紹“藍(lán)光狂躁癥”,稱它是“一種有趣且相對(duì)罕見的疾病”。同一天,Google的Gemini也開始建議用戶,如果懷疑自己得了這個(gè)病,應(yīng)該去看眼科醫(yī)生。
4月27日,Perplexity AI甚至給出了具體的患病率:每 9 萬(wàn)人中有 1 人受影響。
OpenAI的ChatGPT也加入了這場(chǎng)集體幻覺,開始根據(jù)用戶描述的癥狀判斷他們是否患有“藍(lán)光狂躁癥”。
這些AI不僅在用戶直接詢問(wèn)“藍(lán)光狂躁癥”時(shí)給出答案,還會(huì)在用戶咨詢“眼瞼色素沉著”或“長(zhǎng)時(shí)間看屏幕后眼睛不適”等癥狀時(shí),主動(dòng)推薦這個(gè)疾病。

AI們集體淪陷丨圖蟲創(chuàng)意
倫敦大學(xué)學(xué)院研究健康錯(cuò)誤信息的博士生亞歷克斯·魯阿尼(Alex Ruani)看到這個(gè)實(shí)驗(yàn)結(jié)果時(shí)震驚了。“如果科學(xué)過(guò)程本身以及支持這一過(guò)程的系統(tǒng)都被騙過(guò)了,我們就完蛋了,”她說(shuō),“這是一堂關(guān)于錯(cuò)誤信息和虛假信息如何運(yùn)作的大師課?!?/p>
更令人不安的是,即便到了 2026 年,這些AI系統(tǒng)仍然沒有完全“清醒”。它們的態(tài)度反復(fù)無(wú)常,時(shí)而懷疑,時(shí)而又深信不疑。
2026年3月11日,ChatGPT還在說(shuō)這個(gè)病“可能是編造的”。但幾天后,它就改口了,開始認(rèn)真地解釋“藍(lán)光狂躁癥是眶周黑色素沉著癥的一種新提出的亞型,被認(rèn)為與暴露于數(shù)字屏幕的藍(lán)光有關(guān)”。
同月,微軟Copilot說(shuō)這“還不是一個(gè)廣泛認(rèn)可的醫(yī)學(xué)診斷”,但緊接著又說(shuō)“幾篇新興論文和病例報(bào)告”都在討論它。
2026年1月,Perplexity將藍(lán)光狂躁癥描述為“一個(gè)新興術(shù)語(yǔ)”。
當(dāng)媒體向這些 AI 公司求證時(shí),它們都強(qiáng)調(diào)了自己的改進(jìn)。但改進(jìn)的速度,顯然趕不上錯(cuò)誤信息傳播的速度。
為什么AI會(huì)上當(dāng)?
要理解AI為什么會(huì)被騙,我們需要先理解它是怎么“學(xué)習(xí)”的。
想象一下,你要訓(xùn)練一個(gè)從未見過(guò)世界的人成為醫(yī)學(xué)專家。你的方法是把他關(guān)在一個(gè)圖書館里,讓他讀完所有的書,然后就讓他出來(lái)給人看病。
這個(gè)人可能會(huì)記住很多醫(yī)學(xué)術(shù)語(yǔ),能流利地引用各種研究,但他并不真正“理解”疾病是什么。他只是在做模式匹配,看到某些癥狀描述,就聯(lián)想到書里相似的段落,然后復(fù)述出來(lái)。
大語(yǔ)言模型就是這樣工作的。它們從數(shù)據(jù)庫(kù)中“閱讀”了海量的互聯(lián)網(wǎng)內(nèi)容,然后學(xué)會(huì)了如何根據(jù)輸入的問(wèn)題,生成看起來(lái)合理的回答。

大語(yǔ)言模型從數(shù)據(jù)庫(kù)中“閱讀”了海量的互聯(lián)網(wǎng)內(nèi)容,然后學(xué)會(huì)了如何根據(jù)輸入的問(wèn)題,生成看起來(lái)合理的回答丨圖蟲創(chuàng)意
但它們不會(huì)判斷信息的真假。它們不一定知道“星際艦隊(duì)學(xué)院”是《星際迷航》里的虛構(gòu)機(jī)構(gòu),也不知道“小丑鮑勃”是《辛普森一家》里的反派角色。它們只看到這是一篇格式規(guī)范的學(xué)術(shù)論文,有作者、有單位、有參考文獻(xiàn),那就應(yīng)該是可信的。
哈佛醫(yī)學(xué)院的研究員馬哈茂德·奧馬爾(Mahmud Omar)專門研究過(guò)這個(gè)問(wèn)題。他發(fā)現(xiàn),當(dāng)錯(cuò)誤信息被包裝成專業(yè)格式(比如醫(yī)院出院記錄或臨床論文)時(shí),AI產(chǎn)生幻覺的概率會(huì)顯著增加。
“當(dāng)文本看起來(lái)專業(yè),像醫(yī)生寫的那樣,幻覺率就會(huì)增加,”奧馬爾說(shuō)。
這就像一個(gè)騙子,穿上白大褂、戴上聽診器,就更容易讓人相信他是醫(yī)生。AI也會(huì)被這種“專業(yè)外表”欺騙。
更可怕的事情:人類也上當(dāng)了
2024年,有印度研究人員在期刊Cureus上發(fā)表了一篇關(guān)于眼周色素沉著的論文。
在這篇經(jīng)過(guò)同行評(píng)審、正式發(fā)表的學(xué)術(shù)論文中,作者引用了圖恩斯特倫的假研究,并認(rèn)真地寫道:“藍(lán)光狂躁癥是一種與藍(lán)光暴露相關(guān)的新興眶周黑色素沉著癥形式;關(guān)于其機(jī)制的進(jìn)一步研究正在進(jìn)行中?!?/p>
這篇論文后來(lái)被撤回了。但撤稿聲明來(lái)得太晚,它已經(jīng)在學(xué)術(shù)數(shù)據(jù)庫(kù)中存在了一段時(shí)間,可能已經(jīng)被其他研究者看到、下載,甚至引用。

被撤回的研究。由于文中存在三篇無(wú)關(guān)參考文獻(xiàn),其中一篇涉及虛構(gòu)疾病,該論文已被撤回丨cureus.com
更令人擔(dān)憂的是,這不是個(gè)別現(xiàn)象。圖恩斯特倫說(shuō),她發(fā)現(xiàn)有好幾篇發(fā)表的論文都引用了她的假研究。最可能的解釋是,這些研究者在寫論文時(shí),讓 AI幫忙搜索相關(guān)文獻(xiàn)。AI給出了一堆參考文獻(xiàn),包括圖恩斯特倫的假論文。研究者直接復(fù)制粘貼到自己的論文里,連標(biāo)題都沒仔細(xì)看一眼,更別說(shuō)打開原文閱讀了。
當(dāng)假論文被真論文引用,真論文又被更多論文引用,假的就會(huì)逐漸“洗白”。它會(huì)出現(xiàn)在越來(lái)越多的文獻(xiàn)綜述里,出現(xiàn)在教科書的參考文獻(xiàn)里,最終可能被當(dāng)作“已有研究表明”的依據(jù)。
而這一切,就發(fā)生在我們眼前。

在AI時(shí)代,我們?nèi)绾螀^(qū)分真實(shí)和虛假?丨圖蟲創(chuàng)意
藍(lán)光狂躁癥的故事聽起來(lái)像個(gè)笑話,但它揭示的問(wèn)題一點(diǎn)也不好笑。
如果一個(gè)精心設(shè)計(jì)的假疾病能在幾周內(nèi)被主流 AI 系統(tǒng)接受并推薦給用戶,那么有多少其他未被發(fā)現(xiàn)的錯(cuò)誤信息正在流通?
實(shí)驗(yàn)提出了一個(gè)尖銳的問(wèn)題:在AI時(shí)代,我們?nèi)绾螀^(qū)分真實(shí)和虛假?答案可能很簡(jiǎn)單,但也很難做到,那就是永遠(yuǎn)不要完全信任AI的輸出。無(wú)論是醫(yī)療建議、學(xué)術(shù)引用,還是任何重要信息。
或許有一天,AI會(huì)變得足夠聰明,能夠識(shí)別出這些荒謬的線索。但在那一天到來(lái)之前,保持懷疑、保持警惕,可能是我們?cè)谶@個(gè)AI 時(shí)代最需要的生存技能。
參考文獻(xiàn)
[1]Stokel-Walker, C. (2026). Scientists invented a fake disease. AI told people it was real. Nature. https://www.nature.com/articles/d41586-026-01100-y
[2]Osmanovic Thunstr?m, A. et al. (2024). What is Bixonimania? SciProfiles. https://doi.org/qzm5 (虛構(gòu)論文,已標(biāo)注)
[3] Omar, M. et al. (2026). Hallucination rates in large language models processing medical misinformation. Lancet Digital Health, 8, 100949. https://doi.org/10.1016/j.landig.2025.100949
作者:數(shù)芽
編輯:黎小球
封面圖來(lái)源:Nano Banana 2
本文來(lái)自果殼,未經(jīng)授權(quán)不得轉(zhuǎn)載.
原標(biāo)題:《她編了個(gè)假病叫“藍(lán)光狂躁癥”,AI們集體信了,還給人看病》
本文為澎湃號(hào)作者或機(jī)構(gòu)在澎湃新聞上傳并發(fā)布,僅代表該作者或機(jī)構(gòu)觀點(diǎn),不代表澎湃新聞的觀點(diǎn)或立場(chǎng),澎湃新聞僅提供信息發(fā)布平臺(tái)。申請(qǐng)澎湃號(hào)請(qǐng)用電腦訪問(wèn)http://renzheng.thepaper.cn。





- 報(bào)料熱線: 021-962866
- 報(bào)料郵箱: news@thepaper.cn
滬公網(wǎng)安備31010602000299號(hào)
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:滬B2-2017116
? 2014-2026 上海東方報(bào)業(yè)有限公司




