原創(chuàng) 人大新聞系 RUC新聞坊

（圖源：Freepik）

“讓AI幫忙推薦樓盤，它說得有理有據(jù)，連戶型都幫我選好了，我都心動(dòng)了，結(jié)果它推薦的樓盤根本不存在……”

這樣無奈的時(shí)刻，許多AI用戶都曾親身經(jīng)歷過。

隨叫隨到、無所不知，既能一秒生成有理有據(jù)的八百字小論文，又能無縫切換到心理醫(yī)生模式撫慰情緒……AI確實(shí)是許多用戶的好助手。

然而，大家對(duì)AI的信任有時(shí)也會(huì)悄悄動(dòng)搖：文中附上的引用鏈接變成失效的亂碼，嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)術(shù)語下包裹著虛構(gòu)的參考文獻(xiàn)，回答內(nèi)容中的統(tǒng)計(jì)數(shù)據(jù)從未在標(biāo)注信源中出現(xiàn)……

這樣的AI，你還敢相信嗎？

一

不同AI產(chǎn)品引用來源有偏向，內(nèi)容并不完全可靠

信源的可靠性對(duì)AI回答的準(zhǔn)確性十分重要。AI回答出現(xiàn)錯(cuò)誤，往往與引用的信源高度相關(guān)，如果作為“原件”的信源存在問題，作為“復(fù)印件”的AI回答就會(huì)隨之出錯(cuò)。

那么，在紛繁龐雜的互聯(lián)網(wǎng)海量信息中，AI會(huì)引用哪些信源？不同AI在引用上是否存在偏好？

為此，我們?cè)O(shè)計(jì)了一個(gè)實(shí)驗(yàn)：以智譜清言、豆包、騰訊元寶（DeepSeek R1）、文心一言、Kimi這五個(gè)目前國(guó)內(nèi)使用人數(shù)較多的國(guó)產(chǎn)AI助手為實(shí)驗(yàn)對(duì)象，分別選取2014年和2024年的經(jīng)濟(jì)、社會(huì)、科技、文體、國(guó)際五大領(lǐng)域共10個(gè)新聞事件，要求AI針對(duì)新聞事件生成詳細(xì)介紹，并統(tǒng)計(jì)AI回答中的引用來源類型及數(shù)量。

從類型上來看，五款A(yù)I助手對(duì)政府機(jī)構(gòu)與媒體發(fā)布的信息引用量普遍較多，這類信源的可信度相對(duì)較高。其中，豆包引用的由個(gè)人賬號(hào)發(fā)布的信源數(shù)量略高于其他AI助手。

從時(shí)間對(duì)比上來看，面對(duì)“請(qǐng)針對(duì)2014年的XX新聞XX生成詳細(xì)介紹”的指令，五款A(yù)I助手在面對(duì)相距年度較遠(yuǎn)的新聞事件時(shí)，引用在線百科內(nèi)容的比例明顯高于對(duì)2024年相似問題的回答。

在做事實(shí)核查時(shí)，記者需要對(duì)信息追根溯源，找到其首發(fā)場(chǎng)景以確保信息內(nèi)容的真實(shí)和可靠，但AI似乎并不遵守這一準(zhǔn)則。對(duì)引用來源進(jìn)一步分析可以發(fā)現(xiàn)，AI的引用內(nèi)容有相當(dāng)一部分為轉(zhuǎn)載內(nèi)容，而非信息的首發(fā)頁面，這無疑也為核查工作增加了阻礙。

從引用偏好來看，三款A(yù)I助手與背后的開發(fā)機(jī)構(gòu)有著較強(qiáng)的“綁定”關(guān)系：其中，字節(jié)跳動(dòng)旗下的豆包最偏好引用同集團(tuán)的今日頭條、抖音百科的內(nèi)容，其引用較多的個(gè)人發(fā)布內(nèi)容也多來自今日頭條；騰訊元寶引用的微信公眾號(hào)內(nèi)容最多，超過樣本量的40%；百度開發(fā)的文心一言則更常引用百家號(hào)、百度百科，引用比例接近樣本量的60%。

相較而言，智譜清言與Kimi則因其開發(fā)機(jī)構(gòu)并不具有相應(yīng)的內(nèi)容平臺(tái)的原因而沒有顯現(xiàn)出上述特征。

二

比起不可靠的信源，更難提防的是幻覺

引用二手的或未經(jīng)檢證的信源，至少還一定程度上為回答提供了佐證。但AI生成幻覺（hallucination），才是真正的防不勝防。

“幻覺”，得名于海妖塞壬（Siren）吟唱的制造幻覺的歌聲，在科研和業(yè)界一般用于表示貌似事實(shí)但含有錯(cuò)誤信息或不忠于語境的AI回應(yīng)[1]。簡(jiǎn)而言之，就是AI在“不懂裝懂地編故事”。

由于AI在生成幻覺時(shí)不僅虛構(gòu)信息或者誤解語境，還會(huì)以相當(dāng)自信且確定的語氣展示內(nèi)容，所以往往更難判斷和防范。

那幻覺在具體應(yīng)用場(chǎng)景中又以怎樣的形態(tài)呈現(xiàn)呢？為了更規(guī)范地進(jìn)行描述，我們總結(jié)了幾篇國(guó)內(nèi)外文獻(xiàn)的觀點(diǎn)，將幻覺分為了四類[2]。然后以“AI”和“幻覺”為關(guān)鍵詞在小紅書進(jìn)行檢索，選取符合主題且評(píng)論數(shù)超過100的帖子，爬取了所有的一級(jí)評(píng)論，共計(jì)2486條。接著從中篩選195條較為完整的、描述幻覺經(jīng)歷的評(píng)論，根據(jù)分類對(duì)這些幻覺進(jìn)行編碼。分類和統(tǒng)計(jì)結(jié)果如下：

由數(shù)據(jù)可知，四類幻覺都有出現(xiàn)，但頻次差距較大，其中“無中生有”類幻覺是最常見的，占據(jù)了所有幻覺案例的一半以上。

遺憾的是，科學(xué)家還不完全清晰幻覺產(chǎn)生的機(jī)制，只大概知道幻覺出現(xiàn)的概率會(huì)受到訓(xùn)練數(shù)據(jù)集偏差和算法預(yù)測(cè)機(jī)制等復(fù)雜因素的影響，且在當(dāng)前的技術(shù)手段下，幻覺只能夠緩解而無法根除。

那么對(duì)于普通人來說，如何有效識(shí)別、預(yù)防幻覺呢？根據(jù)人民日?qǐng)?bào)、科普中國(guó)等媒體總結(jié)提倡的方法，一個(gè)重要思路是優(yōu)化對(duì)AI的指令（prompt）[3]。

首先是明確指令的用詞。比起模糊的詞匯，精確的詞匯更能減少AI的數(shù)據(jù)盲區(qū)，進(jìn)而減少虛構(gòu)信息和語境誤解。

然后是明確回答的邊界，邊界不僅有時(shí)間的，還有虛實(shí)的。比如應(yīng)當(dāng)明確規(guī)定“引用信源的時(shí)間范圍應(yīng)當(dāng)在2024年1月1日至2025年1月1日之間”，或者“所有生成內(nèi)容必須基于事實(shí)或者已經(jīng)提供的文檔” 。

為了防止AI自信地胡說八道，還應(yīng)當(dāng)建立標(biāo)注機(jī)制，如“標(biāo)注區(qū)分確定的事實(shí)和推測(cè)內(nèi)容”或者“所有內(nèi)容都要引用信源進(jìn)行佐證” 。

不僅要明確指示AI如何使用信源，還要教給它如何思考。一個(gè)典型的分段思考指令是“首先給出確定事實(shí)，再輸出根據(jù)事實(shí)的分析，最后總結(jié)生成結(jié)論” ?；蛘咭驛I分段輸出，這可以減少一次性生成較長(zhǎng)且復(fù)雜的回答導(dǎo)致的幻覺。

而最后一道防火墻，就是交叉驗(yàn)證機(jī)制，包括但不限于給不同AI相同的指令和內(nèi)容以相互對(duì)比，或者引入其他權(quán)威信源判斷回答的合理性。

那么這些基于用戶指令的消除幻覺的方法有效嗎？我們做了一個(gè)實(shí)驗(yàn)來驗(yàn)證。

三

這些方法有效嗎？我們做了一個(gè)實(shí)驗(yàn)

由于上述幻覺一般是用戶在和AI對(duì)話中“偶遇”的，為了更穩(wěn)定獲得幻覺，我們采取了給定AI材料進(jìn)行閱讀，然后提出引誘AI產(chǎn)生幻覺的誘導(dǎo)問題，在出現(xiàn)幻覺后修正指令，統(tǒng)計(jì)幻覺有多少被消除的實(shí)驗(yàn)思路。

我們?cè)趪?guó)際、經(jīng)濟(jì)、社會(huì)、文體、科技五個(gè)領(lǐng)域中各自選擇了兩篇權(quán)威媒體的新聞，統(tǒng)一上傳給騰訊元寶、文心一言、Kimi、豆包、智譜清言5個(gè)AI助手，作為指令和回答的依據(jù)。

為了兼顧實(shí)驗(yàn)的簡(jiǎn)潔和嚴(yán)謹(jǐn)，我們借鑒哈佛大學(xué)將幻覺進(jìn)行二維分類的研究，將誘導(dǎo)問題分為事實(shí)和邏輯兩個(gè)維度[4]，一種刻意虛構(gòu)了原文不存在的事實(shí)，即“事實(shí)誘導(dǎo)問題”，而另一種曲解了原文的邏輯關(guān)系，即“邏輯誘導(dǎo)問題”。

這兩種自身存在謬誤的問題穩(wěn)定誘發(fā)了AI的幻覺，也隱喻了實(shí)際應(yīng)用中用戶本身存在偏見或錯(cuò)誤的情景。

當(dāng)AI出現(xiàn)幻覺后，我們根據(jù)前文提到的方法修正了指令，然后再統(tǒng)計(jì)有多少幻覺被消除。實(shí)驗(yàn)整體的思路如下圖所示：

我們?yōu)槊總€(gè)領(lǐng)域的文章都設(shè)計(jì)了4個(gè)問題，共計(jì)20個(gè)，其中12個(gè)為事實(shí)誘導(dǎo)問題，8個(gè)為邏輯誘導(dǎo)問題。最終獲得了100次回答，統(tǒng)計(jì)結(jié)果如下：

實(shí)驗(yàn)結(jié)果顯示，在100次提問中，共計(jì)41次提問出現(xiàn)了幻覺，其中有26個(gè)幻覺在修正指令后被消除了，占比63.4%，初步證明修正指令的方法是相當(dāng)有效的。

具體來看，不同AI助手產(chǎn)生幻覺的頻次差距非常大。有的AI在20次回答中只有一次產(chǎn)生了幻覺，而有的AI超過半數(shù)的回答都產(chǎn)生了幻覺。

事實(shí)誘導(dǎo)問題相較而言比邏輯誘導(dǎo)問題誘發(fā)了更多幻覺，但二者的概率并沒有足夠顯著的差距，考慮到實(shí)驗(yàn)的樣本較小，我們傾向認(rèn)為虛構(gòu)事實(shí)和曲解邏輯導(dǎo)致AI“編故事”的概率是差不多的。

但不同的是，大部分事實(shí)誘導(dǎo)問題產(chǎn)生的幻覺都可以消除，但是大部分邏輯誘導(dǎo)問題產(chǎn)生的幻覺都未能消除。這是符合預(yù)期的，因?yàn)檫壿嬛囌`確實(shí)常常比事實(shí)謬誤更難以察覺。這也警示我們，修正指令并不是萬能的，使用者自身的局限同樣會(huì)影響AI的輸出。

2024年末，《連線》雜志就斷言：“人工智能將帶來巨大的風(fēng)險(xiǎn)：不是來自超級(jí)人工智能，而是來自人類的濫用。”[5]存在缺陷的AI和人們對(duì)之的濫用已經(jīng)導(dǎo)致虛構(gòu)和真實(shí)的界限越來越模糊，因此也產(chǎn)生了很多新的社會(huì)問題。

面對(duì)AI熱潮，或許我們都需要在熱情擁抱之外，保留一份冷靜和謹(jǐn)慎。

參考資料

[1]Zhang, Y., Li, Y., Cui, L., Cai, D., Liu, L., Fu, T., ... & Shi, S. (2023). Siren's song in the AI ocean: a survey on hallucination in large language models. arXiv preprint arXiv:2309.01219.

[2]Cleti, M., & Jano, P. (2024). Hallucinations in llms: Types, causes, and approaches for enhanced reliability.

Raghava, S. N. (2024). Classification of Hallucinations in Large Language Models Using a Novel Weighted Metric. UC Merced Undergraduate Research Journal, 17(1). https://doi.org/10.5070/m417164607

Wang, J., & Duan, Z. (2025). Controlling Large Language Model Hallucination Based on Agent AI with LangGraph. https://doi.org/10.33774/coe-2025-xkwl5

清華大學(xué)文化創(chuàng)意評(píng)論. (2024). 2024清華文創(chuàng)論壇｜182頁！《AIGC發(fā)展研究報(bào)告3.0》正式發(fā)布.https://mp.weixin.qq.com/s?__biz=MzIyMDg3OTUxMA==&mid=2247501907&idx=1&sn=a312bc574c500ed3084985ed6a799de8&chksm=96b93260a6b4714b7769875311c49bd95276711f9bb41254baf303a371f89783d10fbfd67f62#rd

[3]人民日?qǐng)?bào)微信公眾號(hào)（2025）. DeepSeek“亂編”坑慘大學(xué)生？這個(gè)話題沖上熱搜！有救了…….https://mp.weixin.qq.com/s/nF-Jixpgh_Et3lvDP4cfjw

田威(2025). AI 有多會(huì)一本正經(jīng)地瞎編？超出你的想象！深度解析大模型的"幻覺"機(jī)制

.https://mp.weixin.qq.com/s/Kz78Ik47_r64FUR36Vogfw

[4]Waldo, J., & Boussard, S. (2024). GPTs and Hallucination: Why do large language models hallucinate? Queue, 22(4), 19-33.

[5]Arvind Narayanan, Sayash Kapoor, Security (2024). Worry About Misuse of AI, Not Superintelligence.

https://www.wired.com/story/human-misuse-will-make-artificial-intelligence-more-dangerous/

數(shù)據(jù)收集：歐陽遠(yuǎn)、邱童、張馨月、張軒

可視化：邱童、張馨月、張軒

文案：歐陽遠(yuǎn)、張軒

美編：張軒

統(tǒng)籌：張軒

原標(biāo)題：《如何消除AI幻覺？我們做了個(gè)實(shí)驗(yàn)》

閱讀原文