“人工智能的三駕馬車是數(shù)據(jù)、算力、算法，源頭還是數(shù)據(jù)，現(xiàn)在互聯(lián)網(wǎng)上的語料五花八門、魚龍混雜，數(shù)據(jù)如果本身不干凈，再加上算法和機(jī)制的問題，就導(dǎo)致AI幻覺產(chǎn)生。” 11月28日，2025中國報業(yè)傳媒行業(yè)人工智能應(yīng)用大會在滬舉辦，上海市信息安全測評認(rèn)證中心總工程師李宏達(dá)在圓桌沙龍環(huán)節(jié)表示。

本場圓桌沙龍的主題是《AI的幻覺、倫理、法理與治理》，圍繞AI為什么會產(chǎn)生幻覺、如何防范和治理AI幻覺，與會者談了自己的看法。

11月28日，2025中國報業(yè)傳媒行業(yè)人工智能應(yīng)用大會在滬舉辦，圖為圓桌沙龍。  澎湃新聞記者 朱偉輝 攝

澎湃新聞·明查工作室主理人李怡清表示，AI幻覺其實就是AI生成過程中帶來的虛假信息或者具有誤導(dǎo)性的信息，公眾媒介素養(yǎng)的培育、AI素養(yǎng)的培育、對于已經(jīng)產(chǎn)生誤導(dǎo)的信息進(jìn)行事實核查并將其展示在公眾面向，是必不可少的流程。

復(fù)旦大學(xué)人工智能創(chuàng)新與產(chǎn)業(yè)研究院研究員、博士生導(dǎo)師朱思語表示，對于大模型來講，訓(xùn)練模式是側(cè)重于對大量數(shù)據(jù)的壓縮，數(shù)據(jù)里面有錯誤，讓訓(xùn)練后的模型產(chǎn)生的結(jié)果不一定準(zhǔn)確，有些時候甚至?xí)榱擞懞萌祟惡f八道，產(chǎn)生AI幻覺。

如何兼顧安全和隱私保護(hù)？與會者提出了人防和技防等措施。

安永大中華區(qū)網(wǎng)絡(luò)安全與隱私保護(hù)咨詢服務(wù)合伙人夏文婷表示，避免AI產(chǎn)生幻覺，好的數(shù)據(jù)源很重要，可以起到正本清源的作用。傳媒行業(yè)作為公信力承載者，有動力和義務(wù)幫助用戶了解什么樣的內(nèi)容可能是AI生成的、AI生成到什么程度，做好這一輪AI素養(yǎng)教育。

上海人工智能研究院首席數(shù)字官、技術(shù)與創(chuàng)新中心主任林圓圓指出，技術(shù)方、內(nèi)容生產(chǎn)方、平臺方、內(nèi)容消費者這四個角色都有責(zé)任和義務(wù)保證對應(yīng)的內(nèi)容生產(chǎn)和消費是安全的。其中，內(nèi)容生產(chǎn)者是鏈條關(guān)鍵的一環(huán)，需要保證生產(chǎn)的內(nèi)容信源完全準(zhǔn)確，內(nèi)容里使用什么樣的AI能力、產(chǎn)出了哪部分內(nèi)容，也需要有對應(yīng)說明；平臺方有責(zé)任和義務(wù)做好內(nèi)容核查、抽審；終端消費者也要注意甄辨事實到底是什么樣的，而不是人云亦云隨大流。

李宏達(dá)表示，今年《人工智能生成合成內(nèi)容標(biāo)識辦法》發(fā)布，主要涉及哪些是可以生成、在哪生成、誰生成的，要打顯標(biāo)和隱標(biāo)。顯標(biāo)就是提醒受眾這是AI生成的，隱標(biāo)打在數(shù)據(jù)原文件里面，一旦虛假信息傳播，便于完成追溯。從監(jiān)管角度來說，標(biāo)識生成、傳播驗證到最后的溯源追責(zé)都形成了閉環(huán)。上海市信息安全測評認(rèn)證中心也一直在支持標(biāo)識檢查等相關(guān)工作。