- +1
明查·聚焦|AI生成的假消息:為什么更難防?怎么來(lái)治理?
【編者按】
過(guò)去一年,我們目睹了虛假信息生態(tài)的根本性變革。在世界經(jīng)濟(jì)論壇發(fā)布的《全球風(fēng)險(xiǎn)報(bào)告》中,虛假信息和錯(cuò)誤信息已連續(xù)三年位居全球短期風(fēng)險(xiǎn)高位,而AI技術(shù)的濫用,更成為這一全球挑戰(zhàn)加速的重要推手。
當(dāng)技術(shù)能輕易制造“有圖有真相”的謊言,真實(shí)與虛假的邊界被前所未有地模糊,虛假信息的工業(yè)化生產(chǎn)與病毒式傳播對(duì)經(jīng)濟(jì)民生與公共安全構(gòu)成嚴(yán)峻挑戰(zhàn)。與此同時(shí),作為應(yīng)對(duì)的事實(shí)核查領(lǐng)域也在加速技術(shù)演進(jìn)與模式創(chuàng)新。
為此,“澎湃明查”特約多位學(xué)者撰稿,回望2025,深度解析虛假信息的最新特點(diǎn)與治理難點(diǎn),并探討核查技術(shù)的未來(lái)路徑。系列約稿旨在穿透信息迷霧,為重建人工智能時(shí)代的信息信任、構(gòu)建社會(huì)認(rèn)知的“免疫系統(tǒng)”提供智識(shí)支撐。
我們每天接觸的信息中,真假混雜早已不是新鮮事。但隨著生成式AI的普及,錯(cuò)誤信息的生產(chǎn)和傳播機(jī)制正在發(fā)生根本性改變。過(guò)去,制造謠言需要編故事、找素材、手工剪輯,如今許多環(huán)節(jié)已可“一鍵生成”;以往的虛假內(nèi)容往往粗糙、容易識(shí)破,現(xiàn)在卻能寫得像專業(yè)報(bào)道、做得像新聞現(xiàn)場(chǎng)、說(shuō)得像當(dāng)事人親述;從前傳播多靠“碰運(yùn)氣”式擴(kuò)散,如今則可根據(jù)用戶興趣與情緒特征實(shí)現(xiàn)精準(zhǔn)推送。
這種變化帶來(lái)的后果是,錯(cuò)誤信息不再只是偶發(fā)的“劣質(zhì)內(nèi)容”,而更像一種持續(xù)累積的信息生態(tài)污染——它不斷擠占真實(shí)信息的生存空間,消耗公眾的注意力與社會(huì)信任,也使得治理越來(lái)越難以依靠單點(diǎn)突破來(lái)解決。
AI如何“升級(jí)”錯(cuò)誤信息:四個(gè)變化,四重風(fēng)險(xiǎn)
第一個(gè)變化是從“零星制造”到“批量生產(chǎn)”。
過(guò)去,編造一條謠言需要時(shí)間和人力,傳播范圍也相對(duì)有限。而現(xiàn)在,同一個(gè)虛假敘事可以被AI迅速改寫成多個(gè)版本:長(zhǎng)文、短帖、聊天記錄截圖,甚至模仿“內(nèi)部通報(bào)”的行文風(fēng)格。AI甚至能根據(jù)不同平臺(tái)的風(fēng)格調(diào)整語(yǔ)氣和標(biāo)題,這使得治理陷入一個(gè)結(jié)構(gòu)性困境:核查與澄清的速度,始終追不上生成與傳播的速度。錯(cuò)誤信息不再是“出現(xiàn)—澄清—消散”的單次事件,而是演變?yōu)槌掷m(xù)再生的信息流。
其中,公共安全類謠言是典型場(chǎng)景。2025年5月,網(wǎng)上流傳“杭州濱江發(fā)生惡性刑事案件,嫌疑人已被刑拘”,引發(fā)本地恐慌,后經(jīng)警方查證為虛構(gòu)。這類內(nèi)容的危險(xiǎn)不僅在于“騙到人”,更在于它借助“像通報(bào)、像新聞”的敘事模板,迅速獲得轉(zhuǎn)發(fā)與討論,將公眾注意力從真實(shí)信息上轉(zhuǎn)移。
第二個(gè)變化是從“看著就假”到“以假亂真”。
很多人對(duì)謠言的第一道防線是直覺(jué):看起來(lái)太離譜、圖片太假、邏輯不通,會(huì)減少對(duì)其的信任。但隨著多模態(tài)生成能力的提升,錯(cuò)誤信息越來(lái)越能做得“像那么回事”:文本更通順、畫面更完整、音視頻更像現(xiàn)場(chǎng),讓人很難僅憑經(jīng)驗(yàn)判斷真?zhèn)?。而這種變化帶來(lái)雙重風(fēng)險(xiǎn):一是普通人更易誤判,并非因?yàn)槿狈ΤWR(shí),而是內(nèi)容的“擬真度”提高了判斷門檻;二是糾錯(cuò)信息更難擴(kuò)散,一旦第一波傳播建立起情緒與印象,后續(xù)澄清常常跑不過(guò)“既定印象”。
2025年北京大風(fēng)期間,有人編造“門頭溝廣告牌砸死人”的視頻進(jìn)行傳播,后才被警方證實(shí)為捏造并予以處罰。這類事件屢屢發(fā)生,是因?yàn)樵谔鞖鉃?zāi)害、突發(fā)事件等高關(guān)注場(chǎng)景中,人們更容易進(jìn)入“求快”的信息狀態(tài):看到“像現(xiàn)場(chǎng)”的內(nèi)容,就可能先轉(zhuǎn)發(fā)給親友,形成鏈?zhǔn)綌U(kuò)散。
第三個(gè)變化是從“廣撒網(wǎng)”到“精準(zhǔn)投喂”。
AI的另一種危險(xiǎn)不在于“能寫”,而在于“能迎合”。它可以根據(jù)不同人群的興趣、立場(chǎng)和情緒偏好,生成“更像你會(huì)相信的版本”:同一件事,給不同群體配上不同角度、案例和話術(shù)。這會(huì)放大兩種社會(huì)后果:一方面,同溫層變得更厚,人們更容易把符合既有觀點(diǎn)的錯(cuò)誤信息當(dāng)成“證據(jù)”,進(jìn)一步固化立場(chǎng);另一方面,公共討論更加碎片化,大家看似在討論同一話題,實(shí)際每個(gè)圈層拿到的是不同版本的“事實(shí)”。
2025年的“大熊貓寶力受虐、健康異常”的謠言便是情緒驅(qū)動(dòng)的典型:它抓住公眾對(duì)“國(guó)寶”的關(guān)心,用“傷痕、抽搐”等強(qiáng)刺激詞匯制造道德震蕩。后續(xù)雖有機(jī)構(gòu)通過(guò)聲明、視頻與檢查信息澄清,但在謠言擴(kuò)散初期,它已完成情緒動(dòng)員。這類內(nèi)容并不依靠嚴(yán)密證據(jù),而是靠“讓你難受、讓你憤怒、讓你覺(jué)得必須轉(zhuǎn)發(fā)”來(lái)推動(dòng)傳播。
第四個(gè)變化是從“抓到發(fā)布者就行”到“鏈條很長(zhǎng)很分散”。
在AI時(shí)代,一條錯(cuò)誤信息往往不是單點(diǎn)造成的:可能由模型生成初稿、賬號(hào)搬運(yùn)改寫、平臺(tái)推薦放大、用戶二次創(chuàng)作擴(kuò)散共同促成。結(jié)果就是——每個(gè)環(huán)節(jié)都可以聲稱自己只是“工具/轉(zhuǎn)發(fā)/平臺(tái)中立”,責(zé)任被切割得越來(lái)越碎。當(dāng)責(zé)任難以歸位,治理就容易出現(xiàn)兩種失衡:要么只處理最末端的個(gè)體賬號(hào),而對(duì)上游的生產(chǎn)工具與分發(fā)機(jī)制缺乏約束;要么平臺(tái)與技術(shù)主體“隱身”,把問(wèn)題歸結(jié)為“用戶素質(zhì)”,卻忽視算法對(duì)傳播效率的放大作用。
AI驅(qū)動(dòng)的錯(cuò)誤信息,真正的傷害在哪里?
將上述變化放到社會(huì)層面觀察,會(huì)發(fā)現(xiàn)其危害不止于“讓人信錯(cuò)”,更在于它持續(xù)消耗三種公共資源:注意力、信任與秩序。
首先是注意力被污染,真實(shí)信息被擠出公共視野。當(dāng)錯(cuò)誤內(nèi)容可以批量生產(chǎn),它會(huì)像噪音一樣占據(jù)信息空間。公眾有限的注意力被消耗在辨別、爭(zhēng)吵與轉(zhuǎn)發(fā)上,而那些真正需要被看見(jiàn)的權(quán)威信息與公共服務(wù)信息,反而更難觸達(dá)人群。
其次是社會(huì)信任被磨損,公眾陷入“什么都不信”的困境。當(dāng)“以假亂真”的內(nèi)容越來(lái)越多,公眾容易進(jìn)入一種防御狀態(tài):要么輕信情緒化內(nèi)容,要么對(duì)一切事實(shí)保持懷疑。這兩種結(jié)果都不利于社會(huì)合作:前者容易制造恐慌,后者則會(huì)瓦解公共共識(shí)。
最后是治理秩序被挑戰(zhàn),重要議題更容易被操縱。公共安全、公共衛(wèi)生、災(zāi)害應(yīng)對(duì)、重大政策討論等領(lǐng)域,本應(yīng)依賴穩(wěn)定的信息渠道與可信事實(shí)。然而,當(dāng)這些議題被錯(cuò)誤信息“精準(zhǔn)投喂”,公共決策與集體行動(dòng)的基礎(chǔ)就會(huì)動(dòng)搖——因?yàn)楣姷姆磻?yīng)可能不再基于共同事實(shí),而是基于不同版本、甚至相互矛盾的敘事。這種碎片化不僅制造混亂,還會(huì)被惡意利用:通過(guò)在關(guān)鍵時(shí)刻釋放定向錯(cuò)誤信息,可以干擾政策討論、延誤應(yīng)急響應(yīng)、激化社會(huì)矛盾。
當(dāng)“信息戰(zhàn)”成為常態(tài),治理的復(fù)雜度與成本都會(huì)顯著提高。
治理路徑:不只“更快辟謠”,更需治理前移
應(yīng)對(duì)AI驅(qū)動(dòng)的錯(cuò)誤信息,關(guān)鍵不在于堆砌更多“強(qiáng)力工具”,而應(yīng)轉(zhuǎn)向更系統(tǒng)的治理邏輯:事前防范、過(guò)程干預(yù)、提供可信線索、明確多方責(zé)任。AI可以參與治理,但前提是它被置于可約束、可校正的制度框架中。
第一,從“事后刪”轉(zhuǎn)向“事前防+過(guò)程管”,為傳播設(shè)置“減速帶”。在治安、災(zāi)害、公共衛(wèi)生等高敏感場(chǎng)景,平臺(tái)應(yīng)建立更明確的傳播減速機(jī)制。具體而言,對(duì)來(lái)源不明、情緒煽動(dòng)性強(qiáng)、擴(kuò)散異常迅速的內(nèi)容,應(yīng)先降速再核查;對(duì)“像通報(bào)、像新聞但無(wú)權(quán)威出處”的模板化內(nèi)容應(yīng)加強(qiáng)提示;對(duì)反復(fù)出現(xiàn)、批量改寫的同源敘事,應(yīng)進(jìn)行聚類識(shí)別與聯(lián)動(dòng)處置。這并非“限制表達(dá)”,而是推動(dòng)信息傳播從“先擴(kuò)散后核查”轉(zhuǎn)向“先核查再擴(kuò)散”,至少在易引發(fā)公共恐慌的領(lǐng)域應(yīng)當(dāng)如此。
第二,從“讓用戶自己辨別”轉(zhuǎn)向“提供可信線索”,降低公眾判斷成本。公眾不是專業(yè)核查員,要求每個(gè)人識(shí)別深度偽造并不現(xiàn)實(shí)。治理應(yīng)當(dāng)補(bǔ)上“可信線索”這一環(huán):建立更清晰的合成內(nèi)容標(biāo)識(shí),實(shí)現(xiàn)可追溯、難擦除、易理解;推動(dòng)來(lái)源披露,說(shuō)明發(fā)布者、是否經(jīng)過(guò)二次剪輯、是否由AI生成或改寫;要求對(duì)所謂文件、數(shù)據(jù)、截圖等關(guān)鍵證據(jù)注明出處。當(dāng)線索足夠清晰,公眾的判斷成本會(huì)明顯下降,“先轉(zhuǎn)發(fā)后求證”的沖動(dòng)也會(huì)減弱。
第三,從“無(wú)限個(gè)性化”轉(zhuǎn)向“必要約束”,防止錯(cuò)誤信息在圈層內(nèi)自我強(qiáng)化。圍繞重大公共議題,需對(duì)過(guò)度個(gè)性化的生成與推薦策略進(jìn)行邊界管理:提高權(quán)威澄清信息的可見(jiàn)度與觸達(dá)率,減少同一錯(cuò)誤敘事在同溫層內(nèi)的重復(fù)轟炸,對(duì)“情緒強(qiáng)刺激而證據(jù)薄弱”的內(nèi)容降低推薦權(quán)重。治理目標(biāo)不是讓平臺(tái)只有一種聲音,而是避免錯(cuò)誤信息借助算法將社會(huì)切割為互不相認(rèn)的碎片。
第四,從“單一內(nèi)容責(zé)任”轉(zhuǎn)向“多方協(xié)同義務(wù)”,把責(zé)任寫入規(guī)則。治理需明確“誰(shuí)該做什么”。模型開發(fā)者應(yīng)承擔(dān)風(fēng)險(xiǎn)評(píng)估、濫用監(jiān)測(cè)、設(shè)置必要安全限制及建立可審計(jì)機(jī)制的責(zé)任;平臺(tái)應(yīng)就其推薦系統(tǒng)帶來(lái)的放大效應(yīng)承擔(dān)治理責(zé)任,落實(shí)標(biāo)識(shí)與來(lái)源機(jī)制,處置異常傳播;內(nèi)容生產(chǎn)與運(yùn)營(yíng)主體(如賬號(hào)、MCN等)應(yīng)對(duì)內(nèi)容的真實(shí)性與來(lái)源承擔(dān)直接責(zé)任;權(quán)威機(jī)構(gòu)與媒體則應(yīng)提供可引用、易理解的證據(jù)鏈?zhǔn)匠吻澹档凸姾瞬槌杀?。只有?zé)任鏈條清晰,治理才能從“運(yùn)動(dòng)式辟謠”走向常態(tài)化與制度化。
AI驅(qū)動(dòng)的錯(cuò)誤信息之所以更危險(xiǎn),不僅在于它“更會(huì)編”,更在于它改變了信息生態(tài)的基本條件:供給近乎無(wú)限、擬真度不斷提升、投放日益精準(zhǔn)、責(zé)任卻愈加分散。在這樣的環(huán)境中,僅靠人力核查與事后糾偏注定力不從心。
真正有效的治理,是將AI納入以公共利益為導(dǎo)向的規(guī)則體系:讓錯(cuò)誤信息更難被批量生產(chǎn)、更難被算法放大、更容易被標(biāo)識(shí)與追責(zé);同時(shí)也推動(dòng)AI在識(shí)別、溯源與干預(yù)中發(fā)揮建設(shè)性作用。
信息環(huán)境不會(huì)自動(dòng)變得清朗,但它可以被設(shè)計(jì)得更可治理——前提是我們將“技術(shù)進(jìn)步”與“制度約束”同步推進(jìn)。
(符倫瑞,清華大學(xué)新聞與傳播學(xué)院助理研究員、博士后;韓槐志,清華大學(xué)新聞與傳播學(xué)院博士生)





- 報(bào)料熱線: 021-962866
- 報(bào)料郵箱: news@thepaper.cn
滬公網(wǎng)安備31010602000299號(hào)
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:滬B2-2017116
? 2014-2026 上海東方報(bào)業(yè)有限公司




