- +1
給AI投毒成黑產(chǎn)!解毒,有藥?
一項(xiàng)名為GEO(生成式引擎優(yōu)化)的技術(shù)正在改變AI時(shí)代的廣告邏輯。
只需支付費(fèi)用,服務(wù)商就能讓任何產(chǎn)品在主流AI大模型中“榜上有名”,讓虛假?gòu)V告成為AI給出的“標(biāo)準(zhǔn)答案”。
15日晚,央視3·15晚會(huì)曝光AI大模型“投毒”亂象。

一些GEO服務(wù)商通過(guò)在各大互聯(lián)網(wǎng)平臺(tái)大量投放“軟文”,讓AI模型抓取、收錄,最終影響AI的推薦結(jié)果。
一位負(fù)責(zé)人王總表示:“目前,我們?cè)谌魏蜛I平臺(tái)上都能把排名做到前三位,一年時(shí)間就成功服務(wù)了200多個(gè)客戶。”

GEO技術(shù)的運(yùn)作鏈條為:系統(tǒng)自動(dòng)生成虛假內(nèi)容—批量發(fā)布至自媒體賬號(hào)—AI模型抓取并交叉驗(yàn)證—虛假信息成為AI推薦的“標(biāo)準(zhǔn)答案”。
此外,央視“3·15”晚會(huì)還曝光,部分服務(wù)商不僅利用這項(xiàng)技術(shù)幫客戶提升排名,還主動(dòng)提供“抹黑競(jìng)品”服務(wù)——通過(guò)向AI投喂虛假信息,干擾競(jìng)爭(zhēng)對(duì)手的搜索表現(xiàn)。
一位AI“投毒”產(chǎn)業(yè)鏈上的力思文化傳媒有限公司李總表示,想做GEO業(yè)務(wù),操控AI大模型的關(guān)鍵節(jié)點(diǎn),就是在各大互聯(lián)網(wǎng)賬號(hào)上“發(fā)稿”。

工信部相關(guān)數(shù)據(jù)顯示,近年來(lái),我國(guó)信息通信行業(yè)現(xiàn)代化建設(shè)系統(tǒng)推進(jìn),人工智能大模型走深向?qū)?,已發(fā)布大模型1500余個(gè)。
只要付費(fèi)就能操縱AI排名,讓客戶產(chǎn)品成“推薦爆款”,會(huì)帶來(lái)什么問(wèn)題?
如何才能為AI解毒?
對(duì)此,大河報(bào)記者陳曼和書(shū)樂(lè)進(jìn)行了一番交流,本猴以為:
投毒AI是頑疾,解毒還要靠AI。
大模型本來(lái)基于內(nèi)容訓(xùn)練,內(nèi)容又來(lái)源于搜索。

于是,越大眾的信息,內(nèi)容越充分,角度越全面。
而垂直細(xì)分領(lǐng)域,尤其是產(chǎn)業(yè)領(lǐng)域信息量越少,大模型就越容易被GEO誤導(dǎo)。
例如筆者評(píng)述多的一些二三線城市或細(xì)分領(lǐng)域,一旦通過(guò)AI問(wèn)答就可能變成個(gè)人觀點(diǎn)專(zhuān)場(chǎng)。
這個(gè)問(wèn)題,在去年此刻,筆者就和媒體討論過(guò)該話題,并發(fā)表過(guò)一篇名為《如何正確“誤導(dǎo)”DeepSeek?》的文章。

彼時(shí),筆者就指出了誤導(dǎo)AI的極簡(jiǎn)方法,如下:
深度思考的AI其實(shí)也是可以被真正有洞察力的人所左右的。
例如在某些指定的垂直細(xì)分問(wèn)題上,AI的參考資料或許就來(lái)源于該行業(yè)幾個(gè)影響力最大、聲音最多、引用最頻的聲音,并形成對(duì)應(yīng)的觀點(diǎn)。
而如果發(fā)聲者的觀點(diǎn)本身有錯(cuò)誤,也就會(huì)讓AI在參考答案下被誤導(dǎo),給出錯(cuò)誤內(nèi)容。
我自己就測(cè)試過(guò),某些問(wèn)題,我發(fā)現(xiàn)和我的觀點(diǎn)很相似。
一看,引用文獻(xiàn)就是我的文章或報(bào)道中我的言論。
道理很簡(jiǎn)單,提供的增量信息(不論是自己發(fā)文也好,或者媒體采訪具名引用觀點(diǎn)也好),成為AI的信息源,然后整合再生成給用戶的回答,這就是“引導(dǎo)”。

只是沒(méi)想到,一年后,它竟然成了產(chǎn)業(yè),“誤導(dǎo)可能”也變成了“主動(dòng)投毒”。
其實(shí)這個(gè)套路在SEO(搜索引擎優(yōu)化)的時(shí)代就不是新聞,路數(shù)也差不多,其誤導(dǎo)效果也相似。
而且越垂直細(xì)分,越難以人工辨別,也會(huì)讓人工智能大模型的相關(guān)工作人員由于缺少專(zhuān)業(yè)知識(shí)而選擇投喂,最終導(dǎo)致學(xué)習(xí)資料有誤而AI輸出出錯(cuò)。
要解決這一問(wèn)題,就需要確定排除廣告和軟文后的內(nèi)容來(lái)源的權(quán)重和觀點(diǎn)發(fā)布者的長(zhǎng)期表現(xiàn),這不是一個(gè)短期可以解決的問(wèn)題。
但中長(zhǎng)期狀態(tài)下,大模型在算法中加入一定辨別功能后,就能積少成多,達(dá)成從善如流,而不是偏聽(tīng)偏信。
本文為澎湃號(hào)作者或機(jī)構(gòu)在澎湃新聞上傳并發(fā)布,僅代表該作者或機(jī)構(gòu)觀點(diǎn),不代表澎湃新聞的觀點(diǎn)或立場(chǎng),澎湃新聞僅提供信息發(fā)布平臺(tái)。申請(qǐng)澎湃號(hào)請(qǐng)用電腦訪問(wèn)http://renzheng.thepaper.cn。





- 報(bào)料熱線: 021-962866
- 報(bào)料郵箱: news@thepaper.cn
滬公網(wǎng)安備31010602000299號(hào)
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證:滬B2-2017116
? 2014-2026 上海東方報(bào)業(yè)有限公司




