·2018年，Google在做BERT大模型的時(shí)候，OpenAI堅(jiān)持用GPT，就是說(shuō)，堅(jiān)信所有的問(wèn)題都可以歸結(jié)為從上一句預(yù)測(cè)下一句，簡(jiǎn)化整個(gè)流程。思想非常簡(jiǎn)單，但是它把這個(gè)東西推向一個(gè)高度，即不斷增加模型的大小，增加數(shù)據(jù)。這個(gè)過(guò)程中，它發(fā)現(xiàn)了一種涌現(xiàn)能力。

“OpenAI是按一定的節(jié)奏釋放，它會(huì)管理世界對(duì)它的預(yù)期。我擔(dān)心的是，實(shí)際上已經(jīng)有更偉大的技術(shù)。而且，如果下一代的范式不是這樣的呢？那我們永遠(yuǎn)就這樣被動(dòng)地抄嗎？所以更主要的是范式，就是要有一種新的研究范式，而不是被動(dòng)地抄作業(yè)，這個(gè)我覺(jué)得需要更多的頂層設(shè)計(jì)。”

【編者按】2023全球人工智能開(kāi)發(fā)者先鋒大會(huì)期間，澎湃科技在上海臨港中心會(huì)場(chǎng)開(kāi)設(shè)“元宇宙聊天室”。2月26日下午，算法競(jìng)賽大神、《機(jī)器學(xué)習(xí)算法競(jìng)賽實(shí)戰(zhàn)》作者王賀（魚(yú)佬），小冰公司工程副總裁王寶元與上海市人工智能行業(yè)協(xié)會(huì)秘書(shū)長(zhǎng)鐘俊浩，探討了對(duì)ChatGPT的冷靜思考、自然語(yǔ)言大模型帶來(lái)的啟示和AIGC的實(shí)際應(yīng)用，并展望了通用人工智能（AGI）的實(shí)現(xiàn)路徑。以下為對(duì)話(huà)實(shí)錄，有刪減。

最大啟示：結(jié)構(gòu)性創(chuàng)新，模型的統(tǒng)一

鐘俊浩（上海市人工智能行業(yè)協(xié)會(huì)秘書(shū)長(zhǎng)）：ChatGPT的表現(xiàn)不僅在外界看來(lái)是驚艷的，甚至也在其研發(fā)團(tuán)隊(duì)的意料之外，你怎么看這個(gè)問(wèn)題？

王寶元（小冰公司工程副總裁）：這個(gè)問(wèn)題很有意思。如果你站在科研人員的角度看，我想他們一定有意料之中的部分，但同時(shí)有一些驚喜。意料之中的是，我們看OpenAI過(guò)去五六年的發(fā)展歷史，從GPT-1、GPT-2、GPT-3、GPT-3.5到現(xiàn)在呼聲很高的GPT—4，它整個(gè)思想一脈相承。2018年，Google在做BERT大模型的時(shí)候，OpenAI堅(jiān)持用GPT，就是說(shuō)，堅(jiān)信所有的問(wèn)題都可以歸結(jié)為從上一句預(yù)測(cè)下一句，簡(jiǎn)化整個(gè)流程。

思想非常簡(jiǎn)單，但是它把這個(gè)東西推向一個(gè)高度，即不斷增加模型的大小，增加數(shù)據(jù)。在數(shù)據(jù)模型大小指數(shù)級(jí)增加的同時(shí)，對(duì)算力的要求提升到極致。這個(gè)過(guò)程中，它發(fā)現(xiàn)了一種涌現(xiàn)能力。就是說(shuō)，涌現(xiàn)出一些連設(shè)計(jì)人員當(dāng)初都沒(méi)有想象到的能力，這部分就叫意外驚喜。

簡(jiǎn)單來(lái)說(shuō)，首先我們還是對(duì)這幫人非常敬仰，他們?cè)趫?jiān)持做一件事情，非常有韌性，堅(jiān)持自己的理念，逐步往前推進(jìn)。那么當(dāng)你的能力跨越一定閾值的時(shí)候，就會(huì)發(fā)現(xiàn)出現(xiàn)了一個(gè)特別的能力，可能有意外驚喜。

王賀（算法競(jìng)賽大神、《機(jī)器學(xué)習(xí)算法競(jìng)賽實(shí)戰(zhàn)》作者）：像人機(jī)對(duì)話(huà)其實(shí)早些年就已經(jīng)有了，但沒(méi)有像現(xiàn)在這么智能，能夠疊加這么多問(wèn)題，回答得比較細(xì)致，或者說(shuō)好像發(fā)現(xiàn)不了有什么問(wèn)題。其實(shí)還是蠻讓我們意外的。

你讓它去Debug（排錯(cuò)）一個(gè)代碼，它可以幫你。你只要有一個(gè)自己的想法，然后讓它去實(shí)現(xiàn)代碼，它可以快速實(shí)現(xiàn)。同時(shí)你也可以在這個(gè)基礎(chǔ)上讓它不斷優(yōu)化，或者我們可以給它灌輸一些思想。這是之前人機(jī)對(duì)話(huà)所無(wú)法達(dá)到的。包括讓它去制作一個(gè)表格，它都可以很出色地完成。

鐘俊浩：但學(xué)界也有一些聲音說(shuō)，ChatGPT只是表現(xiàn)驚艷，從整個(gè)技術(shù)的底層邏輯來(lái)講，ChatGPT到現(xiàn)在為止沒(méi)有太多的改變，只是基于把數(shù)據(jù)堆大的暴力計(jì)算。

王寶元：對(duì)，我也聽(tīng)說(shuō)過(guò)很多這樣的觀(guān)點(diǎn)，特別是研究人員。像著名的教授蓋瑞·馬庫(kù)斯 （Gary Marcus），他幾乎天天在Twitter上噴Deep Learning（深度學(xué)習(xí)）這個(gè)框架沒(méi)有任何新意。包括MIT（麻省理工學(xué)院）的教授，像諾姆·喬姆斯基（Noam Chomsky），他天天說(shuō)GPT對(duì)自然語(yǔ)言本身的理解貢獻(xiàn)是零。但是這不妨礙ChatGPT、GPT-4可以做出偉大的系統(tǒng)。所以一個(gè)主流的觀(guān)點(diǎn)認(rèn)為，現(xiàn)在AI研究在工程化。

然而我認(rèn)為，大家顯然低估了這個(gè)龐大系統(tǒng)開(kāi)發(fā)的難度。人們往往用一個(gè)單點(diǎn)技術(shù)去評(píng)價(jià)這場(chǎng)革命，但它往往不是一個(gè)單點(diǎn)，而是一個(gè)結(jié)構(gòu)性的創(chuàng)新。比如說(shuō)算法有突破嗎？當(dāng)然有，基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)算法。工程上有創(chuàng)新嗎？必須有。一個(gè)模型有1750億參數(shù)，在這之前沒(méi)有一個(gè)系統(tǒng)能把這么大參數(shù)量的模型裝載，都不要說(shuō)做訓(xùn)練。所以我覺(jué)得可能很多人只是站在一個(gè)很窄的維度去看待它，批評(píng)它。

當(dāng)然它現(xiàn)在有很多回答不了的問(wèn)題，或者會(huì)捏造一些事實(shí)。但我覺(jué)得隨著技術(shù)的突破，這種問(wèn)題逐步會(huì)被解決。我覺(jué)得從某種角度上講，蓋瑞·馬庫(kù)斯其實(shí)對(duì)Deep Learning有正面的貢獻(xiàn)，他通過(guò)批評(píng)輔助大家找出這些系統(tǒng)的漏洞，所以我自己覺(jué)得還是很了不起的。我覺(jué)得OpenAI當(dāng)然是值得國(guó)內(nèi)的很多企業(yè)去學(xué)習(xí)，為什么他們能做出這樣的創(chuàng)新。

鐘俊浩：我們剛才講到它的暴力計(jì)算，同時(shí)我們還不能回避的就是2017年谷歌推出的Transformer，今時(shí)今刻所有的語(yǔ)言類(lèi)模型，都建立在Transformer的基礎(chǔ)上。能不能把這個(gè)點(diǎn)再講一講？

王寶元：Transformer確實(shí)是一個(gè)非常了不起的發(fā)明。因?yàn)椴还馐荖LP（自然語(yǔ)言處理），比如說(shuō)我們做CV（計(jì)算機(jī)視覺(jué)）內(nèi)容的生成，很多任務(wù)也已經(jīng)全面轉(zhuǎn)向Transformer。

我覺(jué)得這里面不是一個(gè)單點(diǎn)突破，而是逐步的，有了Transformer才有了GPT，有了BERT，有了GPT-1，慢慢有了GPT-2，包括像CV里的Diffusion Model (擴(kuò)散模型）也很熱門(mén)。AIGC（人工智能生成內(nèi)容）里，我們看到關(guān)于文本內(nèi)容生成，甚至視頻內(nèi)容生成，或者三維的幾何Mesh（網(wǎng)格）的生成，基本上它的底層結(jié)構(gòu)都是Transformer。因?yàn)橛羞@么一個(gè)底座的模型，然后繼續(xù)在上面添磚加瓦，發(fā)明一些新的技術(shù)。所以它的偉大之處就在于改變了一個(gè)范式。

神經(jīng)網(wǎng)絡(luò)當(dāng)然在一些任務(wù)上依然還是很方便，但是如果問(wèn)我若干年以后還是Transformer嗎？有可能不是。比如山姆·奧特曼（OpenAI首席執(zhí)行官Sam Altman）認(rèn)為T(mén)ransformer這個(gè)結(jié)構(gòu)有其偉大之處，但是依然有很多問(wèn)題。所以我覺(jué)得它一定會(huì)逐步被一些很聰明的人迭代掉。

鐘俊浩：從谷歌所走的技術(shù)路徑來(lái)講，它是先有一個(gè)底層的通用模型，然后再在上面長(zhǎng)出很多小模型去應(yīng)用于各項(xiàng)應(yīng)用。而像ChatGPT就直接走到了另外一個(gè)路徑，直接就是叫AGI（通用人工智能），不是一個(gè)大模型再去支撐小模型，而是要一個(gè)大模型去解決通用人工智能的問(wèn)題。

王寶元：我覺(jué)得你講了一個(gè)很有趣的點(diǎn)，就是AGI。我們?cè)谟懻揂GI的時(shí)候，每個(gè)人心里對(duì)它的定義不見(jiàn)得在一個(gè)尺度上。所以當(dāng)我們?cè)谟懻撘粋€(gè)還沒(méi)有到來(lái)的東西，或者說(shuō)我們沒(méi)法定義清楚究竟是什么的時(shí)候，這個(gè)是有難度的。但我覺(jué)得OpenAI的目標(biāo)顯然不是說(shuō)做一家三四年的公司，它一定是有非常長(zhǎng)遠(yuǎn)的愿景，要做成能夠帶給世界AGI能力的一家公司。目前看ChatGPT，它叫AGI嗎？在我的認(rèn)知里，它肯定不是。它只是展示出了比GPT出來(lái)之前所有你可能接觸到的AI模型更強(qiáng)大的一種能力。但是這種能力在AGI是什么階段，我自己說(shuō)不清楚。

鐘俊浩：如果我們具象一點(diǎn)說(shuō)，ChatGPT或GPT-3.5，它帶給我們最大的啟示是什么？

王寶元：我覺(jué)得第一點(diǎn)就是模型的統(tǒng)一。原來(lái)大家都是小模型，現(xiàn)在它證明了用一個(gè)深層次的大模型，就是從左預(yù)測(cè)右這個(gè)領(lǐng)域，可以統(tǒng)一幾乎所有的任務(wù)，原來(lái)是為每個(gè)領(lǐng)域的每個(gè)子問(wèn)題設(shè)計(jì)一個(gè)專(zhuān)門(mén)算法。

鐘俊浩：它是僅僅局限在，比如一問(wèn)一答的NLP領(lǐng)域，還是涵蓋到知識(shí)類(lèi)的所有內(nèi)容？

王寶元：我覺(jué)得總結(jié)起來(lái)一句話(huà)，它展示了用自然語(yǔ)言作為交互，就是所有任務(wù)都可以通過(guò)這個(gè)語(yǔ)言描述去表達(dá)。這可能是一個(gè)非常偉大的，原來(lái)沒(méi)有出現(xiàn)過(guò)的從零到一的突破。這就是我剛才說(shuō)的它統(tǒng)一了。

第二，它展示了強(qiáng)大的可擴(kuò)展性，可以直接泛化去解決一個(gè)沒(méi)有訓(xùn)練過(guò)的新任務(wù)。但是帶來(lái)的問(wèn)題是，針對(duì)原來(lái)的很多子任務(wù)會(huì)不會(huì)是大炮打蒼蠅？比如說(shuō)我要判斷一句話(huà)涉不涉及敏感內(nèi)容，就是對(duì)這句話(huà)做個(gè)分類(lèi)任務(wù)。這樣的任務(wù)可能比較簡(jiǎn)單，用不著一個(gè)1750億參數(shù)的模型才能算出。

所以我覺(jué)得它下一步應(yīng)該是考慮對(duì)各種應(yīng)用有什么辦法，因?yàn)橐呀?jīng)有了這個(gè)大模型，那我解一些小模型、小任務(wù)的時(shí)候，可以有一個(gè)更好的方式。我覺(jué)得這個(gè)具體方式還是要先觀(guān)察。如果從經(jīng)濟(jì)上來(lái)算的話(huà)，全部走大模型肯定代價(jià)有點(diǎn)大了。

鐘俊浩：那么從你的這個(gè)邏輯而言，大模型在落地應(yīng)用中，還是更偏向于原先在Transformer基礎(chǔ)上面，大模型疊小模型更合適一些。

我以前的理解是，人工智能還是需要和行業(yè)的Know-how（技術(shù)訣竅、專(zhuān)業(yè)知識(shí)）結(jié)合，去熟悉人家的行業(yè)，才能改變這個(gè)行業(yè)原先用人效率不高、高度重復(fù)性、準(zhǔn)確率不高的問(wèn)題。但這一次，有了ChatGPT以后，我倒有點(diǎn)困惑了，讓我感覺(jué)它啥事都能干了，那這個(gè)行業(yè)的Know-how到底還要不要？今天聽(tīng)王博士這么一說(shuō)，一個(gè)通用大模型上還是得知道行業(yè)的Know-how。

王寶元：對(duì)。即便對(duì)OpenAI來(lái)講，它也是講，底座是通用的，上面要alignment（對(duì)齊），就是說(shuō)我具體要做這樣的任務(wù)還是要有各種指令。另外，我覺(jué)得CV目前還沒(méi)有一個(gè)能夠放之四海皆準(zhǔn)的通用大模型，人臉模型依然是一個(gè)特解，在通解和特解之間，在CV領(lǐng)域我還沒(méi)有看到一個(gè)確定的結(jié)論。

王賀：ChatGPT基于全網(wǎng)的一些數(shù)據(jù)，很多數(shù)據(jù)來(lái)源于開(kāi)源。但要鉆進(jìn)某一個(gè)比較小的領(lǐng)域，比如像金融或一些制造業(yè)，它數(shù)據(jù)非常少，在解決這個(gè)問(wèn)題的時(shí)候就可能會(huì)面臨一些困難，或者說(shuō)初期可能泛化性比較差一些。所以我覺(jué)得還是需要去結(jié)合一些領(lǐng)域內(nèi)的知識(shí)。如果讓用戶(hù)體驗(yàn)更好一些，就需要把用戶(hù)本身的數(shù)據(jù)信息和推薦系統(tǒng)結(jié)合在一起，去定制化做出一些推薦。

2月26日，在澎湃科技“元宇宙聊天室”，三位嘉賓就ChatGPT的啟示和AIGC的實(shí)際應(yīng)用展開(kāi)交流。從左向右依次為上海市人工智能行業(yè)協(xié)會(huì)秘書(shū)長(zhǎng)鐘俊浩、小冰公司工程副總裁王寶元、算法競(jìng)賽大神王賀（魚(yú)佬）。

要多語(yǔ)言訓(xùn)練，不能只用中文

鐘俊浩：今年，大家把ChatGPT的出現(xiàn)比喻成iPhone的出現(xiàn)。能不能從實(shí)際體驗(yàn)講講，它有沒(méi)有讓你感覺(jué)，像iPhone曾經(jīng)顛覆了對(duì)手機(jī)的認(rèn)知？

王賀：我感覺(jué)現(xiàn)在其實(shí)還沒(méi)有大規(guī)模應(yīng)用起來(lái)，更多還是做一些測(cè)試或者輔助一些問(wèn)題的解決，比如準(zhǔn)備一個(gè)發(fā)言稿。

之前很多人會(huì)問(wèn)，人工智能會(huì)不會(huì)慢慢替代AI開(kāi)發(fā)者？我覺(jué)得這可能需要一定過(guò)程?，F(xiàn)在更關(guān)鍵的是，它不斷跟開(kāi)發(fā)者起到互補(bǔ)作用。就像深度學(xué)習(xí)，它可能就像一個(gè)黑盒，有監(jiān)督的訓(xùn)練肯定比無(wú)監(jiān)督的更好一些。就像我們?nèi)ラ_(kāi)發(fā)一個(gè)軟件，還是需要開(kāi)發(fā)者加上一些策略和規(guī)則才能讓它更好適應(yīng)環(huán)境，學(xué)習(xí)得更好一些。

王寶元：我補(bǔ)充一點(diǎn)。我自己在微軟工作了十幾年，我離開(kāi)微軟之前知道GitHub上的Copilot（編程工具），就是輔助開(kāi)發(fā)人員去寫(xiě)code（代碼）的。微軟CEO最近的一些演講，實(shí)際上就在說(shuō)這個(gè)東西已經(jīng)極大幫助到了開(kāi)發(fā)人員，提高了至少百分之30%的效率。就是說(shuō)它不見(jiàn)得完全替代，但是可以輔助，提升效率。比如原來(lái)完成一個(gè)模塊的功能需要一個(gè)小時(shí)，現(xiàn)在可能20分鐘。那么客觀(guān)來(lái)講，很多開(kāi)發(fā)人員的工作就可能減少了，或者輕松了。

可能確實(shí)是在早期嘗試階段，但是我的判斷是這個(gè)趨勢(shì)勢(shì)不可擋。它是一個(gè)新的人機(jī)交互范式，這是不是要重構(gòu)所有已知的應(yīng)用程序？第一，交互界面需要變。第二，它會(huì)不會(huì)重構(gòu)整個(gè)AI在各個(gè)領(lǐng)域的應(yīng)用程序？

鐘俊浩：我自己先做個(gè)預(yù)判，一定要重構(gòu)了。未來(lái)整個(gè)體系一定會(huì)在一個(gè)新的秩序和狀態(tài)下產(chǎn)生。

王寶元：我比較認(rèn)同這個(gè)看法，我覺(jué)得這里面其實(shí)很多東西才剛剛開(kāi)始。比如誰(shuí)來(lái)統(tǒng)一負(fù)責(zé)完成AI化或者“ChatGPT化”，它的模式是怎么樣的？在整個(gè)版圖中，每家公司的定位在哪里？比如說(shuō)OpenAI跟微軟結(jié)合，這個(gè)定位非常明確，就要做底層的能力，那么它當(dāng)然是希望所有人用OpenAI，不要重復(fù)造輪子，可別人也造不了。

鐘俊浩：回到最初的問(wèn)題，ChatGPT的出現(xiàn)會(huì)帶來(lái)智能手機(jī)跟功能手機(jī)之間這么大的一個(gè)躍遷嗎？

王寶元：我想2007年iPhone橫空出世的時(shí)候，也沒(méi)有人能夠預(yù)測(cè)它帶來(lái)的影響會(huì)那么大?，F(xiàn)在可能就是說(shuō)我自己沒(méi)有能力預(yù)判ChatGPT會(huì)不會(huì)帶來(lái)這種影響，但我總體是非常樂(lè)觀(guān)的。

鐘俊浩：之前我們說(shuō)數(shù)字鴻溝，現(xiàn)在我發(fā)現(xiàn)我跟ChatGPT有鴻溝。跟ChatGPT聊得很好，需要能夠用它的語(yǔ)言模式交流。我覺(jué)得還沒(méi)有特別掌握怎么跟ChatGPT交流和溝通，這也是有鴻溝的。

王寶元：我覺(jué)得這個(gè)要分開(kāi)講，ChatGPT只是OpenAI放出的一個(gè)demo（演示），我們不能以一個(gè)demo的體驗(yàn)來(lái)評(píng)判將來(lái)產(chǎn)品的可能體驗(yàn)，所以我們更多是說(shuō)這個(gè)demo展示出的底層技術(shù)能力讓我們非常佩服。

如果要真正解決這個(gè)鴻溝問(wèn)題，我覺(jué)得反而是人工智能應(yīng)該要嘗試的，比如它的交互界面更加方便，讓老人更容易使用。我很期待真正基于ChatGPT背后底層技術(shù)的產(chǎn)品，看看它能創(chuàng)作出什么了不起的產(chǎn)品去解決鴻溝問(wèn)題，讓更多的人去接近它。

鐘俊浩：都說(shuō)做中文版ChatGPT要比做英文版的難多了，中文說(shuō)同一個(gè)詞但用不同口氣表達(dá)出來(lái)含義就完全不同。由于本身數(shù)據(jù)不夠優(yōu)質(zhì)，是不是中文版ChatGPT的交流和交互勢(shì)必會(huì)比英文的更困難？

王賀：我覺(jué)得勢(shì)必是比較困難的。包括我們對(duì)話(huà)的時(shí)候其實(shí)需要考慮的點(diǎn)非常多，所以不僅要理解它本身的潛臺(tái)詞，可能還有一些方言，又或者一些反話(huà)，這些都給人機(jī)交互增加了很多難度。

王寶元：如果我們看OpenAI這些模型，它當(dāng)然并沒(méi)有專(zhuān)門(mén)針對(duì)中文，肯定是多語(yǔ)言以英文為主。但我們發(fā)現(xiàn)它在中文上的泛化能力也很不錯(cuò)。可能還是要多語(yǔ)言訓(xùn)練，不能只用中文。

可能更難的問(wèn)題是隱喻，就是中文里蘊(yùn)含的一些更深層次的，比如反諷這樣理解難度比較大的問(wèn)題。從理論上講，它就是碰巧匹配了數(shù)據(jù)庫(kù)中類(lèi)似的信息，應(yīng)該不具備隱喻能力，這種問(wèn)題目前看來(lái)還是比較難解的。中文版ChatGPT我相信一定要借助英文。

理論上，雖然世界上的語(yǔ)言有幾百種，但是人類(lèi)的智慧、表達(dá)思想的方式其實(shí)有很多共性，只是最后那個(gè)詞的寫(xiě)法不一樣。所以多語(yǔ)言放在一起，我覺(jué)得能學(xué)到更多人類(lèi)的先驗(yàn)知識(shí)。這樣的知識(shí)有一定的共性，所以才有大模型的跨語(yǔ)言遷移能力。我自己覺(jué)得，如果我國(guó)機(jī)構(gòu)要做類(lèi)似的，那肯定是要用英文。而且可能英文的訓(xùn)練質(zhì)量也蠻高的，有各種高質(zhì)量的書(shū)籍等。一定不能只用中文。

OpenAI會(huì)管理世界對(duì)它的預(yù)期

鐘俊浩：從ChatGPT往前推人工智能技術(shù)，一直說(shuō)它其實(shí)就是統(tǒng)計(jì)學(xué)，但今天在ChatGPT呈現(xiàn)的形態(tài)上來(lái)說(shuō)，好像它已經(jīng)具備了邏輯。這聽(tīng)上去是兩件事兒，一個(gè)用的是數(shù)據(jù)和關(guān)聯(lián)性，另一個(gè)是在交流過(guò)程中看起來(lái)帶著思想，具備一定的邏輯性。怎么看待這個(gè)問(wèn)題？

王寶元：從本質(zhì)來(lái)講，給大模型注入數(shù)據(jù)的量以及注入方法，實(shí)際上極大促成了它看起來(lái)像有推理能力。比如以我在大模型上做思維鏈（cot）為例，cot實(shí)際上是一個(gè)人發(fā)明的針對(duì)大模型特性的一種trick（戲法）。就是它不是什么特別復(fù)雜的數(shù)學(xué)公式，統(tǒng)計(jì)上的某個(gè)原理，它實(shí)際上就是一個(gè)人類(lèi)的直覺(jué)，但這個(gè)直覺(jué)是定制化給大模型的。

比如當(dāng)大模型大到一定程度，因?yàn)橐押Ａ康臄?shù)據(jù)壓到一個(gè)模型里，勢(shì)必要強(qiáng)迫它學(xué)出一些規(guī)律。就像從左預(yù)測(cè)右，其實(shí)復(fù)雜程度很高。根據(jù)很長(zhǎng)的歷史記錄去判斷下一個(gè)字很有可能是哪個(gè)字，這其實(shí)就是一個(gè)純粹的統(tǒng)計(jì)概率問(wèn)題。那么找到這個(gè)模式就會(huì)令這個(gè)模型看似有推理能力，為什么呢？因?yàn)槿祟?lèi)講一句話(huà)，寫(xiě)一篇文章，都是有邏輯的。

另一個(gè)就是顯式地注入一種邏輯，比如說(shuō)ChatGPT背后的技術(shù)叫Instruction（指示學(xué)習(xí)，Instruction Learning)。怎么看起來(lái)具有邏輯呢？就是當(dāng)你問(wèn)我問(wèn)題的時(shí)候，我要給你專(zhuān)家的這種有邏輯的答案。比如你要列出上海有哪些五A級(jí)景區(qū)，那答案就要寫(xiě)ABCD幾個(gè)，寫(xiě)得非常專(zhuān)業(yè)，有邏輯性，有條理性，有結(jié)構(gòu)性。這樣的數(shù)據(jù)是要標(biāo)的，只是這個(gè)標(biāo)的量跟預(yù)訓(xùn)練相比幾乎可以忽略。但一定要給它這樣的任務(wù)，讓它輸出有條理有邏輯有結(jié)構(gòu)的答案，然后讓大模型學(xué)出來(lái)。

鐘俊浩：可能這樣只是讓一個(gè)小孩學(xué)會(huì)了大人的聊天方式，慢慢讓它成長(zhǎng)，它持續(xù)往后再去成長(zhǎng)的話(huà)，或許也能達(dá)到一個(gè)專(zhuān)家的水平吧？

王寶元：我覺(jué)得現(xiàn)在大家可能把它想得太強(qiáng)大了。我們看到它的能力大部分還是研究人員賦予它的一種規(guī)則。只是現(xiàn)在這個(gè)能力大模型學(xué)會(huì)了，學(xué)會(huì)給的這個(gè)指令，然后讓可能不在這個(gè)領(lǐng)域的人比如用戶(hù)覺(jué)得有邏輯。但在我們看來(lái)的話(huà)，它就應(yīng)該要這樣，研究人員教了這些。

鐘俊浩：如果現(xiàn)在要ChatGPT跟一個(gè)小孩聊天，也可以聊得挺好，是這個(gè)意思嗎？

王寶元：這個(gè)完全能做到，現(xiàn)在如果給我一堆小孩聊的語(yǔ)料，就是說(shuō)小孩喜歡問(wèn)什么樣的問(wèn)題，講話(huà)風(fēng)格是什么，等等。只要給我這樣的語(yǔ)料，現(xiàn)在是已經(jīng)能做到了。

只是現(xiàn)在ChatGPT沒(méi)有做這么細(xì)，它只是一個(gè)demo。比如我們公司做AI Being（類(lèi)似虛擬人的概念），我們要求每個(gè)AI Being有自己的Persona（性格特性），比如是一個(gè)18歲的少女還是某個(gè)游戲里面的角色，還是某個(gè)真人的數(shù)字孿生。要讓別人感知到這個(gè)Persona，需要有相應(yīng)的語(yǔ)料。

鐘俊浩：ChatGPT未來(lái)會(huì)不會(huì)持續(xù)成長(zhǎng)，而不是說(shuō)一定要教給它這種專(zhuān)家邏輯，讓一個(gè)小孩學(xué)會(huì)大人講話(huà)？

王寶元：我覺(jué)得不會(huì)，它要持續(xù)學(xué)習(xí)的話(huà)，得有一種教它怎么learn（學(xué)習(xí)）的機(jī)制，這個(gè)機(jī)制是要人類(lèi)設(shè)計(jì)。

鐘俊浩：ChatGPT的參數(shù)已經(jīng)達(dá)到1750億，我們還能不能再以指數(shù)級(jí)這種速度往前走？

王寶元：這個(gè)一定要考慮背后的工程代價(jià)和經(jīng)濟(jì)代價(jià)，這會(huì)是極大的資源消耗。

鐘俊浩：持續(xù)加大算力，繼續(xù)用工程化的思維解決問(wèn)題，它會(huì)不會(huì)越來(lái)越聰明，越來(lái)越接近于人腦？

王寶元：我覺(jué)得這個(gè)問(wèn)題有點(diǎn)理想化，即資源是不設(shè)限的。如果讓我站在這個(gè)位置，我可能不會(huì)去做這樣的事，我覺(jué)得應(yīng)該有更有價(jià)值的事情，比如在現(xiàn)有基礎(chǔ)上怎么去落地。因?yàn)樗呀?jīng)展示出很強(qiáng)大的能力，已經(jīng)能夠解決很多現(xiàn)實(shí)場(chǎng)景的應(yīng)用。那么有沒(méi)有可能趕緊去鋪大量的應(yīng)用，用大量的應(yīng)用反哺模型，這會(huì)不會(huì)帶來(lái)新的發(fā)現(xiàn)？這個(gè)是科學(xué)和工程上要一起驗(yàn)證的假設(shè)。

鐘俊浩：最后，能不能從應(yīng)用角度展開(kāi)講一講ChatGPT到底給我們帶來(lái)了什么？

王賀：比如寫(xiě)論文，另一個(gè)角度就是我們還需要辨別論文是不是用ChatGPT寫(xiě)的。我們用它，它其實(shí)就是一個(gè)輔助的作用，就像一臺(tái)電腦一樣，能夠幫我們快速搜索，幫我們完成一些簡(jiǎn)單的事情。但是在應(yīng)用的時(shí)候，我覺(jué)得還是需要我們?nèi)ベx予一些思想，一些邏輯。不是說(shuō)完全不用寫(xiě)代碼了，它寫(xiě)的代碼我們一定要去用嗎？其實(shí)它也是給我們一種思路，或者和我們進(jìn)行一些對(duì)比。核心點(diǎn)還是輔助，然后提高整體做事情的效率。

王寶元：我很同意，首先肯定是一個(gè)效率提升的問(wèn)題。就是它會(huì)輔助人類(lèi)做一些事情，極大地提升效率，這個(gè)一定會(huì)在各行各業(yè)很快開(kāi)花結(jié)果，這是我覺(jué)得它最大的價(jià)值。

我們應(yīng)該以什么樣的心態(tài)去擁抱它？我覺(jué)得就像自動(dòng)駕駛，很多資本現(xiàn)在推自動(dòng)駕駛已經(jīng)推了十年了，它最大的社會(huì)價(jià)值就是要解放人的雙手，難道真的有人喜歡一直開(kāi)車(chē)嗎？這個(gè)提升人類(lèi)生活質(zhì)量的體驗(yàn)是非常正向的，那我們要擁抱它。

開(kāi)車(chē)或者說(shuō)之前被打字替代的寫(xiě)字，就是一項(xiàng)技能，隨著技術(shù)演進(jìn)，它是不是應(yīng)該隨著技術(shù)發(fā)展？我覺(jué)得還是應(yīng)該積極面對(duì)，應(yīng)該把人類(lèi)引到做非重復(fù)、有創(chuàng)造力、需要激發(fā)靈感的事情上。那么我覺(jué)得這些工具反而會(huì)助力人類(lèi)創(chuàng)造力，或者人類(lèi)發(fā)現(xiàn)新知識(shí)。像AI For science也是這個(gè)目的，用新的人工智能工具讓我們提高發(fā)現(xiàn)知識(shí)的效率和頻率，以及成功率。

所以我總體來(lái)講還是非常樂(lè)觀(guān)。就是這個(gè)過(guò)程中需要政府出臺(tái)相關(guān)的法規(guī)，降低可能的負(fù)面影響。就像劍是雙刃的，換臉可以做非常正面的應(yīng)用，也可以做壞事兒，那是另外一個(gè)層面的問(wèn)題。

鐘俊浩：像ChatGPT已經(jīng)把標(biāo)桿豎在這兒了，可能中國(guó)學(xué)界或業(yè)界大家都挺著急的，它做出來(lái)了我們?cè)趺崔k。有一些人說(shuō)，不用著急，用這些基礎(chǔ)數(shù)據(jù)、基礎(chǔ)邏輯，應(yīng)該這半年就能趕上。另一種理論說(shuō)，趕不上了，三年都不可能做得到。兩位怎么看這個(gè)問(wèn)題？

王寶元：問(wèn)題非常好，大家都在思考這個(gè)問(wèn)題。我覺(jué)得我們還是要把技術(shù)跟產(chǎn)品分開(kāi)看。不能講谷歌、Meta沒(méi)有這樣的技術(shù)。技術(shù)本身也是一個(gè)有時(shí)候線(xiàn)性、有時(shí)候非線(xiàn)性的發(fā)展過(guò)程。而且我覺(jué)得OpenAI并沒(méi)有藏著掖著，至少大的思想層面大家都知道，更多的可能是系統(tǒng)層面，就是所有東西放在一起的能力。

如果抄作業(yè)，就是人家做了什么我們?nèi)コ嵌喽嗌偕俪瓊€(gè)50分、30分、70分，有沒(méi)有這樣的可能性？當(dāng)然有。但我更擔(dān)心的是整個(gè)研究范式的遷移。

大家思考為什么OpenAI可以持續(xù)不斷做出這樣的東西，而且它放出的東西是兩年前的。ChatGPT公開(kāi)幾個(gè)月，新必應(yīng)就馬上集成進(jìn)去了，就是說(shuō)這些大模型在內(nèi)部早就訓(xùn)練好了。OpenAI是按一定的節(jié)奏釋放，它會(huì)管理世界對(duì)它的預(yù)期。我擔(dān)心的是，實(shí)際上已經(jīng)有更偉大的技術(shù)。而且，如果下一代的范式不是這樣的呢？那我們永遠(yuǎn)就這樣被動(dòng)地抄嗎？比如說(shuō)現(xiàn)在要百分之百?gòu)?fù)刻ChatGPT，一定不是幾個(gè)月的時(shí)間。如果到那個(gè)階段，你以為你達(dá)到了，可是人家用一種新的方式甩開(kāi)了。

所以更主要的是范式，就是要有一種新的研究范式，而不是被動(dòng)地抄作業(yè)，這個(gè)我覺(jué)得需要更多的頂層設(shè)計(jì)。

王賀：對(duì)，這個(gè)并不是一蹴而就的，而是沉淀了很久。其實(shí)目前國(guó)內(nèi)很多企業(yè)，包括我了解到，一些很小團(tuán)隊(duì)的經(jīng)營(yíng)人被領(lǐng)導(dǎo)要求去做這件事情，這種企業(yè)非常多。它們并不太擔(dān)心，或者說(shuō)這個(gè)和它們并沒(méi)有太大關(guān)聯(lián)，只是把這個(gè)技術(shù)應(yīng)用于場(chǎng)景、應(yīng)用于業(yè)務(wù)。可能有一些大企業(yè)會(huì)擔(dān)心這件事情，它們想快速做出來(lái)或者說(shuō)不掉隊(duì)。

（對(duì)話(huà)實(shí)錄由邵文整理，看直播回放視頻請(qǐng)點(diǎn)擊這里）