這兩年對于AGI（通用人工智能）的討論，常常走向兩個極端：一邊有人說它已經(jīng)近在眼前，一邊有人說現(xiàn)有大模型這條路根本走不通。

Google DeepMind的CEO Demis Hassabis大概屬于第三類人。

4月底，他在YC的一場訪談里給出了一個讓我印象很深的判斷：

現(xiàn)在的技術(shù)路徑大概率是對的，但AGI可能還差一兩個關(guān)鍵想法的突破，而這一兩個想法，藏在一些看起來不太性感的地方。

我覺得他不是那種喜歡喊口號的人，作為AlphaGo和AlphaFold背后的靈魂人物，他拿到過諾貝爾化學(xué)獎，也有認(rèn)知神經(jīng)科學(xué)的博士學(xué)位。

他不是外行，也不是需要一些驚人的話語來吸引注意力。

所以，正因如此，當(dāng)他被問到AGI還差什么時，他的回答值得認(rèn)真看一遍。

一、架構(gòu)已經(jīng)對了大半，但拼圖還沒完整

主持人問他——大規(guī)模預(yù)訓(xùn)練、RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）、思維鏈這些技術(shù)，在AGI的最終架構(gòu)里到底占了多大比例？

他說這些組件幾乎肯定會是AGI的一部分。

在他看來，這些技術(shù)路線已經(jīng)驗證了足夠多的東西，不太可能某天被證明是死胡同。

但在已有技術(shù)之上，還有三個東西沒解決：

持續(xù)學(xué)習(xí)、長程推理，以及記憶

前兩個都好理解。但記憶這個事，聽著有點矛盾

——現(xiàn)在的大模型不是能處理幾百萬甚至千萬token的上下文嗎？Gemini的上下文窗口已經(jīng)能做到1000萬token了，還不夠？

先把矛盾放在這兒，我們繼續(xù)往下看~

二、記憶越大，反而越難思考

Hassabis用一個很直白的類比解釋了這個問題。

他說，上下文窗口差不多就是AI的工作記憶。

人類的工作記憶平均只能同時記住7個左右的信息單元，但AI的工作記憶已經(jīng)被強(qiáng)行撐到了百萬級別。

問題是容量擴(kuò)得太大，反而成了麻煩。

現(xiàn)在我們幾乎把所有東西都往上下文窗口里塞

有重要的、不重要的、對的、錯的，全部一股腦放進(jìn)去。

然后指望模型自己從里面找出真正有用的那塊。

舉個例子~

他說如果要處理實時視頻流，把每一幀的所有token都存進(jìn)去，那100萬token其實只夠放大概20分鐘的內(nèi)容。

這還是單向?qū)懭耄簧婕胺磸?fù)查找和推理。

打個不太精確的比方：假如你用記事本寫了一百萬字的筆記，而且從不分類、不歸檔、不打標(biāo)簽。

每次你需要從中找出一個特定知識點的時候，你都只能從頭到尾通讀一遍。

存得下和找得到，完全是兩回事。

真正的AGI需要的不只是能存住歷史信息，而是能把新的理解融入已有的知識體系里，在需要的時候精準(zhǔn)調(diào)取。

就像人腦做的那樣，而不是每次都對著一本長得離譜的流水賬從頭翻到尾。

三、內(nèi)?。篈I還不太會“懷疑自己的答案”

Hassabis還談了另一個問題，他稱之為“內(nèi)省”。

他說他喜歡讓Gemini下棋，有時候模型會選一步明顯很差的棋。

系統(tǒng)自己也意識到了這可能是一步臭棋，但因為沒有找到更好的替代方案，最后還是走了那一步。

他說最奇怪的地方是：同一個模型，能解出IMO（國際數(shù)學(xué)奧林匹克）金牌級別的題目，但換個方式問，它又會在小學(xué)數(shù)學(xué)級別的問題上犯錯。

這說明模型對自己的推理過程還缺乏真正的反思能力。

它不是不知道自己可能錯了，而是不知道怎么推翻或糾正自己。做錯了就繼續(xù)錯下去，或者換一條路再撞一遍，像個新手棋手反復(fù)走進(jìn)同一個陷阱。

四、一個務(wù)實的時間表

Hassabis對AGI時間的判斷是2030年左右，他沒有很絕對的認(rèn)定，但概率應(yīng)該不低。

他說大概有五五開的可能，剩下的那一兩個關(guān)鍵想法還沒有被找到。

我覺得他的態(tài)度更像是認(rèn)為我們是在正確的方向上，只是還需要一些更精巧的東西

不是單純的算力和數(shù)據(jù)能解決的東西

對于一名AI從業(yè)者來說，這可能是近期最有信息量的一場訪談。

不是因為他說了多驚人的結(jié)論，恰恰相反，他把問題講得很清楚，也很克制。

也許真正值得關(guān)注的，正是那些看起來“不性感”的地方。