- +1
李開復(fù)回應(yīng)旗下AI獨(dú)角獸陷“套殼”爭議:起步受益于開源,會(huì)進(jìn)步
李開復(fù)創(chuàng)辦的AI公司零一萬物(01.AI)近日陷入風(fēng)波。11月15日,創(chuàng)新工廠董事長兼CEO李開復(fù)在其微信朋友圈轉(zhuǎn)發(fā)了旗下零一萬物對(duì)于日前“套殼”爭議的官方回應(yīng),并在配文中寫道:“全球大模型架構(gòu)一路從GPT2-->Gopher-->Chinchilla-->Llama2->Yi,行業(yè)逐漸形成大模型的通用標(biāo)準(zhǔn)(就像做一個(gè)手機(jī)APP開發(fā)者,不會(huì)去自創(chuàng)iOS、Android 以外的全新基礎(chǔ)架構(gòu))。01.AI起步受益于開源,也貢獻(xiàn)開源,從社區(qū)中虛心學(xué)習(xí),我們會(huì)持續(xù)進(jìn)步?!?/p>
李開復(fù)朋友圈回應(yīng)截圖。來源:網(wǎng)絡(luò)
在零一萬物發(fā)布官方回應(yīng)后,又有一張疑似原阿里技術(shù)副總裁賈揚(yáng)清的朋友圈截圖傳出,強(qiáng)調(diào)在開源領(lǐng)域“魔改”不得:“開源是一個(gè)相互合作的事情,本質(zhì)是要大家能夠求同尊異,討論設(shè)計(jì),磨合觀點(diǎn),最后擰成一股繩往前走?!?/p>
這場風(fēng)波起源于9天前,一位名為ehartford的國外開發(fā)者在英文開源社區(qū)Hugging Face上的零一萬物開源主頁上評(píng)論稱,零一萬物剛于上周完成了首秀的開源大模型Yi-34B完全使用了Meta研發(fā)的LLaMA的開源模型架構(gòu),只對(duì)其中的兩個(gè)張量(Tensor)名稱進(jìn)行了修改,并且在模型中沒有提及LLaMA,建議公司對(duì)這些問題進(jìn)行改正后重新提交模型,以便于開發(fā)者將其與LLaMA直接對(duì)接。
而從11月14日起,一張微信朋友圈截圖在國內(nèi)大模型圈內(nèi)廣泛傳播。在截圖中,用戶的備注名為原阿里首席AI科學(xué)家賈揚(yáng)清,稱有“某國內(nèi)大廠的新模型”完全使用了Meta的開源大模型LLaMA的架構(gòu),只把代碼中的大模型名字進(jìn)行了修改并替換了幾個(gè)變量名,并且“海外有工程師”指出了這點(diǎn)。
盡管零一萬物從嚴(yán)格意義上來說并非“大廠”而是初創(chuàng)公司,由于時(shí)間和內(nèi)容的重合度較高,許多大模型從業(yè)者將兩件事情聯(lián)系在一起,引發(fā)行業(yè)熱議。有網(wǎng)友表示,在大模型領(lǐng)域使用開源產(chǎn)品并沒任何問題,甚至有助于開源技術(shù)的發(fā)展,然而修改代碼名稱便不免會(huì)讓人產(chǎn)生懷疑。
11月15日下午,零一萬物(01.AI)回應(yīng)了日前對(duì)其大模型Yi套用開源大模型LLaMA架構(gòu)的質(zhì)疑,表示大模型的核心不在于架構(gòu),而是在于訓(xùn)練得到的參數(shù),以及代碼名稱問題屬于“經(jīng)實(shí)驗(yàn)更名后的疏忽”。
零一萬物官方回應(yīng)中表示,大模型社區(qū)在技術(shù)架構(gòu)方面正處在接近于往通用化逐步收攏的階段,國內(nèi)已發(fā)布的開源模型絕大多數(shù)都采用漸成行業(yè)標(biāo)準(zhǔn)的GPT/LLaMA的架構(gòu),大模型“持續(xù)發(fā)展與尋求突破口的核心點(diǎn)”其實(shí)在于訓(xùn)練得到的參數(shù)。
零一萬物強(qiáng)調(diào),團(tuán)隊(duì)在訓(xùn)練前的實(shí)驗(yàn)中嘗試了不同的數(shù)據(jù)配比,選取了最優(yōu)的數(shù)據(jù)配比方案,進(jìn)行了一系列“超越模型架構(gòu)之外、研究與工程并進(jìn)且具有前沿突破性的研發(fā)任務(wù)”。在模型訓(xùn)練的同時(shí),零一萬物也針對(duì)模型結(jié)構(gòu)中的若干關(guān)鍵節(jié)點(diǎn)進(jìn)行了大量的實(shí)驗(yàn)和對(duì)比驗(yàn)證,并在這個(gè)過程中對(duì)部分推理參數(shù)進(jìn)行了重新命名。
在回應(yīng)中,零一萬物也對(duì)“沿用LLaMA部分推理代碼經(jīng)實(shí)驗(yàn)更名后的疏忽”表達(dá)了歉意:“(我們的)原始出發(fā)點(diǎn)是為了充分測試模型,并非刻意隱瞞來源。零一萬物對(duì)此提出說明,并表達(dá)誠摯的歉意,我們正在各開源平臺(tái)重新提交模型及代碼并補(bǔ)充 LLaMA 協(xié)議副本的流程中, 承諾盡速完成各開源社區(qū)的版本更新?!?/p>
零一萬物方面對(duì)澎湃新聞?dòng)浾弑硎?,此回?yīng)不針對(duì)網(wǎng)傳的賈揚(yáng)清朋友圈截圖。
當(dāng)天,在Hugging Face社區(qū)中,零一萬物也對(duì)此事做了公開回應(yīng),表示感謝社區(qū)的指正,會(huì)重新提交模型。在零一萬物做出回應(yīng)后,開發(fā)者ehartford在評(píng)論中表示感謝。
一周前,11月6日,零一萬物剛剛正式發(fā)布首款開源中英雙語大模型Yi-34B,其擁有200K上下文窗口,可處理約40萬字的文本。模型開放商用申請(qǐng),在阿里云魔搭社區(qū)首發(fā)。與此同時(shí),零一萬物已完成新一輪融資,由阿里云領(lǐng)投。
據(jù)零一萬物介紹,截至11月5日,Yi-34B在關(guān)鍵指標(biāo)上勝過市場上已有的領(lǐng)先開源模型,包括大語言模型LLaMA 2,在Hugging Face英文開源社區(qū)平臺(tái)的最佳性能大語言模型排行榜和C-Eval中文評(píng)測的最新榜單都爬升到第一位。目前,零一萬物估值超過10億美元。按此估值,堪稱創(chuàng)業(yè)公司中的“獨(dú)角獸”。





- 報(bào)料熱線: 021-962866
- 報(bào)料郵箱: news@thepaper.cn
滬公網(wǎng)安備31010602000299號(hào)
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營許可證:滬B2-2017116
? 2014-2026 上海東方報(bào)業(yè)有限公司




