中文字幕国产91无码|AV成人手机在线|av成人先锋在线|911无码在线国产人人操|91蜜桃视频精品免费在线|极品美女A∨片在线看|日韩在线成人视频日韩|电影三级成人黄免费影片|超碰97国产在线|国产成人精品色情免费视频

  • +1

明斯基去世:他是AI的父親之一,也是神經(jīng)網(wǎng)絡(luò)的奠基人

尼克
2016-01-27 15:22
翻書黨 >
字號

【編者按】

2016年1月24日,AI的父親之一、人類智能的研究者、圖靈獎(jiǎng)得主馬文·明斯基在美國波士頓去世。他建立了MIT人工智能實(shí)驗(yàn)室,發(fā)明了頭戴式顯示器,開發(fā)了第一個(gè)隨機(jī)連線的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)器,為情感的計(jì)算模型做出諸多貢獻(xiàn),還曾給《2001太空漫游》提供過人工智能有關(guān)的建議。

本文作為一個(gè)側(cè)面,從神經(jīng)網(wǎng)絡(luò)學(xué)科發(fā)展的脈絡(luò)呈現(xiàn)了明斯基的貢獻(xiàn)。

馬文·明斯基于2016年1月24日在美國波士頓去世。東方IC 資料

自圖靈提出“機(jī)器與智能”,一直就有兩派觀點(diǎn),一派認(rèn)為實(shí)現(xiàn)人工智能必須用邏輯和符號系統(tǒng),這一派看問題是自頂向下的;還有一派認(rèn)為通過仿造大腦可以達(dá)到人工智能,這一派是自底向上的,他們認(rèn)定如果能造一臺(tái)機(jī)器,模擬大腦中的神經(jīng)網(wǎng)絡(luò),這臺(tái)機(jī)器就有智能了。前一派,我想用“想啥來啥”來形容;后一派就稱之為“吃啥補(bǔ)啥”,估計(jì)他們的思想來源于中國古代的原始思維,套一句庸俗的哲學(xué)詞,前者偏唯心,后者偏唯物。這兩派一直是人工智能領(lǐng)域里兩個(gè)階級、兩條路線的斗爭,這斗爭有時(shí)還你死我活。

模擬神經(jīng)網(wǎng)絡(luò)的原創(chuàng)文章發(fā)表于1943年,兩位作者都是傳奇人物,麥卡洛可(McCulloch)和皮茨(Pitts)。話分兩頭。皮茨打小就喜歡數(shù)學(xué)和哲學(xué),初中時(shí)還讀過羅素的《數(shù)學(xué)原理》,還和羅素通信,羅素愛才,邀請他到英國跟隨自己學(xué)習(xí)邏輯。但皮茨家里是苦出身,連高中都讀不起,英國留學(xué)自然未果。他十五歲時(shí),他爸強(qiáng)行要他退學(xué)上班,就像所有愛讀書的窮孩子,皮茨一怒就離家出走了。他打聽到偶像羅素那時(shí)要到芝加哥大學(xué)任教,就只身來到芝加哥,還真見到了羅素,老羅遂把他推薦給那時(shí)也在芝加哥任教的卡爾納普??柤{普想看看這孩子到底有多聰明,就把自己的《語言的邏輯句法》一書送給皮茨,沒過一個(gè)月,皮茨就看完了,把寫滿筆記的原書還給卡爾納普。老卡驚為天人,于是給他在芝加哥大學(xué)安排了份打掃衛(wèi)生的工作。別看不起打掃衛(wèi)生,電影《心靈捕手》(Good Will Hunting)里馬特·達(dá)蒙飾演的角色也是在知名大學(xué)打掃衛(wèi)生時(shí),不小心解了道數(shù)學(xué)難題,引起老師的注意。掃馬路至少可避免流浪街頭。皮茨后來結(jié)識(shí)了也在芝加哥的麥卡洛可。沃倫-麥卡洛可比皮茨大一輩,他本科在耶魯學(xué)哲學(xué)和心理學(xué),后在哥倫比亞得了心理學(xué)碩士和醫(yī)學(xué)博士(MD),其實(shí)醫(yī)學(xué)博士和哲學(xué)博士不是一回事,MD不是學(xué)術(shù)學(xué)位,屬終極職業(yè)學(xué)位,和MBA、MFA差不多。MD的那個(gè)D是指“醫(yī)生”,PhD的D才是博士。麥卡洛可畢業(yè)后做了幾年實(shí)習(xí)醫(yī)生,先去了耶魯研究神經(jīng)生理學(xué),后又去了伊利諾伊大學(xué)芝加哥分校,做精神病學(xué)系的教授。麥卡洛可的強(qiáng)項(xiàng)是神經(jīng)科學(xué),但不懂?dāng)?shù)學(xué),他和十七歲的流浪漢數(shù)學(xué)票友皮茨是絕配。他們合作的成果就是神經(jīng)網(wǎng)絡(luò)的第一篇文章:“A Logical Calculus of Ideas Immanent in Nervous Activity”, 發(fā)表在《數(shù)學(xué)生物物理期刊》上。這篇文章也成了控制論的思想源泉之一。

控制論創(chuàng)始人維納(中)曾在上世紀(jì)30年代于北京的清華大學(xué)工作。

控制論的始作俑者諾伯特·維納早年自稱神童,他爸是哈佛教授,曾經(jīng)帶著他到英國見過羅素,但羅素特不喜歡這孩子和他爹。自打進(jìn)入二十世紀(jì)后,甭管哪門哪派的學(xué)問,最后都能扯到羅素那兒,不想得諾貝爾文學(xué)獎(jiǎng)的科學(xué)家都不是好情人。維納后來也在哈佛任教,但不被主流數(shù)學(xué)家喜歡,沒拿到終身教職。最后到了隔壁的麻省理工落腳,在二戰(zhàn)時(shí)搞了點(diǎn)武器研究。那時(shí)最好的數(shù)學(xué)家和物理學(xué)家都參與了造原子彈的“曼哈頓”計(jì)劃,維納卻沒沾邊。這也許同他的個(gè)性有關(guān)系,他的同事和家人都覺得他對數(shù)學(xué)之外的事情反應(yīng)遲鈍。維納提出“控制論”后出了大名,在麻省理工搞了一大筆錢,麥卡洛可就帶著皮茨等一票人馬投奔維納,有錢才能當(dāng)老大,哪都一樣。維納的老婆瑪格麗特是納粹,在二戰(zhàn)時(shí),家里還偷藏了本英文版的希特勒的《我的奮斗》。那時(shí)他們的女兒芭芭拉正在讀小學(xué),有意無意也看過那書,寫作文時(shí)居然引用書里的“警句”,差點(diǎn)被學(xué)校開除。麥卡洛可的老婆是猶太人,與瑪格麗特形同水火。其實(shí)維納祖上是波蘭猶太人,瑪格麗特早干啥去了?維納娶瑪格麗特是為了自嘲嗎?就像很多中國男人討洋老婆或老外娶中國剩女,圖的不是相貌,是稀罕。反正最后維納被中和為“不可知論者”(agnostic)?,敻覃愄赜写螌S納說麥卡洛可小組有人(可能暗指皮茨)勾引寶貝女兒芭芭拉,維納大怒,隨即斷絕和麥克洛克及其學(xué)生的所有往來?,F(xiàn)在看瑪格麗特是有意造謠。但維納的舉動(dòng)對皮茨造成巨大創(chuàng)傷,皮茨本來是維納的特招學(xué)生(special student),但估計(jì)他年幼時(shí)受過挫折,秉性怪異。和維納鬧翻后,他拒絕麻省理工給他的研究生學(xué)位,對學(xué)問也心灰意冷。皮茨1969年比他的長輩麥卡洛可早幾個(gè)月離世,只有四十六歲。

得維納真?zhèn)鞯娜瞬欢?,不能不說一下邁克爾·阿比卜(Michael Arbib)。他二十三歲就在維納手下得了PhD,他出名是那本科普書《大腦、機(jī)器和數(shù)學(xué)》。阿比卜后來創(chuàng)辦了麻省大學(xué)的計(jì)算機(jī)系,并延攬一幫人工智能人馬,其中有后來以“強(qiáng)化學(xué)習(xí)”出名的巴托(Andy Barto),使麻省大學(xué)的人工智能一直處領(lǐng)先地位。阿比卜后來轉(zhuǎn)往南加州大學(xué),擔(dān)任一堆系的教授,包括計(jì)算機(jī)、生物、生物醫(yī)學(xué)工程、電氣工程、神經(jīng)科學(xué)、還有心理;他那名片要是印出來,估計(jì)很像中國的農(nóng)民企業(yè)家,就差“政協(xié)委員”或“人大代表”了。阿比卜到南加州后,沒出過什么有影響力的原創(chuàng)成果。在神經(jīng)網(wǎng)絡(luò)不景氣時(shí),巴托的“可適應(yīng)學(xué)習(xí)實(shí)驗(yàn)室”曾經(jīng)短期收容了很多人,其中就有后來的大佬級人物,如喬丹(Michael Jordan),喬丹在伯克利時(shí)又培養(yǎng)了Andrew Ng等一干人馬,那是后話。

1949年,神經(jīng)心理學(xué)家Hebb出版《行為組織學(xué)》(Organization of Behavior),在該書中,Hebb提出了被后人稱為“Hebb規(guī)則”的學(xué)習(xí)機(jī)制。這個(gè)規(guī)則認(rèn)為如果兩個(gè)細(xì)胞總是同時(shí)激活的話,它們之間就有某種關(guān)聯(lián),同時(shí)激活的概率越高,關(guān)聯(lián)度也越高。換句話說,就是“吃啥補(bǔ)啥”。2000年諾貝爾醫(yī)學(xué)獎(jiǎng)得主肯德爾(Eric Kandel)的動(dòng)物實(shí)驗(yàn)也證實(shí)了Hebb規(guī)則。后來的各種無監(jiān)督機(jī)器學(xué)習(xí)算法或多或少都是Hebb規(guī)則的變種。

弗蘭克·羅森布拉特

神經(jīng)網(wǎng)絡(luò)研究的后一個(gè)大突破是1957年??的螤柎髮W(xué)的實(shí)驗(yàn)心理學(xué)家弗蘭克·羅森布拉特在一臺(tái)IBM-704計(jì)算機(jī)上模擬實(shí)現(xiàn)了一種他發(fā)明的叫作“感知機(jī)”(Perceptron)的神經(jīng)網(wǎng)絡(luò)模型。這個(gè)模型可以完成一些簡單的視覺處理任務(wù)。這引起了轟動(dòng)。羅森布拉特在理論上證明了單層神經(jīng)網(wǎng)絡(luò)在處理線性可分的模式識(shí)別問題時(shí),可以收斂,并以此為基礎(chǔ),做了若干“感知機(jī)”有學(xué)習(xí)能力的實(shí)驗(yàn)。羅森布拉特1962年出了本書:《神經(jīng)動(dòng)力學(xué)原理:感知機(jī)和大腦機(jī)制的理論》(Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms),這書總結(jié)了他的所有研究成果,一時(shí)成為“吃啥補(bǔ)啥”派的圣經(jīng)。羅森布拉特的名聲越來越大,得到的研究經(jīng)費(fèi)也越來越多。國防部和海軍都資助了他的研究工作。媒體對羅森布拉特也表現(xiàn)出了過度的關(guān)注。畢竟,能夠構(gòu)建一臺(tái)可以模擬大腦的機(jī)器,當(dāng)然是一個(gè)頭版頭條的搶眼消息。此時(shí)的羅森布拉特也一改往日的害羞,經(jīng)常在媒體出鏡,他開跑車、彈鋼琴,到處顯擺。這使得另一派的人相當(dāng)不爽。

感知機(jī)

明斯基是人工智能的奠基人之一,是達(dá)特茅斯會(huì)議的組織者。明斯基在一次會(huì)議上和羅森布拉特大吵,他認(rèn)為神經(jīng)網(wǎng)絡(luò)不能解決人工智能的問題。隨后,明斯基和麻省理工學(xué)院的另一位教授佩普特合作,企圖從理論上證明他們的觀點(diǎn)。他們合作的成果就是那本影響巨大、“是也非也”的書:《感知機(jī):計(jì)算幾何學(xué)》(Perceptrons: An Introduction to Computational Geometry)。在書中,明斯基和佩普特證明單層神經(jīng)網(wǎng)絡(luò)不能解決XOR(異或)問題。異或是一個(gè)基本邏輯問題,如果這個(gè)問題都解決不了,那神經(jīng)網(wǎng)絡(luò)的計(jì)算能力實(shí)在有限。其實(shí)羅森布拉特也已猜到“感知機(jī)”可能存在限制,特別是在“符號處理”方面,并以他神經(jīng)心理學(xué)家的經(jīng)驗(yàn)指出,某些大腦受到傷害的人也不能處理符號。但“感知機(jī)”的缺陷被明斯基以一種敵意的方式呈現(xiàn),當(dāng)時(shí)對羅森布拉特是致命打擊。所有原來的政府資助機(jī)構(gòu)也逐漸停止對神經(jīng)網(wǎng)絡(luò)的研究。1971年,羅森布拉特四十三歲生日那天,在劃船時(shí)淹死。很多人認(rèn)為他是自殺。王國維沉湖時(shí)遺言“經(jīng)此世變,義無再辱”,在羅森布拉特,我猜“辱”是明斯基的書,“世變”是隨后“神經(jīng)網(wǎng)絡(luò)”學(xué)科的消沉。不同的是,王靜安謂之“世變”是歷史潮流,但神經(jīng)網(wǎng)絡(luò)學(xué)科十年后會(huì)逆襲。

年輕時(shí)的明斯基

表面是科學(xué),但有證據(jù)表明明斯基和羅森布拉特以前就有瓜葛。他們是中學(xué)同學(xué)。布朗克斯(Bronx)科學(xué)高中大概是全世界最好的高中,畢業(yè)生里出過八個(gè)諾貝爾獎(jiǎng)、六個(gè)普利策獎(jiǎng)、一個(gè)圖靈獎(jiǎng)。遠(yuǎn)的不說,明斯基是1945年畢業(yè)生,而羅森布拉特是1946年畢業(yè)生。美國高中學(xué)制四年,明斯基和羅森布拉特至少有兩年重疊,而且彼此認(rèn)識(shí),互相嫉妒。1956年的達(dá)特茅斯會(huì)議定義了“人工智能”這個(gè)詞,會(huì)議的組織者包括明斯基、麥卡錫和香農(nóng)等,參會(huì)者還有司馬賀,紐威爾等。這個(gè)會(huì)議在定義“人工智能”領(lǐng)域時(shí)只是提到了神經(jīng)網(wǎng)絡(luò)。那時(shí)明斯基是神經(jīng)網(wǎng)絡(luò)的支持者。他1954年在普林斯頓的博士論文題目是“神經(jīng)-模擬強(qiáng)化系統(tǒng)的理論,及其在大腦模型問題上的應(yīng)用”(Theory of Neural-Analog Reinforcement Systems and its Application to the Brain-Model Problem),實(shí)際是一篇關(guān)于神經(jīng)網(wǎng)絡(luò)的論文。他晚年接受采訪時(shí)開玩笑說,那篇三百多頁的博士論文從來沒正式發(fā)表過,大概只印了三本,他自己也記不清內(nèi)容了。貌似他想極力開脫自己和神經(jīng)網(wǎng)絡(luò)學(xué)科的千絲萬縷的關(guān)系。達(dá)特茅斯會(huì)議的主題并不是神經(jīng)網(wǎng)絡(luò),而是后來被紐維爾和司馬賀稱為“物理符號系統(tǒng)”的東西,也就是說達(dá)特茅斯會(huì)議,“想啥來啥”派是主要基調(diào)。

羅森布拉特被比他大一歲的明斯基妒忌是自然的。工作上,明斯基所負(fù)責(zé)的麻省理工學(xué)院的人工智能實(shí)驗(yàn)室也在向國防部和海軍申請經(jīng)費(fèi)。大多數(shù)的圈內(nèi)科學(xué)家,對羅森布拉特突然被塑造的明星范兒很反感。明斯基早期也是“吃啥補(bǔ)啥”派出身,但此時(shí)已經(jīng)改為“想啥來啥”派了。由于他和佩普特對感知機(jī)的批判,倆人后來被“吃啥補(bǔ)啥”派稱為“魔鬼搭檔”。其實(shí)明斯基認(rèn)識(shí)佩普特結(jié)識(shí)還是通過麥卡洛克的介紹,歷史真是糾結(jié)。被稱“魔鬼”是因?yàn)椤陡兄獧C(jī)》第一版有言:“羅森布拉特的論文大多沒有科學(xué)價(jià)值?!边@話跳步確實(shí)有點(diǎn)大,但羅森布拉特人緣不好,沒有得到同行的支持。

比羅森布拉特小一歲的維德羅(Widrow)是斯坦福大學(xué)教授,在羅森布拉特剛提出“感知機(jī)”時(shí),就提出了Adaline可適應(yīng)性算法。Adaline和感知機(jī)很相似,也是機(jī)器學(xué)習(xí)的鼻祖模型之一。羅森布拉特享受盛譽(yù)時(shí),維德羅也沾了光,但在羅森布拉特死后,他卻并沒有被非難。維德羅在幾十年后回憶說,那是因?yàn)樗髞碇饕陔姍C(jī)系(EE)做集成電路的工作,而不是在計(jì)算機(jī)系里從事派系繁雜的人工智能研究,圈子不同,老死不相往來。

感知機(jī)的失敗導(dǎo)致神經(jīng)網(wǎng)絡(luò)研究的式微,用加州理工學(xué)院的集成電路大佬米德(Carver Mead)的話說是“二十年大饑荒”。明斯基在《感知機(jī)》一書再版時(shí),刪除了原版中對羅森布拉特的個(gè)人攻擊的句子,并手寫了“紀(jì)念羅森布拉特”(In memory of Frank Rosenblatt)。但其他在“大饑荒”時(shí)期受到壓迫的科學(xué)家認(rèn)為明斯基不可原諒,后來神經(jīng)網(wǎng)絡(luò)得勢后,這些人紛紛對明斯基口誅筆伐。美國電氣電子工程師協(xié)會(huì)(IEEE)于2004年設(shè)立了羅森布拉特獎(jiǎng),以獎(jiǎng)勵(lì)在神經(jīng)網(wǎng)絡(luò)領(lǐng)域的杰出研究。

在信息科學(xué)和神經(jīng)科學(xué)的結(jié)合部的失敗,并沒有影響到神經(jīng)生物學(xué)內(nèi)部。哈佛神經(jīng)生物學(xué)家胡貝爾(Hubel)和威瑟爾(Wiesel)對視網(wǎng)膜和視皮層(visual cortex)中神經(jīng)細(xì)胞的信息處理模式做了深入研究,他們?yōu)榇双@得1981年的諾貝爾醫(yī)學(xué)獎(jiǎng)。隨后,麻省理工學(xué)院英年早逝的大衛(wèi)·馬爾(Marr)為視覺信息處理建立數(shù)學(xué)模型,影響了后來連接主義的運(yùn)動(dòng)。威瑟爾后來離開哈佛去了洛克菲勒大學(xué)。1991年洛克菲勒大學(xué)時(shí)任校長大衛(wèi)·巴爾的摩出了學(xué)術(shù)丑聞被迫辭職后,威瑟爾出任洛克菲勒校長,為把那所學(xué)校建成生物學(xué)的重鎮(zhèn)做出貢獻(xiàn)。

1974年,哈佛的一篇博士論文證明了在神經(jīng)網(wǎng)絡(luò)多加一層,并且利用“后向傳播”(Back-propagation)學(xué)習(xí)方法,可以解決XOR問題。這篇論文的作者是沃波斯(Werbos),他后來得到了IEEE神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)的先驅(qū)獎(jiǎng)。沃波斯這篇文章剛發(fā)表時(shí)并沒引起多少重視,那時(shí)正是神經(jīng)網(wǎng)絡(luò)研究的低谷,文章不合時(shí)宜。

物理學(xué)家霍普菲爾德

神經(jīng)網(wǎng)絡(luò)在1980年代的復(fù)興歸功于物理學(xué)家霍普菲爾德(Hopfield)。1982年,那時(shí)在加州理工擔(dān)任生物物理教授的霍普菲爾德,提出了一種新的神經(jīng)網(wǎng)絡(luò),可以解決一大類模式識(shí)別問題,還可以給出一類組合優(yōu)化問題的近似解。這種神經(jīng)網(wǎng)絡(luò)模型后被稱為霍普菲爾德網(wǎng)絡(luò)。1984年,霍普菲爾德用模擬集成電路實(shí)現(xiàn)了自己提出的模型。霍老也培養(yǎng)了一批后起之秀,包括現(xiàn)在在生物學(xué)重鎮(zhèn)Salk研究所擔(dān)任計(jì)算神經(jīng)生物學(xué)實(shí)驗(yàn)室主任的Terry Sejnowski?;衾虾筠D(zhuǎn)往普林斯頓擔(dān)任分子生物學(xué)教授,現(xiàn)已退休。霍普菲爾德模型的提出振奮了神經(jīng)網(wǎng)絡(luò)領(lǐng)域。一幫早期神經(jīng)網(wǎng)絡(luò)研究的幸存者,在生物學(xué)家克里克(Crick,對,就是發(fā)明DNA雙螺旋的那位諾貝爾獎(jiǎng)得主)和認(rèn)知科學(xué)大佬唐·諾曼(Don Norman)的鼓勵(lì)下,以加州大學(xué)圣地亞哥分校為基地,開始了“連接主義”(Connectionism)運(yùn)動(dòng),這個(gè)運(yùn)動(dòng)的領(lǐng)導(dǎo)者是兩位心理學(xué)家魯梅爾哈特(Rumelhart)和麥克利蘭德(McLelland),外加一位計(jì)算機(jī)科學(xué)家辛頓(Geoffrey Hinton)。

連接主義運(yùn)動(dòng)的成果之一就是那本著名的被稱為PDP(Parallel and Distributed Processing)的文集(分兩卷 )。此書的出版給認(rèn)知科學(xué)和計(jì)算機(jī)科學(xué)吹了股大風(fēng),被后起的神經(jīng)網(wǎng)絡(luò)新秀們成為圣經(jīng)。“神經(jīng)網(wǎng)絡(luò)”在八十年代就像九十年代的互聯(lián)網(wǎng),后來的Web2.0,和眼下的“大數(shù)據(jù)”。誰都想套套近乎。一些做理論的大佬也不能免俗,發(fā)明RSA算法的R(Rivest)也帶了幾個(gè)學(xué)生轉(zhuǎn)做神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題的復(fù)雜性。一時(shí)間紅旗不倒,彩旗飄飄,好不熱鬧。1993年,美國電氣電子工程師學(xué)會(huì)IEEE開始出版《神經(jīng)網(wǎng)絡(luò)會(huì)刊》,為該領(lǐng)域的高質(zhì)量文章提供出版渠道。美國國防部和海軍、能源部等也加大資助力度。神經(jīng)網(wǎng)絡(luò)一下子成了顯學(xué)。

連接主義運(yùn)動(dòng)也培養(yǎng)了一堆新人,并使得加州大學(xué)圣地亞哥分校的認(rèn)知科學(xué)系成為同類系科的佼佼者。魯梅爾哈特后轉(zhuǎn)往斯坦福大學(xué)任教,前年不幸死于已掙扎多年的神經(jīng)退化疾病。喬丹就是他的學(xué)生,而Andrew Ng( 吳恩達(dá))又是喬丹的學(xué)生,魯梅爾哈特人雖離世,但香火沒滅。他的另一名學(xué)生Robert Glushko后來遠(yuǎn)離本行,跟隨硅谷互聯(lián)網(wǎng)早期英雄馬蹄塔南鮑姆(Marty Tennenbaum,據(jù)說馬蹄的兒子都在麻省理工當(dāng)教授了),創(chuàng)立了一家XML公司,那家公司后來賣給Commerce One,賺了一票錢。Glushko捐錢設(shè)立了“魯梅爾哈特獎(jiǎng)”來獎(jiǎng)勵(lì)神經(jīng)網(wǎng)絡(luò)的研究者,辛頓成了第一位獲獎(jiǎng)?wù)?。麥克利蘭德則先轉(zhuǎn)往卡內(nèi)基梅隆擔(dān)任計(jì)算機(jī)和心理兩系教授,后來也到斯坦福,在那里建立了“心、腦、計(jì)算研究中心”,一度還擔(dān)任心理系主任。

辛頓則先轉(zhuǎn)往卡內(nèi)基梅隆,最終到加拿大多倫多大學(xué)計(jì)算機(jī)系任教。辛頓現(xiàn)在可是神經(jīng)網(wǎng)絡(luò)最牛的人了。他還有一段不太為外人所知的革命家史:他是布爾的外曾曾孫子(對,就是“布爾代數(shù)”的那個(gè)布爾),他曾祖母Ellen是布爾的女兒。中國革命的參與者、美國鐵桿左派韓丁和寒春(William and Joan Hinton)也是Ellen的孫子孫女,照這么說韓丁是辛頓的堂叔,寒春是辛頓的堂姑。布爾的小女兒、Ellen的妹妹伏尼契(Ethel Lilian Voynich)是傳遍蘇聯(lián)和中國的小說《牛虻》的作者?!杜r怠肺鞣讲涣翓|方亮,在蘇聯(lián)和中國是幾代人的革命加愛情勵(lì)志暢銷書。晚年在紐約生活陷入困頓的伏尼契,靠了蘇聯(lián)和周恩來特批的中國的意外稿費(fèi)得以善終。這一家子把中國、蘇聯(lián)、革命、邏輯和神經(jīng)網(wǎng)絡(luò)都聯(lián)系起來了,通吃“吃啥補(bǔ)啥”派和“想啥來啥”派。智力題:伏尼契和辛頓是啥關(guān)系。

語言學(xué)家、公共知識(shí)分子斯蒂夫·平克對連接主義不以為然。魯梅爾哈特和麥克利蘭德在PDP圣經(jīng)中合作了一章,講神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)動(dòng)詞的過去式,比如一看start,就知道started,一看come就知道came等等。平克認(rèn)為有規(guī)則的過去式(直接加ed的,如started)可以通過簡單計(jì)算得來;而不規(guī)則的(不通過加ed的,如came)則是存在大腦的一個(gè)特定區(qū)域。平克引用神經(jīng)心理學(xué)的證據(jù)指出處理規(guī)則的和不規(guī)則的操作是在大腦不同部位完成的,他還認(rèn)為神經(jīng)網(wǎng)絡(luò)的行為和一類大腦受傷害患失語癥的病人的行為相似。其實(shí)這種觀察并不深刻,都是羅森布拉特三十年前玩剩下的。符號系統(tǒng)可能比較適合處理規(guī)則的情況,而神經(jīng)網(wǎng)絡(luò)可能更適合不規(guī)則的情況,這個(gè)一般人都能想到。對神經(jīng)網(wǎng)絡(luò)派的批評也如此:我們可以定義一個(gè)規(guī)則,可以用符號系統(tǒng)實(shí)現(xiàn)也可以用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。哪個(gè)快用哪個(gè)。

符號處理和神經(jīng)網(wǎng)絡(luò)的方法論之爭有時(shí)會(huì)被更大地夸張。偉大的喬姆斯基就不認(rèn)可人工智能領(lǐng)域的最新進(jìn)展。機(jī)器翻譯歷來是人工智能的試金石之一,就像在1996年之前的計(jì)算機(jī)下棋。機(jī)器翻譯的早期實(shí)踐都源于喬姆斯基的理論,但近來的突破卻是基于統(tǒng)計(jì)的方法。喬姆斯基認(rèn)為統(tǒng)計(jì)的方法不“優(yōu)雅”(elegant),只是模仿而不是理解。會(huì)騎自行車不算理解,對自行車為什么不倒,能說三道四,才算理解。谷歌的研發(fā)總監(jiān)彼特·諾維格為統(tǒng)計(jì)方法辯護(hù)時(shí)說:簡單的模型(如喬姆斯基理論,以及后來的各種改進(jìn)版本)不能解決復(fù)雜的問題,人工智能的進(jìn)一步發(fā)展必須兩條腿走路。諾維格在加入谷歌之前曾是加州大學(xué)伯克利分校的計(jì)算機(jī)教授,他對兩派都了如指掌,在學(xué)術(shù)界和工業(yè)界都被尊重,他寫的《人工智能》是最流行的教科書。他的觀點(diǎn)似乎被更多的人接受。

神經(jīng)網(wǎng)絡(luò)在八十年代的光芒被后來的互聯(lián)網(wǎng)掩蓋了。但這幾年又恰恰是互聯(lián)網(wǎng)給了神經(jīng)網(wǎng)絡(luò)更大的機(jī)會(huì)。這幾年計(jì)算機(jī)科學(xué)最火的詞兒就是“深度學(xué)習(xí)”。神經(jīng)網(wǎng)絡(luò)由一層一層的神經(jīng)元構(gòu)成。層數(shù)越多,就越深,所謂深度學(xué)習(xí)就是用很多層神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)達(dá)到機(jī)器學(xué)習(xí)的功能。辛頓就是“深度學(xué)習(xí)”的始作俑者,他2006年的一篇文章開辟了這個(gè)新領(lǐng)域。最新的深度神經(jīng)網(wǎng)絡(luò)的最后兩層的每個(gè)節(jié)點(diǎn)都可對應(yīng)于某些概念。這是神經(jīng)網(wǎng)絡(luò)的一大進(jìn)步,貌似為“吃啥補(bǔ)啥”找到了科學(xué)根據(jù),調(diào)和了與“符號派”的矛盾。至于符號派買不買賬是另一回事。深度學(xué)習(xí)的實(shí)測效果很好。辛頓最早用來做圖像識(shí)別,而后來微軟用深度學(xué)習(xí)還開發(fā)可實(shí)用的語音識(shí)別和同聲翻譯系統(tǒng)。

年過六十的辛頓不甘寂寞,和他的兩個(gè)學(xué)生開了家專注深度學(xué)習(xí)的公司。公司成立沒多長時(shí)間,谷歌和微軟就對這家公司動(dòng)了收購的念頭,后來百度也加入競標(biāo),最終花落谷歌,谷歌出了幾千萬美元于2013年初收購了這家只有三名員工的公司。為了把辛頓納入花名冊,谷歌還真不差錢。

2012年,斯坦福大學(xué)人工智能實(shí)驗(yàn)室主任Andrew Ng(吳恩達(dá))和谷歌合作建造了一個(gè)當(dāng)時(shí)最大的神經(jīng)網(wǎng)絡(luò),這是谷歌神秘的X實(shí)驗(yàn)室的一個(gè)計(jì)劃。網(wǎng)絡(luò)上一度瘋傳的谷歌貓臉識(shí)別就是用的這個(gè)參數(shù)多達(dá)十七億的神經(jīng)網(wǎng)絡(luò)。后來Ng自己在斯坦福又搞了個(gè)更大的神經(jīng)網(wǎng)絡(luò),參數(shù)更高達(dá)一百一十二億。人腦的神經(jīng)連接有一百萬萬億個(gè)。從計(jì)算能力上說,如果這個(gè)人工神經(jīng)網(wǎng)絡(luò)要是能接近大腦,每個(gè)人工神經(jīng)元必須能達(dá)到一萬個(gè)大腦神經(jīng)元的功能。這個(gè)神經(jīng)網(wǎng)絡(luò)會(huì)用到大量的圖形處理芯片GPU,GPU是模擬神經(jīng)網(wǎng)絡(luò)的完美硬件,因?yàn)槊總€(gè)GPU芯片內(nèi)都有大量的小核心。這和神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性天然相似。硬件的進(jìn)步讓以往不可能的成為可能。

斯坦福大學(xué)人工智能實(shí)驗(yàn)室的創(chuàng)辦人約翰·麥卡錫,是達(dá)特茅斯會(huì)議的主要組織者,“人工智能”這個(gè)詞如果不是他最早提出的,至少是他最早使之流行的。也正是他把明斯基拉到他當(dāng)時(shí)任教的麻省理工。說他是人工智能之父是名副其實(shí),約翰大叔是鐵桿的符號派。但現(xiàn)任的人工智能實(shí)驗(yàn)室主任卻是神經(jīng)網(wǎng)絡(luò)的大拿Andrew Ng。這個(gè)轉(zhuǎn)變也許是個(gè)“吃啥補(bǔ)啥”派得志的風(fēng)向標(biāo)。斯坦福的這個(gè)神經(jīng)網(wǎng)絡(luò)的目標(biāo)是模擬人的大腦。這讓我們不禁想起了羅森布拉特,那不正是他的夢想嗎? ■

作者按:本文寫作得到老友洪濤的鼓勵(lì),向他感謝。每次和他聊天都受益非淺。

本文發(fā)表于2014年9月28日《東方早報(bào)·上海書評》,澎湃新聞經(jīng)授權(quán)轉(zhuǎn)載。

    澎湃新聞報(bào)料:021-962866
    澎湃新聞,未經(jīng)授權(quán)不得轉(zhuǎn)載
            查看更多

            掃碼下載澎湃新聞客戶端

            滬ICP備14003370號

            滬公網(wǎng)安備31010602000299號

            互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006

            增值電信業(yè)務(wù)經(jīng)營許可證:滬B2-2017116

            ? 2014-2026 上海東方報(bào)業(yè)有限公司