當下，深度神經(jīng)網(wǎng)絡(luò)應(yīng)用越來越廣泛，幫助設(shè)計微芯片，預(yù)測蛋白質(zhì)折疊，并在復(fù)雜游戲中勝過人類，性能越來越強大。但也有大量證據(jù)證明，它們通常是不穩(wěn)定的。一個非常明顯的表現(xiàn)是，深度神經(jīng)網(wǎng)絡(luò)接收到的數(shù)據(jù)的微小變化，就可能會導(dǎo)致結(jié)果的巨大變化。

例如《One pixel attack for fooling deep neural networks》研究中所揭示的，改變圖像上的一個像素，AI就把馬識別成青蛙。哈佛醫(yī)學(xué)院計算機科學(xué)家和生物醫(yī)學(xué)信息學(xué)家Samuel Finlayson也曾發(fā)現(xiàn)，醫(yī)學(xué)影像可以以人眼無法察覺的方式進行修改，然后導(dǎo)致人工智能100%地誤診癌癥。

在以前的研究中，有數(shù)學(xué)證據(jù)表明，存在用于解決各種問題的穩(wěn)定、準確的神經(jīng)網(wǎng)絡(luò)。然而最近劍橋大學(xué)和奧斯陸大學(xué)的研究人員發(fā)現(xiàn)，這些人工智能系統(tǒng)可能僅在有限的情況下是穩(wěn)定和準確的。理論上存在的兼具穩(wěn)定性和準確性的神經(jīng)網(wǎng)絡(luò)，可能無法準確描述現(xiàn)實中可能發(fā)生的事情。

“從理論上講，神經(jīng)網(wǎng)絡(luò)的限制很少?！庇鴦虼髮W(xué)的數(shù)學(xué)家Matthew Colbrook 說。然而當試圖計算這些神經(jīng)網(wǎng)絡(luò)時，問題就出現(xiàn)了。

“數(shù)字計算機只能計算某些特定的神經(jīng)網(wǎng)絡(luò)，”挪威奧斯陸大學(xué)的數(shù)學(xué)家Vegard Antun認為，“有時計算一個理想的神經(jīng)網(wǎng)絡(luò)是不可能的。”

這樣的表述可能聽起來令人困惑，《IEEE Spectrum》在談?wù)撨@項研究時以蛋糕做比喻，“好像有人說可能存在一種蛋糕，但不存在制作它的配方?！?/p>

“我們會說問題不在于配方。相反，問題在于制作蛋糕所必須的工具?！眲虼髮W(xué)的數(shù)學(xué)家Anders Hansen說，“我們說可能有蛋糕的配方，但無論你有什么攪拌機，你都可能無法制作出想要的蛋糕。此外，當你嘗試在廚房用攪拌機制作蛋糕時，你會得到一個完全不同的蛋糕?！?/p>

依此，繼續(xù)進行類比，“甚至在你嘗試之前無法判斷蛋糕是否不正確，然后為時已晚。”Colbrook 說，“然而，在某些情況下，你的攪拌機足以制作你想要的蛋糕，或者至少可以很好地近似于該蛋糕?！?/p>

這些關(guān)于神經(jīng)網(wǎng)絡(luò)局限性的新發(fā)現(xiàn)與數(shù)學(xué)家Kurt G?del和計算機科學(xué)家Alan Turing關(guān)于計算局限性的先前研究相呼應(yīng)。粗略地說，他們揭示了“有些數(shù)學(xué)陳述永遠無法被證明或反駁，還有一些基本的計算問題是計算機無法解決的。”Antun表示。

此項研究以《計算穩(wěn)定準確的神經(jīng)網(wǎng)絡(luò)的難點：關(guān)于深度學(xué)習(xí)的障礙和Smale的第18個問題》（The difficulty of computing stable and accurate neural networks: On the barriers of deep learning and Smale’s 18th problem）為題，于3月16日發(fā)布在《美國國家科學(xué)院院刊》上。

在人工神經(jīng)網(wǎng)絡(luò)中，被稱為“神經(jīng)元”的組件被輸入數(shù)據(jù)并協(xié)作解決問題，例如識別圖像。神經(jīng)網(wǎng)絡(luò)反復(fù)調(diào)整各個神經(jīng)元之間的聯(lián)系，并查看由此產(chǎn)生的行為模式是否能更好地找到解決方案。隨著時間推移，網(wǎng)絡(luò)會發(fā)現(xiàn)哪些模式最適合計算結(jié)果。然后它采用這些作為默認值，模仿人腦中的學(xué)習(xí)過程。如果一個神經(jīng)網(wǎng)絡(luò)擁有多層神經(jīng)元，它就被稱為“深度”。

在以前的研究中，有數(shù)學(xué)證據(jù)表明，存在用于解決各種問題的穩(wěn)定、準確的神經(jīng)網(wǎng)絡(luò)。然而，在這項新的研究中，研究人員現(xiàn)在發(fā)現(xiàn)，盡管理論上可能存在穩(wěn)定、準確的神經(jīng)網(wǎng)絡(luò)來解決許多問題，但矛盾的是，實際上可能沒有算法能夠成功地計算它們。

這項新研究發(fā)現(xiàn)，無論算法可以訪問多少數(shù)據(jù)或該數(shù)據(jù)的準確性，算法都可能無法針對給定問題計算出穩(wěn)定、準確的神經(jīng)網(wǎng)絡(luò)。Hansen表示，這類似于圖靈的論點，即無論計算能力和運行時間如何，計算機都可能無法解決一些問題。

“計算機可以實現(xiàn)的功能存在固有的限制，這些限制也會出現(xiàn)在AI中，”Colbrook 表示，“這意味著理論上存在的具有良好特性的神經(jīng)網(wǎng)絡(luò)，可能無法準確描述現(xiàn)實中可能發(fā)生的事情?！?/p>

這些新發(fā)現(xiàn)并不表明所有神經(jīng)網(wǎng)絡(luò)都存在完全缺陷，但它們可能僅在有限的情況下是穩(wěn)定和準確的。“在某些情況下，可以計算出穩(wěn)定且準確的神經(jīng)網(wǎng)絡(luò)，”Antun說道，“關(guān)鍵問題是‘在某些情況下’的部分，最大的問題是找到這些案例。目前，人們對如何做到這一點知之甚少。”

研究人員發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和準確性之間經(jīng)常需要權(quán)衡。“問題是我們同時想要穩(wěn)定性和準確性，”Hansen說道，“在實踐中，對于安全相關(guān)的關(guān)鍵應(yīng)用，人們可能不得不犧牲一些準確性來確保穩(wěn)定性。”

作為新研究的一部分，研究人員開發(fā)了他們“快速迭代重啟網(wǎng)絡(luò)”（FIRENET），以期在涉及分析醫(yī)學(xué)圖像等任務(wù)時實現(xiàn)，神經(jīng)網(wǎng)絡(luò)可以提供穩(wěn)定性和準確性的結(jié)果。

研究人員認為，這些關(guān)于神經(jīng)網(wǎng)絡(luò)局限性的新發(fā)現(xiàn)并不是為了抑制人工智能研究，“從長遠來看，弄清楚什么可以做和什么不可以做什么對人工智能研究來說是健康的。請注意，圖靈和G?del的負面結(jié)果引發(fā)了數(shù)學(xué)基礎(chǔ)和計算機科學(xué)方面的巨大變化，這分別導(dǎo)致了現(xiàn)代計算機科學(xué)和現(xiàn)代邏輯的大部分發(fā)展?！盋olbrook說，

具體而言在這項研究中，研究人員認為，這些新發(fā)現(xiàn)意味著存在一種分類理論，其可以描述哪些具有給定精度的穩(wěn)定神經(jīng)網(wǎng)絡(luò)可以通過算法進行計算。用之前談到的蛋糕類比，“這將是一個分類理論，描述了哪些蛋糕可以用物理上可能設(shè)計的攪拌機烘烤。如果無法烘烤蛋糕，我們也想知道與想要的蛋糕類型有多接近?！盇ntun 說道。