李亞山

當(dāng)?shù)貢r(shí)間6月23日，今年的ACM圖靈獎(jiǎng)得主、“深度學(xué)習(xí)三巨頭”中的Geoffrey Hinton、Yann LeCun在ACM FCRC 2019上發(fā)表演講，分享了他們對(duì)于深度學(xué)習(xí)的最新觀點(diǎn)。

人工神經(jīng)網(wǎng)絡(luò)（英文圖示）

Geoffrey Hinton 演講題目為《深度學(xué)習(xí)革命》。他表示，截至目前，人工智能有兩種典型例證。第一種是20世紀(jì)50年代基于邏輯啟發(fā)的智能，在那時(shí)，智能的本質(zhì)是使用符號(hào)規(guī)則來做出符號(hào)表達(dá)。這種方法注重的是推理，主要側(cè)重于解決如何讓計(jì)算機(jī)像人類一樣能根據(jù)推理做出反應(yīng)。第二種是基于生物啟發(fā)的人工智能。它所代表的智能的本質(zhì)是學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的聯(lián)系優(yōu)勢(shì)。這種方法注重的是學(xué)習(xí)和感知。

基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)“看圖說話”

由此看來，人工智能的這兩個(gè)范例有很大的不同，而且，它們?cè)趦?nèi)部表征方面的觀點(diǎn)也不相同?；谶壿嫷娜斯ぶ悄?，其內(nèi)部表征是符號(hào)表達(dá)。程序員可以用明確的語言把這些符號(hào)輸入計(jì)算機(jī);計(jì)算機(jī)通過應(yīng)用規(guī)則使現(xiàn)有的符號(hào)產(chǎn)生新的表示。而基于生物的人工智能，它的內(nèi)部表征與語言沒有任何關(guān)系。它們就像是神經(jīng)活動(dòng)一樣，充滿了大量向量，這些向量是直接從數(shù)據(jù)中學(xué)習(xí)得到的，而且對(duì)神經(jīng)活動(dòng)有著直接的因果影響。

這就分別產(chǎn)生了兩種計(jì)算機(jī)執(zhí)行任務(wù)的方式。第一種是編程，Hinton也將它稱為智能設(shè)。編程時(shí)，程序員已經(jīng)想清楚了處理任務(wù)的方法步驟，他需要做的是精確計(jì)算，并將所有細(xì)節(jié)輸入計(jì)算機(jī)，然后讓計(jì)算機(jī)去執(zhí)行。第二種是學(xué)習(xí)，這時(shí)只需要向計(jì)算機(jī)提供大量輸入輸出的例子，讓計(jì)算機(jī)學(xué)習(xí)如何將輸入與輸出聯(lián)系起來，根據(jù)輸入映射出輸出。當(dāng)然這也需要編程，但是所用的程序是簡(jiǎn)化的通用學(xué)習(xí)程序。

50多年來，人類一直在努力讓符號(hào)型人工智能（symbolic AI）實(shí)現(xiàn)“看圖說話”的功能。針對(duì)這項(xiàng)任務(wù)，人類用兩種方式都嘗試了很長(zhǎng)時(shí)間，最后神經(jīng)網(wǎng)絡(luò)成功完成了這一任務(wù)，神經(jīng)網(wǎng)絡(luò)正是基于純學(xué)習(xí)的方法。

Hinton：神經(jīng)網(wǎng)絡(luò)的核心問題

最初的手寫文字識(shí)別

這就引出了神經(jīng)網(wǎng)絡(luò)的核心問題：包含數(shù)百萬權(quán)重參數(shù)和多層非線性神經(jīng)元的大型神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的計(jì)算設(shè)備，那么神經(jīng)網(wǎng)絡(luò)能否從隨機(jī)權(quán)重參數(shù)開始，并從訓(xùn)練數(shù)據(jù)中獲取所有知識(shí)，從而學(xué)會(huì)執(zhí)行一項(xiàng)困難的任務(wù) （比如物體識(shí)別或機(jī)器翻譯） 呢？

接下來，Hinton回顧了前人的種種努力成果，神經(jīng)網(wǎng)絡(luò)是如何工作的呢？Hinton做了簡(jiǎn)短的介紹。研究人員首先對(duì)一個(gè)真實(shí)的神經(jīng)元做了一個(gè)粗略的理想化，這樣就可以研究神經(jīng)元是如何協(xié)作完成那些難度很高的計(jì)算。神經(jīng)網(wǎng)絡(luò)由大量的節(jié)點(diǎn)（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激勵(lì)函數(shù)。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過該連接信號(hào)的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式、權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。

那么，如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)呢？Hinton認(rèn)為分為兩大方法，分別是監(jiān)督訓(xùn)練和無監(jiān)督訓(xùn)練。監(jiān)督訓(xùn)練：向網(wǎng)絡(luò)展示一個(gè)輸入向量，并告訴它正確的輸出，通過調(diào)整權(quán)重，減少正確輸出與實(shí)際輸出之間的差異。無監(jiān)督訓(xùn)練：僅向網(wǎng)絡(luò)顯示輸入，通過調(diào)整權(quán)重，更好地從隱含神經(jīng)元的活動(dòng)中重建輸入（或部分輸入），最后產(chǎn)生輸出。其中，監(jiān)督學(xué)習(xí)是很好理解的訓(xùn)練方式，但是它使用的“突變”方法的效率很低。

相較而言，反向傳播只是計(jì)算權(quán)重變化如何影響輸出錯(cuò)誤的一種有效方法。它不是一次一個(gè)地?cái)_動(dòng)權(quán)重并測(cè)量效果，而是使用微積分同時(shí)計(jì)算所有權(quán)重的誤差梯度。當(dāng)有一百萬個(gè)權(quán)重時(shí)，反向傳播方法要比變異方法效率高出一百萬倍。然而，反向傳播算法的發(fā)展卻又不盡如人意。在20世紀(jì)90年代，雖然反向傳播算法的效果還算不錯(cuò)，但并沒有達(dá)到人們所期待的那樣，訓(xùn)練深度網(wǎng)絡(luò)仍然非常困難;在中等規(guī)模的數(shù)據(jù)集上，一些其他機(jī)器學(xué)習(xí)方法甚至比反向傳播更有效。

符號(hào)型人工智能的研究人員稱，想要在大型深層神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)困難的任務(wù)是愚蠢的，因?yàn)檫@些網(wǎng)絡(luò)從隨機(jī)連接開始，且沒有先驗(yàn)知識(shí)。于是深度學(xué)習(xí)經(jīng)歷了一段時(shí)間的“寒冬”，到2012年之后，人們才意識(shí)到深度學(xué)習(xí)是有用的，深度學(xué)習(xí)才有了大量應(yīng)用。例如圖像識(shí)別和機(jī)器翻譯等。

最后，Hinton談到了神經(jīng)網(wǎng)絡(luò)視覺的未來。Hinton認(rèn)為，幾乎所有人工神經(jīng)網(wǎng)絡(luò)只使用兩個(gè)時(shí)間尺度：對(duì)權(quán)重的緩慢適應(yīng)和神經(jīng)活動(dòng)的快速變化。突觸在多個(gè)不同的時(shí)間尺度上都可以適應(yīng)，針對(duì)短時(shí)記憶（short-term memory）的快速權(quán)重適應(yīng)（fast weight）將使神經(jīng)網(wǎng)絡(luò)變得更好。

Yann LeCun ：未來在于監(jiān)督學(xué)習(xí)

Yann LeCun 則在演講中表示，監(jiān)督學(xué)習(xí)在數(shù)據(jù)量很大時(shí)效果很好，可以做語音識(shí)別、圖像識(shí)別、面部識(shí)別、從圖片生成屬性、機(jī)器翻譯等。

如果神經(jīng)網(wǎng)絡(luò)具有某些特殊架構(gòu)，比如在20世紀(jì)八九十年代提出的那些架構(gòu)，就能識(shí)別手寫文字，而且效果很好，到20世紀(jì) 90 年代末時(shí)，Yann LeCun在貝爾實(shí)驗(yàn)室研發(fā)的這類系統(tǒng)承擔(dān)了全美10%～20%手寫文字的識(shí)別工作，這不僅在技術(shù)上，而且在商業(yè)上都取得了成功。

到后來，整個(gè)學(xué)界一度幾乎拋棄了神經(jīng)網(wǎng)絡(luò)。這一方面是因?yàn)槿狈Υ笮蛿?shù)據(jù)庫(kù)，還有些原因是當(dāng)時(shí)編寫的軟件過于復(fù)雜，需要很大投資，另一方面，當(dāng)時(shí)的計(jì)算機(jī)速度也不夠快，不足以運(yùn)行其他應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)其實(shí)是受到了生物學(xué)的很多啟發(fā)，但它并不是照搬生物學(xué)。Yann LeCun從生物學(xué)的觀點(diǎn)和研究成果中受到啟發(fā)，他發(fā)現(xiàn)可以利用反向傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)這些現(xiàn)象。卷積網(wǎng)絡(luò)的理念是，世界上的物體是由各個(gè)部分構(gòu)成的，其各個(gè)部分由圖案構(gòu)成，而圖案是材質(zhì)和邊緣的基本組合，邊緣是由分布的像素組成。如果一個(gè)系統(tǒng)能夠檢測(cè)到有用的像素組合，再依次到邊緣、圖案、最后到物體的各個(gè)部分，這就是一個(gè)目標(biāo)識(shí)別系統(tǒng)。這不僅適用于視覺識(shí)別，也適用于語音、文本等自然信號(hào)。我們可以使用卷積網(wǎng)絡(luò)識(shí)別面部、識(shí)別路上的行人。

在20世紀(jì) 90 年代到2010年左右，出現(xiàn)了一段所謂的“AI寒冬”，但像Yann LeCun這樣的人依然繼續(xù)著自己的研究。他們繼續(xù)著人臉識(shí)別、行人識(shí)別等研究。他們還將機(jī)器學(xué)習(xí)用在機(jī)器人技術(shù)上，使用卷積網(wǎng)絡(luò)自動(dòng)標(biāo)記整個(gè)圖像，每個(gè)像素都會(huì)標(biāo)記為“能”或“不能”穿越，指引機(jī)器人的前進(jìn)。幾年之后，他們使用類似的系統(tǒng)完成目標(biāo)分割任務(wù)，整個(gè)系統(tǒng)可以實(shí)現(xiàn)VGA實(shí)時(shí)部署，對(duì)圖像上的每個(gè)像素進(jìn)行分割。這個(gè)系統(tǒng)可以檢測(cè)行人、道路、樹木，但當(dāng)時(shí)這個(gè)結(jié)果并未馬上得到計(jì)算機(jī)視覺學(xué)會(huì)的認(rèn)可。

卷積神經(jīng)網(wǎng)絡(luò)在近幾年有很多應(yīng)用，例如醫(yī)療成像、自動(dòng)駕駛、機(jī)器翻譯，以及游戲等領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練。但這種海量重復(fù)試驗(yàn)的方式在現(xiàn)實(shí)中是不可行的。例如你想教一臺(tái)自動(dòng)駕駛車學(xué)會(huì)駕駛，在真實(shí)世界如此重復(fù)訓(xùn)練是不行的。純粹的強(qiáng)化學(xué)習(xí)只能適用于虛擬世界。

卷積神經(jīng)網(wǎng)絡(luò)可進(jìn)行人臉識(shí)別、行人識(shí)別

那么，為什么人和動(dòng)物的學(xué)習(xí)速度可以如此之快？和自動(dòng)駕駛系統(tǒng)不同的是，人類能夠建立直覺上真實(shí)的模型，所以不會(huì)把車開下懸崖。這是人類掌握的內(nèi)部模型，那么人類是怎么學(xué)習(xí)這個(gè)模型的？又如何讓機(jī)器學(xué)會(huì)這個(gè)模型呢？動(dòng)物身上也存在類似的機(jī)制。預(yù)測(cè)是智能的不可或缺的組成部分，當(dāng)實(shí)際情況和預(yù)測(cè)出現(xiàn)差異時(shí)，實(shí)際上就是學(xué)習(xí)的過程。以視頻內(nèi)容預(yù)測(cè)為例，給定一段視頻數(shù)據(jù)，需要從其中一段視頻內(nèi)容預(yù)測(cè)另外一段空白處的內(nèi)容。自監(jiān)督學(xué)習(xí)的典型場(chǎng)景是，事先不公布要空出哪一段內(nèi)容，實(shí)際上根本不用真地留出空白，只是讓系統(tǒng)根據(jù)一些限制條件來對(duì)輸入進(jìn)行重建。系統(tǒng)只通過觀察來完成任務(wù)，無需外部交互，學(xué)習(xí)效率更高。

機(jī)器學(xué)習(xí)的未來在于自監(jiān)督和半監(jiān)督學(xué)習(xí)，而非監(jiān)督學(xué)習(xí)和純強(qiáng)化學(xué)習(xí)。自監(jiān)督學(xué)習(xí)就像填空，在NLP任務(wù)上表現(xiàn)很好，但在圖像識(shí)別和理解任務(wù)上就表現(xiàn)一般。這是因?yàn)槭澜绮⒉蝗强深A(yù)測(cè)的。對(duì)于視頻預(yù)測(cè)任務(wù)，結(jié)果可能有多重可能，訓(xùn)練系統(tǒng)做出的預(yù)測(cè)結(jié)果往往會(huì)得到唯一的“模糊”結(jié)果，即對(duì)未來所有結(jié)果的“平均值”。這并不是理想的預(yù)測(cè)。

最后，Yann LeCun表示，幾百年以來，理論的提出往往伴隨著之后的偉大發(fā)明和創(chuàng)造。深度學(xué)習(xí)和智能理論在未來會(huì)帶來什么？值得我們拭目以待。

（摘自美《深科技》）（編輯/華生）