佚名

熱潮人工智能很熱，最重要的技術(shù)之一就是深度學(xué)習(xí)技術(shù)。今天談到深度學(xué)習(xí)的時(shí)候，其實(shí)已經(jīng)可以看到各種各樣的應(yīng)用，包括圖像、視頻、聲音、自然語(yǔ)言處理等。大多數(shù)人認(rèn)為，深度學(xué)習(xí)就等于深度神經(jīng)網(wǎng)絡(luò)。

什么是深度學(xué)習(xí)

給大家看一個(gè)例子。有一個(gè)非常著名的學(xué)會(huì)是國(guó)際工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會(huì)，他們有一個(gè)報(bào)紙叫 SIAM News。去年 6 月份的頭版上有一篇文章，它里面的重點(diǎn)說(shuō)的就是深度學(xué)習(xí)是什么？它（深度學(xué)習(xí)）是機(jī)器學(xué)習(xí)的一個(gè)子域（subfield），這里面要用深度神經(jīng)網(wǎng)絡(luò)。

要談深度學(xué)習(xí)，首先要從神經(jīng)網(wǎng)絡(luò)開(kāi)始。神經(jīng)網(wǎng)絡(luò)并不是一個(gè)新生事物，人們已經(jīng)研究了超過(guò)半個(gè)世紀(jì)。但以往我們會(huì)用這樣的神經(jīng)網(wǎng)絡(luò)，就是中間有一個(gè)隱層或者有兩個(gè)隱層。在這樣的神經(jīng)網(wǎng)絡(luò)里面，它的每一個(gè)單元是什么樣的呢？是個(gè)非常簡(jiǎn)單的計(jì)算模型。

比如說(shuō)一個(gè)計(jì)算模型，實(shí)際上半個(gè)多世紀(jì)以前我們就已經(jīng)總結(jié)出來(lái)了。我們收到一些輸入，這些輸入通過(guò)一些連接放大，到了細(xì)胞之后，它的“加和”如果超過(guò)一個(gè)閾值，這個(gè)細(xì)胞就激活了。

今天說(shuō)深度神經(jīng)網(wǎng)絡(luò)的時(shí)候指的是什么？其實(shí)簡(jiǎn)單來(lái)說(shuō)就是用的神經(jīng)網(wǎng)絡(luò)有很多層，很深很深。大概多少？看一個(gè)數(shù)據(jù)，2012 年深度學(xué)習(xí)剛剛受到大家的重視的時(shí)候，一個(gè) ImageNet 競(jìng)賽的冠軍用了 8 層，2015 年 152 層，2016 年 1207 多層，這是一個(gè)非常龐大的系統(tǒng)。

要把這個(gè)系統(tǒng)訓(xùn)練出來(lái)難度非常大，但有一個(gè)非常好的消息，真正的神經(jīng)網(wǎng)絡(luò)里的計(jì)算單元，它最重要的激活函數(shù)是連續(xù)的，是可微的。以前在神經(jīng)網(wǎng)絡(luò)里面經(jīng)常用 Sigmoid，它是連續(xù)可微的，現(xiàn)在在深度神經(jīng)網(wǎng)絡(luò)里，經(jīng)常用 tanh 或者 tanh 的變體，它也是連續(xù)可微的。有了這么一個(gè)性質(zhì)以后，會(huì)得到非常好的結(jié)果，這個(gè)結(jié)果就是可以很容易計(jì)算系統(tǒng)的梯度。因此就可以很容易用著名的 BP 算法（注：反向傳播算法）來(lái)訓(xùn)練這系統(tǒng)。

通過(guò)這樣的算法，神經(jīng)網(wǎng)絡(luò)已經(jīng)取得了非常多的勝利，但實(shí)際上在學(xué)術(shù)界大家一直沒(méi)有想清楚一件事情，就是為什么要用這么深的模式？可能今天有很多人會(huì)說(shuō)深度學(xué)習(xí)已經(jīng)取得了很多的成功，但一個(gè)很大的問(wèn)題就是理論基礎(chǔ)不清楚，理論上還說(shuō)不清楚它到底怎么做？為什么會(huì)成功？這里面的關(guān)鍵是什么？其實(shí)根本不知道該從什么角度去看它。

深度學(xué)習(xí)成功的關(guān)鍵

機(jī)器學(xué)習(xí)模型的復(fù)雜度實(shí)際上和它的容量有關(guān)，而容量直接決定了它的學(xué)習(xí)能力，所以說(shuō)學(xué)習(xí)能力和復(fù)雜度是有關(guān)的。如果能夠增強(qiáng)一個(gè)學(xué)習(xí)模型的復(fù)雜度，它的學(xué)習(xí)能力就能夠提升，那么怎樣去提高復(fù)雜度呢？

對(duì)神經(jīng)網(wǎng)絡(luò)這樣的模型來(lái)說(shuō)有兩條很明顯的途徑，一條是把模型變深，一條是把它變寬。但是如果從提升復(fù)雜度的角度來(lái)講，變深會(huì)更有效。當(dāng)變寬的時(shí)候，只不過(guò)增加了一些計(jì)算單元、增加了函數(shù)的個(gè)數(shù)，而在變深的時(shí)候不僅增加了個(gè)數(shù)，還增加了嵌入的層次，所以泛函的表達(dá)能力會(huì)更強(qiáng)。從這個(gè)角度來(lái)說(shuō)，應(yīng)該嘗試變深。既然要變深，為什么現(xiàn)在才開(kāi)始做呢？其實(shí)這就涉及到另外一個(gè)問(wèn)題，我們?cè)跈C(jī)器學(xué)習(xí)里面把學(xué)習(xí)能力變強(qiáng)了，這其實(shí)未必真的是一件好事。因?yàn)闄C(jī)器學(xué)習(xí)一直在斗爭(zhēng)的一個(gè)問(wèn)題，就是我們經(jīng)常會(huì)碰到擬合。

給定一個(gè)數(shù)據(jù)集，我們希望把數(shù)據(jù)集里的東西學(xué)出來(lái)，但是有時(shí)候可能把這個(gè)數(shù)據(jù)本身的一些特性研究出來(lái)，而這個(gè)特性卻不是一般的規(guī)律。當(dāng)把研究出來(lái)的錯(cuò)誤東西當(dāng)成一般規(guī)律用的時(shí)候，就會(huì)犯巨大的錯(cuò)誤，這種現(xiàn)象就是過(guò)擬合。為什么會(huì)把數(shù)據(jù)本身的特性研究出來(lái)？就是因?yàn)槲覀兊哪Ｐ脱芯磕芰μ珡?qiáng)了。

所以以往我們不太用太復(fù)雜的模型，為什么現(xiàn)在我們可以用這樣的模型？其實(shí)有很多因素，第一個(gè)因素是現(xiàn)在有很大的數(shù)據(jù)，那么比如說(shuō)我手上如果只有 3000 多數(shù)據(jù)，研究出來(lái)的特性就不太可能是一般規(guī)律。但是如果有3000萬(wàn)、甚至3000億的數(shù)據(jù)，那么這些數(shù)據(jù)里的特性本來(lái)就是一般規(guī)律，所以使用大的數(shù)據(jù)本身就是緩解過(guò)擬合的關(guān)鍵條件。

第二個(gè)因素，今天有很多很強(qiáng)大的計(jì)算設(shè)備，所以才能夠訓(xùn)練出這樣的模型，同時(shí)通過(guò)領(lǐng)域里很多學(xué)者的努力，有了大量關(guān)于訓(xùn)練這樣復(fù)雜模型的技巧和算法，所以這使得使用復(fù)雜模型成為可能。按照這個(gè)思路來(lái)說(shuō)，其實(shí)有三件事：第一，今天有更大的數(shù)據(jù)；第二；有強(qiáng)力的計(jì)算設(shè)備；第三，有很多有效的訓(xùn)練技巧。

這導(dǎo)致我們可以用高復(fù)雜度的模型。而深度神經(jīng)網(wǎng)絡(luò)恰恰就是一種很便于實(shí)現(xiàn)的高復(fù)雜度的模型。所以這么一種理論，好像能告訴我們?yōu)槭裁船F(xiàn)在能用深度神經(jīng)網(wǎng)絡(luò)。為什么它能成功？就是因?yàn)閺?fù)雜度大。如果從復(fù)雜度解，就沒(méi)有辦法說(shuō)為什么扁平的或者寬的網(wǎng)絡(luò)做不到深度神經(jīng)網(wǎng)絡(luò)的性能？因?yàn)槭聦?shí)上把網(wǎng)絡(luò)變寬，它的效率不是那么高，但是它同樣也能起到增加復(fù)雜度的能力。實(shí)際上在 1989 年的時(shí)候就已經(jīng)有一個(gè)理論證明，說(shuō)神經(jīng)網(wǎng)絡(luò)有萬(wàn)有逼近能力：只要你用一個(gè)隱層，就可以以任意精度逼近任意復(fù)雜度的定義在一個(gè)緊集上的連續(xù)函數(shù)。這里面要引用一個(gè)說(shuō)法，神經(jīng)網(wǎng)絡(luò)有萬(wàn)有逼近能力，可能是有的人會(huì)認(rèn)為這是導(dǎo)致神經(jīng)網(wǎng)絡(luò)為什么這么強(qiáng)大的一個(gè)主要原因，其實(shí)這是一個(gè)誤解。

在機(jī)器學(xué)習(xí)里用到的所有模型，它必須具有萬(wàn)有逼近能力。如果沒(méi)有這個(gè)能力，根本不可用。其實(shí)只要有一個(gè)隱層，加無(wú)限度的神經(jīng)元進(jìn)去，它的能力也會(huì)變得很強(qiáng)，復(fù)雜度會(huì)變得很高。但是這樣的模型無(wú)論在應(yīng)用里面怎么試，都不如深度神經(jīng)網(wǎng)絡(luò)好。深度神經(jīng)網(wǎng)絡(luò)里最本質(zhì)的東西到底是什么？今天我們的答案可能是要做表示學(xué)習(xí)的能力。以往我們用機(jī)器學(xué)習(xí)，首先拿到一個(gè)數(shù)據(jù)，比如這個(gè)數(shù)據(jù)對(duì)象是一個(gè)圖像，我們就用很多特征把它描述出來(lái)，比如說(shuō)顏色、紋理等等，這一些特征都是人類(lèi)專(zhuān)家通過(guò)手工來(lái)設(shè)計(jì)的，表達(dá)出來(lái)之后再去進(jìn)行學(xué)習(xí)。

而今天我們有了深度學(xué)習(xí)之后，不再需要手工設(shè)計(jì)特征，把數(shù)據(jù)從一端扔進(jìn)去，模型從另外一端出來(lái)，中間所有的特征完全通過(guò)學(xué)習(xí)自己來(lái)解決，這是所謂的特征學(xué)習(xí)或者表示學(xué)習(xí)，這和以往的機(jī)器學(xué)習(xí)技術(shù)相比是一個(gè)很大的進(jìn)步，不再需要完全依賴(lài)人類(lèi)專(zhuān)家去設(shè)計(jì)特征了。

工業(yè)界認(rèn)為這里面有一個(gè)很重要的概念叫做端到端學(xué)習(xí)。其實(shí)這一件事情要分兩個(gè)方面來(lái)看：一個(gè)方面當(dāng)把特征學(xué)習(xí)和分類(lèi)器學(xué)習(xí)聯(lián)合起來(lái)考慮，可以達(dá)到聯(lián)合優(yōu)化的作用，這是好的方面；但另一方面，這里面發(fā)生什么我們不清楚時(shí)，端到端的學(xué)習(xí)不一定真的好，因?yàn)榭赡艿谝徊糠滞鶘|，第二部分往西，合起來(lái)看往東走的更多一些，其實(shí)內(nèi)部有一些東西已經(jīng)抵消了。實(shí)際上機(jī)器學(xué)習(xí)里面早就有端到端學(xué)習(xí)，比如說(shuō)做特征選擇，但這類(lèi)方法是不是比其他特征選擇的方法要強(qiáng)？不一定，所以真正重要的還是特征學(xué)習(xí)或者表示學(xué)習(xí)。

表示學(xué)習(xí)的關(guān)鍵

表示學(xué)習(xí)的關(guān)鍵是逐層的處理。當(dāng)拿到一個(gè)圖像的時(shí)候，如果把神經(jīng)網(wǎng)絡(luò)看做很多層的時(shí)候，首先在最底層看到的是一些像素的東西，當(dāng)一層一層往上的時(shí)候，慢慢的有邊緣，再往上有輪廓等等，在真正的神經(jīng)網(wǎng)絡(luò)模型里不一定有這么清晰的分層，但總體上是在往上不斷做對(duì)象的抽象。

而這個(gè)特點(diǎn)，我們現(xiàn)在認(rèn)為是深度學(xué)習(xí)真正成功的關(guān)鍵因素之一，因?yàn)楸馄缴窠?jīng)網(wǎng)絡(luò)能做很多深層神經(jīng)網(wǎng)絡(luò)所做的事，但是有一點(diǎn)它做不到：當(dāng)它是扁平的時(shí)候，就沒(méi)有進(jìn)行一個(gè)深度加工，所以深度的逐層抽象可能很關(guān)鍵。

以前有很多逐層處理的東西，比如說(shuō)決策樹(shù)，它就是逐層處理，這是非常典型的模型。這個(gè)已經(jīng)有五六十年的歷史了，但它為什么做不到深度神經(jīng)網(wǎng)絡(luò)這么好呢？

首先它的復(fù)雜度不夠，因?yàn)闆Q策樹(shù)的深度，如果只考慮離散特征，其最深的深度不會(huì)超過(guò)特征的個(gè)數(shù)，所以它的模型復(fù)雜度有上限；第二整個(gè)決策樹(shù)的學(xué)習(xí)過(guò)程中，它內(nèi)部沒(méi)有進(jìn)行特征變化，始終是在一個(gè)特征空間里面進(jìn)行，這可能也是一個(gè)問(wèn)題。

大家如果對(duì)高級(jí)一點(diǎn)的機(jī)器學(xué)習(xí)模型有所了解，可能會(huì)問(wèn)，現(xiàn)在很多 Boosting 模型也是一層一層往下走，為什么它沒(méi)有取得深度學(xué)習(xí)的成功？首先復(fù)雜度還不夠。其次，它始終在原始空間里面做事情，所有的這些學(xué)習(xí)器都是在原始特征空間，中間沒(méi)有進(jìn)行任何的特征變換。