張建明，詹智財(cái)，成科揚(yáng)，詹永照

(江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院，江蘇 鎮(zhèn)江 212013)

從2006年開始，深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域中對(duì)模式(音頻、圖像、文本等)進(jìn)行建模的一種方法已經(jīng)成為機(jī)器學(xué)習(xí)研究的一個(gè)新領(lǐng)域.深度學(xué)習(xí)旨在使機(jī)器學(xué)習(xí)能夠更加地接近其最初的目標(biāo)——人工智能［1］.

近年來，隨著深度學(xué)習(xí)的出現(xiàn)，許多研究者致力于深度學(xué)習(xí)原理和應(yīng)用的研究，主要體現(xiàn)在各大會(huì)議、高校研究組和企業(yè)應(yīng)用上的熱潮.會(huì)議包括:2013年聲學(xué)，語音和信號(hào)處理國際會(huì)議(international conference on acoustics，speech，and signal processing，ICASSP)討論關(guān)于語音識(shí)別和相關(guān)應(yīng)用的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的新類型;2010，2011和2012年神經(jīng)信息處理系統(tǒng)(neural information processing systems，NIPS)討論關(guān)于深度學(xué)習(xí)和無監(jiān)督特征學(xué)習(xí);2011，2013年機(jī)器學(xué)習(xí)國際會(huì)議(international conference on machine learning，ICML)討論關(guān)于音頻，語音和視覺信息處理的學(xué)習(xí)結(jié)構(gòu)，表示和最優(yōu)化［2］.高校團(tuán)隊(duì)有:多倫多大學(xué)的Geoffrey Hinton研究組;斯坦福大學(xué)的Andrew Ng研究組;加拿大蒙特利爾大學(xué)的 Yoshua Bengio研究組;紐約大學(xué)的Yann LeCun研究組等［3］.企業(yè)團(tuán)隊(duì)有:百度公司的Andrew Ng與余凱團(tuán)隊(duì);微軟公司的鄧力團(tuán)隊(duì);Google公司的Geoffrey Hinton團(tuán)隊(duì)和阿里巴巴，科大訊飛以及中科院自動(dòng)化所等公司或研究單位.

在深度學(xué)習(xí)中，深度指代在學(xué)到的函數(shù)中非線性操作組成的層次的數(shù)目.早在1969年Minsky和Papert在所著的《感知機(jī)》中就指出:單層感知機(jī)(淺層結(jié)構(gòu))不能實(shí)現(xiàn)“異或”(XOR)功能，即不能解決線性不可分問題.而多層感知機(jī)，即深度結(jié)構(gòu)是可以求解線性不可分的問題的，深度結(jié)構(gòu)將低等級(jí)特征組合或者變換得到更高等級(jí)形式的特征，并從中學(xué)習(xí)具有層次結(jié)構(gòu)的特征，這種特有的結(jié)構(gòu)允許系統(tǒng)在多層次的抽象中自動(dòng)的學(xué)習(xí)并能夠擬合復(fù)雜的函數(shù).因?yàn)闊o監(jiān)督自動(dòng)學(xué)習(xí)數(shù)據(jù)中隱藏的高等級(jí)特征的能力會(huì)隨著數(shù)據(jù)的規(guī)模的擴(kuò)大和機(jī)器學(xué)習(xí)方法的應(yīng)用范圍增大而變得越來越重要，深度學(xué)習(xí)也會(huì)被越來越多的研究者重視.文中意在通過對(duì)深度學(xué)習(xí)的基本模型的介紹以及在幾大領(lǐng)域上的應(yīng)用，使讀者能夠?qū)ι疃葘W(xué)習(xí)有大致的了解［4］.

1 深度學(xué)習(xí)的發(fā)展歷程

機(jī)器學(xué)習(xí)的發(fā)展歷程可以大致分為2個(gè)階段:淺層學(xué)習(xí)和深度學(xué)習(xí).直到近些年，大多數(shù)機(jī)器學(xué)習(xí)的方法都是利用淺層結(jié)構(gòu)來處理數(shù)據(jù)，這些結(jié)構(gòu)模型最多只有1層或者2層非線性特征轉(zhuǎn)換層.典型的淺層結(jié)構(gòu)有:高斯混合模型(GMMs)［5］、支持向量機(jī)(SVM)［6］、邏輯回歸等等.在這些淺層模型中，最為成功的就是SVM模型，SVM使用一個(gè)淺層線性模式分離模型，當(dāng)不同類別的數(shù)據(jù)向量在低維空間中無法劃分時(shí)，SVM會(huì)將它們通過核函數(shù)映射到高維空間中并尋找分類最優(yōu)超平面.到目前為止，淺層結(jié)構(gòu)已經(jīng)被證實(shí)能夠高效地解決一些在簡單情況下或者給予多重限制條件下的問題，但是當(dāng)處理更多復(fù)雜的真實(shí)世界的問題時(shí)，比如涉及到自然信號(hào)的人類語音、自然聲音、自然語言和自然圖像以及視覺場(chǎng)景時(shí)他們的模型效果和表達(dá)能力就會(huì)受到限制，無法滿足要求［2］.

早在1974年P(guān)aul Werbos提出了反向傳播(back propagation，BP)算法［7］，解決了由簡單的神經(jīng)網(wǎng)絡(luò)模型推廣到復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型中線性不可分的問題，但反向傳播算法在神經(jīng)網(wǎng)絡(luò)的層數(shù)增加的時(shí)候參數(shù)優(yōu)化的效果無法傳遞到前層，容易使得模型最后陷入局部最優(yōu)解，也比較容易過擬合.在很長一段時(shí)間里，研究者們不知道在有著多層全連接的神經(jīng)網(wǎng)絡(luò)上怎樣高效學(xué)習(xí)特征的深度層次結(jié)構(gòu).

2006年，Hinton提出了深度置信網(wǎng)絡(luò)(deep belief network，DBN)［8］，這個(gè)網(wǎng)絡(luò)可以看作是由多個(gè)受限玻爾茲曼機(jī)(restricted boltzmann machines，RBM)［9］疊加而成.從結(jié)構(gòu)上來說，深度置信網(wǎng)絡(luò)與傳統(tǒng)的多層感知機(jī)區(qū)別不大，但是在有監(jiān)督學(xué)習(xí)訓(xùn)練前需要先無監(jiān)督學(xué)習(xí)訓(xùn)練，然后將學(xué)到的參數(shù)作為有監(jiān)督學(xué)習(xí)的初始值.正是這種學(xué)習(xí)方法的變革使得現(xiàn)在的深度結(jié)構(gòu)能夠解決以往的BP不能解決的問題.

隨后深度結(jié)構(gòu)的其他算法模型被不斷地提出，并在很多數(shù)據(jù)集上刷新了之前的一些最好的記錄，例如2013年 Wan Li等［10］提出的 drop connect規(guī)范網(wǎng)絡(luò)，其模型在數(shù)據(jù)集CIFAR-10上的錯(cuò)誤率為9.32%，低于此前最好的結(jié)果9.55%，并在SVHN上獲得了1.94%的錯(cuò)誤率，低于此前最好的結(jié)果2.8%等等.

2 深度學(xué)習(xí)的基礎(chǔ)模型及其改進(jìn)

深度學(xué)習(xí)出現(xiàn)的時(shí)間還不算長，所以大部分模型都是以最基礎(chǔ)的幾種核心模型為基元，例如RBM，AE(atuo encoders)［11］，卷積神經(jīng)網(wǎng)絡(luò)(convo-lutional neural networks，CNN)［12］等進(jìn)行改進(jìn)而得到的.文中首先介紹這幾種基礎(chǔ)的模型，然后介紹這幾種基礎(chǔ)模型上的深度結(jié)構(gòu)模型或者其改進(jìn)模型.

2.1 受限玻爾茲曼機(jī)

RBM有著一個(gè)豐富的原理架構(gòu)，是由1985年D.H.Ackley等［13］提出的統(tǒng)計(jì)力學(xué)的隨機(jī)神經(jīng)網(wǎng)絡(luò)實(shí)例玻爾茲曼機(jī)(boltzmann machines，BM)發(fā)展而來的.BM具有強(qiáng)大的無監(jiān)督學(xué)習(xí)能力，能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則.但是，它無法確切計(jì)算BM所表示的分布.為了解決這個(gè)問題，Smolensky引入了受限玻爾茲曼機(jī)，他將BM原來的層間連接進(jìn)行限定，使得同一層中不同的節(jié)點(diǎn)互相獨(dú)立，只有層與層之間的節(jié)點(diǎn)才有連接，這樣就可以較為容易地求得它的概率分布函數(shù)［14-15］.本節(jié)介紹RBM的原理及基于RBM的2個(gè)深度結(jié)構(gòu):DBN和深度玻爾茲曼機(jī)(deep boltzmann machine，DBM)［16］.

2.1.1 受限玻爾茲曼機(jī)原理

RBM是有著2層結(jié)構(gòu)的馬爾可夫隨機(jī)場(chǎng)的特殊情況［17］(見圖1)，它包含了由 m個(gè)可視的單元V=(v1，v2，…，vm)構(gòu)成的可視層，一般是服從伯努利或者高斯分布;n個(gè)隱藏的單元H=(h1，h2，…，hn)構(gòu)成的隱藏層，一般是服從伯努利分布.圖1中上層表示n個(gè)隱藏單元構(gòu)成的隱藏(輸出)層，下層表示m個(gè)可視單元構(gòu)成的可視(輸入)層.

圖1 受限玻爾茲曼機(jī)

如圖1所示，RBM的可視單元層和隱藏單元層間有權(quán)值連接，但層內(nèi)單元之間無連接.

統(tǒng)計(jì)力學(xué)中能量函數(shù)［8-9，11］可估算一個(gè)系統(tǒng)的能量，當(dāng)系統(tǒng)按其內(nèi)動(dòng)力規(guī)則進(jìn)行演變時(shí)，其能量函數(shù)總是朝減少的方向變化，或停留在某一固定值，最終趨于穩(wěn)定.所以可以借由能量函數(shù)來對(duì)RBM進(jìn)行狀態(tài)的估計(jì).一個(gè)RBM中，在當(dāng)給定模型的參數(shù)θ(即為權(quán)重w，可視層偏置b，隱藏層偏置c)的情況下，它關(guān)于可是單元v和隱藏單元h的聯(lián)合分布p(v，h;θ)可以由能量函數(shù) E(v，h;θ)給出，即為

對(duì)于一個(gè)伯努利-伯努利RBM模型來說，其能量函數(shù)為

式中:i∈{1，2，…，n};j∈{1，2，…，m};wij為一個(gè)介于單元vj和單元hi之間的邊的實(shí)數(shù)權(quán)重;bj和ci為第j個(gè)可視變量和第i個(gè)隱藏變量各自的實(shí)數(shù)偏置項(xiàng).模型的條件概率為

同樣地，對(duì)于高斯-伯努利RBM來說，其能量函數(shù)為

與它相對(duì)應(yīng)的條件概率為

輸入:RBM(v1，v2，…，vm，h1，h2，…，hn)的訓(xùn)練集S.

輸出:Δwij，Δbj，Δci的近似梯度結(jié)果，i=1，2，…，n，j=1，2，…，m.

2.1.2 基于受限玻爾茲曼機(jī)的深度結(jié)構(gòu)

圖1為一個(gè)RBM結(jié)構(gòu)，其中下層為輸入層，上層為輸出層，當(dāng)在上面再增加一個(gè)相同的RBM結(jié)構(gòu)時(shí)就形成了部分的DBN結(jié)構(gòu)，即在預(yù)訓(xùn)練階段將一個(gè)RBM的輸出作為另一個(gè)RBM的輸入，然后采用BP微調(diào)來進(jìn)行權(quán)值更好的訓(xùn)練.本節(jié)將基于RBM介紹DBN和DBM，并簡要的分析二者的不同.

2.1.2.1 深度置信網(wǎng)

深度置信網(wǎng)(Deep Belief Networks，DBN)即為若干個(gè)RBM模型的疊加，是有著多層隱藏解釋因子的神經(jīng)網(wǎng)絡(luò)，由G.E.Hinton等［19］在2006年提出.

一個(gè)有著l層的DBN模型，可對(duì)介于可視變量vj和 l 層隱藏層 h(k)，k=1，2，…，l 間的聯(lián)合分布進(jìn)行建模，其中每一層隱藏層由二值單元h(k)i構(gòu)成，整個(gè) DBN 的聯(lián)合概率 p(v，h(1)，h(2)，…h(huán)(t))為

式中v=h(0)，P(h(k)|h(k+1))為k層與第k+1層間的階乘條件分布:

簡要來說就是通過預(yù)訓(xùn)練和反向微調(diào)來訓(xùn)練整個(gè)DBN:在預(yù)訓(xùn)練的時(shí)候是先單獨(dú)訓(xùn)練每一個(gè)RBM，逐層疊加將下一層的RBM的輸出作為上一層RBM的輸入;在反向微調(diào)的時(shí)候可以通過BP訓(xùn)練根據(jù)誤差函數(shù)進(jìn)行反向調(diào)節(jié).

評(píng)估一個(gè)模型優(yōu)劣的標(biāo)準(zhǔn)是模型的性能瓶頸，例如在一個(gè)分類任務(wù)上的測(cè)試，DBN可以在預(yù)訓(xùn)練后使用標(biāo)簽數(shù)據(jù)并使用BP算法去微調(diào)模型，提升預(yù)測(cè)性能.這里需要說的是BP算法在這里只用在DBN中與傳統(tǒng)的前向神經(jīng)網(wǎng)絡(luò)相關(guān)的局部權(quán)重微調(diào)上，使之加快訓(xùn)練速度和縮短收斂所需時(shí)間.當(dāng)Hinton在MNIST手寫特征識(shí)別任務(wù)上使用DBN時(shí)，試驗(yàn)結(jié)果證實(shí)了DBN優(yōu)于傳統(tǒng)的前向網(wǎng)絡(luò)的提升效果.在文獻(xiàn)［11］中Bengio首先通過分析Hinton提出的DBN模型的成功之處，并針對(duì)原有的DBN的輸入只能是二值數(shù)據(jù)，通過將第1層的伯努力分布的輸入改成高斯分布的輸入，從而擴(kuò)展成可以輸入任意值來進(jìn)行學(xué)習(xí)和訓(xùn)練.自從深度置信網(wǎng)被提出后，研究者們針對(duì)DBN已經(jīng)發(fā)展了很多的變種，比如卷積深度置信網(wǎng)(Convolutional Deep Belief Networks，CDBN)［20］，稀疏深度置信網(wǎng) (Sparse Deep Belief Networks，SDBN)［21］等等.

2.1.2.2 深度玻爾茲曼機(jī)

DBM是包含輸入層為D個(gè)可視單元的v∈{0，1}D集，和 Fi個(gè)隱藏單元組成的 hi∈{0，1}Fi集，hi∈{0，1}Fi集按序排列，如 h1∈{0，1}F1，h2∈{0，1}F2，…，hL∈{0，1}FL.在相鄰層間只有隱藏單元之間才有連接，就像第1層中可視單元和與它相近的隱藏單元之間一樣.考慮到一個(gè)3層隱藏層的DBM(圖2b)，這個(gè)狀態(tài){v，h}的能量被定義成:

式中:h={h1，h2，h3}為隱藏單元集;θ ={W1，W2，W3}為這個(gè)模型的相對(duì)應(yīng)的權(quán)重參數(shù)［16］.

圖2 深度置信網(wǎng)與深度玻爾茲曼機(jī)結(jié)構(gòu)圖

對(duì)于單層RBM來說，如果把RBM隱藏層的層數(shù)增加，就可以得到圖2b所示的DBM結(jié)構(gòu);如果在靠近可視層的部分使用貝葉斯置信網(wǎng)絡(luò)(即有向圖模型)，而在輸出層的部分使用RBM，可以得到圖2a所示的DBN結(jié)構(gòu).DBM有潛力去學(xué)習(xí)那些越來越復(fù)雜的內(nèi)在的表征，這被認(rèn)為是在處理對(duì)象識(shí)別和語音識(shí)別問題上一個(gè)新的方法，有可能提升深度學(xué)習(xí)領(lǐng)域在這方面的應(yīng)用.此外，DBM能從大量無標(biāo)簽的自然信息數(shù)據(jù)(自然世界中存在的信息)中構(gòu)建高等級(jí)表征，通過使用人為定義的有標(biāo)簽數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，從而進(jìn)一步達(dá)到期望的分類結(jié)果.再之，除了都是自下而上的生成結(jié)構(gòu)且都能夠進(jìn)行自頂向下的反饋外，DBM允許更魯棒性地處理模糊的輸入數(shù)據(jù)且更好地進(jìn)行傳播，減少傳播造成的誤差［22］.

2.2 自動(dòng)編碼器

Y.Bengio等［11］在2007年通過理解 DBN的訓(xùn)練策略的成功之處，即通過無監(jiān)督預(yù)訓(xùn)練來更好地初始化所有層的權(quán)值從而減緩深度網(wǎng)絡(luò)的優(yōu)化困難的問題，并通過將DBN結(jié)構(gòu)中的RBM建筑塊替換成AE來驗(yàn)證這個(gè)想法.本節(jié)先介紹AE的基本原理，然后再介紹基于AE的堆疊自動(dòng)編碼器(stacked auto encoders，SAE)［23］.

2.2.1 自動(dòng)編碼器的原理

AE通過將可視層的輸入變換到隱藏的輸出層，然后通過隱藏層進(jìn)行重構(gòu)使得自動(dòng)編碼器的目標(biāo)輸出與原始輸入自身幾乎相等，如圖3a所示.AE的目標(biāo)函數(shù)為

圖3 自動(dòng)編碼器的基本結(jié)構(gòu)及其基本原理

式中:n為樣本數(shù)據(jù)的大小;x為原始輸入向量;z為重構(gòu)向量.依據(jù)輸入輸出的不同，損失函數(shù)L可以是連續(xù)值的傳統(tǒng)的方差損失函數(shù)L(x，z)=‖x-z‖2或者是二值的交叉熵?fù)p失函數(shù)L(x，z)=

另外，為了防止過擬合，通過將權(quán)重衰減項(xiàng)作為正則化項(xiàng)加入到目標(biāo)函數(shù)中，即為公式(11)的第2項(xiàng).權(quán)重衰減參數(shù)λ表明這個(gè)重構(gòu)誤差和權(quán)重衰減項(xiàng)的相關(guān)重要性.

2.2.2 基于自動(dòng)編碼器的深度結(jié)構(gòu)

AE結(jié)構(gòu)簡單，而且其數(shù)學(xué)表示通俗易懂，加之能夠很好地進(jìn)行堆疊形成深層結(jié)構(gòu)，本節(jié)將介紹基于AE形成的SAE結(jié)構(gòu).

文獻(xiàn)［4，11］中自動(dòng)編碼器的訓(xùn)練過程是和RBM一樣使用貪心逐層預(yù)訓(xùn)練算法，但因?yàn)槭峭ㄟ^重構(gòu)誤差來進(jìn)行訓(xùn)練，相比較而言比訓(xùn)練RBM容易，所以常常用來代替RBM構(gòu)建深度結(jié)構(gòu).通過將DBN中的RBM替換成AE，形成SAE.SAE的特點(diǎn)就是它與RBM一樣也是一個(gè)生成模型，但是數(shù)據(jù)樣本在作為SAE的輸入的同時(shí)還能夠作為SAE的輸出目標(biāo)，從而檢測(cè)SAE中間層學(xué)到的特征是否符合要求，通過逐個(gè)AE的訓(xùn)練，最終完成對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

堆疊自動(dòng)編碼器(見圖4)是由多層自動(dòng)編碼器構(gòu)成的深層神經(jīng)網(wǎng)絡(luò)，它被廣泛地用于深度學(xué)習(xí)方法中的維數(shù)約簡［25］和特征學(xué)習(xí)［26］.

圖4 堆疊自動(dòng)編碼器

正如圖4中展現(xiàn)的，假設(shè)有h個(gè)自動(dòng)編碼器，并以從底向上的順序逐層進(jìn)行訓(xùn)練.具體的訓(xùn)練過程如下［4］:① 訓(xùn)練第1個(gè)AE，最小化其原始輸入(圖4中黑色部分)的重構(gòu)誤差;②將上一個(gè)AE的輸出用作下一個(gè)AE的輸入，按照步驟②中的方式進(jìn)行訓(xùn)練;③重復(fù)②步的過程，直到完成下面層的訓(xùn)練;④將最后一層隱藏層的輸出作為一個(gè)有監(jiān)督層的輸入，初始化其參數(shù)(保持剩余層的參數(shù)固定，最頂層的參數(shù)可以是隨機(jī)或者有監(jiān)督訓(xùn)練得到);⑤按照有監(jiān)督的標(biāo)準(zhǔn)，可以對(duì)所有層進(jìn)行微調(diào)，或者僅對(duì)最高層進(jìn)行微調(diào).

最頂層AE的隱藏層就是這個(gè)SAE的輸出，這個(gè)結(jié)果能夠饋送到其他應(yīng)用中去，例如在輸出端使用一個(gè)SVM分類器.這個(gè)無監(jiān)督預(yù)訓(xùn)練能夠自動(dòng)地利用大規(guī)模的無標(biāo)簽數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)中獲得比傳統(tǒng)隨機(jī)初始化更好的權(quán)重初始化.

若干個(gè)自動(dòng)編碼器的堆疊就成為了深層結(jié)構(gòu)，如果在每個(gè)自動(dòng)編碼器的損失函數(shù)上加上一個(gè)稀疏懲罰值，那么就成為了稀疏堆疊自動(dòng)編碼器(stacked sparse auto encoders，SSAE)［27］:

2.3 卷積神經(jīng)網(wǎng)絡(luò)

在1989年Yan Lecun等基于前人工作，提出了一個(gè)可以將BP成功用于訓(xùn)練深度網(wǎng)絡(luò)的結(jié)構(gòu):CNN，它組合局部感受野、權(quán)重共享、和空間或時(shí)間上的子采樣這3種結(jié)構(gòu)去確保平移和變形上的不變性，一個(gè)典型的CNN網(wǎng)絡(luò)如圖5所示.

圖5 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

局部感受野:圖5中第1個(gè)隱藏層有著6個(gè)特征圖，每個(gè)對(duì)應(yīng)于輸入層中的小方框就是一個(gè)局部感受野，也可以稱之為滑動(dòng)窗口.

權(quán)值共享:這里f是一個(gè)非線性函數(shù)，通常是tanh函數(shù)或是sigmoid函數(shù)，是第l層的第j個(gè)單元的偏置值，是l-1層中特征映射i的索引向量，而在第l層中特征映射j是需要累加的，*是一個(gè)2維卷積操作且是作用在第l-1層中的特征映射i上的卷積核心，能夠生成第l層中特征映射j的累加的輸入部分.一個(gè)卷積層通常由幾個(gè)特征圖構(gòu)成，而這里的即為權(quán)重，在同一個(gè)特征圖中是相同的，這樣就減少了自由參數(shù)的數(shù)量.

子采樣:如果平移這個(gè)卷積層的輸入將會(huì)平移其輸出，但是卻不會(huì)改變它，而且一旦一個(gè)特征被檢測(cè)到，其準(zhǔn)確的位置就會(huì)不那么重要了，只要相對(duì)于其他特征的近似位置被保存即可.因此，每個(gè)卷積層后面會(huì)有一個(gè)額外的層去執(zhí)行局部的均值化，即子采樣［30-31］去減少輸出時(shí)關(guān)于平移和變形的靈敏度.對(duì)于一個(gè)子采樣層l中的特征映射j，有

式中:down為基于因子Nl進(jìn)行下采樣的函數(shù);Nl為第l層子采樣層所需要的窗口邊界大小，然后對(duì)大小為Nl×Nl的窗口非重疊區(qū)域進(jìn)行均值計(jì)算.假設(shè)神經(jīng)元的輸出層為C維，那么就能對(duì)C類進(jìn)行的鑒別，輸出層是前層的連接特征映射的輸出表征:

式中:bo為偏置向量;Wo為權(quán)重矩陣;fv為特征向量，模型的參數(shù)是{，bo，Wo}.卷積層和子采樣層通常是逐層交替，而特征圖的數(shù)量是隨著空間解析度的減少而增加.

在CNN的應(yīng)用上一個(gè)很成功的實(shí)例是Y.Le-Cun等［32］于1995年提出的LeNet-5系統(tǒng)，在MNIST上得到了0.9%的錯(cuò)誤率，并在20世紀(jì)90年代就已用于銀行的手寫支票識(shí)別.

近年來，關(guān)于CNN的模型逐漸成為研究的熱點(diǎn).2012年A.Krizhevsky等［33］將CNN構(gòu)造成深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network，DCNN)，在ILSVRC-2012數(shù)據(jù)集上獲得了top-5測(cè)試錯(cuò)誤率為15.3%的好結(jié)果.2014年Zheng Yi等提出的多通道深度卷積神經(jīng)網(wǎng)絡(luò)(multi-channels deep convolutional neural networks，MC-DCNN)［34］在 BIDMC數(shù)據(jù)集上獲得最好的準(zhǔn)確度(94.67%)，優(yōu)于之前這個(gè)數(shù)據(jù)集上的最好結(jié)果.

3 深度學(xué)習(xí)的應(yīng)用

深度學(xué)習(xí)從2006年開始在語音識(shí)別、計(jì)算機(jī)視覺、自然語言處理和信息檢索上面都取得了較好效果，在不同的數(shù)據(jù)集以及工業(yè)應(yīng)用上都表現(xiàn)出遠(yuǎn)超以往淺層學(xué)習(xí)所能達(dá)到的最好的效果.

3.1 語音識(shí)別

在過去幾十年中，語音識(shí)別領(lǐng)域的研究者們都把精力用在基于HMM-GMM的系統(tǒng)［35］，而忽略了原始語音數(shù)據(jù)內(nèi)部原有的結(jié)構(gòu)特征.深度神經(jīng)網(wǎng)絡(luò)DNN在2010年開始被引入處理語音識(shí)別問題，因?yàn)镈NN對(duì)數(shù)據(jù)之間的相關(guān)性有較大的容忍度，使得當(dāng)GMM被DNN替換時(shí)，效果明顯有了飛躍.

2012年，微軟公司一個(gè)基于深度學(xué)習(xí)的語音視頻檢索系統(tǒng)(Microsoft audio video indexing service，MAVIS)成功問世，將單詞錯(cuò)誤率降低了30%(從27.4%到18.5%)［36］.2014年IBM的沃森研究中心的T.N.Sainath［37］的工作結(jié)果顯示DNN比以往過去的GMM-HMM模型有8% ～15%的提升，而CNN相比于一般DNN來說能對(duì)數(shù)據(jù)間強(qiáng)烈的相關(guān)性有更強(qiáng)的適應(yīng)力，同時(shí)足夠深的網(wǎng)絡(luò)還有對(duì)數(shù)據(jù)的平移不變性的特性.

3.2 計(jì)算機(jī)視覺

深度學(xué)習(xí)在計(jì)算機(jī)視覺上的成功應(yīng)用，主要體現(xiàn)在對(duì)象識(shí)別［38］和人臉識(shí)別領(lǐng)域［39］上.過去很長一段時(shí)間，機(jī)器視覺中的對(duì)象識(shí)別一直依賴于人工設(shè)計(jì)的特征，例如尺度不變特征轉(zhuǎn)換(scale invariant feature transform，SIFT)［40］和方向梯度直方圖 (histogram of oriented gradients，HOG)［41］，然而像 SIFT 和 HOG 這樣的特征只能抓取低等級(jí)的邊界信息.

針對(duì)以往小規(guī)模樣本所無法表現(xiàn)的真實(shí)環(huán)境中更復(fù)雜的信息，2010年人們引入了更大的數(shù)據(jù)集，例如ImageNet數(shù)據(jù)集中有著15百萬的標(biāo)記高分辨率圖像和超過2萬2千個(gè)類別.A.Krizhevsky等［33］在2012年通過訓(xùn)練一個(gè)大的深度神經(jīng)網(wǎng)絡(luò)來對(duì)ImageNet LSVRC-2010中包含著1000個(gè)不同類別的1.2百萬個(gè)高分辨率圖像進(jìn)行分類.在測(cè)試數(shù)據(jù)中，他們?cè)趖op-1和top-5上的錯(cuò)誤率是37.5%和17.0%，刷新了這個(gè)數(shù)據(jù)集的最好記錄.

2014年Sun Yi等［42］提出了深度隱藏身份特征(deep hidden identity feature，DeepID)的方法去學(xué)習(xí)高等級(jí)特征表征來進(jìn)行人臉識(shí)別.通過將人臉部分區(qū)域作為每個(gè)卷積網(wǎng)絡(luò)的輸入，在底層中提取局部低等級(jí)特征，并在深度卷積網(wǎng)絡(luò)的最后一層隱藏層的神經(jīng)元激活值中形成DeepID特征，試驗(yàn)結(jié)果顯示Yi等在LFW上獲得了97.45%的準(zhǔn)確度.

3.3 自然語言處理

自然語言處理(natural language processing，NLP)［43］意在將人類語言轉(zhuǎn)換到能夠容易地被計(jì)算機(jī)操作的表征的過程.大多數(shù)的研究者將這些問題分離式考慮，例如詞性標(biāo)注、分塊、命名實(shí)體識(shí)別、語義角色標(biāo)注、語言模型和語義相關(guān)詞等，而沒有注重到整體性，使得自然語言處理領(lǐng)域中的進(jìn)展不是很樂觀.具體來說現(xiàn)有的系統(tǒng)有3個(gè)缺陷［44］:① 它們都是淺層結(jié)構(gòu)，而且分類器通常是線性的;② 對(duì)于一個(gè)效果好的線性分類器來說，它們必須事先用許多人工特征來預(yù)處理;③從幾個(gè)分離的任務(wù)中進(jìn)行串聯(lián)特征以至于誤差會(huì)在傳播過程中增大.

2008年R.Collobert等［44］通過將一個(gè)普通的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于NLP，在“學(xué)習(xí)一個(gè)語言模式”和“對(duì)語義角色標(biāo)簽”任務(wù)上通過將重點(diǎn)關(guān)注到語義角色標(biāo)簽的問題上進(jìn)行了沒有人工設(shè)計(jì)特征參與的訓(xùn)練，其錯(cuò)誤率為14.3%的結(jié)果刷新了最好記錄.

3.4 信息檢索

信息檢索(information retrieval，IR)就是用戶輸入一個(gè)查詢到一個(gè)包含著許多文檔的計(jì)算機(jī)系統(tǒng)，并從中取得與用戶要求所需最接近的文檔［2］.深度學(xué)習(xí)在IR上的應(yīng)用主要是通過提取有用的語義特征來進(jìn)行子序列文檔排序，由R.Salakhutdinov等［25］在2009年提出，他們針對(duì)當(dāng)時(shí)最廣泛被使用在文檔檢索上的系統(tǒng)TF-IDF［25］上的分析，認(rèn)為TF-IDF系統(tǒng)有著以下的缺陷:在詞計(jì)數(shù)空間中直接計(jì)算文檔的相似性，這使得在大詞匯量下會(huì)很慢;沒有使用詞匯間的語義相似性.因?yàn)樵贒NN模型的最后一層中的隱藏變量不但在使用基于前向傳播的訓(xùn)練后容易推導(dǎo)，而且在基于詞計(jì)數(shù)特征上給出了對(duì)每個(gè)文檔更好的表征，他們使用從深度自動(dòng)編碼器得到的緊湊的編碼，使得文檔能夠映射到一個(gè)內(nèi)存地址中，在這個(gè)內(nèi)存地址中語義上相似的文檔能夠被歸類到相近的地址方便快速的文檔檢索.從詞計(jì)數(shù)向量到緊湊編碼的映射使得檢索變得高效，只需要更便捷的計(jì)算，更少的時(shí)間.

2014年Shen Yelong等［45］提出了卷積版的深度結(jié)構(gòu)語義模型(convolutional deep-structured semantic modeling，C-DSSM)，C-DSSM能將上下文中語義相似的單詞通過一個(gè)卷積結(jié)構(gòu)投影到上下文特征空間向量上，從之前43.1%的準(zhǔn)確率提高到了44.7%.

不同于以往淺層結(jié)構(gòu)只能解決許多簡單的或者許多約束條件下的問題，深度結(jié)構(gòu)能夠處理許多復(fù)雜的真實(shí)世界中的問題，例如人類語音、自然聲音和語言、自然圖像、可視場(chǎng)景等問題，它們可以直接從數(shù)據(jù)中提取數(shù)據(jù)所包含的特征而不受具體模型的約束，從而更具有泛化能力.

4 深度學(xué)習(xí)的研究展望

隨著研究的深入，深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)中一個(gè)不可或缺的領(lǐng)域，然而，關(guān)于深度學(xué)習(xí)的研究現(xiàn)在仍然才處于萌芽狀態(tài)，很多問題仍然沒有找到滿意的答案［46］.如對(duì)在線學(xué)習(xí)的能力的提升，以及在大數(shù)據(jù)方面的適應(yīng)能力以及在深度層次結(jié)構(gòu)上的改進(jìn).

在線學(xué)習(xí)方面:當(dāng)前幾乎所有的深度學(xué)習(xí)所應(yīng)用到的深度結(jié)構(gòu)訓(xùn)練的算法都是先在搭建好的結(jié)構(gòu)上進(jìn)行逐層訓(xùn)練，并在逐層訓(xùn)練之后加上一個(gè)全局微調(diào)得到更好的擬合數(shù)據(jù)的參數(shù)集.這種訓(xùn)練算法在純粹的在線環(huán)境下不是很適用，因?yàn)樵诰€數(shù)據(jù)的數(shù)據(jù)集是在不斷擴(kuò)充的，一旦在在線環(huán)境下引入全局微調(diào)的方法，那么結(jié)果極有可能陷入局部最小.如何將深度學(xué)習(xí)用于在線環(huán)境是值得思考的一個(gè)問題.

在對(duì)大數(shù)據(jù)的適應(yīng)能力上:大數(shù)據(jù)中包含著很多有價(jià)值的信息，但是如何從大數(shù)據(jù)中找到能夠表達(dá)這個(gè)數(shù)據(jù)的表征是研究者關(guān)心的問題.2012年的Google大腦團(tuán)隊(duì)在一個(gè)超大多節(jié)點(diǎn)的計(jì)算機(jī)網(wǎng)絡(luò)上并行地訓(xùn)練深度網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)果顯示數(shù)據(jù)仍然呈現(xiàn)欠擬合的狀態(tài)［47］.對(duì)此，如何衡量訓(xùn)練復(fù)雜度與任務(wù)復(fù)雜度的關(guān)系，使得深度學(xué)習(xí)可以充分地用在大數(shù)據(jù)上，還有待于研究和實(shí)踐.

在深度結(jié)構(gòu)的改進(jìn)上:深度結(jié)構(gòu)的層次模型雖然比淺層模型在結(jié)構(gòu)上具有突破，模擬了生物的視覺系統(tǒng)分層結(jié)構(gòu)，但是未能完全匹配皮層的信息處理結(jié)構(gòu).比如研究者們發(fā)現(xiàn)現(xiàn)有的主流的深度結(jié)構(gòu)并未考慮到時(shí)間序列對(duì)學(xué)習(xí)的影響，而作為真正的生物皮層在處理信息上來說，對(duì)信息數(shù)據(jù)的學(xué)習(xí)不是獨(dú)立靜態(tài)的，而是隨著時(shí)間有著上下文的聯(lián)系的.

人類的信息處理機(jī)制表明深度結(jié)構(gòu)可以從豐富的感知信息中提取復(fù)雜的結(jié)構(gòu)和建立數(shù)據(jù)中內(nèi)在的表征.因?yàn)樯疃葘W(xué)習(xí)尚在初步階段，很多問題還沒有解決，所以還無法真正達(dá)到人工智能的標(biāo)準(zhǔn)，但是深度學(xué)習(xí)現(xiàn)有的成功和發(fā)展表明，深度學(xué)習(xí)是向人工智能邁進(jìn)的一大步.

5 總結(jié)

1)文中首先通過對(duì)現(xiàn)有的深度學(xué)習(xí)所使用的深度結(jié)構(gòu)的分類，介紹了RBM，AE，CNN等深度學(xué)習(xí)所使用的幾大基礎(chǔ)模型具有的原理及特點(diǎn)，并相對(duì)應(yīng)地分析了如何在這幾個(gè)模型的基礎(chǔ)上來得到DBN、DBM以及SAE等真正的深度層次結(jié)構(gòu)模型.

2)通過在語音識(shí)別、計(jì)算機(jī)視覺、自然語言處理和信息檢索幾大領(lǐng)域上深度學(xué)習(xí)應(yīng)用的介紹，說明了深度學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域有相比較于其他淺層結(jié)構(gòu)學(xué)習(xí)具有更好的優(yōu)越性和更少的錯(cuò)誤率.

3)通過對(duì)深度學(xué)習(xí)在在線學(xué)習(xí)方面和大數(shù)據(jù)上的適應(yīng)能力以及對(duì)深度結(jié)構(gòu)的改進(jìn)等方面對(duì)當(dāng)前深度學(xué)習(xí)所面臨的問題作了總結(jié)和思考.當(dāng)前深度學(xué)習(xí)還尚未成熟，仍有大量的工作需要研究，但是其展現(xiàn)的強(qiáng)大的學(xué)習(xí)能力和泛化能力表明，今后它將是機(jī)器學(xué)習(xí)領(lǐng)域中研究的重點(diǎn)和熱點(diǎn).

References)

［1］孫志軍，薛 磊，許陽明，等.深度學(xué)習(xí)研究綜述［J］.計(jì)算機(jī)應(yīng)用研究，2012，29(8):2806-2810.Sun Zhijun，Xue Lei，Xu Yangming，et al.Overview of deep learning［J］.Application Research of Computers，2012，29(8):2806-2810.(in Chinese)

［2］Deng Li，Yu Dong.Deep learning for signal and information processing［R］.Microsoft Research，2013.

［3］胡曉林，朱 軍.深度學(xué)習(xí)——機(jī)器學(xué)習(xí)領(lǐng)域的新熱點(diǎn)［J］.中國計(jì)算機(jī)學(xué)會(huì)通訊，2013，9(7):64-69.Hu Xiaolin，Zhu Jun.Deep learning—new hot spot in the field of maching earning［J］.Communications of the CCF，2013，9(7):64-69.(in Chinese)

［4］Bengio Yoshua.Learning deep architectures for AI［J］.Foundations and Trends in Machine Learning，2009，2(1):1-27.

［5］Duarte-Carvajalino J M，Yu G S，Carin L，et al.Taskdriven adaptive statistical compressive sensing of gaussian mixture models［J］.IEEE Transactions on Signal Processing，2013，61(3):585-600.

［6］Abdel-Rahman E M，Mutanga O，Adam E，et al.Detecting sirex noctilio grey-attacked and lightning-struck pine trees using airborne hyperspectral data，random forest and support vector machines classifiers［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2014，88:48-59.

［7］劉國海，肖夏宏，江 輝，等.基于 BP-Adaboost的近紅外光譜檢測(cè)固態(tài)發(fā)酵過程 pH值［J］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2013，34(5):574-578.Liu Guohai，Xiao Xiahong，Jiang Hui，et al.Detection of PH variable in solid-state fermentation process by FTNIR spectroscopy and BP-Adaboost［J］.Journal of Jiangsu University:Natural Science Edition，2013，34(5):574-578.(in Chinese)

［8］Sarikaya R，Hinton G E，Deoras A.Application of deep belief networks for natural language understanding［J］.IEEE Transactions on Audio，Speech and Language Processing，2014，22(4):778-784.

［9］Fischer A，Igel C.Training restricted Boltzmann machines:an introduction［J］.Pattern Recognition，2014，47(1):25-39.

［10］Wan L，Zeiler M，Zhang S X，et al.Regularization of neural networks using dropconnect［C］∥Proceedings of the 30th International Conference on Machine Learning.Atlanta:IMLS，2013:2095-2103.

［11］Bengio Y，Lamblin P，Popovici D，et al.Greedy layerwise training of deep networks［C］∥Proceedings of 20th Annual Conference on Neural Information Processing Systems.Vancouver:Neural information processing system foundation，2007:153-160.

［12］Palm R B.Prediction as a candidate for learning deep hierarchical models of data［D］.Technical University of Denmark，Denmark，2012.

［13］Ackley D H，Hinton G E，Sejnowski T J.A learning algorithm for Boltzmann machines［J］.Cognitive Science，1985，9:147-169.

［14］Yu Dong，Deng Li.Deep learning and its applications to signal and information processing ［J］.IEEE Signal Processing Magazine，2011，28(1):145-149，154.

［15］Cho K Y.Improved learning algorithms for restricted Boltzmann machines［D］.Espoo:School of Science，Aalto University，2011.

［16］Cho K H，Raiko T，Ilin A，et al.A two-stage pretraining algorithm for deep boltzmann machines［C］∥Proceedings of 23rd International Conference on Artificial Neural Networks.Sofia:Springer Verlag，2013:106-113.

［17］Shu H，Nan B，Koeppe R，et al.Multiple testing for neuroimaging via hidden markov random field［DB/OL］.［2014-05-08］.http:∥arxiv.org/pdf/1404.1371.pdf.

［18］Hjelm R D，Calhoun V D，Salakhutdinov R，et al.Restricted Boltzmann machines for neuroimaging:an application in identifying intrinsic networks［J］.Neuro-Image，2014，96:245-260.

［19］Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets［J］.Neural Computation，2006，18(7):1527-1554.

［20］Lee H，Grosse R，Ranganath R，et al.Unsupervised learning of hierarchical representations with convolutional deep belief networks［J］.Communications of the ACM，2011，54(10):95-103.

［21］Halkias X C，Paris S，Glotin H.Sparse penalty in deep belief networks:using the mixed norm constraint［DB/OL］.［2014-05-08］.http:∥arxiv.org/pdf/1301.3533.pdf.

［22］Poon-Feng K，Huang D Y，Dong M H，et al.Acoustic emotion recognition based on fusion of multiple featuredependent deep Boltzmann machines［C］∥Proceedings of the 9th International Symposium on Chinese Spoken Language Processing.Singapore:IEEE，2014:584-588.

［23］Wang W，Ooi B C，Yang X Y，et al.Effective multimodal retrieval based on stacked auto-encoders［J］.Proceedings of the VLDB Endowment，2014，7(8):649-660.

［24］Arnold L，Rebecchi S，Chevallier S，et al.An introduction to deep learning［C］∥Proceedings of the 18th European Symposium on Artificial Neural Networks，ComputationalIntelligence and Machine Learning.［S.l.］:i6doc.com publication，2010:477-478.

［25］Salakhutdinov R，Hinton G.Semantic hashing［J］.International Journal of Approximate Reasoning，2009，50(7):969-978.

［26］Goroshin R，LeCun Y.Saturating auto-encoders［DB/OL］.［2014-05-08］.http:∥arxiv.org/pdf/1301.3577.pdf.

［27］Jiang Xiaojuan，Zhang Yinghua，Zhang Wensheng，et al.A novel sparse auto-encoder for deep unsupervised learning［C］∥Proceeding of 2013 Sixth International Conferenceon Advanced ComputationalIntelligence.Hangzhou:IEEE Computer Society，2013:256-261.

［28］Vincent P，Larochelle H，Lajoie I，et al.Stacked denoising autoencoders:learning useful representations in a deep network with a local denoising criterion［J］.Journal of Machine Learning Research，2010，11:3371-3408.

［29］Masci J，Meier U，Cire?an D，et al.Stacked convolutional auto-encoders for hierarchical feature extraction［C］∥Proceedings of 21st International Conference on Artificial Neural Networks.Espoo:Springer Verlag，2011:52-59.

［30］Pinheiro P O，Collobert R.Recurrent convolutional neural networks for scene labeling［C］∥Proceedings of the 31st International Conference on Machine Learning.Beijing:IMLS，2014:82-90.

［31］Zeiler M D，F(xiàn)ergus R.Stochastic pooling for regularization of deep convolutional neural networks［DB/OL］.［2014-05-08］.http:∥arxiv.org/pdf/1301.3557.pdf.

［32］LeCun Y，Jackel L D，Bottou L，et al.Learning Algorithms for Classification:A Comparison on Handwritten Digit Recognition［M］.Korea:World Scientific，1995，261-276.

［33］Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks［C］∥Proceeding of 26th Annual Conference on Neural Information Processing Systems.Lake Tahoe:Neural information processing system foundation，2012:1097-1105.

［34］Zheng Yi，Liu Qi，Chen Enhong，et al.Time series classification using multi-channels deep convolutional neural networks［C］∥Proceedings of 15th International Conference on Web-Age Information Management.Macau:Springer Verlag，2014:298-310.

［35］Mohamed A R，Dahl G E，Hinton G.Acoustic modeling using deep belief networks［J］.IEEE Transactions on Audio，Speech and Language Processing，2012，20(1):14-22.

［36］Bengio Y，Courville A，Vincent P.Representation learning:a review and new perspectives［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(8):1798-1828.

［37］Sainath T N.Improvements to deep neural networks for large vocabulary continuous speech recognition tasks［R］.IBM T.J.Watson Research Center，2014.

［38］Sohn K，Jung D Y，Lee H，et al.Efficient learning of sparse，distributed，convolutional feature representations for object recognition［C］∥Proceeding of 2011 IEEE International Conference on Computer Vision.Barcelona:IEEE，2011:2643-2650.

［39］Cui Zhen，Chang Hong，Shan Shiguang，et al.Joint sparse representation for video-based face recognition［J］.Neurocomputing，2014，135:306-312.

［40］關(guān)海鷗，杜松懷，許少華，等.基于改進(jìn)投影尋蹤技術(shù)和模糊神經(jīng)網(wǎng)絡(luò)的未受精種蛋檢測(cè)模型［J］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2013，34(2):171-177.Guan Haiou，Du Songhuai，Xu Shaohua，et al.Detection model of un-fretilized egg based on improved projection pursuit and fuzzy neural network［J］.Journal of Jiangsu University:Natural Science Edition，2013，34(2):171-177.(in Chinese)

［41］王國林，周樹仁，李軍強(qiáng).基于模糊聚類和形態(tài)學(xué)的輪胎斷面特征提?。跩］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2012，33(5):513-517.Wang Guolin，Zhou Shuren，Li Junqiang.Feature extraction of tire section based on fuzzy clustering and morphology［J］.Journal of Jiangsu University:Natural Science Edition，2012，33(5):513-517.(in Chinese)

［42］Sun Yi，Wang Xiaogang，Tang Xiaoou.Deep learning face representation from predicting 10，000 classes［C］∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Columbus:IEEE Computer Society，2014:1891-1898.

［43］Cambria E，White B.Jumping NLP curves:a review of natural language processing research［J］.IEEE Computational Intelligence Magazine，2014，9(2):48-57.

［44］Collobert R，Weston J.A unified architecture for natural language processing:deep neural networks with multitask learning［C］∥Proceedings of 25th International Conference on Machine Learning.Helsinki，F(xiàn)inland:Association for Computing Machinery，2008:160-167.

［45］Shen Yelong，He Xiaodong，Gao Jianfeng，et al.Learning semantic representations using convolutional neural networks for Web search［C］∥Proceedings of the companion publication of the 23rd international conference on World wide web companion.Seoul:IW3C2，2014:373-374.

［46］Arel I，Rose D C，Karnowski T P.Deep machine learning a new frontier in artificial intelligence research［J］.IEEE Computational Intelligence Magazine，2010，5(4):13-18.

［47］Bengio Y.Deep learning of representations:looking forward［C］∥Proceedings of 1st International Conference on Statistical Language and Speech Processing.Tarragona，Spain:Springer Verlag，2013:1-37.