劉毅銘

(中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院，湖北 武漢 430074 )

1 引言

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中對(duì)數(shù)據(jù)進(jìn)行深度學(xué)習(xí)的方法，通過(guò)構(gòu)建復(fù)數(shù)層級(jí)的神經(jīng)網(wǎng)絡(luò)，利用大量的數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)來(lái)提取特征的學(xué)習(xí)方式。深度學(xué)習(xí)是近年來(lái)發(fā)展迅速的一門(mén)技術(shù)，本文將從發(fā)展歷程、模型、應(yīng)用3個(gè)方面進(jìn)行綜述。

2 深度學(xué)習(xí)的發(fā)展歷程

深度學(xué)習(xí)中最早的神經(jīng)網(wǎng)絡(luò)模型是1943年由神經(jīng)學(xué)家麥卡洛克和數(shù)學(xué)家皮茲[1]構(gòu)建的McColloch-Pitts(MCP)計(jì)算模型，該模型模擬了人體神經(jīng)元結(jié)構(gòu)，旨在對(duì)輸入的數(shù)據(jù)做加權(quán)求和非線性函數(shù)激活操作，但該模型需要手動(dòng)設(shè)置權(quán)值，在實(shí)際操作上十分不便。1958年，由Rosenblatt[2]教授提出的感知型模型(perceptron)將MCP模型中需要手動(dòng)設(shè)置權(quán)值的問(wèn)題進(jìn)行了改善，在權(quán)值設(shè)置上更為合理且可以自動(dòng)更新設(shè)置。感知型模型的提出讓神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類(lèi)成為了現(xiàn)實(shí)，加快了神經(jīng)網(wǎng)絡(luò)的研究進(jìn)程。但該網(wǎng)絡(luò)只能處理線性分類(lèi)問(wèn)題，而且Minsky教授和Paper的研究也發(fā)現(xiàn)感知型模型并不能設(shè)置多層訓(xùn)練網(wǎng)絡(luò)，在應(yīng)用方面有極大的局限性，這也使得神經(jīng)網(wǎng)絡(luò)的研究有了很大程度上的停滯[3]。

到了20世紀(jì)80年代，計(jì)算機(jī)技術(shù)的廣泛發(fā)展使得神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究再一次成為了現(xiàn)實(shí)。1986年，Rumelhart等[4]提出了反向傳播算法(Back Propagation, BP)。BP神經(jīng)網(wǎng)絡(luò)算法采用逆向傳播的思想對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行學(xué)習(xí)，解決了感知型模型只能處理線性分類(lèi)問(wèn)題的困難。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)，玻爾茲曼機(jī)等神經(jīng)網(wǎng)絡(luò)模型也得到了一定的發(fā)展。

不久，BP神經(jīng)網(wǎng)絡(luò)算法也被發(fā)現(xiàn)存在梯度消失的問(wèn)題，無(wú)法對(duì)上級(jí)層次的神經(jīng)元參數(shù)進(jìn)行調(diào)整。直到2006年，Hinton[5]及其團(tuán)隊(duì)解決了BP神經(jīng)網(wǎng)絡(luò)存在的梯度消失問(wèn)題，提出了深度學(xué)習(xí)的概念，應(yīng)用逐層初始化的方法來(lái)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。至此，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了快速發(fā)展階段，大數(shù)據(jù)時(shí)代以及計(jì)算機(jī)性能的提高使得更深、更有效率的神經(jīng)網(wǎng)絡(luò)被逐漸提出。2012年，Hinton帶領(lǐng)團(tuán)隊(duì)將深度學(xué)習(xí)應(yīng)用到ImageNet圖像識(shí)別比賽上，并以碾壓第二名的好成績(jī)讓深度學(xué)習(xí)成為大眾的焦點(diǎn)。深度學(xué)習(xí)也在慢慢替代傳統(tǒng)機(jī)器學(xué)習(xí)方法，成為了人工智能領(lǐng)域最熱門(mén)的研究領(lǐng)域。2016年，谷歌基于深度學(xué)習(xí)算法開(kāi)發(fā)了Alpha Go程序，擊敗了圍棋世界冠軍李在石，再一次擴(kuò)大了深度學(xué)習(xí)的影響力。

3 深度學(xué)習(xí)模型

隨著深度學(xué)習(xí)的不斷發(fā)展，越來(lái)越多的神經(jīng)網(wǎng)絡(luò)模型被提出并應(yīng)用到各種領(lǐng)域中。卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)，受限玻爾茲曼機(jī)是最為常用的幾種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是擁有多層次結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，通過(guò)有監(jiān)督的學(xué)習(xí)，能夠得到數(shù)據(jù)的特征，在模式識(shí)別、圖像處理方面有著廣泛的應(yīng)用。共享權(quán)值和局部感知是卷積神經(jīng)網(wǎng)絡(luò)最大的特點(diǎn)，共享權(quán)值即在提取特征時(shí)，多個(gè)神經(jīng)元間共享一套權(quán)值，使用一個(gè)卷積核對(duì)圖像做卷積；局部感知是指每個(gè)神經(jīng)元只用處理特定的圖像特征，不用感知全部圖像。共享權(quán)值和局部感知的存在使得卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)大大減少，網(wǎng)絡(luò)結(jié)構(gòu)更為清晰。

一個(gè)卷積神經(jīng)網(wǎng)絡(luò)一般由輸入層、卷積層、池化層、全連接層以及Softmax層組成。輸入層是卷積神經(jīng)網(wǎng)絡(luò)的輸入口，對(duì)于一副圖像來(lái)說(shuō)，一般是通過(guò)像素矩陣進(jìn)行輸入；卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心層，通過(guò)卷積核對(duì)圖像的像素值進(jìn)行卷積運(yùn)算，得到圖像的特征信息并不斷加深節(jié)點(diǎn)矩陣的深度，獲得圖像的深層特征；池化層本質(zhì)是對(duì)特征圖像進(jìn)行下采樣，并不會(huì)改變特征矩陣的深度，一般來(lái)說(shuō)有平均值采樣和最大值采樣兩種方式；全連接對(duì)經(jīng)過(guò)卷積層和池化層的數(shù)據(jù)進(jìn)行分類(lèi)處理；Softmax層對(duì)作為分類(lèi)器對(duì)最后的結(jié)構(gòu)進(jìn)行概率描述。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程是有監(jiān)督的，參數(shù)在訓(xùn)練過(guò)程中不斷優(yōu)化從而得到最好的結(jié)果。目前，改進(jìn)的模型也被廣泛研究，如全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Networks, FCN)和深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks, DCNN)等。

3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

針對(duì)卷積神經(jīng)網(wǎng)絡(luò)無(wú)法對(duì)時(shí)間序列進(jìn)行提取和保留的問(wèn)題，循環(huán)神經(jīng)網(wǎng)絡(luò)最大的特點(diǎn)就是神經(jīng)元在某時(shí)刻的輸出可以再次作為輸入到神經(jīng)元中。循環(huán)神經(jīng)網(wǎng)絡(luò)的串聯(lián)式結(jié)構(gòu)非常適合用于時(shí)間序列數(shù)據(jù)，可以保持?jǐn)?shù)據(jù)中的依賴(lài)關(guān)系。

循環(huán)神經(jīng)網(wǎng)絡(luò)通過(guò)隱藏層上的回路連接，上一個(gè)時(shí)刻的數(shù)據(jù)可以傳遞給當(dāng)前時(shí)刻，當(dāng)前時(shí)刻的數(shù)據(jù)也可以傳遞給下一個(gè)時(shí)刻。RNN中有很多神經(jīng)元結(jié)構(gòu)類(lèi)型，常見(jiàn)的有長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short Term Memory, LSTM)和門(mén)控循環(huán)單元(Gated Recurrent Unit, GRU)。LSTM利用輸入門(mén)、遺忘門(mén)和輸出門(mén)結(jié)構(gòu)克服了RNN無(wú)法處理長(zhǎng)期依賴(lài)、梯度消失的問(wèn)題。GRU是LSTM的一個(gè)變種，只包含更新門(mén)和重置門(mén)兩個(gè)結(jié)構(gòu)，LSTM中的輸入門(mén)和遺忘門(mén)合并為更新門(mén)。由于簡(jiǎn)化了LSTM結(jié)構(gòu)，GRU模型的訓(xùn)練速度更快且性能與LSTM模型相當(dāng)，在流量預(yù)測(cè)和自然語(yǔ)言處理等方面成功應(yīng)用。

3.3 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)(Restricted Boltzmann Machine, RBM)是在玻爾茲曼機(jī)的基礎(chǔ)上提出的，由顯性單元和隱形單元構(gòu)成，在受限玻爾茲曼機(jī)模型中，顯性單元和隱性單元內(nèi)部并不會(huì)存在映射關(guān)系，只有顯性單元和隱性單元之間存在映射關(guān)系。受限玻爾茲曼機(jī)是基于對(duì)比散度的訓(xùn)練模型，在網(wǎng)絡(luò)訓(xùn)練以及使用時(shí)，數(shù)據(jù)在顯性單元和隱性單元之間流動(dòng)，且兩個(gè)單元的權(quán)值是相同的，但偏置值不同。

通過(guò)對(duì)受限玻爾茲曼機(jī)的研究，新型的改進(jìn)算法也陸續(xù)出現(xiàn)，如稀疏組受限玻爾茲曼機(jī)(Sparse Group Restricted Boltzmann Machine, SGRBM)，分類(lèi)受限玻爾茲曼機(jī)(Classification Restricted Boltzmann Machine, ClassRBM)等。

4 深度學(xué)習(xí)的應(yīng)用

隨著深度學(xué)習(xí)的不斷發(fā)展，越來(lái)越多的領(lǐng)域開(kāi)始注意到深度學(xué)習(xí)的實(shí)用性，深度學(xué)習(xí)涉及的行業(yè)也越來(lái)越廣泛。本章將對(duì)深度學(xué)習(xí)在圖像領(lǐng)域、語(yǔ)音領(lǐng)域、數(shù)據(jù)分析領(lǐng)域的應(yīng)用做簡(jiǎn)要介紹。

4.1 圖像領(lǐng)域

卷積神經(jīng)網(wǎng)絡(luò)最早的應(yīng)用就是在圖像識(shí)別上，主要應(yīng)用的場(chǎng)景有人臉識(shí)別、車(chē)牌識(shí)別、物體場(chǎng)景識(shí)別等。杜敬[6]通過(guò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行遙感水體的識(shí)別，訓(xùn)練圖像采用無(wú)人機(jī)獲取的遙感圖像，并比較了支持向量機(jī)方法和面向?qū)ο蠓?，結(jié)果表明深度卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率最佳?？軓V等[7]結(jié)合Caffe框架對(duì)云服務(wù)中的僵尸云的檢測(cè)進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)采用了改進(jìn)的LeNet-5模型，采用了6種不同網(wǎng)絡(luò)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，設(shè)置了不同的池化方案，并比較了支持向量機(jī)方法和決策樹(shù)方法，結(jié)果表明深度學(xué)習(xí)方法的效果遠(yuǎn)遠(yuǎn)好于其他方法。隨著深度學(xué)習(xí)算法的不斷研究與深入，基于深度學(xué)習(xí)的圖像算法也將不斷發(fā)展，可以預(yù)見(jiàn)，在圖像領(lǐng)域，深度學(xué)習(xí)將發(fā)揮更大作用。

4.2 語(yǔ)音領(lǐng)域

大數(shù)據(jù)時(shí)代的來(lái)臨使得數(shù)據(jù)量呈指數(shù)型增長(zhǎng)，傳統(tǒng)的語(yǔ)音識(shí)別方法在大數(shù)據(jù)語(yǔ)音數(shù)據(jù)中難以取得較好的結(jié)果。基于深度學(xué)習(xí)的語(yǔ)音識(shí)別方法作為一種新的方法，在語(yǔ)音識(shí)別領(lǐng)域已經(jīng)有了較好的應(yīng)用。王山海等[8]使用深度自動(dòng)編碼器識(shí)別孤立詞語(yǔ)音，并與BP算法對(duì)比，結(jié)果表明了深度自動(dòng)編碼器在語(yǔ)音識(shí)別上的有效性。王強(qiáng)等[9]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到水聲識(shí)別種，同樣驗(yàn)證了深度學(xué)習(xí)方法在語(yǔ)音識(shí)別上的有效性。在語(yǔ)音增強(qiáng)方面，深度循環(huán)網(wǎng)絡(luò)、堆疊式降噪自動(dòng)編碼、LSTM神經(jīng)網(wǎng)絡(luò)也能很好的提高語(yǔ)音質(zhì)量。

4.3 數(shù)據(jù)分析領(lǐng)域

對(duì)數(shù)據(jù)的分析處理也是深度學(xué)習(xí)重要的研究部分，目前在數(shù)據(jù)診斷、參數(shù)估計(jì)和預(yù)測(cè)建模方面都有應(yīng)用。雷亞國(guó)等[10]通過(guò)構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，對(duì)檢測(cè)數(shù)據(jù)進(jìn)行數(shù)據(jù)診斷，準(zhǔn)備判斷了不同方案中的系統(tǒng)狀態(tài)。潘儒揚(yáng)等[11]構(gòu)建了深度自編碼器模型用于恒星大氣物理參數(shù)的估計(jì)，通過(guò)5萬(wàn)條光譜數(shù)據(jù)的訓(xùn)練和測(cè)試，證明了深度學(xué)習(xí)模型在非線性數(shù)據(jù)處理上的潛力。當(dāng)前，對(duì)數(shù)據(jù)進(jìn)行深度處理分析是把握行業(yè)局勢(shì)的必要條件。

5 結(jié)語(yǔ)

本文針對(duì)當(dāng)前熱門(mén)的研究對(duì)象深度學(xué)習(xí)進(jìn)行了一定程度的介紹，通過(guò)深度學(xué)習(xí)的發(fā)展與應(yīng)用展示了深度學(xué)習(xí)廣泛的實(shí)用性以及可研究性，同時(shí)介紹了幾種常用的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與功能[12]。

目前，深度學(xué)習(xí)的研究已經(jīng)有了一些的成果，隨著多種平臺(tái)對(duì)深度學(xué)習(xí)的兼容，越來(lái)越多的人將參與到深度學(xué)習(xí)的研究中。未來(lái)，深度學(xué)習(xí)將扮演更多重要的角色，深度學(xué)習(xí)的發(fā)展也將更加多元化。