高強(qiáng)　靳其兵　程勇

摘要：近些年來，深度學(xué)習(xí)得到了廣泛的關(guān)注，已經(jīng)成為計(jì)算機(jī)科學(xué)機(jī)器學(xué)習(xí)重要的領(lǐng)域和方向，深度學(xué)習(xí)已經(jīng)被引入到機(jī)器學(xué)習(xí)中，進(jìn)而與人工智能這一最初的目標(biāo)更為接近。深度學(xué)習(xí)包括學(xué)習(xí)樣本數(shù)據(jù)在內(nèi)，是一種表示層次和內(nèi)在規(guī)律。深度學(xué)習(xí)對(duì)于解釋聲音數(shù)據(jù)、圖像數(shù)據(jù)、文字?jǐn)?shù)據(jù)等幫助很大。使機(jī)器可以像人類一樣，具有很強(qiáng)的分析學(xué)習(xí)能力，這便是深度學(xué)習(xí)的目標(biāo)。通過深度學(xué)習(xí)，機(jī)器可以對(duì)聲音、圖像以及文字等數(shù)據(jù)進(jìn)行有效識(shí)別。該文中，筆者就基于卷積神經(jīng)網(wǎng)絡(luò)探討深度學(xué)習(xí)算法與應(yīng)用。

關(guān)鍵詞：深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；模式識(shí)別；算法；應(yīng)用

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）13-0169-02

Abstract： in recent years， the depth of learning has been widely concerned， has already become the important research field and direction of the computer science and machine learning， depth of learning has been introduced into the machine learning， and artificial intelligence that initial goal closer. Deep learning， including learning sample data， is a kind of expression levels and inherent laws. Depth of learning for interpretation of sound data， image data， text data and other help. The machine can be like human beings， with a strong analysis of learning ability， this is the goal of deep learning. Through the depth of learning， the machine can effectively identify data such as sound， image and text.. In this paper， the author discusses the depth based learning algorithm and application based on convolutional neural network

Keywords： depth learning； convolution neural network； pattern recognition； algorithm； application

深度學(xué)習(xí)是一項(xiàng)比較復(fù)雜的機(jī)器學(xué)習(xí)算法，在圖像識(shí)別方面和語音識(shí)別方面，深度學(xué)習(xí)均取得了一定的效果，深度學(xué)習(xí)被人們看作是一種先進(jìn)、新穎的技術(shù)。深度學(xué)習(xí)在個(gè)性化技術(shù)、語音、自然語言處理、機(jī)器翻譯、多媒體學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、搜索技術(shù)等諸多方面都取得了很好的成果。通過深度學(xué)習(xí)，機(jī)器可以對(duì)人類活動(dòng)進(jìn)行模仿，例如思考活動(dòng)和視聽活動(dòng)等，從本質(zhì)上解決了復(fù)雜模式識(shí)別等難題，使人工智能技術(shù)等相關(guān)技術(shù)都在一定程度上獲得了進(jìn)步，把各種實(shí)際應(yīng)用研究與深度學(xué)習(xí)有機(jī)結(jié)合起來是一項(xiàng)不可或缺的工作。下面，筆者在卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)之上，對(duì)深度學(xué)習(xí)算法與應(yīng)用進(jìn)行探討。

1 關(guān)于卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)事實(shí)上是多層感知器的一種變種，著名生物學(xué)家通過對(duì)貓的視覺皮層進(jìn)行觀察而發(fā)展得來，在視覺皮層細(xì)胞里有比較復(fù)雜的結(jié)構(gòu)，這些細(xì)胞對(duì)于視覺的輸入空間的子區(qū)域比較敏感，我們將其稱作感受野，用這樣的方式來對(duì)整個(gè)視野區(qū)域平鋪覆蓋。將這些細(xì)胞進(jìn)行有效區(qū)分，將其分成復(fù)雜細(xì)胞和簡(jiǎn)單細(xì)胞這兩種類型。復(fù)雜細(xì)胞的接受域更大，如果確切位置對(duì)復(fù)雜細(xì)胞進(jìn)行刺激，則復(fù)雜細(xì)胞具有局部的不變性，而簡(jiǎn)單細(xì)胞對(duì)于來自感受野范圍里邊緣刺激的模式產(chǎn)生最大程度響應(yīng)。

1.1 卷積神經(jīng)網(wǎng)絡(luò)的稀疏連接

BP神經(jīng)網(wǎng)絡(luò)里每一個(gè)神經(jīng)元節(jié)點(diǎn)都是一個(gè)線性的一維排列結(jié)構(gòu)，層和層的各個(gè)神經(jīng)元節(jié)點(diǎn)之間都是全部連接。在卷積神經(jīng)網(wǎng)絡(luò)里，層和層之間神經(jīng)元節(jié)點(diǎn)并非全連接形式，對(duì)層間的局部空間相關(guān)性進(jìn)行充分利用，進(jìn)而將相鄰每一層神經(jīng)元節(jié)點(diǎn)與上層神經(jīng)元節(jié)點(diǎn)相連接，這便是局部連接。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從此得來。將輸入層設(shè)置為m-1層，在BP神經(jīng)網(wǎng)絡(luò)里，m-1層所有神經(jīng)元節(jié)點(diǎn)與m層神經(jīng)元節(jié)點(diǎn)相連接。在卷積神經(jīng)網(wǎng)絡(luò)里，m層神經(jīng)元節(jié)點(diǎn)和其相接近三個(gè)節(jié)點(diǎn)有效連接，這樣便從本質(zhì)上將神經(jīng)網(wǎng)絡(luò)架構(gòu)參數(shù)規(guī)模降低。

1.2 卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重共享

在卷積神經(jīng)網(wǎng)絡(luò)里，卷積層每一種卷積濾波器在整個(gè)感受野中進(jìn)行重復(fù)作用，對(duì)于輸入圖像實(shí)時(shí)卷積，卷積結(jié)果會(huì)構(gòu)成輸入圖像特征圖，將圖像局部特征進(jìn)行提取。每一個(gè)卷積濾波器實(shí)現(xiàn)相同參數(shù)共享，包括相同偏置頂以及權(quán)重矩陣。m層的特征圖像主要包括三個(gè)神經(jīng)元，將不同連接線之間權(quán)重參數(shù)實(shí)施共享，仍然可以運(yùn)用梯度下降法來實(shí)施權(quán)重參數(shù)的共享，只要原有梯度下降法開展小小改進(jìn)，共享連接參數(shù)的梯度之和就是共享權(quán)重梯度。共享權(quán)重的優(yōu)勢(shì)就是在提取圖像特征的過程中，不用對(duì)局部特征位置進(jìn)行充分考慮，并且權(quán)重共享可以從本質(zhì)上降低卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)數(shù)量。

1.3 卷積神經(jīng)網(wǎng)絡(luò)的整體架構(gòu)

作為一種多層監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，在卷積神經(jīng)網(wǎng)絡(luò)中，池采樣層和卷積層是重要的模塊，該模塊有利于將卷積神經(jīng)網(wǎng)絡(luò)特征的提取功能實(shí)現(xiàn)，通過運(yùn)用梯度下降法，能夠?qū)p失函數(shù)最小化，進(jìn)而實(shí)施網(wǎng)絡(luò)權(quán)重參數(shù)逐層反向調(diào)節(jié)，通過不斷地迭代訓(xùn)練，將網(wǎng)絡(luò)精度實(shí)現(xiàn)。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法的應(yīng)用

深度學(xué)習(xí)從本質(zhì)上促進(jìn)了機(jī)器學(xué)習(xí)的不斷發(fā)展，并且受到了世界各國研究人員的青睞，各個(gè)國家的高科技公司也越來越重視深度學(xué)習(xí)。在深度學(xué)習(xí)算法應(yīng)用的過程中，自然語言處理、圖像以及語音這三個(gè)領(lǐng)域是重要的研究領(lǐng)域。下面，就對(duì)這三個(gè)領(lǐng)域中，深度學(xué)習(xí)算法的應(yīng)用進(jìn)行闡述。

2.1 自然語言處理領(lǐng)域的應(yīng)用

在深度學(xué)習(xí)應(yīng)用過程中，自然語言處理領(lǐng)域是十分重要的領(lǐng)域。經(jīng)過了數(shù)十年的時(shí)間，統(tǒng)計(jì)模型仍然是處理自然語言的主流方法，在統(tǒng)計(jì)方法模型中，人工神經(jīng)網(wǎng)絡(luò)是重要的模型，但是，人工神經(jīng)網(wǎng)絡(luò)在自然語言處理領(lǐng)域中并沒有引起充分的重視。最早運(yùn)用神經(jīng)網(wǎng)絡(luò)而實(shí)施自然語言處理的標(biāo)志就是語言建模，美國NEC研究院，是最早在自然語言處理中應(yīng)用深度學(xué)習(xí)的機(jī)構(gòu)，NEC研究院的研究人員從2008年開始，便通過多層一維卷積結(jié)構(gòu)以及將詞匯映射到一維矢量空間的方法，來對(duì)自然語言問題進(jìn)行處理，例如詞性標(biāo)注、語義角色標(biāo)注、命名實(shí)體識(shí)別、分詞等問題。NEC研究人員通過進(jìn)行同一個(gè)網(wǎng)絡(luò)模型進(jìn)行構(gòu)建，進(jìn)而將其用于解決四個(gè)不同問題之中，并且均取得了十分準(zhǔn)確和精確的結(jié)果。

2.2 圖像識(shí)別領(lǐng)域的應(yīng)用

在深度學(xué)習(xí)算法的應(yīng)用過程中，最早嘗試的領(lǐng)域就是圖像處理領(lǐng)域。1989年，加拿大的知名大學(xué)教授便和其同事共同研究，進(jìn)而提出卷積神經(jīng)網(wǎng)絡(luò)這一概念。人們還將卷積神經(jīng)網(wǎng)絡(luò)稱之為CNN，卷積神經(jīng)網(wǎng)絡(luò)是一種深度神經(jīng)網(wǎng)絡(luò)模型，該模型包括卷積層。通常情況下，一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)要包括兩個(gè)非線性的卷積層，這兩個(gè)非線性的卷積層主要通過訓(xùn)練而產(chǎn)生，兩個(gè)子采樣層是固定的，并且和一個(gè)全連接層相同，通常情況下，還包括五個(gè)以上的隱藏層數(shù)量。通過生物學(xué)家對(duì)于動(dòng)物視覺模型的研究而設(shè)計(jì)了卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，特別是對(duì)動(dòng)物視覺皮層里復(fù)雜細(xì)胞以及簡(jiǎn)單細(xì)胞進(jìn)行模擬，在小規(guī)模應(yīng)用的過程中，卷積神經(jīng)網(wǎng)絡(luò)取得了良好的效果。但是，該成果在很長(zhǎng)一段時(shí)間都處于停滯狀態(tài)，沒有重大的突破。原因就在于，一直無法取得在大尺寸圖像上應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)的理想結(jié)果。例如對(duì)于自然圖像內(nèi)容的理解，由于自然圖像的像素很大，卷積神經(jīng)網(wǎng)絡(luò)無法對(duì)其進(jìn)行很好地理解，這便導(dǎo)致其無法引起相關(guān)研究領(lǐng)域和研究人員的高度重視。一直到2012年，研究人員通過卷積神經(jīng)網(wǎng)絡(luò)模型在ImageNet問題中取得了良好的成果，這個(gè)時(shí)候，其對(duì)于圖像識(shí)別的程度更深，其研究工作也前進(jìn)了一大步。

自從卷積神經(jīng)網(wǎng)絡(luò)問世以來，并沒有在圖像識(shí)別領(lǐng)域中取得進(jìn)步，直至2012年，深度神經(jīng)網(wǎng)絡(luò)的構(gòu)建才取得了一定的成果。這一成果的取得，得益于改進(jìn)其算法，在網(wǎng)絡(luò)訓(xùn)練過程中，運(yùn)用權(quán)重衰減的相關(guān)概念，從本質(zhì)上將權(quán)重幅度減小。再加上計(jì)算機(jī)計(jì)算能力不斷提升，計(jì)算機(jī)的GPU得到了快速發(fā)展，這便使其在訓(xùn)練的時(shí)候，可以收集比以前更多的訓(xùn)練數(shù)據(jù)，使網(wǎng)絡(luò)能夠?qū)τ?xùn)練樣本進(jìn)行更好地?cái)M合。2012年，百度公司把與其相關(guān)的最新的技術(shù)成果，運(yùn)用到自然圖像識(shí)別領(lǐng)域和人臉識(shí)別領(lǐng)域中，取得了成功，并且推出了與之相應(yīng)的產(chǎn)品?，F(xiàn)如今，深度學(xué)習(xí)的網(wǎng)絡(luò)模型已經(jīng)能夠?qū)σ话阕匀粓D像進(jìn)行識(shí)別和理解，深度學(xué)習(xí)模型的構(gòu)建，不僅從本質(zhì)上將圖像識(shí)別精度提升，更有效避免了人工特征提取，由于人工特征提取工作需要消耗太多的時(shí)間，因此，深度學(xué)習(xí)模型的構(gòu)建從本質(zhì)上提升了在線運(yùn)算的效率。此外，深度學(xué)習(xí)還有可能會(huì)成為主流的圖像識(shí)別技術(shù)，進(jìn)而取代機(jī)器學(xué)習(xí)和人工相結(jié)合的形式。

2.3 語音識(shí)別領(lǐng)域的應(yīng)用

在很長(zhǎng)一段時(shí)間內(nèi)，大多數(shù)語音識(shí)別系統(tǒng)都運(yùn)用混合高斯模型，進(jìn)而對(duì)每一個(gè)建模單元統(tǒng)計(jì)概率的模型進(jìn)行有效描述，因?yàn)檫@樣的模型估計(jì)十分簡(jiǎn)單，所以，為運(yùn)用大模型數(shù)據(jù)實(shí)施訓(xùn)練提供了便利?；旌细咚鼓Ｐ蛽碛杏?xùn)練算法，該算法具有較好的區(qū)分度，這便從本質(zhì)上為混合高斯模型可以被有效的訓(xùn)練提供保障，因此，混合高斯模型在一定時(shí)期內(nèi)，在語音識(shí)別應(yīng)用領(lǐng)域中，具有很強(qiáng)的主導(dǎo)地位。但是，縱觀混合高斯模型的實(shí)質(zhì)，我們會(huì)發(fā)現(xiàn)，該模型其實(shí)是一種淺層學(xué)習(xí)網(wǎng)絡(luò)的建模，不能夠?qū)⑵涮卣鳡顟B(tài)空間分布充分地描述出來。同時(shí)，運(yùn)用混合高斯模型建模需要幾十維的特征維數(shù)，這便導(dǎo)致無法描述特征之間相關(guān)性。最后，雖然可以通過分度訓(xùn)練模擬得到一些模式分類之間區(qū)分性，但是，該模型的建模本質(zhì)就是似然概率的建模方式，所以，其效果十分有限。

在國際方面，谷歌運(yùn)用深層神經(jīng)網(wǎng)絡(luò)來針對(duì)聲音開展建模，谷歌是最早突破深度神經(jīng)網(wǎng)絡(luò)工業(yè)化應(yīng)用領(lǐng)域的一個(gè)企業(yè)，但是，谷歌所生產(chǎn)的產(chǎn)品里，只有四層至五層使用了深度神經(jīng)網(wǎng)絡(luò)架構(gòu)。和百度公司相比較，百度公司深度神經(jīng)網(wǎng)絡(luò)架構(gòu)達(dá)到了九層，正因?yàn)檫@樣的結(jié)構(gòu)差別，使在線學(xué)習(xí)過程中，運(yùn)用深度神經(jīng)網(wǎng)絡(luò)計(jì)算難題，能夠很好地解決難題。這也使百度公司線上產(chǎn)品運(yùn)用神經(jīng)網(wǎng)絡(luò)模型更加復(fù)雜，通過這樣的結(jié)構(gòu)差異核心，使百度公司對(duì)在線計(jì)算技術(shù)難題進(jìn)行更好的解決。所以，百度公司的線上產(chǎn)品能夠運(yùn)用的網(wǎng)絡(luò)模型更加復(fù)雜。這可以從本質(zhì)上幫助深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，對(duì)大規(guī)模語料數(shù)據(jù)進(jìn)行拓展。

3 結(jié)束語

在機(jī)器學(xué)習(xí)領(lǐng)域中，深度學(xué)習(xí)是重要的分支領(lǐng)域。通常情況下，機(jī)器學(xué)習(xí)已經(jīng)成為了代替人工智能的概念。通過機(jī)器學(xué)習(xí)算法，能夠使計(jì)算機(jī)從大量的數(shù)據(jù)中，對(duì)潛在特征和規(guī)律進(jìn)行學(xué)習(xí)，以便對(duì)新樣本實(shí)施智能識(shí)別，還可以對(duì)未來的某件事情可能性進(jìn)行預(yù)期。使機(jī)器像人類一樣思考，這已經(jīng)成為很多科學(xué)家的夢(mèng)想，而深度學(xué)習(xí)的產(chǎn)生和發(fā)展，為實(shí)現(xiàn)這一夢(mèng)想奠定了基礎(chǔ)。雖然現(xiàn)階段仍然是對(duì)深度學(xué)習(xí)開展研究的最初階段，但是，深度學(xué)習(xí)在數(shù)據(jù)挖掘、語音識(shí)別、圖像等諸多領(lǐng)域都取得了成功和進(jìn)步，促進(jìn)相關(guān)領(lǐng)域的進(jìn)步和發(fā)展。

參考文獻(xiàn)：

[1] 蔡娟， 蔡堅(jiān)勇， 廖曉東. 基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別初探[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2015（4）： 113-117.

[2] 譚文學(xué)， 趙春江， 吳華瑞. 基于彈性動(dòng)量深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的果體病理圖像識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2015（1）： 20-25.

[3] 余永維， 殷國富， 殷鷹. 基于深度學(xué)習(xí)網(wǎng)絡(luò)的射線圖像缺陷識(shí)別方法[J]. 儀器儀表學(xué)報(bào)， 2014（9）： 2012-2019.

[4] 余濱， 李紹滋， 徐素霞等. 深度學(xué)習(xí)：開啟大數(shù)據(jù)時(shí)代的鑰匙[J]. 工程研究-跨學(xué)科視野中的工程， 2014（3）： 233-243.

[5] 葛明濤， 王小麗， 潘立武. 基于多重卷積神經(jīng)網(wǎng)絡(luò)的大模式聯(lián)機(jī)手寫文字識(shí)別[J]. 現(xiàn)代電子技術(shù)， 2014（20）： 19-21+26.