施 恩,李 騫,顧大權(quán),趙章明

(解放軍理工大學(xué) 氣象海洋學(xué)院,南京 211101)

0 概述

大數(shù)據(jù)的發(fā)展促使深度學(xué)習(xí)在語(yǔ)音識(shí)別、圖像分類(lèi)、文本理解等眾多領(lǐng)域得到了廣泛應(yīng)用,深度學(xué)習(xí)的計(jì)算模式是先從訓(xùn)練數(shù)據(jù)出發(fā),經(jīng)過(guò)一個(gè)端到端的模型,然后直接輸出得到最終結(jié)果[1]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是深度學(xué)習(xí)的重要分支,由于CNN具有特殊的網(wǎng)絡(luò)結(jié)構(gòu),因此其在圖像處理領(lǐng)域具有深遠(yuǎn)的研究前景,近年來(lái)得到高度重視并引起廣泛研究[2]。

卷積神經(jīng)網(wǎng)絡(luò)起源于Hbbel和Wiesel對(duì)貓的視覺(jué)皮層神經(jīng)元細(xì)胞研究[3],并在多層感知器的基礎(chǔ)上發(fā)展成為一種深層神經(jīng)網(wǎng)絡(luò)。紐約大學(xué)的LeCun Yann提出了經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型LeNet[4-5],該網(wǎng)絡(luò)模型采用后向傳播算法(Back Propagation,BP)更新網(wǎng)絡(luò)權(quán)值參數(shù),對(duì)此后的研究工作有著深遠(yuǎn)的影響。此后,AlexNet網(wǎng)絡(luò)模型[6]被認(rèn)為是對(duì)卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)工作中的重大突破。此后還出現(xiàn)了GoogleNet、ResNet等新的網(wǎng)絡(luò)模型,它們的主要改進(jìn)思路是增加網(wǎng)絡(luò)深度。

由于卷積神經(jīng)網(wǎng)絡(luò)受生物視覺(jué)認(rèn)知方式啟發(fā)而來(lái),具有特殊的網(wǎng)絡(luò)結(jié)構(gòu),與BP神經(jīng)網(wǎng)絡(luò)等其他神經(jīng)網(wǎng)絡(luò)相比,卷積神經(jīng)網(wǎng)絡(luò)在處理圖像時(shí)具有直接性和高效性:直接性體現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)可以直接將原始圖像作為輸入,避免了對(duì)圖像的復(fù)雜前期預(yù)處理,提高了算法效率;高效性體現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)少、收斂速度快,很大程度上加快了網(wǎng)絡(luò)的訓(xùn)練過(guò)程。同時(shí),卷積神經(jīng)網(wǎng)絡(luò)因其學(xué)習(xí)和記憶特性,在識(shí)別圖像時(shí)無(wú)需給出經(jīng)驗(yàn)知識(shí)和判別函數(shù),只需通過(guò)樣本訓(xùn)練網(wǎng)絡(luò),并根據(jù)網(wǎng)絡(luò)輸出與樣本目標(biāo)輸出的差值調(diào)整權(quán)值參數(shù),利用訓(xùn)練好的網(wǎng)絡(luò)能夠?qū)斎雸D像進(jìn)行分類(lèi),達(dá)到識(shí)別目的。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在處理特征模糊、歧義性大的輸入圖像時(shí)容易受到圖像中不相關(guān)信息誤導(dǎo),難以保證較高的識(shí)別率。若能將圖像中不相關(guān)的信息屏蔽,提高特征明顯的局部圖像對(duì)整幅圖像輸出結(jié)果的影響權(quán)重,即能有效提高對(duì)于特征模糊圖像的識(shí)別率?；谏鲜鏊枷?本文構(gòu)建基于局部特征的卷積神經(jīng)網(wǎng)絡(luò)模型(Convolutional Neural Network Model Based on Local Feature,CNN-LF)。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的重要分支,被廣泛應(yīng)用于圖像處理、模式識(shí)別等領(lǐng)域。該網(wǎng)絡(luò)最大的特點(diǎn)在于采用局部連接、權(quán)值共享、下采樣的方法來(lái)模擬生物視覺(jué)神經(jīng)元細(xì)胞的工作機(jī)制,對(duì)輸入圖像的形變、平移和翻轉(zhuǎn)具有較強(qiáng)的適應(yīng)性。其中局部連接使網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元只與上一層網(wǎng)絡(luò)中鄰近的部分神經(jīng)元相連,簡(jiǎn)化了網(wǎng)絡(luò)模型;權(quán)值共享使得卷積濾波器共享相同的權(quán)重矩陣和偏置項(xiàng),很大程度上減少了需要訓(xùn)練的權(quán)值參數(shù)數(shù)量;下采樣能夠減小特征圖的分辨率,從而降低計(jì)算復(fù)雜度,并使網(wǎng)絡(luò)對(duì)圖像的平移、形變不敏感[7-10]。

與其他神經(jīng)網(wǎng)絡(luò)相比,卷積神經(jīng)網(wǎng)絡(luò)的獨(dú)特性在于采用卷積層和下采樣層交替的方式提取圖像特征,從而減少訓(xùn)練參數(shù)的數(shù)量,在保持網(wǎng)絡(luò)學(xué)習(xí)能力的同時(shí),降低網(wǎng)絡(luò)訓(xùn)練難度[11]。

1.1 卷積層

在卷積層中,輸入特征圖與卷積濾波器相卷積,卷積結(jié)果加上一個(gè)偏置項(xiàng)作為激活函數(shù)的輸入,經(jīng)過(guò)激活函數(shù)處理后得到該層的輸出特征圖。為一個(gè)k階矩陣,包含k×k個(gè)可訓(xùn)練參數(shù)。對(duì)于一個(gè)大小為m×n的輸入特征圖,與k×k的卷積核相卷積之后,輸出特征圖大小為(m-k+1)×(n-k+1)。卷積層的表達(dá)形式為:

(1)

圖1展示了一個(gè)5×5的輸入圖像與3×3的卷積核相卷積的過(guò)程。

圖1 卷積操作示意圖

1.2 下采樣層

在下采樣層中,要對(duì)輸入特征圖進(jìn)行降分辨率。將提取到的圖像特征映射到更小的平面范圍中,以簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu),降低計(jì)算規(guī)模。下采樣是以一定步長(zhǎng)對(duì)輸入特征圖進(jìn)行采樣,而非連續(xù)采樣,一般情況下采樣步長(zhǎng)與采樣核寬度相一致。若采樣核大小為s×s,則需要將輸入特征圖劃分為若干個(gè)s×s的子區(qū)域進(jìn)行映射,每個(gè)區(qū)域經(jīng)過(guò)采樣函數(shù)后輸出一個(gè)特征值,這就使輸出特征圖的尺寸降為輸入特征圖的1/s。下采樣層的表達(dá)形式為:

(2)

圖2 下采樣示意圖

2 CNN-LF模型

2.1 改進(jìn)思想

卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別圖像過(guò)程中有時(shí)會(huì)因?yàn)檩斎雸D像中存在干擾信息而影響識(shí)別結(jié)果,圖3為包含干擾信息的2張手寫(xiě)數(shù)字圖像。在圖3(a)中,右側(cè)圖像是左側(cè)圖像取左下部分的局部圖像,在圖3(b)中,右側(cè)圖像是左側(cè)圖像取右下部分的局部圖像。當(dāng)圖像中存在干擾信息時(shí),容易影響卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果,如圖3中的數(shù)字“8”和“0”容易被識(shí)別為數(shù)字“6”。若對(duì)歧義性大的圖像中特征較為明顯的局部進(jìn)行識(shí)別,則能有效解決這一問(wèn)題,如圖3中右側(cè)的2張局部圖像,其圖像特征明顯,不存在干擾信息,便于卷積神經(jīng)提取圖像特征。

圖3 包含干擾信息的數(shù)字圖像

基于上述思想,本文設(shè)計(jì)一種基于局部特征的卷積神經(jīng)網(wǎng)絡(luò)模型(CNN-LF),通過(guò)對(duì)特征明顯的局部圖像進(jìn)行識(shí)別,屏蔽輸入圖像中的干擾信息。

2.2 CNN-LF模型結(jié)構(gòu)

CNN-LF基于經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型LeNet-5。LeNet網(wǎng)絡(luò)模型首次引入部分連接、權(quán)值共享以及下采樣方法,被認(rèn)為是真正意義上的卷積神經(jīng)網(wǎng)絡(luò),在此基礎(chǔ)上發(fā)展的LeNet-5最早被應(yīng)用銀行支票上的手寫(xiě)數(shù)字識(shí)別,識(shí)別率達(dá)到了99.2%[12-13]。與LeNet-5相比,CNN-LF在激活函數(shù)的選取和全連接分類(lèi)層的構(gòu)造上進(jìn)行改進(jìn),并增加局部特征提取 (Local Feature Extration,LFE) 層和概率權(quán)重綜合 (Probability Importance Synthesis,PIS) 層,CNN-LF的總體結(jié)構(gòu)如圖4所示。

圖4 CNN-LF模型總體結(jié)構(gòu)

CNN-LF由3個(gè)部分組成:改進(jìn)的LeNet-5作為子網(wǎng)絡(luò),LFE層,PIS層,下面分別進(jìn)行詳細(xì)說(shuō)明。

2.3 改進(jìn)的LeNet-5模型

CNN-LF的子網(wǎng)絡(luò)由經(jīng)改進(jìn)后的LeNet-5構(gòu)成,該網(wǎng)絡(luò)包含7層結(jié)構(gòu),除輸入層和輸出層以外,還包含2層卷積層(C1,C2)、2層下采樣層(S1,S2)和1層全連接層(F1),其網(wǎng)絡(luò)結(jié)構(gòu)示意如圖5所示。

圖5 改進(jìn)的LeNet-5模型結(jié)構(gòu)

卷積層C1中包含6個(gè)大小為5×5的卷積核,得到6幅大小為24×24的輸出特征圖;卷積層C2中包含12個(gè)大小為5×5的卷積核,得到12幅大小為8×8的輸出特征圖;下采樣層S1與S2都是對(duì)輸入特征圖進(jìn)行平均值采樣(Mean-Pooling),經(jīng)采樣后輸出特征圖的分辨率降為輸入特征圖的1/4。

LeNet-5是卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典模型,該網(wǎng)絡(luò)模型在文獻(xiàn)[2-3]中有詳細(xì)的說(shuō)明,本文對(duì)LeNet-5的改進(jìn)主要包括以下3點(diǎn):

1)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)層間連接方式。改進(jìn)后的網(wǎng)絡(luò)中C2層的卷積核數(shù)量為12,得到12幅輸出特征圖且每一幅輸出特征圖都與S1層的6幅輸出特征圖存在連接,而原LeNet-5中該層次卷積核數(shù)量為16,每一幅輸出特征圖只與上一采樣層的部分輸出特征圖存在連接。

2)對(duì)網(wǎng)絡(luò)高層結(jié)構(gòu)進(jìn)行簡(jiǎn)化。LeNet-5的高層包括2層全連接層,并用徑向基(RBF)函數(shù)處理得到網(wǎng)絡(luò)輸出。由于全連接層中包含大量權(quán)值參數(shù),因此減少全連接層的數(shù)量有利于降低計(jì)算復(fù)雜度。改進(jìn)后的LeNet-5僅包含一層全連接層F1,F1為S2的12個(gè)特征圖展開(kāi)形成的列向量。輸出層采用Softmax函數(shù),Softmax函數(shù)常用于多分類(lèi)問(wèn)題中,由于其的歸一化特性,改進(jìn)后的LeNet-5的輸出可以視為概率向量,該向量中的每一個(gè)元素代表對(duì)應(yīng)分類(lèi)的概率。

3)對(duì)激活函數(shù)的選擇進(jìn)行優(yōu)化。LeNet-5中激活函數(shù)采用tanh雙曲正切函數(shù),該函數(shù)作為激活函數(shù)存在梯度飽和問(wèn)題,即當(dāng)輸入很大或很小時(shí),求得的梯度值接近于0,使得網(wǎng)絡(luò)收斂緩慢[8-9]。本文借鑒AlexNet的做法,以ReLU函數(shù)作為激活函數(shù),該函數(shù)具有單側(cè)抑制、相對(duì)寬闊的激活范圍以及稀疏激活性的特點(diǎn),與tanh相比效果更優(yōu)。

2.4 LFE層

LFE層主要用于提取輸入圖像的局部特征,作用于子網(wǎng)絡(luò)之前,不包含需要訓(xùn)練的權(quán)值參數(shù)。由于輸入圖像的中間部分包含圖像的主要特征,在提取局部特征時(shí),若簡(jiǎn)單地對(duì)對(duì)輸入圖像進(jìn)行等分,容易破壞圖像特征,因此需要根據(jù)圖像大小采取相應(yīng)的劃分策略,以盡量保留圖像中間部分的特征。此外,還需要用空白信息,將提取到的局部特征圖拓展到與原輸入圖神經(jīng)網(wǎng)絡(luò)對(duì)于輸入圖像具有平移不變性,因像相同的分辨率,以保證網(wǎng)絡(luò)結(jié)構(gòu)的一致性,由于卷積此對(duì)局部圖像進(jìn)行填充并不會(huì)影響網(wǎng)絡(luò)識(shí)別圖像特征。LFE層對(duì)輸入圖像的處理過(guò)程如圖6所示。由于實(shí)驗(yàn)中的輸入圖像分辨率為28×28,因此設(shè)置提取局部特征的窗口大小為18×18,能夠包含輸入圖像中間部分的主要特征。經(jīng)過(guò)LFE層之后,得到4幅與輸入圖像同分辨率的局部圖像。

圖6 LFE層數(shù)據(jù)處理過(guò)程

2.5 PIS層

PIS層對(duì)子網(wǎng)絡(luò)輸出的概率向量進(jìn)行綜合計(jì)算,首先用softplus函數(shù)處理輸入的概率向量,再對(duì)概率向量進(jìn)行求和,得到最終的輸出向量,輸出向量中的最大元素對(duì)應(yīng)的序號(hào)即為CNN-LF的分類(lèi)結(jié)果。softplus函數(shù)的數(shù)學(xué)表達(dá)形式如下:

f(x)=ln(1+ex)

(3)

softplus函數(shù)曲線如圖7所示,其中虛線為對(duì)照直線。

圖7 softplus函數(shù)曲線

由圖7可知,當(dāng)自變量取值為0～1時(shí),softplus函數(shù)的斜率隨自變量的增大而增大,因此，softplus函數(shù)能夠進(jìn)一步增大強(qiáng)信號(hào)與弱信號(hào)之間的差異。輸入的概率向量經(jīng)softplus函數(shù)處理后,向量中較大的元素能夠獲得更大的權(quán)重。圖8為PIS層對(duì)輸入的概率向量綜合處理得到輸出的過(guò)程。PIS層輸入的概率向量和CNN-LF最終的輸出都為列向量(10×1),圖8中僅將分類(lèi)值為“6”和“8”(向量中第6個(gè)和第8個(gè)元素)的元素值列出,網(wǎng)絡(luò)最終的識(shí)別結(jié)果為輸出向量中最大元素對(duì)應(yīng)分類(lèi)值。

圖8 PIS層數(shù)據(jù)處理過(guò)程

3 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證CNN-LF的性能,本文在MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集上進(jìn)行實(shí)驗(yàn),分別用CNN-LF和LeNet-5實(shí)現(xiàn)了手寫(xiě)數(shù)字識(shí)別,針對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析。

3.1 實(shí)驗(yàn)數(shù)據(jù)

MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集由Google實(shí)驗(yàn)室的Corinna Cortes和紐約大學(xué)的Yann LeCun建立,共包含70 000幅樣本圖像,其中60 000幅為訓(xùn)練集,10 000幅為測(cè)試集。MNIST數(shù)據(jù)集中的每一個(gè)手寫(xiě)數(shù)字樣本都是一幅分辨率為28×28的灰度圖像,由于采集樣本的對(duì)象不同,對(duì)于同一數(shù)字,不同樣本之間存在很大差異性。圖9是從MNIST數(shù)據(jù)集中分別提取數(shù)字“0”和數(shù)字“1”的16個(gè)樣本。

圖9 MNIST數(shù)據(jù)集中的數(shù)字“0”和“1”

3.2 實(shí)驗(yàn)結(jié)果

設(shè)計(jì)實(shí)驗(yàn)將CNN-LF與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)LeNet-5進(jìn)行對(duì)比。對(duì)比實(shí)驗(yàn)中,除了兩者的網(wǎng)絡(luò)結(jié)構(gòu)不同以外,保持其他的網(wǎng)絡(luò)參數(shù)相一致,依據(jù)Xavier初始化方法對(duì)兩者的卷積核進(jìn)行初始化[14-16],訓(xùn)練過(guò)程采取隨機(jī)梯度下降方法,每次輸入20個(gè)樣本進(jìn)行訓(xùn)練(即每識(shí)別20個(gè)樣本調(diào)整一次權(quán)值),學(xué)習(xí)率為0.01,使用帶動(dòng)量項(xiàng)的BP算法更新權(quán)值,動(dòng)量系數(shù)取0.9[17]。圖10為L(zhǎng)eNet模型和CNN-LF模型的實(shí)驗(yàn)結(jié)果對(duì)比。實(shí)驗(yàn)中CNN-LF在訓(xùn)練階段每迭代一次(處理60 000個(gè)樣本)耗時(shí)約為2 min,訓(xùn)練網(wǎng)絡(luò)時(shí)網(wǎng)絡(luò)迭代次數(shù)越大,訓(xùn)練后的網(wǎng)絡(luò)識(shí)別率就越高。

圖10 訓(xùn)練迭代次數(shù)與識(shí)別率

由圖10可以看出,與LeNet-5相比,CNN-LF的識(shí)別錯(cuò)誤率更低,尤其是在迭代次數(shù)較小的情況下,CNN-LF能夠?qū)⒆R(shí)別錯(cuò)誤率降低1.0%～1.5%。當(dāng)訓(xùn)練迭代次數(shù)達(dá)到40次時(shí),CNN-LF基本達(dá)到收斂狀態(tài),此時(shí)的錯(cuò)誤率為0.45%。由于CNN-LF增加了LFE層和PIS層,網(wǎng)絡(luò)結(jié)構(gòu)更為復(fù)雜,因此在對(duì)比實(shí)驗(yàn)中CNN-LF在訓(xùn)練階段的耗時(shí)高于LeNet-5模型。

3.3 采樣分析

為進(jìn)一步驗(yàn)證CNN-LF性能,本文根據(jù)LeNet-5的測(cè)試結(jié)果對(duì)測(cè)試樣本進(jìn)行重采樣,獲取迭代次數(shù)為20 時(shí)LeNet-5識(shí)別錯(cuò)誤的數(shù)據(jù)集(Testing Error set)。Testing Error set中的圖像特征較為模糊,歧義性較大,圖11為T(mén)esting Error set中的部分樣本圖像。

圖11 Testing Error set中部分樣本

在Testing Error set上對(duì)不同迭代次數(shù)下的CNN-LF和LeNet-5進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果如表1所示。表1中Iterations表示用于測(cè)試的CNN-LF在訓(xùn)練階段的迭代次數(shù),其中結(jié)果表明,CNN-LF在識(shí)別特征不明顯的圖像時(shí)能夠保持較高的識(shí)別率,在迭代次數(shù)相同的情況下,CNN-LF與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)相比,識(shí)別錯(cuò)誤率更低。

表1 在Testing Error set上的識(shí)別錯(cuò)誤率 %

4 結(jié)束語(yǔ)

本文在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,構(gòu)建一個(gè)新的網(wǎng)絡(luò)模型CNN-LF。通過(guò)增加局部特征提取層和概率權(quán)重綜合層對(duì)圖像的局部特征進(jìn)行識(shí)別,并根據(jù)輸出的概率向量將局部圖像的識(shí)別結(jié)果以一定的權(quán)重進(jìn)行累加,得到最終的網(wǎng)絡(luò)輸出。通過(guò)在MNIST數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn),并在重采樣得到的Testing Error set上進(jìn)一步分析,證明該模型比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型識(shí)別率更高,尤其對(duì)于特征模糊的圖像具有較高的適用性。后續(xù)工作是進(jìn)一步優(yōu)化CNN-LF模型,并將其應(yīng)用于其他圖像識(shí)別領(lǐng)域。

[1] 鄭 胤,陳權(quán)崎,章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(2):175-184.

[2] 周志華,陳世福.神經(jīng)網(wǎng)絡(luò)集成[J].計(jì)算機(jī)學(xué)報(bào),2002,25(1):1-8.

[3] RUMELHART D,MCCLELLAND J.Parallel Distributed Processing:Explorations in the Microstructure of Cognition:Foundations [M].Cambridge,USA:MIT Press,1987.

[4] LeCUN Y,BOTTOU L,BENGIO Y.Gradient-based Learning Applied to Document Recognition[J].Proceedings of the IEEE,1998,86 (11):2278-2324.

[5] LECUN Y,HUANG F J.Large-scale Learning with SVM and Convolutional for Generic Object Categorization[C]//Proceedings of IEEE Computer Society Conference on Computer Vision & Pattern Recognition.Washington D.C.,USA:IEEE Press,2006:284-291.

[6] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Imagenet Classification with Deep Convolutional Neural Networks[M]//PEREIRA F,BURGES C J C,BOTTOU L,et al.Advances in Neural Information Processing Systems 25.[S.l.]:Neural Information Processing Systems Foundation,Inc.,2012:1097-1105.

[7] 常 亮,鄧小明,周明全,等.圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J].自動(dòng)化學(xué)報(bào),2016,42(9):1300-1312.

[8] KALCHBRENNER N,GREFENSTETTE E,BLUNSOM P.A Convolutional Neural Network for Modelling Sentences[C]//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics.[S.l.]:Association for Computational Linguistics,2014:655-665.

[9] JI Shuiwang,XU Wei,YANG Ming,et al.3D Convolutional Neural Networks for Human Action Recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1):221-231.

[10] YANG Weixin,JIN Lianwen,TAO Dacheng.DropSample :A New Training Method to Enhance Deep Convolutional Neural Networks for Large-scale Unconstrained Handwritten Chinese Character Recognition[J].Pattern Recognition,2010,20(1):17-21.

[11] 張佳康,陳慶奎.基于CUDA技術(shù)的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別算法[J].計(jì)算機(jī)工程,2010,36(15):179-181.

[12] LeCUN Y,BENGIO Y,HINTON G.Deep Learning[J].Nature,2015,521(7553):436-444.

[13] GARCIA C,DELAKIS M.Convolutional Face Finder:A Neural Architecture for Fast and Robust Face Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(11):1408-1423.

[14] GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2014:580-587.

[15] KARPATHY A,TODERICI G,SHETTY S,et al.Large-scale Video Classification with Convolutional Neural Net-works[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2014:1725-1732.

[16] DONAHUE J,JIA Yangqing,VINYALS O,et al.DeCAF:A Deep Convolutional Activation Feature for Generic Visual Recognition[J].Computer Science,2013,50(1):815-830.

[17] ZAMORA-MARTNEZ F,FRINKEN V,ESPAABOQUER A S,et al.Neural Network Language Models for Off-line Handwriting Recognition[J].Pattern Recognition,2014,47(4):1642-1652.