張占軍　彭艷兵　程　光

1(武漢郵電科學(xué)研究院　湖北 武漢 430074) 2(烽火通信科技股份有限公司南京研發(fā)　江蘇 南京 210019)

0　引　言

圖像分類是圖像處理的熱門研究課題之一，其核心在于特征提取及分類器設(shè)計(jì)。自 2006 年 Hinton 在深度神經(jīng)網(wǎng)絡(luò)取得重大進(jìn)展之后，深度神經(jīng)網(wǎng)絡(luò)被認(rèn)為是從原始數(shù)據(jù)自動(dòng)提取特征最有希望的方式[1]。卷積神經(jīng)網(wǎng)絡(luò)作為深度神經(jīng)網(wǎng)絡(luò)中的一種，已經(jīng)成功地應(yīng)用在人臉檢測(cè)、手寫體識(shí)別[6]、語(yǔ)音檢測(cè)、文本分析[8]、視頻分析、車牌識(shí)別等領(lǐng)域。

隨著卷積神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，過擬合對(duì)網(wǎng)絡(luò)性能的限制作用逐漸凸顯出來(lái)。針對(duì)此問題研究人員提出多種防止過擬合的方法：增加數(shù)據(jù)量是預(yù)防過擬合最簡(jiǎn)單的方法。Dropout方法作為有效提高神經(jīng)網(wǎng)絡(luò)泛化能力的學(xué)習(xí)方法之一[11]將隱層神經(jīng)元的輸出值以0.5的概率變?yōu)?，從而使這些節(jié)點(diǎn)失效，避免網(wǎng)絡(luò)對(duì)某一局部特征的過擬合。L1正則的效果是讓?duì)赝?靠，使網(wǎng)絡(luò)中的權(quán)重盡可能為0。L2正則[15]的效果是減小ω的取值。二者都是為了減小網(wǎng)絡(luò)的復(fù)雜度，防止過擬合。還有學(xué)者提出提前終止法，就是在訓(xùn)練的過程中觀察網(wǎng)絡(luò)在驗(yàn)證集上的效果，并在效果變差時(shí)提前終止訓(xùn)練。上述方法均可以起到預(yù)防過擬合的作用，但是提前終止法依賴人工觀察，靈活性差。有價(jià)值的數(shù)據(jù)集非常寶貴，增加數(shù)據(jù)會(huì)受到很多方面的限制。Dropout 和 正則只是控制了參數(shù)的取值，參數(shù)的總量并沒有改變。

本文從參數(shù)總量出發(fā)，提出LeNet-5_1, LeNet-5_2兩種網(wǎng)絡(luò)模型。在LeNet-5的網(wǎng)絡(luò)基礎(chǔ)上對(duì)卷積核進(jìn)行拆分，LeNet-5_1將5×5的網(wǎng)絡(luò)拆分為兩個(gè)3×3的網(wǎng)絡(luò)，LeNet-5_2在LeNet-5_1的基礎(chǔ)上繼續(xù)拆分，將3×3的網(wǎng)絡(luò)拆分為1×3和3×1的網(wǎng)絡(luò)。拆分前后池化層和全連接層感受野沒有發(fā)生改變，但是參數(shù)總量卻大大減少,從根源上防止了過擬合現(xiàn)象。此外在數(shù)據(jù)處理上不采用增加數(shù)據(jù)量的方法，而是對(duì)輸入圖片進(jìn)行數(shù)據(jù)增強(qiáng)，不僅增加了樣本數(shù)量，而且還增加了樣本多樣性。最后，文中還引入混合正則，通過調(diào)節(jié)比例來(lái)驗(yàn)證L1、L2正則對(duì)網(wǎng)絡(luò)性能的影響程度。對(duì)比實(shí)驗(yàn)結(jié)果表明， 本文方法有效地預(yù)防了過擬合，大幅提高了分類準(zhǔn)確率。

1　模型相關(guān)技術(shù)

1.1　損失計(jì)算

本文用交叉熵?fù)p失函數(shù)來(lái)求loss的取值，具體公式為：

(1)

式中：y是預(yù)測(cè)的概率分布，y′是真實(shí)的概率分布(即Label的one-hot編碼)。然后再對(duì)每個(gè)batch的Hy′(y)求均值就得到loss的值loss_cross。本文求loss時(shí)加入了L1、L2混合正則,所以loss的最終結(jié)果:

loss_total=

(2)

loss_total的值越小表明模型的預(yù)測(cè)準(zhǔn)確率越高，但是如果訓(xùn)練集的loss_total很小，則表示預(yù)測(cè)集的準(zhǔn)確率并不高，說(shuō)明存在過擬合。梯度下降法就是通過求梯度來(lái)降低參數(shù)值，達(dá)到減少loss_total的目的。

1.2　準(zhǔn)確率

本文采用tensorflow 提供的in_top_k函數(shù)，該函數(shù)可以求輸出結(jié)果中top k的準(zhǔn)確率，默認(rèn)使用top 1，也就是輸出分類最高的那一類的準(zhǔn)確率，文中使用默認(rèn)參數(shù)沒有做修改。測(cè)試集是按batch輸入的，每處理一個(gè)batch就用此函數(shù)計(jì)算這個(gè)batch的top 1上預(yù)測(cè)正確的樣本數(shù)predictions，并將所有batch中的predictions相加得到一個(gè)總數(shù)true_total，然后用true_total除以樣本總數(shù)num_total，得到的結(jié)果就是預(yù)測(cè)準(zhǔn)確率。文中num_total設(shè)為10 000，即每隨機(jī)測(cè)10 000個(gè)樣本計(jì)算一次準(zhǔn)確率，總共測(cè)20次并生成20個(gè)結(jié)果。

1.3　TensorBord

TensorBord[18]是TensorFlow官方推出的可視化工具。在執(zhí)行TensorFlow計(jì)算圖的過程中，可以將各種類型的數(shù)據(jù)匯總并記錄到日志文件中，然后使用TensorBord讀取這些日志文件，解析數(shù)據(jù)并生成數(shù)據(jù)可視化的web界面，我們就可以從瀏覽器中分析所記錄的數(shù)據(jù)。本文的結(jié)果圖均來(lái)自TensorBord可視化。

1.4　數(shù)據(jù)集

CIFAR-10[19]數(shù)據(jù)集包含60 000個(gè)32×32的彩色圖像，共有10類,有50 000個(gè)訓(xùn)練圖像和10 000個(gè)測(cè)試圖像。數(shù)據(jù)集分為5個(gè)訓(xùn)練塊和1個(gè)測(cè)試塊，每個(gè)塊有10 000個(gè)圖像。測(cè)試塊包含從每類隨機(jī)選擇的1 000個(gè)圖像，訓(xùn)練塊以隨機(jī)的順序包含這些圖像。

2　模型優(yōu)化方法

2.1　數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是利用了圖片數(shù)據(jù)本生的性質(zhì)，圖片的冗余信息量大，因此可以制造不同的噪聲并讓圖片依然可以被識(shí)別出來(lái)。它可以給單幅圖增加多個(gè)副本，提高圖片的利用率，防止對(duì)某一張圖片結(jié)構(gòu)的學(xué)習(xí)過擬合。本文對(duì)輸入數(shù)據(jù)做了剪裁、翻轉(zhuǎn)并調(diào)整亮度和對(duì)比度，以上所有操作都是隨機(jī)的。從32×32的原始圖像中截取24×24大小的區(qū)域，相當(dāng)于增加了(32-24)2×2=128倍的數(shù)據(jù)量，再加上后續(xù)處理數(shù)據(jù)量還會(huì)翻倍，處理后的數(shù)據(jù)大大增加了模型的泛化能力，可以有效預(yù)防過擬合。如圖1所示。

圖1　輸入圖像處理過程

上述的圖片處理總共分5個(gè)步驟，分別是：

1) 從32×32 的原始圖像中隨機(jī)裁剪24×24 的圖片。

2) 對(duì)圖片做隨機(jī)左右翻轉(zhuǎn)。

3) 隨機(jī)調(diào)整圖片的亮度。

4) 隨機(jī)調(diào)整圖片的對(duì)比度。

5) 對(duì)圖片進(jìn)行標(biāo)準(zhǔn)化。

2.2　指數(shù)衰減

本文通過指數(shù)衰減的方法設(shè)置梯度下降算法中的學(xué)習(xí)率，通過指數(shù)衰減的學(xué)習(xí)率即可以讓模型在訓(xùn)練的前期快速接近較優(yōu)解，又可以保證模型在訓(xùn)練的后期不會(huì)有太大的波動(dòng)，從而更加接近最優(yōu)解。學(xué)習(xí)率的計(jì)算公式為：

decay_learning_rate=

(3)

式中：decayed_learning_rate為每一輪優(yōu)化時(shí)使用的學(xué)習(xí)率，learning_rate為事先設(shè)定的初始學(xué)習(xí)率，decay_rate為衰減系數(shù)，decay_step為衰減速度。本文將decay_step的值設(shè)為總訓(xùn)練樣本數(shù)除以每一個(gè)batch中的訓(xùn)練樣本數(shù)。這樣每完整的過完一遍訓(xùn)練數(shù)據(jù)，學(xué)習(xí)率就減小一次。這可以使得訓(xùn)練數(shù)據(jù)集中的所有數(shù)據(jù)對(duì)模型訓(xùn)練有相等的作用。

如圖2所示，是訓(xùn)練過程中學(xué)習(xí)率的變化圖，由圖2可知學(xué)習(xí)率是呈指數(shù)衰減的。由于 staircase 的值設(shè)為 True，global_step/decay_step的值轉(zhuǎn)化成了整數(shù)，整個(gè)曲線呈階梯狀。

圖2　學(xué)習(xí)率指數(shù)衰減圖

2.3　滑動(dòng)平均

本文采用滑動(dòng)平均模型對(duì)loss和各變量做相應(yīng)處理，滑動(dòng)平均模型的計(jì)算公式為：

shadow_variable=decay×shadow_variable+

(1-decay)×variable

(4)

式中：decay是衰減率，用于控制模型更新的速度，variable為需要處理的變量，shadow_variable處理之后的變量值，又叫做影子變量。由上述公式可知,decay控制著模型更新的速度，越大越趨于穩(wěn)定。實(shí)際運(yùn)用中，decay一般會(huì)設(shè)置為十分接近 1 的常數(shù)，本文計(jì)算loss時(shí)decay=0.9,計(jì)算變量時(shí)decay=0.999。為了使得模型在訓(xùn)練的初始階段更新得更快，本文提供了num_updates參數(shù)來(lái)動(dòng)態(tài)設(shè)置decay的大小：

Decay=min{decay,(1+num_updates)/

(10+num_updates)}

(5)

式中：num_updates代表迭代次數(shù)，由公式可知當(dāng)?shù)螖?shù)較小時(shí)，decay=(1+num_updates)/(10+num_updates)并隨著迭代次數(shù)而快速增大，此時(shí)模型的更新速度很快。當(dāng)?shù)螖?shù)增大到一定程度，decay的值就保持給定的值不變，模型更新速度變慢。

2.4　正則化

正則化的思想就是在損失函數(shù)中加入刻畫模型復(fù)雜程度的指標(biāo)。假設(shè)用于刻畫模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)的損失函數(shù)為J(θ),那么在優(yōu)化時(shí)不是直接優(yōu)化J(θ)，而是優(yōu)化J(θ)+αR(ω)。其中R(ω)刻畫的是模型的復(fù)雜程度，而α表示模型復(fù)雜損失在總損失中的比例，θ表示的是一個(gè)神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)，它包括邊上的權(quán)重w和偏置項(xiàng)b?？坍嬆Ｐ蛷?fù)雜程度的函數(shù)R(ω)有兩種，一種是L1正則，計(jì)算公式是：

(6)

另一種是L2正則化，計(jì)算公式是：

(7)

令P(θ)=J(θ)+γR(ω),對(duì)ω和b求導(dǎo)得：

(8)

(9)

可以發(fā)現(xiàn)正則只對(duì)ω的更新有影響，而對(duì)b的更新沒有影響。

利用梯度下降法更新之后ω的值為：

L1正則：

(10)

L2正則：

(11)

圖3　ω取不同值的準(zhǔn)確率

由圖3可知，當(dāng)ω=1時(shí)，模型的準(zhǔn)確率為58.1%，ω=0.5時(shí)，模型的準(zhǔn)確率為69.2%，ω=0時(shí)，模型的準(zhǔn)確率為85.1%?？梢姦氐闹翟叫?，模型的準(zhǔn)確率越高，實(shí)驗(yàn)證明本網(wǎng)絡(luò)中L2正則比L1正則在減輕過擬合方面有更好的效果。

3　實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1　實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境配置信息如表1所示。

表1　實(shí)驗(yàn)環(huán)境配置信息

3.2　網(wǎng)絡(luò)結(jié)構(gòu)變換

網(wǎng)絡(luò)結(jié)構(gòu)變換主要來(lái)自經(jīng)典模型VGGNet,將一個(gè)大卷積拆分為兩個(gè)或者多個(gè)小卷積，以增加網(wǎng)絡(luò)深度，提高分類準(zhǔn)確率。而將一個(gè)較大的二維卷積拆分為兩個(gè)一維卷積，主要是引入了Factorization into small convolutions的思想。本文結(jié)合前人的經(jīng)驗(yàn)， 提出通過卷積拆分來(lái)預(yù)防過擬合的思想，并設(shè)計(jì)了LeNet-5_1、LeNet-5_2兩個(gè)模型，網(wǎng)絡(luò)參數(shù)如表2所示。

表2　三種網(wǎng)絡(luò)結(jié)構(gòu)的詳細(xì)參數(shù)

LeNet-5_1將5×5的卷積拆分成兩個(gè)3×3的卷積，兩個(gè)3×3的卷積層串聯(lián)相當(dāng)于一個(gè)5×5的卷積層，即一個(gè)像素會(huì)跟周圍5×5的像素產(chǎn)生關(guān)聯(lián)，可以說(shuō)感受野大小為5×5，網(wǎng)絡(luò)拆分前后并沒有發(fā)生改變。LeNet-5_2在LeNet-5_1的基礎(chǔ)上繼續(xù)拆分，即將3×3的網(wǎng)絡(luò)拆分為3×1和1×3的網(wǎng)絡(luò)。拆分之后感受野仍然為5×5，但是這種非對(duì)稱的卷積結(jié)構(gòu)拆分，其結(jié)果比對(duì)稱地拆分為幾個(gè)相同的小卷積效果更明顯，可以處理更多、更豐富的空間特征，增加特征多樣性。圖中的1×1卷積層主要實(shí)現(xiàn)升維降維的作用，靈活控制網(wǎng)絡(luò)中的參數(shù)數(shù)量。拆分之后的結(jié)構(gòu)層次更多，參數(shù)更少，增加了非線性的表達(dá)能力并且在預(yù)防過擬合方面有很好的效果。如表3所示是三種網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)對(duì)比表：

表3　卷基層參數(shù)統(tǒng)計(jì)表

從表中數(shù)據(jù)可以看出LeNet-5_1卷積層參數(shù)量只有LeNet-5的72%，LeNet-5_2卷積層參數(shù)量更少，只有LeNet-5的60%，減少了40%的參數(shù)。下面分析參數(shù)減少后對(duì)預(yù)防過擬合并提升模型準(zhǔn)確率方面的影響。

如圖4所示，LeNet-5的準(zhǔn)確率只有68%，LeNet-5_1的網(wǎng)絡(luò)結(jié)構(gòu)能達(dá)到88.9%的準(zhǔn)確率，而LeNet-5_2的網(wǎng)絡(luò)結(jié)構(gòu)能達(dá)到91.2%的準(zhǔn)確率。整個(gè)優(yōu)化過程中沒有增加數(shù)據(jù)集，所達(dá)到的卷積效果和原始模型相同，但準(zhǔn)確率卻提高了23個(gè)百分點(diǎn)，充分證明了改變網(wǎng)絡(luò)結(jié)構(gòu)減少參數(shù)量對(duì)減輕過擬合提高模型準(zhǔn)確率的作用是非常明顯的。

圖4　三種模型準(zhǔn)確率

4　結(jié)　語(yǔ)

本文在LeNet-5基礎(chǔ)上提出的LeNet-5_1、LeNet-5_2模型，通過卷積核拆分減少了大量參數(shù)，有效地防止了過擬合，提高了模型的分類準(zhǔn)確率。但由于LeNet-5模型結(jié)構(gòu)相對(duì)簡(jiǎn)單，受感受野的約束，模型的分類準(zhǔn)確率受到了很大的限制。接下來(lái)可以嘗試更加復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，繼續(xù)加深網(wǎng)絡(luò)，進(jìn)一步提高模型的分類準(zhǔn)確率。

[1] Hinton G E，Salakhutdinov R R．Reducing the dimensionality of data with neural networks[J]. Science,2006,313(5786):504-507.

[2] Li H, Lin Z, Shen X, et al. A convolutional neural network cascade for face detection[C]// Computer Vision and Pattern Recognition. IEEE, 2015:5325-5334.

[3] Lecun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 2014, 1(4):541-551.

[4] Tivive F H C, Bouzerdoum A. A new class of convolutional neural networks (SICoNNets) and their application of face detection[C]// International Joint Conference on Neural Networks. IEEE, 2003:2157-2162.

[5] Chen Y N, Han C C, Wang C T, et al. The Application of a Convolution Neural Network on Face and License Plate Detection[C]// International Conference on Pattern Recognition. IEEE Computer Society, 2006:552-555.

[6] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.

[7] Sukittanon S, Surendran A C, Platt J C, et al. Convolutional networks for speech detection[C]// INTERSPEECH 2004-ICSLP, 8th International Conference on Spoken Language Processing, Jeju Island, Korea, October 4-8, 2004.

[8] Simard P Y, Steinkraus D, Platt J C. Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis[C]// International Conference on Document Analysis and Recognition, 2003. Proceedings. IEEE, 2003:958-962.

[9] Mobahi H, Collobert R, Weston J. Deep learning from temporal coherence in video.[C]// International Conference on Machine Learning, ICML 2009, Montreal, Quebec, Canada, June. 2009:93.

[10] 趙志宏，楊紹普，馬增強(qiáng).基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識(shí)別研究[J]. 系統(tǒng)仿真學(xué)報(bào)，2010, 22(3): 638-641.

[11] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1):1929-1958.

[12] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012:1097-1105.

[13] Yoo H J. Deep Convolution Neural Networks in Computer Vision[J]. Ieie Transactions on Smart Processing & Computing, 2015, 4(1):35-43.

[14] Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D Nonlinear Phenomena, 1992, 60(1-4):259-268.

[15] Tihonov A N. On the solution of ill-posed problems and the method of regularization[M]. Providence: American Mathematical Society Press, 1963:1035-1038.

[16] Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. eprint arXiv:1409.1556, 2014.

[17] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2015:1-9.

[18] 黃文堅(jiān)，唐源. TensorFlow實(shí)戰(zhàn)[M]. 北京：電子工業(yè)出版社，2017.

[19] Krizhevsky A. Learning multiple layers of features from tiny images [D]. Department of Computer Science, University of Toronto,2009.