高述勇 周粉粉 符朝興 孟含

摘要： 針對(duì)訓(xùn)練樣本數(shù)量和迭代次數(shù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別率的影響，本文以經(jīng)典LeNet卷積神經(jīng)網(wǎng)絡(luò)為研究對(duì)象，以Mnist樣本集為樣本，利用Matlab軟件研究了樣本數(shù)量和迭代次數(shù)與網(wǎng)絡(luò)識(shí)別率的關(guān)系。通過(guò)調(diào)整訓(xùn)練樣本數(shù)量和迭代次數(shù)，對(duì)比不同訓(xùn)練結(jié)果對(duì)網(wǎng)絡(luò)錯(cuò)誤率的影響，得出在迭代次數(shù)、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，訓(xùn)練樣本數(shù)目對(duì)網(wǎng)絡(luò)識(shí)別錯(cuò)誤率的影響存在閾值，當(dāng)訓(xùn)練樣本數(shù)目大于閾值時(shí)，樣本數(shù)目增加，錯(cuò)誤率降低很??；在訓(xùn)練樣本數(shù)目、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，隨著迭代次數(shù)的逐漸增加，網(wǎng)絡(luò)識(shí)別的總體錯(cuò)誤率呈現(xiàn)先緩慢下降后快速下降，之后又緩慢下降的趨勢(shì)，在迭代次數(shù)少的情況下，迭代次數(shù)和誤差率變化規(guī)律具有隨機(jī)性。該研究對(duì)中小樣本數(shù)量的卷積神經(jīng)網(wǎng)絡(luò)提供了理論參考。

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò)； 識(shí)別率； 樣本數(shù)目； 迭代次數(shù)

中圖分類號(hào)： TP183； TP391.413文獻(xiàn)標(biāo)識(shí)碼： A

收稿日期： 20170523； 修回日期： 20170830

作者簡(jiǎn)介： 高述勇（1992），男，碩士研究生，主要研究方向?yàn)橹悄茉O(shè)計(jì)。

通訊作者： 符朝興，男，博士，副教授，主要研究方向?yàn)檐囕v振動(dòng)及控制。Email： cx_f@163.com隨著人工智能的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)[16]作為圖像識(shí)別的重要算法成為研究熱點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果依賴于樣本數(shù)量和迭代次數(shù)等因素，大樣本神經(jīng)網(wǎng)絡(luò)的訓(xùn)練已經(jīng)比較成熟，但多數(shù)實(shí)際工程領(lǐng)域不滿足大樣本的條件要求[711]，導(dǎo)致識(shí)別率較低。在樣本數(shù)量不足的情況下，楊世元等人[12]討論了一種基于支持向量機(jī)（support vecort machine，SVM）技術(shù)的FLANN構(gòu)造新方法，在實(shí)驗(yàn)數(shù)據(jù)較少的小樣本條件下仍然具有更高的魯棒性和修正精度；陳濤等人[13]提出一種動(dòng)態(tài)灰神經(jīng)網(wǎng)絡(luò)智能趨勢(shì)預(yù)測(cè)方法，為小樣本高精度狀態(tài)趨勢(shì)預(yù)測(cè)提供一種新方法；馮國(guó)奇等人[14]針對(duì)正交實(shí)驗(yàn)設(shè)計(jì)的小樣本問(wèn)題，采用基于限制擾動(dòng)的虛擬樣本構(gòu)造方法擴(kuò)大訓(xùn)練樣本集，用于提高人工神經(jīng)網(wǎng)絡(luò)建模精度；K.Kavukcuoglu等人[1516]選用稀疏編碼提取輸入數(shù)據(jù)的基函數(shù)作為卷積神經(jīng)網(wǎng)絡(luò)的初始濾波器，并利用獨(dú)立成分分析預(yù)訓(xùn)練，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化，克服了樣本數(shù)量不足的條件。卷積神經(jīng)網(wǎng)絡(luò)的正確訓(xùn)練是圖像識(shí)別準(zhǔn)確的重要前提，而合理的確定樣本數(shù)量和迭代次數(shù)又是網(wǎng)絡(luò)正確訓(xùn)練的保證。基于此，本文以經(jīng)典LeNet[1720]卷積神經(jīng)網(wǎng)絡(luò)為研究對(duì)象，以Mnist樣本集為樣本，通過(guò)調(diào)整訓(xùn)練樣本數(shù)量和迭代次數(shù)，對(duì)比不同訓(xùn)練結(jié)果對(duì)網(wǎng)絡(luò)錯(cuò)誤率的影響，研究樣本數(shù)量和迭代次數(shù)與網(wǎng)絡(luò)識(shí)別率的關(guān)系。該研究為中、小樣本集的卷積神經(jīng)網(wǎng)絡(luò)節(jié)約了訓(xùn)練時(shí)間，提供了理論參考。

卷積神經(jīng)網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，它類似生物視覺(jué)中的局部感知效應(yīng)，權(quán)重共享可以降低神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度，并減少網(wǎng)絡(luò)權(quán)重?cái)?shù)量，對(duì)圖像平移、縮放旋轉(zhuǎn)等變形具有高度適應(yīng)性。卷積神經(jīng)網(wǎng)絡(luò)由局部感受野（local receptive fileds）、權(quán)重共享（shared weights）、池化（pooling）3個(gè)重要思想構(gòu)成。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

卷積層進(jìn)行卷積的操作，每幅圖像用多個(gè)具有自學(xué)習(xí)能力的卷積核進(jìn)行卷積，從而提取每幅圖像的局部特征。一般選取激活函數(shù)為Sigmoid函數(shù)，卷積層計(jì)算公式和激活函數(shù)分別為

xlj=f（∑i∈MJxl-1i×klij+blj）（1）

Sx=11+e-x（2）

式中，l是網(wǎng)絡(luò)的層數(shù)；k是卷積核；Mi是輸入層的感受野；b是偏置；e是自然常數(shù)。

降采樣層在卷積層之后，主要功能是對(duì)特征圖降維，在一定程度上保持特征的尺度不變。降采樣層的一般形式為

xij=f（βijdown（xi-1j）+bij）（3）

式中，l是網(wǎng)絡(luò)的層數(shù)；β表示權(quán)值；down表示降維操作；b是偏置。

經(jīng)過(guò)多個(gè)卷積層和降采樣層的交替?zhèn)鬟f，針對(duì)提取的特征分類，卷積網(wǎng)絡(luò)依靠全連接網(wǎng)絡(luò)。因輸出層分10類，所以采用Softmax分類器，每幅圖像屬于0～9的概率為

圖2LeNet經(jīng)典神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖d（i）j=exp（WTjx（i）+aj）∑10j=1exp（WTjx（i）+aj）（4）

式中，W為分類器的參數(shù)，W=[W1，W2，W3，W4，W5，W6，W7，W8，W9，W10]∈Rd×10；d（i）j是對(duì)x（i）屬于第j類的可能性預(yù)測(cè)。

2網(wǎng)絡(luò)識(shí)別率與樣本關(guān)系

2.1網(wǎng)絡(luò)結(jié)構(gòu)

LeNet經(jīng)典神經(jīng)網(wǎng)絡(luò)共6層，卷積核大小為5×5，其結(jié)構(gòu)圖如圖2所示。各層結(jié)構(gòu)如下：

第1層為輸入層I1，為28×28的灰度圖像。

第2層為卷積層C2，卷積核大小5×5，最終得到6個(gè)24×24的特征圖像。

第3層為降采樣層S3，用2×2的鄰域進(jìn)行降維采樣，得到6個(gè)12×12的特征圖像。

第4層為卷積層C4，卷積核大小5×5，最終得到12個(gè)8×8的特征圖像。

第5層為降采樣層S5，用2×2的鄰域進(jìn)行降維采樣，得到12個(gè)4×4的特征圖像。

LeNet經(jīng)典神經(jīng)網(wǎng)絡(luò)的激活函數(shù)選取Sigmoid函數(shù)。

2.2實(shí)驗(yàn)流程

在網(wǎng)絡(luò)學(xué)習(xí)率為05的情況下，本文主要研究當(dāng)?shù)螖?shù)不變時(shí)，訓(xùn)練樣本數(shù)量與網(wǎng)絡(luò)判斷誤差的關(guān)系，以及當(dāng)訓(xùn)練樣本的數(shù)量不變，迭代次數(shù)與網(wǎng)絡(luò)判斷誤差的關(guān)系。樣本數(shù)量與判斷誤差關(guān)系流程圖如圖3所示。

2.3實(shí)驗(yàn)過(guò)程

代價(jià)函數(shù)定義為

η=p/q（5）

式中，p為測(cè)試樣本中判斷錯(cuò)誤的樣本個(gè)數(shù)；q為用來(lái)測(cè)試的樣本總數(shù)。

1）迭代次數(shù)選擇20次，保持不變；訓(xùn)練樣本數(shù)量最終選擇：70，100，170，200，…；測(cè)試樣本選擇Mnist樣本集的10 000個(gè)測(cè)試樣本進(jìn)行實(shí)驗(yàn)。

2）訓(xùn)練樣本選擇170個(gè)，保持不變；迭代次數(shù)最終選擇：3，10，13，15，18，…；測(cè)試樣本選擇Mnist樣本集的10 000個(gè)測(cè)試樣本進(jìn)行實(shí)驗(yàn)。

3實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用Mnist樣本集中的訓(xùn)練樣本進(jìn)行訓(xùn)練，使用其中的測(cè)試樣本進(jìn)行測(cè)試，最終得到訓(xùn)練樣本數(shù)目與錯(cuò)誤率的關(guān)系如圖4所示，迭代次數(shù)與錯(cuò)誤率的關(guān)系如圖5所示。

由圖4可以看出，在迭代次數(shù)、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，網(wǎng)絡(luò)的判斷誤差隨著訓(xùn)練樣本數(shù)目的增加開(kāi)始迅速下降，之后趨于穩(wěn)定，雖然錯(cuò)誤率有微小下降，但是變化不大；由圖5可以看出，在訓(xùn)練樣本數(shù)目、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，網(wǎng)絡(luò)的判斷誤差隨著訓(xùn)練迭代次數(shù)的增加，開(kāi)始變化較小，之后迅速下降，然后趨于穩(wěn)定，雖然錯(cuò)誤率有微小下降，但是變化不大。在迭代次數(shù)較少時(shí)，迭代次數(shù)與錯(cuò)誤率的關(guān)系不明顯。

4結(jié)束語(yǔ)

本文研究了卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本數(shù)目和迭代次數(shù)對(duì)網(wǎng)絡(luò)判斷錯(cuò)誤率的影響。實(shí)驗(yàn)結(jié)果表明，訓(xùn)練樣本數(shù)目和迭代次數(shù)對(duì)網(wǎng)絡(luò)判斷錯(cuò)誤率的影響具有較大的非線性。在迭代次數(shù)、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，訓(xùn)練樣本數(shù)目對(duì)網(wǎng)絡(luò)識(shí)別錯(cuò)誤率的影響存在閾值，當(dāng)訓(xùn)練樣本數(shù)目大于閾值時(shí)，樣本數(shù)目增加對(duì)錯(cuò)誤率降低很小；在訓(xùn)練樣本數(shù)目、學(xué)習(xí)率及批數(shù)據(jù)大小不變的情況下，隨著迭代次數(shù)逐漸增加，網(wǎng)絡(luò)識(shí)別的總體錯(cuò)誤率呈先緩慢下降后快速下降之后又緩慢下降的趨勢(shì)，迭代次數(shù)少的情況下，迭代次數(shù)和錯(cuò)誤率變化規(guī)律具有隨機(jī)性。由于樣本數(shù)據(jù)和計(jì)算機(jī)資源的有限性，在卷積網(wǎng)絡(luò)的訓(xùn)練和應(yīng)用中，要合理選擇網(wǎng)絡(luò)訓(xùn)練參數(shù)，提高網(wǎng)絡(luò)識(shí)別能力。

參考文獻(xiàn)：

[1]張婷， 李玉鑑， 胡海鶴， 等. 基于跨連卷積神經(jīng)網(wǎng)絡(luò)的性別分類模型[J]. 自動(dòng)化學(xué)報(bào)， 2016， 42（6）： 858865.

[2]王偉凝， 王勵(lì)， 趙明權(quán)， 等. 基于并行深度卷積神經(jīng)網(wǎng)絡(luò)的圖像美感分類[J]. 自動(dòng)化學(xué)報(bào)， 2016， 42（6）： 904914.

[3]姚家雄， 楊明輝， 朱玉琨， 等. 利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行毫米波圖像違禁物體定位[J]. 紅外與毫米波學(xué)報(bào)， 2017， 36（3）： 354360.

[4]李琳輝， 倫智梅， 連靜， 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的道路車輛檢測(cè)方法[J]. 吉林大學(xué)學(xué)報(bào)： 工學(xué)版， 2017， 47（2）， 384391.

[5]李彥冬， 郝宗波， 雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)應(yīng)用， 2016， 36（9）： 25082515.

[6]劉萬(wàn)軍， 梁雪劍， 曲海成. 基于雙重優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別算法[J]. 模式識(shí)別與人工智能， 2016， 29（9）： 856864.

[7]左艷麗， 馬志強(qiáng)， 左憲禹. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的人體檢測(cè)研究[J]. 現(xiàn)代電子技術(shù)， 2017， 40（4）： 1215.

[8]Fu L， Kara L B. Neural NetworkBased Symbol Recognition Using a Few Labeled Samples[J]. Computers & Graphics， 2011， 35（5）： 955966.

[9]樊養(yǎng)余， 李祖賀， 王鳳琴， 等. 基于跨領(lǐng)域卷積稀疏自動(dòng)編碼器的抽象圖像情緒性分類[J]. 電子與信息學(xué)報(bào)， 2017， 39（1）： 167175.

[10]高建清. 基于卷積神經(jīng)網(wǎng)絡(luò)的旋轉(zhuǎn)變形驗(yàn)證碼識(shí)別[J]. 莆田學(xué)院學(xué)報(bào)， 2016， 23（2）： 6366.

[11]Lopes A T， Aguiar E D， Souza A F D， et al. Facial Expression Recognition with Convolutional Neural Networks： Coping with Few Data and the Training Sample Order[J]. Pattern Recognition， 2017， 61： 610628.

[12]楊世元， 董華， 吳德會(huì). 基于SVM構(gòu)造的FLANN數(shù)據(jù)融合方法在CPS修正中的應(yīng)用[J]. 儀器儀表學(xué)報(bào)， 2007， 28（4）： 621625.

[13]陳濤， 徐小力. 基于動(dòng)態(tài)灰神經(jīng)網(wǎng)絡(luò)的關(guān)鍵設(shè)備狀態(tài)趨勢(shì)預(yù)測(cè)[J]. 自動(dòng)化與儀表， 2016， 31（6）： 14.

[14]馮國(guó)奇， 崔東亮， 張亞軍， 等. 樣本視角下面向復(fù)雜產(chǎn)品多目標(biāo)優(yōu)化設(shè)計(jì)的混合人工神經(jīng)網(wǎng)絡(luò)遺傳算法技術(shù)[J]. 計(jì)算機(jī)集成制造系統(tǒng)， 2016， 22（6）： 14031414.

[15]Kavukcuoglu K， Sermanet P， Boureau Y L， et al. Learning Convolutional Feature Hierarchies for Visual Recognition[C]// International Conference on Neural Information Processing Systems， Vancouver， British Columbia， Canada： DBLP， 2010： 10901098.

[16]Kavukcuoglu K， Ranzato M A， Fergus R， et al. Learning Invariant Features Through Topographic Filter Maps[C]// IEEE Conference on Computer Vision & Pattern Recognition， Miami， FL， USA： IEEE， 2009： 16051612.

[17]王曉鋒， 馬鐘. 基于卷積神經(jīng)網(wǎng)絡(luò)LeNet5的貨運(yùn)列車車號(hào)識(shí)別研究[J]. 現(xiàn)代電子技術(shù)， 2016， 39（13）： 6366.

[18]黨倩， 馬苗， 陳昱蒞. 基于二級(jí)改進(jìn)LeNet5的交通標(biāo)志識(shí)別算法[J]. 陜西師范大學(xué)學(xué)報(bào)： 自科版， 2017， 45（2）： 2428.

[19]馬苗， 陳芳， 郭敏， 等. 基于改進(jìn)LeNet5的街景門(mén)牌號(hào)碼識(shí)別方法[J]. 云南大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2016， 38（2）： 197203.

[20]鄒沖， 蔡敦波， 趙娜， 等. 基于SVMLeNet模型融合的行人檢測(cè)算法[J]. 計(jì)算機(jī)工程， 2017， 43（5）： 169173.