杜闊 李亞

摘? 要： 數(shù)字識(shí)別在郵政編碼、車(chē)牌數(shù)字檢測(cè)識(shí)別等場(chǎng)景有著廣泛的應(yīng)用。以Lenet?5卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，研究卷積計(jì)算量過(guò)大和預(yù)測(cè)速度慢的問(wèn)題。對(duì)不同的卷積層（首層、中間層、尾層）和網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)和優(yōu)化，采用不同組合的方案使卷積核連接數(shù)減少一定的數(shù)量，進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，保證在同一準(zhǔn)確率的前提下，綜合考慮迭代次數(shù)和預(yù)測(cè)時(shí)延，在C3層（中間層）做優(yōu)化最為合適，總結(jié)出的規(guī)律和方法也可對(duì)復(fù)雜卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化提供參考，滿(mǎn)足實(shí)時(shí)性要求高、大數(shù)據(jù)量的應(yīng)用場(chǎng)景。

關(guān)鍵詞： 數(shù)字分類(lèi)器; 卷積神經(jīng)網(wǎng)絡(luò); 卷積計(jì)算; 數(shù)字識(shí)別; 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化; 仿真實(shí)驗(yàn)

中圖分類(lèi)號(hào)： TN761.93?34; TP391? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）16?0098?06

0? 引? 言

深度學(xué)習(xí)是以數(shù)據(jù)的原始形態(tài)作為輸入，經(jīng)過(guò)算法的層層抽象將原始的數(shù)據(jù)抽象為自身所需的最終特征表示，映射到目標(biāo)作為結(jié)束，中間不摻雜任何人為操作。深度學(xué)習(xí)中的一類(lèi)代表算法是神經(jīng)網(wǎng)絡(luò)算法[1?2]，其中就包括卷積神經(jīng)網(wǎng)絡(luò)[3?4]等。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN），也叫作卷積網(wǎng)絡(luò)。文獻(xiàn)[5]提出首個(gè)真實(shí)的卷積神經(jīng)網(wǎng)絡(luò)模型，以及關(guān)于對(duì)MNIST數(shù)字庫(kù)識(shí)別的結(jié)果。目前在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、醫(yī)學(xué)圖像處理、文本分類(lèi)[6?8]等領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)都表現(xiàn)的異常優(yōu)秀。

卷積網(wǎng)絡(luò)的一個(gè)重要思想是通過(guò)權(quán)值共享來(lái)幫助改善學(xué)習(xí)系統(tǒng)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)[9]，能降低網(wǎng)絡(luò)模型的復(fù)雜度，減少權(quán)值的數(shù)量。這個(gè)優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維度圖像時(shí)表現(xiàn)得更為明顯[10?11]，圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法的特征提取和數(shù)據(jù)重建過(guò)程。還有依托于FPGA平臺(tái)的嵌入式卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用以及在嵌入式視覺(jué)實(shí)時(shí)顯示方面的應(yīng)用[12]。針對(duì)典型的卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)方法，例如采用不同的激活函數(shù)，以及使用混合的下采樣方法，還有不同的池化方法，池化窗口的大小，卷積核的大小[13?15]，并沒(méi)有在預(yù)測(cè)時(shí)卷積運(yùn)算量和預(yù)測(cè)時(shí)延方面進(jìn)行優(yōu)化。所以本文提出針對(duì)減少卷積運(yùn)算的方案，參照Lenet?5卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)了一個(gè)7層的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)卷積層C1，C3，C5分別進(jìn)行了優(yōu)化實(shí)驗(yàn)，在保證準(zhǔn)確率的前提下，減少了卷積計(jì)算量，降低了預(yù)測(cè)時(shí)延。

1? 網(wǎng)絡(luò)結(jié)構(gòu)與分析

1.1? 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

卷積神經(jīng)網(wǎng)絡(luò)是屬于一種基于監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)模型，還是一種特殊的深度神經(jīng)網(wǎng)絡(luò)模型，因?yàn)樗纳窠?jīng)元連接是非全連接的，相同層神經(jīng)元連接的權(quán)重值是共享的，所以這樣的特殊性使卷積神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的適應(yīng)性、良好的魯棒性以及快速的學(xué)習(xí)能力。

本網(wǎng)絡(luò)結(jié)構(gòu)由7層構(gòu)成，分別為輸入層、卷積層1（C1）、池化層2（S2）、卷積層3（C3）、池化層4（S4）、卷積層5（C5）、輸出層。網(wǎng)絡(luò)每層參數(shù)如表1所示。

由表1可以看出每層參與的運(yùn)算、各個(gè)參數(shù)的配置，卷積核的大小、個(gè)數(shù)、卷積窗口移動(dòng)步長(zhǎng)以及輸出中間結(jié)果（每層輸出）的大小。

1.2? 網(wǎng)絡(luò)結(jié)構(gòu)與問(wèn)題分析

整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖1所示。圖1中已經(jīng)標(biāo)注每個(gè)窗口的大小。最左側(cè)圖片32×32×1代表輸入1張大小為32×32 圖像的原始像素值，經(jīng)過(guò)卷積層1的6個(gè)5×5大小的卷積核的卷積運(yùn)算后輸出28×28×6維度的特征圖（Feature Map）作為中間結(jié)果，再經(jīng)過(guò)池化（也稱(chēng)為下采樣）層輸出14×14×6，直到網(wǎng)絡(luò)最后的輸出層;每一層的輸出結(jié)果作為下一層的數(shù)據(jù)輸入。本網(wǎng)絡(luò)結(jié)構(gòu)與Lenet?5網(wǎng)絡(luò)的一點(diǎn)不同之處在于，卷積層5后直接是輸出層，Lenet?5網(wǎng)絡(luò)在卷積層5后還有全連接層。使用MNIST數(shù)據(jù)庫(kù)作為訓(xùn)練集和測(cè)試集，訓(xùn)練集數(shù)據(jù)樣本為60 000張，測(cè)試集數(shù)據(jù)樣本為10 000張。

得出C3層需要做的卷積次數(shù)為9 600次。計(jì)算方法是C3層的輸入特征圖大小為14×14×6，卷積核大小為5×5，步長(zhǎng)為1，所以每個(gè)卷積核遍歷完一個(gè)特征圖要做[14?2×（5/2）] × [14?2×（5/2）]=10×10=100次卷積運(yùn)算（注：（[52]）取2），即所有的卷積核遍歷完特征圖需要10×10×6×16=9 600次卷積運(yùn)算。同理得到C1， C5層卷積次數(shù)分別為4 704次，1 920次。文獻(xiàn)[5]提出的卷積連接表見(jiàn)表2。

這個(gè)連接表說(shuō)明池化層2與卷積層3是非全連接的，這樣做打破了網(wǎng)絡(luò)的對(duì)稱(chēng)性，強(qiáng)迫因?yàn)椴煌卣鲌D的輸入從而學(xué)習(xí)到圖片不同的特征。卷積層3的每個(gè)特征圖是連接到池化層2的所有6個(gè)或小于6個(gè)特征圖，表示本層結(jié)果是由上一層抽取的不同特征圖組合得到的，但是這個(gè)組合并不唯一。

表2中連接表中的列數(shù)0～5代表池化層2輸出的6個(gè)特征圖;行數(shù)0～15代表卷積層3計(jì)算需要的16個(gè)不同的卷積核;O，X表示每個(gè)特征圖與不同卷積核是否連接;O表示連接進(jìn)行卷積運(yùn)算;X代表非連接。當(dāng)然也可以采用全連接，這樣的話(huà)計(jì)算量會(huì)更大，卷積運(yùn)算消耗時(shí)間更長(zhǎng)。那么有沒(méi)有其他方案在同樣的準(zhǔn)確率情況下使計(jì)算量減少，同時(shí)使預(yù)測(cè)時(shí)間更短。

對(duì)此，本文在算法和實(shí)現(xiàn)上對(duì)卷積連接表進(jìn)行了改進(jìn)和優(yōu)化，首先減少了卷積層3進(jìn)行卷積的計(jì)算量并且用Xilinx官方工具Vivado High?Level Synthesis預(yù)估計(jì)算出在卷積層3卷積運(yùn)算降低延時(shí)的時(shí)間。

2? 優(yōu)化方案與仿真

2.1? 優(yōu)化方案分析

根據(jù)原始的卷積連接表，可以看出是按照每個(gè)特征圖卷積核連接數(shù)相等（每行10個(gè)連接），且把16個(gè)卷積核分為0～5，6～11，12～14，15四部分，每部分各列的卷積連接個(gè)數(shù)相同，最后一列為全連接排布的規(guī)則來(lái)確定每個(gè)位置是否連接， 思路是嘗試不同的方案來(lái)達(dá)到降低計(jì)算量和卷積計(jì)算延遲時(shí)間的目的。

方案是先將總的卷積核連接數(shù)減少[12]，再在卷積核總數(shù)不變的原則下，按照不同的方案方法排布，通過(guò)對(duì)比實(shí)驗(yàn)仿真結(jié)果尋找出最優(yōu)方案方法;然后遵循此方法將卷積核連接數(shù)逐步遞減;再重復(fù)訓(xùn)練仿真實(shí)驗(yàn)，減少卷積核連接數(shù)，同時(shí)觀察訓(xùn)練迭代次數(shù)（epoch）的變化情況。

首先，優(yōu)化方案1連接表中卷積核連接數(shù)減半，原始表示連接的數(shù)是60，現(xiàn)在直接減為30，并且服從隨機(jī)分布，每個(gè)特征圖對(duì)應(yīng)卷積核連接數(shù)不相等（即每行對(duì)應(yīng)的連接數(shù)不等），具體分布如表3所示。

優(yōu)化方案3，連接數(shù)依然為30，依然按照每個(gè)特征圖5個(gè)卷積核連接，等間隔（列間隔為2，無(wú)卷積核連接）交錯(cuò)分布，具體分布如表5所示。

優(yōu)化方案4，連接數(shù)O減少到24，每個(gè)特征圖對(duì)應(yīng)連接4個(gè)卷積核，列數(shù)隨機(jī)分布，具體分布如表6所示。

優(yōu)化方案5，連接數(shù)O減少到18，每個(gè)特征圖對(duì)應(yīng)連接3個(gè)卷積核，列數(shù)交錯(cuò)分布，具體分布如表7所示。

優(yōu)化方案6，連接數(shù)O減少到12，每個(gè)特征圖對(duì)應(yīng)連接2個(gè)卷積核，列數(shù)交錯(cuò)分布，具體分布如表8所示。

2.2? 仿真結(jié)果對(duì)比

硬件平臺(tái)：Laptop Windows 10 Intel i7?6600U@2.6 GHz;軟件環(huán)境：Visual Studio 2017，OpenCV Library。

本網(wǎng)絡(luò)訓(xùn)練設(shè)定最大迭代周期次數(shù)為100，學(xué)習(xí)率設(shè)定為0.01，準(zhǔn)確率設(shè)定為98.5%。表9列出訓(xùn)練仿真后的對(duì)比結(jié)果，文獻(xiàn)[5]的原始卷積連接表用方案0表示。

從表9的仿真對(duì)比迭代周期次數(shù)可以看出優(yōu)化方案3是迭代周期最多的，表明雖然卷積計(jì)算量減少[12]，但迭代次數(shù)相比方案0（原始）增加3倍多;在前三個(gè)方案中方案2是最優(yōu)的，卷積計(jì)算量減少[12]，但是迭代周期次數(shù)增加8次。按照此方法繼續(xù)推出了方案4，方案5，方案6，卷積核連接總數(shù)依次遞減，得出優(yōu)化方案4在方案2基礎(chǔ)上減少運(yùn)算但迭代次數(shù)并沒(méi)有增加;方案5、方案6卷積核總數(shù)依次減少同時(shí)迭代周期次數(shù)也線(xiàn)性增長(zhǎng)。所以在綜合考慮到卷積運(yùn)算量和訓(xùn)練迭代次數(shù)的結(jié)果下方案4是最優(yōu)的。

同時(shí)按照方案4的方法做了對(duì)C1 和C5 層的優(yōu)化，仿真結(jié)果如表10、表11所示。其中，C1的優(yōu)化方案用數(shù)字8，9來(lái)表示;C5的優(yōu)化方案用數(shù)字10，11表示。

但是C1優(yōu)化后，訓(xùn)練的模型在預(yù)測(cè)時(shí)會(huì)出現(xiàn)較多錯(cuò)誤，如圖2所示。

預(yù)測(cè)出錯(cuò)的主要原因在于C1層緊挨輸入層，提取的是圖片的低維特征，刪減太多卷積運(yùn)算導(dǎo)致網(wǎng)絡(luò)對(duì)低維特征的學(xué)習(xí)不足，從而導(dǎo)致在預(yù)測(cè)時(shí)出現(xiàn)比較嚴(yán)重的錯(cuò)誤。

C5層優(yōu)化后雖然保證了準(zhǔn)確率，但迭代次數(shù)接近優(yōu)化C3層的2倍，而且減少的卷積運(yùn)算遠(yuǎn)沒(méi)有C3層優(yōu)化減少得多。

根據(jù)以上實(shí)驗(yàn)結(jié)果總結(jié)出：當(dāng)網(wǎng)絡(luò)的某層卷積運(yùn)算較大時(shí)可以有效的對(duì)其進(jìn)行刪減，卷積核連接矩陣中每行連接個(gè)數(shù)相等且每列至少有一個(gè)卷積核連接，即每個(gè)特征圖對(duì)應(yīng)的實(shí)際參與卷積運(yùn)算的卷積核數(shù)相等且各個(gè)特征圖對(duì)應(yīng)的實(shí)際參與卷積運(yùn)算的卷積核的序號(hào)盡可能保證不同，綜合考慮訓(xùn)練迭代次數(shù)和運(yùn)算量效果更優(yōu);而且盡量不要對(duì)靠近輸入層的卷積層進(jìn)行優(yōu)化，對(duì)準(zhǔn)確率可能會(huì)有影響，如果對(duì)迭代次數(shù)可以接受的條件下，對(duì)靠后的卷積層進(jìn)行適當(dāng)?shù)膬?yōu)化也是可以的。

3? 預(yù)測(cè)時(shí)延計(jì)算

本文介紹在實(shí)際的測(cè)試實(shí)驗(yàn)下如何計(jì)算預(yù)測(cè)時(shí)間，以及使用最優(yōu)方案預(yù)測(cè)減少的時(shí)延。

Vivado High Level Synthesis（Vivado HLS）是Xilinx官方提供的基于C，C++高級(jí)語(yǔ)言來(lái)實(shí)現(xiàn)描述硬件邏輯開(kāi)發(fā)功能的工具，大大提高了具有高級(jí)語(yǔ)言開(kāi)發(fā)者的工作效率。Vivado HLS還具有仿真、綜合、驗(yàn)證、封裝IP打包的功能。

按照第2節(jié)所述方案順序?qū)矸e層3進(jìn)行綜合，分析綜合結(jié)果，計(jì)算通過(guò)卷積運(yùn)算的時(shí)間，總結(jié)不同卷積核總數(shù)下的時(shí)間延時(shí)。

首先，為了確保在非工具參數(shù)設(shè)置因素的影響下，第一步計(jì)算出卷積層3卷積核全連接時(shí)（即連接為全O），經(jīng)過(guò)卷積計(jì)算的全部時(shí)間;然后，根據(jù)上述各方案綜合結(jié)果計(jì)算各個(gè)方案延時(shí)。表12即卷積核全連接時(shí)卷積層3的延時(shí)計(jì)算表，總延時(shí)=循環(huán)延時(shí)×循環(huán)次數(shù)。表中數(shù)值的單位是時(shí)鐘周期數(shù)，F(xiàn)PGA的時(shí)鐘頻率設(shè)定為100 MHz，即每個(gè)時(shí)鐘周期是10 ns，所以在卷積核全連接時(shí)總延時(shí)時(shí)間是32 044×6×16×10=30 762 240 ns。

由于在工具默認(rèn)設(shè)置下卷積層3卷積核非全接連所綜合出的總延時(shí)顯示為動(dòng)態(tài)范圍，因此用表13表示其他方案下的綜合結(jié)果，其中CONV_LOOP一欄循環(huán)延時(shí)3 ns表示進(jìn)入和退出循環(huán)消耗的時(shí)間。所以當(dāng)卷積核連接總數(shù)為60時(shí)，總延時(shí)計(jì)算方法為總延時(shí)=[60×32 045+[（6×16）-60]×3]×10=19 228 080 ns ，其他方案延時(shí)計(jì)算方法相同，計(jì)算出剩余方案的延時(shí)，統(tǒng)計(jì)的結(jié)果如表14所示。

根據(jù)之前找出的最優(yōu)方案，卷積核連接總數(shù)是24，對(duì)應(yīng)的總延時(shí)時(shí)間為7 692 780 ns，相比于卷積核數(shù)為原始60時(shí)，減少的時(shí)間Δt=19 228 080-7 692 780= 11 535 300 ns = 11.535 3 ms，即在方案4下預(yù)測(cè)時(shí)每張圖片在卷積層3比方案0減少約60%的時(shí)間。

4? 結(jié)? 語(yǔ)

本文以Lenet?5卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，對(duì)其進(jìn)行研究和優(yōu)化。分別對(duì)各卷積層設(shè)計(jì)優(yōu)化方案，通過(guò)仿真實(shí)驗(yàn)找出綜合條件下的最優(yōu)方案，總結(jié)出針對(duì)多層卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)、計(jì)算量大等問(wèn)題的解決方法，可為后續(xù)研究復(fù)雜卷積神經(jīng)網(wǎng)絡(luò)及相關(guān)優(yōu)化提供參考。

參考文獻(xiàn)

[1] 王曉鋒，馬鐘.基于卷積神經(jīng)網(wǎng)絡(luò)Lenet?5的貨運(yùn)列車(chē)車(chē)號(hào)識(shí)別研究[J].現(xiàn)代電子技術(shù)，2016，39（13）：63?66.

WANG Xiaofeng， MA Zhong. Research on freight train license recognition based on convolutional neural network Lenet?5 [J]. Modern electronics technique， 2016， 39（13）： 63?66.

[2] 葛明濤，王小麗，潘立武.基于多重卷積神經(jīng)網(wǎng)絡(luò)的大模式聯(lián)機(jī)手寫(xiě)文字識(shí)別[J].現(xiàn)代電子技術(shù)，2014，37（20）：19?21.

GE Mingtao， WANG Xiaoli， PAN Liwu. Large pattern online handwriting character recognition based on multi?convolution neural network [J]. Modern electronics technique， 2014， 37（20）： 19?21.

[3] 宋志堅(jiān)，余銳.基于深度學(xué)習(xí)的手寫(xiě)數(shù)字分類(lèi)問(wèn)題研究[J].重慶工商大學(xué)學(xué)報(bào)（自然科學(xué)版），2015（8）：49?53.

SONG Zhijian， YU Rui. Research on the classification of handwriting number cased on deep learning [J]. Journal of Chongqing Technology and Business University （Natural science edition）， 2015（8）： 49?53.

[4] 呂國(guó)豪，羅四維，黃雅平，等.基于卷積神經(jīng)網(wǎng)絡(luò)的正則化方法[J].計(jì)算機(jī)研究與發(fā)展，2014（9）：1891?1900.

L? Guohao， LUO Siwei， HUANG Yaping， et al. A novel regularization method based on convolution neural network [J]. Journal of computer research and development， 2014（9）： 1891?1900.

[5] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[6] 常亮，鄧小明，周明全，等.圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)[J].自動(dòng)化學(xué)報(bào)，2016，42（9）：1300?1312.

CHANG Liang， DENG Xiaoming， ZHOU Mingquan， et al. Convolutional neural network in image understanding [J]. Journal of automation， 2016， 42（9）： 1300?1312.

[7] 馬媛媛，史加榮.卷積神經(jīng)網(wǎng)絡(luò)及其在手寫(xiě)體數(shù)字識(shí)別中的應(yīng)用[J].湖北工程學(xué)院學(xué)報(bào)，2017，37（6）：66?72.

MA Yuanyuan， SHI Jiarong. Convolutional neural network and its application in handwritten number recognition [J]. Journal of Hubei Engineering University， 2017， 37（6）： 66?72.

[8] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2017（6）：1229?1251.

ZHOU Feiyan， JIN Linpeng， DONG Jun. Review of Convolutional Neural Networks [J]. Journal of computer science， 2017（6）： 1229?1251.

[9] 余萍，趙繼生，張潔.基于非線(xiàn)性修正函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別研究[J].科學(xué)技術(shù)與工程，2015（34）：221?225.

YU Ping， ZHAO Jisheng， ZHANG Jie. Image recognition of convolutional neural networks based on rectified nonlinear units function [J]. Science technology and engineering， 2015（34）： 221?225.

[10] 盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理，2016（1）：1?17.

LU Hongtao， ZHANG Qinchuan. Applications of deep convolutional neural network in computer vision [J]. Data acquisition and processing， 2016（1）： 1?17.

[11] XU B， WANG N Y， CHEN T Q， et al. Empirical evaluation of rectified activations in convolution network [J]. Computer science， 2015（2）： 1?5.

[12] FRABET C， POULET C， HAN J Y， et al. CNP：an FPGA?based processor for convolutional networks [C]// Proceedings of 2009 International Conference on Field Programmable Logic and Applications. Prague， Czech： IEEE， 2009： 32?37.

[13] 張慶輝，萬(wàn)晨霞，陳眾威.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的手寫(xiě)體識(shí)別研究[J].中原工學(xué)院學(xué)報(bào)，2017，28（4）：79?85.

ZHANG Qinghui， WAN Chenxia， CHEN Zhongwei. Research on handwritten recognition based on improved convolution neural network [J]. Journal of Zhongyuan Institute of Technology， 2017， 28（4）： 79?85.

[14] 高諾，胡文燁，楊玉娜.采用卷積神經(jīng)網(wǎng)絡(luò)的數(shù)字手寫(xiě)體識(shí)別的研究[J].齊魯工業(yè)大學(xué)學(xué)報(bào)，2018，32（5）：45?49.

GAO Nuo， HU Wenye， YANG Yuna. Research on the recognition of digital handwriting by convolutional neural networks [J]. Journal of Qilu University of Technology， 2018， 32（5）： 45?49.

[15] 杜洋，王展青.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別[J].計(jì)算機(jī)測(cè)量與控制，2018，26（7）：256?261.

DU Yang， WANG Zhanqing. Handwritten numeral recognition based on improved convolution neural network [J]. Computer measurement and control， 2018， 26（7）： 256?261.