,

(武漢理工大學(xué) 理學(xué)院,武漢 430070)

0 引言

手寫數(shù)字識(shí)別在教育、郵政、銀行以及商業(yè)等諸多領(lǐng)域有著重要的應(yīng)用。目前研究者們提出了許多手寫數(shù)字識(shí)別的方法，如多尺度特征和神經(jīng)網(wǎng)絡(luò)相融合的方法[1]、基于原型生成技術(shù)的方法[2]、基于AP和BP神經(jīng)網(wǎng)絡(luò)的方法[3]、基于概率測度支持向量機(jī)(support vector machine，SVM)的方法[4]等，但是上述方法對(duì)特征的表達(dá)能力不足，容易受到外界環(huán)境的影響，不能達(dá)到高識(shí)別率的要求。

近年來，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)在手寫數(shù)字識(shí)別方面取得了很好的表現(xiàn)，它對(duì)圖像識(shí)別具有自動(dòng)提取特征的能力，避免了傳統(tǒng)識(shí)別方法中復(fù)雜的特征提取和數(shù)據(jù)重建的過程；它的局部感受野、權(quán)值共享和下采樣特性保證了圖像對(duì)位移、縮放和扭曲的魯棒性。從功能上CNN可以看作是特征提取器與分類器的結(jié)合體，深層結(jié)構(gòu)和大量的學(xué)習(xí)參數(shù)決定了CNN是很好的特征提取器。CNN在算法和結(jié)構(gòu)上與BP神經(jīng)網(wǎng)絡(luò)都比較相似，因此具有與BP神經(jīng)網(wǎng)絡(luò)相同的缺點(diǎn)，如訓(xùn)練時(shí)間長、訓(xùn)練可能收斂到局部最優(yōu)、容易出現(xiàn)過擬合現(xiàn)象等。為了使CNN變得更加完善、識(shí)別效果更好，近來不少學(xué)者對(duì)CNN提出了結(jié)構(gòu)改進(jìn)和算法優(yōu)化的策略。文獻(xiàn)[5]提出一種基于暹羅網(wǎng)絡(luò)的深度神經(jīng)網(wǎng)絡(luò)模型的手寫字符識(shí)別方法，識(shí)別率達(dá)到98%，但是該模型沒有很好地獲取樣本的差異性特征。文獻(xiàn)[6]提出一種二進(jìn)制CNN深度學(xué)習(xí)模型用于行人再識(shí)別，并取得了很好地識(shí)別效果，但該模型不能很好地學(xué)習(xí)樣本的高級(jí)特征。文獻(xiàn)[7]提出一種多通道輸入的CNN改進(jìn)方法。在進(jìn)行網(wǎng)絡(luò)訓(xùn)練之前，先對(duì)輸入圖像進(jìn)行多尺度超像素分割，得到3個(gè)通道的輸入，再將3個(gè)通道的信息輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。實(shí)驗(yàn)證明，CNN的多通道改進(jìn)方法在圖像識(shí)別、圖像匹配等方面效果明顯。文獻(xiàn)[8]在利用CNN進(jìn)行圖像識(shí)別時(shí)，提出將卷積核設(shè)定為加權(quán)PCA矩陣的形式，完成隱層神經(jīng)元之間的映射，充分利用每層的映射結(jié)果，通過生成碼本的方式產(chǎn)生最終的特征向量。傳統(tǒng)CNN在完成特征提取后，多采用RBF或softmax分類器進(jìn)行分類識(shí)別，但隨著SVM、稀疏表示和流形學(xué)習(xí)等淺層分類器的不斷發(fā)展，它們的分類性能也有了很大的提高，因此研究者將CNN模型與性能更優(yōu)的分類器進(jìn)行結(jié)合。文獻(xiàn)[9]提出將CNN與 SVM相結(jié)合的方法進(jìn)行手寫數(shù)字識(shí)別，通過在MNIST數(shù)據(jù)集上的實(shí)驗(yàn)證明了CNN分類層的分類能力不如一些傳統(tǒng)的分類器。文獻(xiàn)[10]提出一種CNN層間特征融合的方法并與流形分類器相結(jié)合解決年齡識(shí)別問題。

鑒于此，本文以試卷卷頭手寫分?jǐn)?shù)為例，提出一種基于改進(jìn)CNN的算法(CNN-1)來研究手寫數(shù)字識(shí)別問題。先通過多層特征融合和混合采樣的方式，充分提取圖像特征信息；再對(duì)訓(xùn)練算法進(jìn)行改進(jìn)，提高網(wǎng)絡(luò)的訓(xùn)練速度，減少識(shí)別所需時(shí)間；最后通過SVM分類器進(jìn)行分類識(shí)別，提高識(shí)別率。實(shí)驗(yàn)結(jié)果表明，該算法有效的減少了訓(xùn)練時(shí)間，提高了手寫數(shù)字的識(shí)別率。

1 預(yù)處理

試卷卷頭手寫分?jǐn)?shù)識(shí)別的首要環(huán)節(jié)是通過預(yù)處理獲取單個(gè)手寫分?jǐn)?shù)字符。它的具體步驟包括灰度化、圖像傾斜矯正、手寫分?jǐn)?shù)區(qū)域提取、二值化、去框線、去噪聲、字符分割、歸一化等，主要過程是手寫分?jǐn)?shù)區(qū)域的提取和字符分割。

1.1 主要預(yù)處理過程

主要預(yù)處理過程方法如下。

(1)手寫分?jǐn)?shù)區(qū)域的提取。鑒于手寫分?jǐn)?shù)區(qū)域是表格框線結(jié)構(gòu)，所以采用Hough變換[11]檢測手寫分?jǐn)?shù)區(qū)域。提取手寫分?jǐn)?shù)區(qū)域時(shí)，考慮到書寫隨意性導(dǎo)致的字符出分?jǐn)?shù)欄下框線的情況，需提取手寫分?jǐn)?shù)出下框線部分的區(qū)域，保留字符信息。

(2)字符分割。字符分割分為每題分?jǐn)?shù)的分割和兩位分?jǐn)?shù)的分割，對(duì)于每題分?jǐn)?shù)的分割選擇與垂直框線相同的位置進(jìn)行分割。由于教師書寫的隨意性，兩位手寫分?jǐn)?shù)存在粘連和未粘連的情形。對(duì)于未粘連分?jǐn)?shù)，采用連通域分割法[12]；對(duì)于粘連的分?jǐn)?shù)，采用改進(jìn)的滴水算法[13]，該算法首先是對(duì)字符的筆劃粘連部分利用距離變換提取中心線，然后計(jì)算字符筆劃的傾斜角度來指導(dǎo)水滴在中心線上端和下端的滲漏方向，最終形成一條分割路徑，實(shí)現(xiàn)粘連字符的分割。

1.2 其它預(yù)處理過程

其它預(yù)處理過程方法如下。

(1)灰度化、二值化、歸一化。對(duì)原圖像RGB三個(gè)分量加權(quán)平均得到灰度圖像。采用全局閾值的Ostu算法實(shí)現(xiàn)最佳閾值T的自動(dòng)選取，進(jìn)行二值化處理。為了增加特征提取的準(zhǔn)確性，將分割完成后的字符圖像統(tǒng)一大小歸一化到32×32像素。

(2)圖像傾斜矯正、去框線、去噪聲。由于人為操作等因素，通過攝像頭獲取試卷卷頭圖像時(shí)可能存在一定的傾斜，采用Hough變換檢測直線并調(diào)整傾斜。同時(shí)檢測手寫分?jǐn)?shù)區(qū)域的水平框線和垂直框線，通過濾波去除圖像框線?？蚓€去除后，與框線存在粘連的字符會(huì)在粘連處發(fā)生斷裂，根據(jù)框線與字符在粘連處的行值和列值相等的特點(diǎn)對(duì)斷裂字符進(jìn)行補(bǔ)充。對(duì)于手寫分?jǐn)?shù)區(qū)域離散噪聲點(diǎn)的消除，求待測像素f(x,y)周圍8個(gè)像素的平均值a，若|f(x,y)-a|的值大于或等于127.5，則該點(diǎn)是噪聲點(diǎn)，將其值設(shè)置為255，若小于127.5，則保持原值不變。

2 基于改進(jìn)CNN的手寫數(shù)字識(shí)別

2.1 CNN基本原理

如圖1所示，典型的CNN結(jié)構(gòu)主要由輸入層、卷積層(C1、C3、C5)、池化層或下采樣層(S2、S4)、全連接層(F層)和輸出層組成。

圖1 典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

CNN通過“卷積+下采樣”的結(jié)構(gòu)進(jìn)行特征提取。輸入層為單個(gè)手寫數(shù)字圖像T，用Xi表示網(wǎng)絡(luò)第i層的特征圖(X0=T)。若Xi為卷積層，則Xi表示為：

Xi=f(Xi-1*Ki+bi)

(1)

其中Ki為可訓(xùn)練的卷積核，bi為偏置，“*”表示卷積運(yùn)算，f(x)為激活函數(shù)。

常用的激活函數(shù)有sigmoid函數(shù)、tanh函數(shù)和ReLu函數(shù)。本文選用ReLu函數(shù)[14]作為卷積層的激活函數(shù)，其表達(dá)式為：

f(x)=max(0,x)

(2)

ReLu函數(shù)較其它激活函數(shù)的優(yōu)點(diǎn)是：(1)它使網(wǎng)絡(luò)一部分神經(jīng)元的輸出為0，從而使網(wǎng)絡(luò)具有一定的稀疏性、減少計(jì)算復(fù)雜度；(2)使網(wǎng)絡(luò)具有更強(qiáng)的分類能力，減小了參數(shù)間的相互依懶性，緩解了過擬合問題的發(fā)生；(3)它的導(dǎo)數(shù)只為0或1，在誤差反向傳播時(shí)較少出現(xiàn)梯度消失。

下采樣層是對(duì)卷積層得到的每個(gè)特征圖中n*n區(qū)域內(nèi)的像素進(jìn)行采樣操作，使特征圖的尺寸減小。常見的采樣操作有均值采樣和最大值采樣。若Xi為下采樣層，則均值采樣和最大值采樣表達(dá)式分別為：

Xi=f(WiPmean(Xi-1)+bi)

(3)

Xi=f(WiPmax(Xi-1)+bi)

(4)

其中：Pmean(x)、Pmax(x)分別表示均值采樣操作和最大值采樣操作，Wi為權(quán)值，bi為偏置。

下采樣的主要作用是：(1)在保留原始特征信息的前提下，對(duì)特征圖進(jìn)行降維，避免陷入維數(shù)災(zāi)難，并且對(duì)平移、旋轉(zhuǎn)等變形具有很好的魯棒性；(2)對(duì)特征圖進(jìn)行壓縮，降低計(jì)算復(fù)雜度。

2.2 CNN特征提取

本文對(duì)CNN中“卷積+下采樣”的圖像特征提取方式進(jìn)行以下兩個(gè)方面的改進(jìn)：

(1)傳統(tǒng)CNN是圖像經(jīng)過一層層的映射，映射到最后只將輸出層作為特征提取結(jié)果，這樣在中間層就會(huì)丟失很多重要的圖像特征，從而影響識(shí)別率。本文受Wang等[10]層間特征融合思想的啟發(fā)，在輸出圖像特征提取結(jié)果時(shí)，不僅僅只采用最后一層的輸出結(jié)果，而是對(duì)輸入圖像在網(wǎng)絡(luò)中每一層的映射結(jié)果都進(jìn)行輸出，再利用主成分分析(Principal Component Analysis，PCA)法[15]對(duì)提取的全部輸出特征進(jìn)行降維處理，將其融合為多層深度特征。

(2)在下采樣過程中通過引入均值采樣和最大值采樣相結(jié)合的方式(混合采樣)來增加采樣層的多樣性。這種方式可以兼顧到均值采樣和最大值采樣獲得的特征值，從而提取更豐富的圖像特征，穩(wěn)定性較高，混合采樣表達(dá)式為：

(5)

Xi=f(WiTi+bi)

(6)

通過對(duì)特征提取方式的改進(jìn)來彌補(bǔ)原來單一的輸出層和采樣層特征提取的不足，實(shí)現(xiàn)圖像特征的充分提取與融合，改進(jìn)的CNN特征提取結(jié)構(gòu)，如圖2所示。

圖2 改進(jìn)的CNN特征提取結(jié)構(gòu)圖

2.3 訓(xùn)練算法的優(yōu)化

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程采用反向傳播(BP)算法，CNN通過正向計(jì)算和反向傳播，不斷調(diào)整權(quán)值和閾值使網(wǎng)絡(luò)的均方誤差函數(shù)不斷減小，直至達(dá)到網(wǎng)絡(luò)可以接受的精度要求。但是BP算法存在一些缺陷，如訓(xùn)練效率不高、訓(xùn)練時(shí)間長、容易出現(xiàn)過擬合現(xiàn)象；訓(xùn)練過程振蕩、收斂速度慢、易陷入局部最優(yōu)等。因此本文采用以下方法克服BP算法在網(wǎng)絡(luò)訓(xùn)練過程中存在的缺陷：

(1)在全連接層添加dropout[16]隨機(jī)隱退。在網(wǎng)絡(luò)訓(xùn)練過程中，隨機(jī)的將一部分神經(jīng)元的輸出值以概率P設(shè)置為0，減少模型參數(shù)，簡化模型，可以有效的防止過擬合現(xiàn)象，提高網(wǎng)絡(luò)泛化能力。

(2)采用增加動(dòng)量項(xiàng)的梯度下降法避免網(wǎng)絡(luò)陷入局部最優(yōu)。由于BP算法在權(quán)值調(diào)整過程中，只按照t時(shí)刻的誤差梯度方向調(diào)整，沒有考慮到t-1時(shí)刻的誤差梯度方向，從而在訓(xùn)練過程中出現(xiàn)動(dòng)蕩、收斂速度慢等現(xiàn)象。為此，在權(quán)值調(diào)整公式中通過增加動(dòng)量項(xiàng)來反映權(quán)值調(diào)整經(jīng)驗(yàn)的積累，含有動(dòng)量項(xiàng)的權(quán)值調(diào)整[17]公式為：

ΔWij(t)=ηδipj+αΔWij(t-1)

(7)

其中α為動(dòng)量因子(0<α<1)，η為學(xué)習(xí)速率(0<η<1)，δi為誤差項(xiàng)，pj為節(jié)點(diǎn)的輸出，ΔWij(t)為第t次訓(xùn)練后權(quán)值的調(diào)整量。從(7)式中可以看出，增加動(dòng)量項(xiàng)的作用是將前一次的權(quán)值調(diào)整量取一部分迭加到本次的權(quán)值調(diào)整量中，避免出現(xiàn)局部最優(yōu)。

(3)學(xué)習(xí)速率自適應(yīng)調(diào)整策略加快網(wǎng)絡(luò)收斂速度。BP算法收斂速度慢的一個(gè)重要原因是學(xué)習(xí)速率選擇不當(dāng)，選擇合適的學(xué)習(xí)速率，可以加快網(wǎng)絡(luò)的訓(xùn)練速度。本文通過學(xué)習(xí)速率自適應(yīng)調(diào)整策略，動(dòng)態(tài)改變學(xué)習(xí)速率，使學(xué)習(xí)速率能夠根據(jù)誤差的變化趨勢自適應(yīng)的調(diào)整大小。將(7)式中的學(xué)習(xí)速率η改進(jìn)為以t為變量的時(shí)間序列函數(shù)，則自適應(yīng)學(xué)習(xí)速率η的調(diào)整公式為：

(8)

其中β1、β2分別為學(xué)習(xí)速率增加和減小的比例因子(β1>1、0<β2<1)，ξ為允許反彈誤差系數(shù)(ξ>1)，E(t)為網(wǎng)絡(luò)誤差。經(jīng)過一次權(quán)值調(diào)整之后，如果網(wǎng)絡(luò)誤差減小，則在下次調(diào)整時(shí)可以增加學(xué)習(xí)速率，從而加快網(wǎng)絡(luò)收斂速度；如果網(wǎng)絡(luò)誤差增大且大于前一次誤差的ξ倍時(shí)則需要減小學(xué)習(xí)速率，其它情況則保持學(xué)習(xí)速率不變。

2.4 本文算法

本文算法分為網(wǎng)絡(luò)訓(xùn)練和圖像識(shí)別兩部分，網(wǎng)絡(luò)訓(xùn)練流程如圖3所示。

圖3 網(wǎng)絡(luò)訓(xùn)練流程圖

主要算法步驟如下。

(1)將訓(xùn)練樣本圖片進(jìn)行預(yù)處理后輸入改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)；

(2)用符合高斯分布的小隨機(jī)數(shù)對(duì)網(wǎng)絡(luò)中的連接權(quán)值、閾值進(jìn)行初始化，并設(shè)定精度控制參數(shù)；

(3)逐層計(jì)算網(wǎng)絡(luò)各層的輸出值：

a(l)=f(z(l))

(9)

z(l)=W(l)a(l-1)+b(l)

(10)

其中a(l)表示第l層的輸出值，z(l)表示第l層的激活值，f(x)為激活函數(shù)，W(l)為第l層的權(quán)值，b(l)為第l層的偏置；

(4)計(jì)算各網(wǎng)絡(luò)層的殘差δ(l)：

(11)

其中y為目標(biāo)輸出值，f′(x)為激活函數(shù)的導(dǎo)數(shù)；

(5)利用增加動(dòng)量項(xiàng)的梯度下降法對(duì)網(wǎng)絡(luò)參數(shù)權(quán)值W和偏置b進(jìn)行微調(diào)，公式如下：

(12)

其中ΔWij為權(quán)值變化量，Δbi為偏置變化量；

(6)更新訓(xùn)練樣本，并判斷是否達(dá)到要求的網(wǎng)絡(luò)精度或迭代次數(shù)。若達(dá)到，則網(wǎng)絡(luò)訓(xùn)練完畢；若沒有達(dá)到，則繼續(xù)之前的步驟，反復(fù)迭代訓(xùn)練網(wǎng)絡(luò)參數(shù)，直到滿足要求；

(7)將測試樣本圖片進(jìn)行預(yù)處理后輸入已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中，并由SVM分類器得出分類結(jié)果。

2.5 SVM分類識(shí)別

手寫體數(shù)字識(shí)別是一個(gè)多分類問題，包含0到9這10個(gè)數(shù)字，常用的SVM多分類方法有“一對(duì)一”、“一對(duì)多”和有向無環(huán)圖(DAG)法，本文選用SVM一對(duì)一多分類法。

在訓(xùn)練i，j兩類樣本間的分類器時(shí)，需要解決如下最優(yōu)化問題：

(13)

選取適當(dāng)?shù)暮撕瘮?shù)K(x,x)=(φ(x),φ(x))，可以使SVM在高維核空間中通過分類函數(shù)將樣本進(jìn)行線性分類。常用的核函數(shù)有：線性核函數(shù)、多項(xiàng)式核函數(shù)、sigmoid核函數(shù)、RBF核函數(shù)等，本文選用RBF核作為SVM分類器的核函數(shù)：

(14)

采用“投票法”進(jìn)行類別的判斷：對(duì)待測樣本x，依次用45個(gè)分類函數(shù)進(jìn)行判別。i，j兩類間的最優(yōu)分類函數(shù)為f(x)=sgn((wij)Tφ(x)+bij)，若f(x)≥0，則i類得一票；反之，則j類得一票。當(dāng)遍歷完所有分類函數(shù)后，根據(jù)得票數(shù)來確定待測樣本x所屬的類別。

2.6 算法復(fù)雜度分析

本文算法計(jì)算量主要來源于CNN的圖像卷積過程，圖像尺寸、卷積核的數(shù)量與大小、卷積層的數(shù)量等因素均會(huì)影響算法的計(jì)算速度。

單個(gè)卷積核對(duì)一幅圖像進(jìn)行卷積操作計(jì)算量為：

(15)

其中kij表示大小為m×n的卷積核，T表示大小為W×K的輸入圖像。

CNN通常采用多個(gè)卷積層以及各層采用不同數(shù)量的卷積核來提取輸入圖像的不同特征，當(dāng)卷積層數(shù)量和卷積核數(shù)量增加時(shí)，計(jì)算量也會(huì)增加。因此，CNN對(duì)輸入圖像進(jìn)行卷積操作計(jì)算量為：

(16)

其中：P表示卷積層數(shù)量，Q表示卷積核數(shù)量。

3 仿真實(shí)驗(yàn)及性能分析

為了驗(yàn)證算法的性能，實(shí)驗(yàn)分為兩部分：在自制試卷卷頭手寫分?jǐn)?shù)數(shù)據(jù)集上進(jìn)行研究性實(shí)驗(yàn)和在MNIST數(shù)據(jù)集上進(jìn)行驗(yàn)證性實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境為Windows 10操作系統(tǒng)，仿真平臺(tái)為MATLAB R2014a，

各種算法的實(shí)驗(yàn)結(jié)果均為運(yùn)行10次取平均值。

3.1 參數(shù)設(shè)置及評(píng)價(jià)指標(biāo)

為了提高識(shí)別率和保證較好的識(shí)別效果，結(jié)合文獻(xiàn)[18]中的經(jīng)驗(yàn)參數(shù)和多次實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)參數(shù)設(shè)為：動(dòng)量因子α=0.5，初始自適應(yīng)學(xué)習(xí)速率η=0.01，學(xué)習(xí)速率增加的比例因子β1=1.05，學(xué)習(xí)速率減小的比例因子β2=0.7，允許反彈誤差系數(shù)ξ=1.04，懲罰因子C=128，核參數(shù)δ=0.2。

實(shí)驗(yàn)是在網(wǎng)絡(luò)的不同迭代次數(shù)下，通過識(shí)別率和運(yùn)行時(shí)間(訓(xùn)練時(shí)間和測試時(shí)間)來評(píng)價(jià)算法的性能。識(shí)別率計(jì)算公式如下：

(17)

其中：nc為測試時(shí)正確識(shí)別的樣本數(shù)，N為測試時(shí)識(shí)別的樣本總數(shù)。

3.2 算法比較及結(jié)果評(píng)價(jià)

實(shí)驗(yàn)1 為了研究算法的性能，進(jìn)行自制樣本集試卷卷頭的手寫分?jǐn)?shù)識(shí)別。首先通過攝像頭獲取試卷卷頭樣本圖像并對(duì)其進(jìn)行預(yù)處理得到單個(gè)手寫分?jǐn)?shù)樣本集。預(yù)處理后的樣本大小為32×32，部分預(yù)處理及樣本集圖像如圖4(a)-(h)所示。

圖4 部分預(yù)處理和樣本集圖像

本實(shí)驗(yàn)采用2 000張圖片作為訓(xùn)練樣本，1 000張圖片作為測試樣本。為了探究不同的采樣操作和dropout層對(duì)實(shí)驗(yàn)的影響，在本文算法(CNN-1)其它件都相同的情況下，分別在采樣層采用均值采樣(CNN-2)和最大值采樣(CNN-3)，在采樣層采用混合采樣但在全連接層不添加dropout (CNN-4)，將以上方法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1和圖5所示。

表1 幾種不同方法下的實(shí)驗(yàn)結(jié)果比較

圖5 不同算法的識(shí)別結(jié)果對(duì)比圖

由表1和圖5的結(jié)果可知： CNN-1、CNN-2、CNN-3的運(yùn)行時(shí)間相差不多，但CNN-1的識(shí)別率卻明顯高于CNN-2和CNN-3，說明混合采樣優(yōu)于均值采樣和最大值采樣，可以更加充分的獲取圖像特征信息，提高識(shí)別率。實(shí)驗(yàn)時(shí)設(shè)置CNN-1中dropout層的dropout_ratio值為0.5，即經(jīng)過dropout層后每個(gè)輸出節(jié)點(diǎn)的值都以50%的概率置為0，CNN-4較CNN-1沒有在全連接層添加dropout隨機(jī)隱退，識(shí)別率比CNN-1低0.12%，運(yùn)行時(shí)間比CNN-1多16.2s，說明dropout層對(duì)本實(shí)驗(yàn)的識(shí)別效果有一定的貢獻(xiàn)。

由于不同的核函數(shù)和分類方法具有不同的適應(yīng)性和識(shí)別效果，因此選用不同的多分類方法和核函數(shù)可以構(gòu)造不同的SVM分類器。為了研究SVM多分類方法和核函數(shù)對(duì)識(shí)別率的影響，采用幾種常用的多分類方法和核函數(shù)進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表2所示。

從表2中可以看出：不同多分類方法及核函數(shù)的選擇對(duì)識(shí)別率和運(yùn)行時(shí)間都有一定的影響。對(duì)于分類方法來說，采用一對(duì)一多分類方法比采用一對(duì)多和DAG時(shí)的識(shí)別率要高，而采用一對(duì)多和DAG分類方法的識(shí)別率相差不大，在運(yùn)行時(shí)間上一對(duì)一多分類方法也具有一定的優(yōu)勢。對(duì)于同種分類方法不同的核函數(shù)來說，采用RBF核函數(shù)時(shí)的識(shí)別率最高，并且明顯優(yōu)于其它三種核函數(shù)。所以SVM采用一對(duì)一多分類法和RBF核函數(shù)相結(jié)合的策略識(shí)別效果最好。

表2 基于不同多分類方法與核函數(shù)的實(shí)驗(yàn)結(jié)果對(duì)比

實(shí)驗(yàn)2 為了證明算法的普適性，在MNIST數(shù)據(jù)集上進(jìn)行驗(yàn)證性實(shí)驗(yàn)。MNIST數(shù)據(jù)集由手寫數(shù)字0到9的圖像組成，包含6萬張訓(xùn)練樣本和1萬張測試樣本，而且每張圖像都經(jīng)過尺度歸一化，大小均為28×28像素。下面將CNN-1算法與LeNet-5、文獻(xiàn)[9]的算法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3和圖6所示。

表3 CNN-1與LeNet-5、文獻(xiàn)[9]算法

圖6 不同算法在MNIST上的識(shí)別結(jié)果對(duì)比圖

LeNet-5與文獻(xiàn)[9]算法的區(qū)別在于分類層分別使用softmax和SVM分類器，由表3可知它們的運(yùn)行時(shí)間分別為49.43min和37.14min，使用SVM分類器的時(shí)間明顯比softmax的短。這是因?yàn)閷?duì)于softmax分類器來說，當(dāng)某類的概率大于0.9時(shí)就意味著分類正確，但是損失函數(shù)會(huì)繼續(xù)計(jì)算，直到概率接近于1，這樣會(huì)增加運(yùn)行時(shí)間；SVM分類器則更專注于分類錯(cuò)誤的樣本，對(duì)已經(jīng)分類正確的樣本不再處理，從而能大幅度的提高訓(xùn)練速度和識(shí)別率。由表3和圖6可知，CNN-1在文獻(xiàn)[9]算法的基礎(chǔ)上對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練算法做的針對(duì)性改進(jìn)，提高了識(shí)別率也減少了運(yùn)行時(shí)間，更有利于解決手寫數(shù)字的識(shí)別問題。實(shí)驗(yàn)證明：CNN-1算法在MNIST數(shù)據(jù)集上相比其它算法同樣具有優(yōu)越性，從而驗(yàn)證了CNN-1算法的普適性和有效性。

4 結(jié)語

本文針對(duì)試卷卷頭的手寫分?jǐn)?shù)識(shí)別問題提出了改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別算法。分別從網(wǎng)絡(luò)特征提取方法和訓(xùn)練算法上對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn)，通過多層融合深度特征和混合采樣層充分提取圖像的特征和信息，增加動(dòng)量項(xiàng)和自適應(yīng)學(xué)習(xí)速率的方式來減小訓(xùn)練時(shí)間、提高訓(xùn)練速度，采用SVM 分類器進(jìn)行分類識(shí)別，提高識(shí)別率。在MNIST數(shù)據(jù)集上進(jìn)行驗(yàn)證性實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該算法有效的提高了網(wǎng)絡(luò)的訓(xùn)練速度和識(shí)別率，減少了運(yùn)行時(shí)間。下一步工作將考慮如何通過多尺度池化的思想進(jìn)一步改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)，使網(wǎng)絡(luò)能夠接受任意尺寸的輸入圖像，同時(shí)保持較好的識(shí)別效果和時(shí)效性。