鄭延斌 ，韓夢云 ，樊文鑫

（1. 河南師范大學計算機與信息工程學院，河南新鄉(xiāng)453007；

2. 智慧商務與物聯網技術河南省工程實驗室（河南師范大學），河南新鄉(xiāng)453007）

0 引言

脫機手寫體漢字識別是模式識別領域的研究熱點之一，也是文字識別領域最為困難的問題之一［1］。它廣泛應用于銀行票據識別、郵件分揀、辦公室自動化等領域，可以帶來巨大的經濟效益和社會價值［2-3］。由于漢字種類繁多、相似漢字之間易混淆以及書寫風格多樣等問題，過去幾十年，研究者提出了許多傳統的方法來提高脫機手寫體漢字的識別性能，但識別精度仍然遠遠落后于人類的表現［4］。

受深度卷積神經網絡（Convolutional Neural Network，CNN）在計算機視覺領域成功應用的啟發(fā)［5-6］，研究者將該方法應用于手寫體漢字識別問題中，并取得了很好的結果。Ciresan［7-8］等提出了一種端對端的多列深度CNN 模型，在脫機手寫體漢字識別中取得了93.5%的識別率，為當時最好的識別結果；Zhong 等［9］提出了一種改進的 CNN 模型，通過手工提取的特征與CNN 相結合的方式將識別率提高到了96.74%；Zhang 等［10］將傳統的歸一化-協同方向分解特征圖與CNN 相結合，取得了96.95%的識別率。這些基于CNN 的識別方法雖然取得了較好的識別結果，但由于構建神經網絡需要很高的計算成本，因而無法部署在便攜設備上。

為了解決CNN 運行速度和存儲容量的問題，涌出了許多優(yōu)化CNN 模型的方法。Li 等［11］提出了一種新的加權平均池技術，可以在不損失精度的前提下減少全連接層的參數，并通過添加中間輸出，在單個CNN 中實現了級聯模型，顯著降低了識別時間；Xiao 等［4］提出了一種基于CNN 的快速和緊湊的手寫體漢字識別方法，通過全局監(jiān)督低秩擴展（Global Supervised Low-Rank Expansion，GSLRE）方法和自適應降權（Adaptive Drop-Weight，ADW）技術來解決CNN 識別中速度和存儲容量的問題。

CNN 識別手寫體漢字需要的特征數量相當大（圖像的特征維度可能達到幾百甚至幾千），因此，直接存儲和處理圖像時效率比較低。在實際的應用中，大量的數據特征并不能刻畫數據的本質特征，數據的冗余還可能會影響到后續(xù)的數據處理［12］。因此，在使用CNN 分類之前，對漢字圖像進行特征提取，可以減少無關的數據特征，提升CNN 的運算速度。然而，在手寫體漢字識別方面還未發(fā)現相關研究。

目前，在手寫體漢字識別中常用的特征提取方法分為兩類［13］：一類是基于結構的特征提取，但因為結構提取特征困難，且對噪聲敏感，故很少使用；另一類是基于統計的特征提取。主成分分析（Principal Component Analysis，PCA）［14］是一種通過降低數據維度從而有效提取特征數據的方法，它的中心思想是將數據降維，以排除信息共存中相互重疊的部分［15］。在基于PCA 的圖像特征提取中，二維圖像必須先轉換為一維圖像向量，再求協方差矩陣的特征向量［16］。由此得到的圖像通常是一個高維的圖像向量空間（比如圖像的分辨率為64×64，轉化為一維向量的維數則高達為4 096）。由于利用PCA方法得到的協方差矩陣的維數較大，因此很難準確地對特征向量進行估計。

二維主成分分析（Two Dimensional Principal Component Analysis ，2DPCA）是 Yang 等［17］在 PCA 基礎上提出的一種基于二維矩陣的特征提取方法，在提取特征之前不需要預先將圖像矩陣轉換成一維向量，可以直接使用原始圖像矩陣構造協方差矩陣。與PCA 的圖像協方差矩陣相比，使用2DPCA 的協方差矩陣要小得多。因此，與PCA 相比，2DPCA 有兩個重要的優(yōu)點。首先，它更容易準確地評估協方差矩陣；其次，確定相應的特征向量所需的時間更少。

針對CNN 識別手寫體漢字速度慢的問題，本文采用2DPCA 與CNN 相結合的方法識別手寫體漢字。該方法在保持手寫體漢字識別率的情況下，極大地提升了手寫體漢字的識別速度。該方法主要分為兩個階段：第一階段為圖像特征提取，即利用2DPCA 提取手寫體漢字的二維圖像特征；第二個階段為圖像分類，即將第一階段提取的二維圖像特征矩陣放入CNN 的輸入層中進行分類。實驗結果表明該方法能著降低CNN的運行時間，驗證了方法的合理性和有效性。

1 相關基礎

1.1 卷積神經網絡

CNN 是一種分層神經網絡，它通過將輸入與一組核濾波器進行卷積來提取局部特征。然后對得到的卷積特征圖進行子采樣（表示為池化），并過濾到下一層。下面是對CNN 算法［9］的簡單介紹。

對于采樣層來說，就是將卷積的特征圖降維，公式如式（3）所示。其中：down（）是求和采樣函數，計算映射中的每個n × n區(qū)域的最大值。

Softmax 主要用于多分類問題，它可以將多個神經元的輸出映射到（0，1）區(qū)間內，從而將多分類的結果以概率的方式展現。假設有T 類標簽，每個類別的訓練數據用(xi，yi)表示，其中 i=｛1，2，…，N｝，xi和 yi分別為特征向量和標簽。CNN 的目標是最小化交叉熵損失函數，如式（4）所示：

在CNN 的訓練過程中，使用隨機梯度下降（Stochastic Gradient Descent，SGD）算法可以使J(θ)的損失函數最小化。

1.2 二維主成分分析

1.2.1 2DPCA算法思想

設X 表示一個n 維的單位列向量，2DPCA 的思想是通過式（5）將圖像A（一個m×n的圖像矩陣）投影到X上［18-20］：

從而得到一個m 維的投影向量Y，Y 為圖像A的投影特征向量。需要考慮如何計算X。實際上，投影樣本的總體散布矩陣可以用來測量X 的判別能力，而投影樣本的總體散布矩陣可以利用投影特征向量的協方差矩陣的跡來表示［21］。從這一點來看，可采用以下準則：

其中，訓練樣本投影特征向量的協方差矩陣由Sx表示，且Sx的跡用tr(Sx)表示。式（6）中準則最大化的物理意義是求出一個X，所有的樣本都投射到它上面，使產生的投射樣本的總體散射是最大的。協方差矩陣Sx［22］可以表示為：

因此：

定義總體散布矩陣Gt如式（9）所示：

由定義可知，Gt是一個n × n 的非負定矩陣，可以直接使用訓練圖像樣本來評估Gt。假設訓練圖像樣本的總數為L，第j 個訓練圖像用一個 m × n 的矩陣 Aj(j = 1，2，…，M)表示，所有訓練樣本的均值圖像用表示，則Gt可以利用式（10）評估。

則式（6）中的準則可以表示為：

其中：X 是一個單位列向量。這個準則稱為廣義總體散射準則。使準則最大化的單位向量X稱為最優(yōu)投影軸。當將圖像矩陣投影到X上之后，投影樣本的總散射將達到最大化。

若 X 的最優(yōu)投影軸用 Xopt表示，則 Xopt是最大化 J（X）的單位向量，即Gt的特征向量對應于最大的特征值。一般來說，只有一個最優(yōu)投影軸是不夠的。通常需要選擇一組投影軸X1；X2；…；Xd，X1；X2；…；Xd受正交約束和最大化準則J(X)的管制，如式（12）和式（13）［23］所示：

事實上，最優(yōu)投影軸X1；X2；…；Xd是Gt的標準正交特征向量對應的前d個最大的特征值。

1.2.2 特征提取

2DPCA 的最優(yōu)投影向量X1；X2；…；Xd被用作特征提取。對于給定的圖像樣本A，令

然后，得到一組投影特征向量 Y1；Y2；…；Yd，Y1；Y2；…；Yd為樣本圖像A 的主成分。需要注意的是，2DPCA的每個主成分都是一個向量。所有的主成分構成一個m × d的矩陣B =[Y1；Y2；…；Yd]，B 稱為圖像樣本A 的特征矩陣或特征圖。

2 基于2DPCA與CNN的手寫體漢字識別

為了提升CNN 模型的識別性能，人們提出了許多方法來提高手寫體漢字的識別率，主要包括數據增加和采用更深的CNN 網絡。數據增加是一種非常重要的提升CNN 魯棒性及推廣能力的技術，通常采用平移、尺度縮放、旋轉、仿射變換和彈性形變等方法對手寫體漢字圖像數據進行擴充。然而，數據增加和更深的CNN 網絡模型都會導致計算成本增加、訓練和識別時間過長。為了提高CNN 的識別速度，采用了一種基于2DPCA 與CNN 的手寫體漢字識別方法，該方法可以保持手寫體漢字的識別精度并提高識別效率。

利用2DPCA 與CNN 相結合方法識別手寫體漢字，首先輸入樣本圖像并對其進行預處理。預處理的第一步是統一圖像的尺寸大小，即將所有樣本轉為大小相同的圖像。第二步是將相同大小的圖像作歸一化處理，歸一化之后所有圖像的像素值都在［0，1］區(qū)間內。預處理之后，利用2DPCA 提取總體散布矩陣的特征向量對應的前d 個最大特征值，即最優(yōu)投影向量，將圖像投影到最優(yōu)投影向量即可得到圖像的特征矩陣。最后，將特征矩陣放入CNN 的輸入層，通過卷積、池化、全連接等一系列操作，求取識別結果。識別的算法描述過程如下：

輸入 樣本集R，低維空間維數d；

過程

對樣本集R中的圖像A進行預處理；

根據式（5）求A的投影向量Y；

利用式（7）求協方差矩陣Sx；

根據Sx求出協方差矩陣的跡；

求廣義總體散射準則函數：J(X) = XTGtX；

求最優(yōu)投影向量 Xk(k = 1，2，…，d)，最優(yōu)投影軸 X1，X2，…，Xd是Gt的標準正交特征向量對應的前d個最大的特征值X1，X2，…，Xd；

將圖像A投影到Xk，求投影特征向量Y1，Y2，…，Yd；

特征矩陣B =[Y1，Y2，…，Yd]；

令 訓 練 集 Al={(Bk，Fk)}(l，k = 1)，測 試 集 Am={(Bl+1，Fl+1)}(m，k = l)；

用Al訓練一個CNN模型；

輸出 用CNN 對Am中的樣本進行預測，預測結果與其標簽作比較，得到一個預測精度。

通過2DPCA 與CNN相結合的方法識別手寫體漢字，首先求漢字圖像的二維特征，每個漢字圖像對應一個特征矩陣，利用此矩陣，卷積神經網絡可以實現圖像的分類。整個識別過程在2.1～2.3節(jié)中詳細介紹。

2.1 預處理

1）尺寸統一化。

設整個手寫體漢字的數據集為R，由于其中的漢字圖像A的尺寸大小各不相同，為了便于處理，通過尺寸統一化將所有漢字圖像設置成相同的大小。統一尺寸后的圖像高為m，寬為n。

Resize(A) =[m，n]

2）圖像歸一化。

圖像歸一化就是通過一系列變換，將待處理的原始圖像轉換成相應的唯一標準形式。在提取特征之前，對漢字圖像進行歸一化處理，歸一化之后所有的像素值都在［0，1］區(qū)間內。

2.2 基于2DPCA的漢字特征提取

預處理之后，漢字圖像為m × n 的歸一化圖像。2DPCA算法的目的是將每一張m × n 的漢字圖像降維成m × d 的特征矩陣（d 遠遠小于n），且將m × d 的特征矩陣放入CNN 中訓練，手寫體漢字的識別率不會明顯降低。

設漢字圖像的最優(yōu)投影向量為X1，X2，…，Xd，通過Yk=AXk(k = 1，2，…，d)對 m × n 的漢字圖像A 作線性變換，投影特征向量Y1，Y2，…，Yd即可構成特征矩陣B，特征矩陣B =[Y1，Y2…，Yd]。

通過2DPCA算法求特征矩陣的具體步驟如下：

步驟1 根據式（7）求得協方差矩陣Sx，由1.2.1 節(jié)知Sx= E[(A - E(A))X][(A - E(A))X]T。

步驟2 根據跡的定義求出協方差矩陣Sx的跡，tr(Sx)=XT[E(A - E(A))T(A - E(A))]X。

步驟3 求廣義總體散射準則函數。定義總體散布矩陣Gt= E(A - E(A))T(A - E(A))，由1.2.1 節(jié)式（5）的準則函數可得J(X) = XTGtX。

步驟4 求最優(yōu)投影向量Xk(k = 1，2，…，d)。最優(yōu)投影軸 X1，X2，…，Xd是 Gt的標準正交特征向量對應的前 d 個最大的特征值。

步驟5 將圖像A 投影到Xk上，由式（5）可知投影特征向量為Y1，Y2，…，Yd。

步驟6 特征矩陣B =[Y1，Y2，…，Yd]。

2.3 基于特征矩陣的CNN模型

特征矩陣作為CNN 的輸入在手寫體漢字識別方面展現了很好的性能，它不僅沒有降低手寫體漢字的識別率，還明顯提高了CNN 的識別速度。本文采用三種CNN 模型驗證該方法的有效性。它包括AlexNet（Alex Krizhevsky）模型與文獻［3］和文獻［8］提出的兩種深度卷積神經網絡模型。文獻［3］和文獻［8］的模型分別命名為ACNN模型和DCNN模型。

文獻［3］的卷積神經網絡結構包含8 個卷積層、4 個池化層、1個全連接層和1個輸出層。全連接層連接上一層的所有激活，輸出層用Softmax 函數生成分類。如圖1 所示，圖中每一部分包含兩個卷積層和一個池化層。

AlexNet 采用與文獻［6］相同的體系結構，模型如圖2 所示。它由8 個加權層組成；前五層包括三組卷積層和最大池化層，以及兩個單獨的卷積層；其余三層是完全連接的層。在該模型中，所有濾波器的大小均為3×3，卷積步長為1，池化層的大小為2，步長也為2。

文獻［8］提出的 CNN 架構如圖 3 所示，主要由 3 個卷積層、2 個池化層、1 個全連接層和一個Softmax 回歸層組成。其中，網絡的前6層用于特征提取，最后一層用于分類。

圖1 ACNN的模型架構Fig. 1 Model architecture of ACNN

圖2 AlexNet的模型架構Fig. 2 Model architecture of AlexNet

圖3 DCNN的模型架構Fig. 3 Model architecture of DCNN

3 實驗與分析

3.1 數據集

本研究采用中國科學院自動化研究所提供的手寫體漢字數據集CASIA-HWDB1.1 進行實驗。CASIA-HWDB1.1 數據集包含了3 755 個常用的GB2312 一級漢字，由300 個不同的編寫者書寫，每個漢字的樣本庫包含240 個訓練樣本和60 個測試樣本。為了驗證本文提出的方法，隨機選取CASIAHWDB1.1 中的15 組相似手寫體漢字進行驗證［24］，每組包含10個相似樣本。部分相似手寫體漢字樣本如圖4所示。

3.2 實驗配置及實驗平臺

在預處理中，將所有的漢字圖像統一為64 × 64 的大小，并對64 × 64的漢字圖像進行歸一化處理。提取特征矩陣時，選擇d的個數為10，即每張圖像的特征矩陣大小為64 × 10。提取特征矩陣之后，對每個特征矩陣進行標準化處理，保證每個維度的特征數據方差為1，均值為0。

特征矩陣輸入CNN 之前，首先打亂整個訓練樣本，以減少訓練時的過擬合。為了得到更好的手寫體漢字識別率，對三個CNN 模型通過多次重復實驗進行調參。選取部分參數作對比，不同CNN 模型的識別率如表1所示，對3個CNN 模型的平均識別率作比較，可知第三組數據的識別率最高，效果最好。因此，CNN 模型的參數配置如下：批大小設置為48，正則化大小為0.8，學習率為0.000 2，每循環(huán)200 次學習率降低10%。

圖4 CASIA-HWDB1.1的相似數據樣本Fig. 4 Similar data samples in CASIA-HWDB1.1 dataset

實驗采用的平臺是基于Python 語言的深度學習框架tensorflow，硬件環(huán)境為Intel i5 CPU，8 GB 內存，操作系統為Windows 10 64位。

表1 不同參數的手寫體漢字識別率對比Tab. 1 Comparison of handwritten Chinese character recognition rates under different parameters

3.3 結果與分析

將2DPCA 與CNN 相結合的方法用于手寫體漢字識別，并分別與2.3 節(jié)中的三種CNN 模型進行對比。2DPCA 與三個CNN 模型相結合的方法分別命名為2DPCA-ACNN、2DPCAAlexNet 和2DPCA-DCNN，三種方法統稱為2DPCA-CNN。通過對比三種模型與2DPCA 結合前后的識別率和識別時間，驗證本文方法的合理性和有效性。

3.3.1 比較2DPCA-ACNN與ACNN

將 2DPCA-ACNN 與文獻［3］中的 ACNN 方法作對比，ACNN 的架構如2.3 節(jié)的圖1 所示。在識別過程中，任選一組相似手寫體漢字分別采用本文方法與文獻［3］中的方法進行訓練和識別，隨著迭代次數的增加，相似手寫體漢字中測試集的識別率變化曲線如圖5 所示。其中橫坐標為迭代次數，縱坐標為測試集的識別率，迭代次數設置為5 000。從圖5 中可以看出，隨著迭代次數的增加，測試集的識別率逐漸上升并趨于穩(wěn)定，且2DPCA-ACNN 與ACNN 識別率分別為94.88%和95.12%，2DPCA-ACNN 與ACNN 的識別方法在本次實驗中識別率相差不大。

圖5 2DPCA-ACNN與ACNN識別率變化Fig. 5 Recognition rate changes of 2DPCA-ACNN and ACNN

為了避免實驗結果的偶然性，隨機選擇了5 組相似手寫體漢字進行實驗，并求出5 組相似手寫體漢字的平均識別率和識別時間。對比2DPCA-ACNN 與ACNN，得到的測試集的識別率和識別時間如表2 所示。從表2 可以看出，ACNN 和2DPCA-ACNN中每一組手寫體漢字的識別率波動不超過1%，2DPCA-ACNN 識別手寫體漢字所花費的時間相較ACNN 所花費時間卻減少了80%。

表2 2DPCA-ACNN與ACNN的識別率和識別時間對比Tab. 2 Comparison of 2DPCA-ACNN and ACNN on recognition rate and recognition time

3.3.2 比較2DPCA-AlexNet與AlexNet

該實驗采用的CNN 模型是文獻［6］中的AlexNet 模型，AlexNet 的模型架構如2.3 節(jié)的圖2 所示。在本次識別過程中，隨著迭代次數的增加，相似手寫體漢字中測試集的識別率變化曲線如圖6 所示。由圖6 中可以看出，AlexNet 與2DPCAAlexNet 的識別率分別為92.45%和94.29%，2DPCA-AlexNet的識別率略大于AlexNet。由于每次實驗初始化參數值都是隨機的，樣本打亂順序也是隨機的，因此一定程度的波動屬于正常范圍。

圖6 2DPCA-AlexNet與AlexNet識別率變化Fig. 6 Recognition rate changes of 2DPCA-AlexNet and AlexNet

為了避免本次實驗結果的偶然性，仍然選擇了5 組相似手寫體漢字進行實驗。對比2DPCA-AlexNet 與AlexNet，得到的測試集的識別率和識別時間如表3所示。從表3可以看出，隨著CNN 深度的增加，手寫體的識別率也逐漸增加，且2DPCA-AlexNet 與AlexNet 中每組手寫體漢字的識別率略小于2DPCA-ACNN與ACNN的識別率。此外，與AlexNet算法相比，2DPCA-AlexNet識別手寫體漢字花費的時間減少了78%。

3.3.3 比較2DPCA-DCNN與DCNN

本次實驗比較方式同3.3.1 和3.3.2 節(jié)一致，DCNN 識別手寫體漢字的架構如2.3節(jié)的圖3所示。在識別過程中，隨著迭代次數的增加，相似手寫體漢字中測試集的識別率變化曲線如圖7 所示。此時測試集在2DPCA-DCNN 與DCNN 模型上的變化曲線基本重合，證明了兩種方法的識別率相差很小。

本次在2DPCA-DCNN 與DCNN 模型上進行對比，得到每組的測試集的識別率和識別時間如表4 所示。在本次實驗中，兩種方法的手寫體漢字的識別率波動不大，且與DCNN 相比，2DPCA-DCNN 識別手寫體漢字所花費的時間降低了73%。

表3 2DPCA-AlexNet與AlexNet的識別率和識別時間對比Tab. 3 Comparison of 2DPCA-AlexNet and AlexNet on recognition rate and recognition time

圖7 2DPCA-DCNN與DCNN識別率變化Fig. 7 Recognition rate changes of 2DPCA-DCNN and DCNN

表4 2DPCA-DCNN與DCNN的識別率和識別時間對比Tab. 4 Comparison of 2DPCA-DCNN and DCNN on recognition rate and recognition time

比較3.3.1 與3.3.2 節(jié)中的實驗可知，隨著CNN 層數的增多，不僅手寫體漢字的識別率顯著提高，CNN識別手寫體漢字的時間也成倍增長。比較每次實驗中CNN 與2DPCA-CNN所花費的時間，可以發(fā)現CNN 層數越深，本文方法節(jié)省的時間也越多。

比較 3.3.1、3.3.2 和 3.3.3 節(jié)中的三次實驗，由圖 5～7 可以直觀地看出，隨著迭代次數的增加，2DPCA-CNN 與CNN 的識別率趨于穩(wěn)定并且識別率大小沒有明顯的差異。比較表2～4 中的每組數據和其平均值，可以看出每次實驗2DPCACNN 識別手寫體漢字的時間遠遠小于CNN 所花費的時間，證明了2DPCA 與CNN 相結合的方法與CNN 方法相比具有明顯的時間優(yōu)勢。

4 結語

近年來，在手寫體漢字識別領域比傳統方法好的深度學習模型主要是基于CNN 及其改進方法的。但是CNN 也有其缺陷，比如需要大量的訓練樣本、更深的CNN 模型來保持其精度。由于增加樣本和采用更深的CNN 模型需要大量的參數計算，這無疑增加了CNN 的訓練時間。針對CNN 訓練時間長的問題，本文采用了2DPCA 與CNN 相結合的手寫體漢字識別方法。該方法首先去除圖像中的冗余信息，得到手寫體漢字的特征矩陣；然后再將特征矩陣放入CNN 中進行識別。由于特征矩陣的參數變少，因此將特征矩陣放入CNN 模型中進行卷積、池化等運算，能明顯地降低CNN的運行時間。