黃一格，張炎生

（廣東海洋大學(xué)電子與信息工程學(xué)院，廣東湛江 524088）

0 引言

隨著我國人口逐年遞增，公民在填寫報(bào)表時產(chǎn)生的數(shù)據(jù)量也在同步上漲，其中大量數(shù)據(jù)由阿拉伯?dāng)?shù)字組成。因此，需要采取必要手段將手寫數(shù)字轉(zhuǎn)化成存在計(jì)算機(jī)里的文字。傳統(tǒng)的做法采用手工錄入，這種做法效率低且勞動力成本高。目前，主流的數(shù)據(jù)錄入方法采用光學(xué)字符識別（Optical Character Recognition,OCR）技術(shù)[1]，OCR技術(shù)是指將采集得到帶有字符的數(shù)字圖像輸入計(jì)算機(jī)后經(jīng)過處理，在輸出端得到存儲在計(jì)算機(jī)的字符的技術(shù)，手寫數(shù)字識別技術(shù)作為OCR技術(shù)的一個分支，其研究目的是將人書寫在紙上的阿拉伯?dāng)?shù)字轉(zhuǎn)換為計(jì)算機(jī)里的數(shù)字。由于數(shù)據(jù)信息主要由阿拉伯?dāng)?shù)字組成，如：郵政編碼、銀行票據(jù)等，因此處理此類信息的關(guān)鍵技術(shù)是手寫數(shù)字識別技術(shù)，所以對該技術(shù)的深入研究蘊(yùn)含著巨大的應(yīng)用價(jià)值和現(xiàn)實(shí)意義[2-3]。

本文在此背景下，提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字分類識別模型。該模型在Matlab開發(fā)環(huán)境下實(shí)現(xiàn)[4]，訓(xùn)練時間較短，對手寫數(shù)字的識別精度較高。

1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種采用了BP算法的多層前饋神經(jīng)網(wǎng)絡(luò)模型，具備高度的非線性映射能力并且克服了簡單感知機(jī)的局限性，其拓?fù)浣Y(jié)構(gòu)如圖1所示[5]。隱含層是一個寬泛的概念，它指代了所有介于輸入層和輸出層之間的中間層，因此其數(shù)目可以是一或多個。

BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程包括兩個階段：正向傳播和反向傳播。正向傳播時，輸入向量從輸入層輸入，輸入數(shù)據(jù)經(jīng)過線性組合成為隱含層神經(jīng)元的輸入值，隱含層內(nèi)包括對輸入值的線性組合和非線性映射，隨后得到隱含層的輸出值，輸出層又對隱含層輸出值作出類似的運(yùn)算，最后得到實(shí)際輸出。反向傳播采用BP算法，也稱為誤差反向傳播算法，BP算法實(shí)際上是一種根據(jù)求導(dǎo)鏈?zhǔn)椒▌t計(jì)算梯度的算法。描述輸出誤差的數(shù)學(xué)表達(dá)式不統(tǒng)一，通常采用均方誤差描述。輸出誤差反向逐層傳遞，根據(jù)隱含層神經(jīng)元的誤差對連接權(quán)值和偏置進(jìn)行調(diào)整，經(jīng)過一步步迭代后，最終輸出誤差降至可接受的區(qū)間內(nèi)[6]。

圖1 BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

2 結(jié)合BP網(wǎng)絡(luò)技術(shù)對手寫數(shù)字識別

手寫數(shù)字識別系統(tǒng)的總流程如圖2所示，該系統(tǒng)由圖像處理、特征提取和分類識別3個模塊組成[7]。系統(tǒng)的輸入端為通過攝像頭或其他方式采集得到的原始RGB數(shù)字圖像，輸出端則是對這個原始圖像上手寫數(shù)字的識別結(jié)果。

圖2 系統(tǒng)流程圖

2.1 圖像處理

該模塊對輸入的原始圖像進(jìn)行必要的預(yù)處理后進(jìn)行字符分割[8]，以采集得到的原始圖像（圖3）為例，其經(jīng)過圖像處理模塊后效果如圖4所示。

圖3 原圖

圖4 圖像處理后效果圖

2.1.1 灰度轉(zhuǎn)換和二值化

采集的圖像通常是RGB彩色圖像，也就是說，一幅彩色圖像是由紅色（R）、綠色（G）、藍(lán)色（B）3種單色圖像組成的，需要將RGB圖像轉(zhuǎn)化為灰度圖像以確保后續(xù)操作成功，得到的灰度圖每一個像素像在每一個R、G、B分量上具有同等值，將RGB圖像進(jìn)行灰度轉(zhuǎn)化通常采用如下公式：

圖像的灰度轉(zhuǎn)換調(diào)用gray=rgb2gray（I）函數(shù)實(shí)現(xiàn)，其中I為彩色圖像，gray為灰度圖像。其次對灰度圖像進(jìn)行二值化，通過調(diào)用函數(shù)im2bw（）實(shí)現(xiàn)。本文采用固定閾值法，閾值的給定要根據(jù)底色的灰度值來確定，一般情況下，圖像底色灰度值約為120～180，本文將閾值設(shè)定為120。

2.1.2 平滑去噪

在非理想情況下，采集的原始數(shù)字圖像可能摻雜了噪聲，此時需要將噪聲去除或者削弱其影響，以免對后續(xù)步驟造成較大的負(fù)面影響。最常見的噪聲是椒鹽噪聲，它在二值圖像中表現(xiàn)為在白色的背景中有若干孤立的黑點(diǎn)，或是在黑色的數(shù)字中包含白色的孤立點(diǎn)。常用的濾波方法有均值濾波、中值濾波、最大最小值濾波等，但這些方法不能夠很好地去除孤立點(diǎn)而且有可能破壞數(shù)字的輪廓。本文采用8鄰域?yàn)V波法，此方法不僅能有效去除孤立點(diǎn)，還能夠?qū)ψ址麅?nèi)空缺白點(diǎn)進(jìn)行填充，其原理如下：

（1）當(dāng)二值圖像（i,j）處灰度值f（i,j）=0時，而（i,j）位置相鄰的8個鄰域的灰度值為1時，則令f（i,j）=1。

（2）當(dāng)二值圖像（i,j）處灰度值f（i,j）=1時，而（i,j）位置相鄰的8個鄰域的灰度值為0時，則令f（i,j）=0。

2.1.3 圖像分割

由于分類識別是對每個數(shù)字的特征信息逐一識別的，所以要將每一個字符獨(dú)立分割出來。本文采用如下方法：首先對二值圖像進(jìn)行水平投影，統(tǒng)計(jì)出每列白像素點(diǎn)之和，如圖5所示?？梢?，字符之間的縫隙產(chǎn)生了波谷，字符所在列產(chǎn)生了波峰，波峰的區(qū)間就是每個字符的左右邊界。同理，可以確定每個字符的上下邊界，于是便能從二值圖像中分割出獨(dú)立的字符。

圖5 各列白像素點(diǎn)之和

2.1.4 歸一化

由于分割后每個字符圖像的分辨率不同，而后續(xù)特征提取步驟要求輸出特征向量具有相同的維數(shù)，則需要對字符圖像進(jìn)行歸一化處理。本文采用大小歸一化，就是將實(shí)際提取的字符圖像通過橫縱坐標(biāo)的比例放縮，得到指定大小的圖像。此步驟通過調(diào)用函數(shù)BW=imresize（I,a×b），在本文中a=14，b=10。調(diào)用后可將字符圖像變?yōu)?4×10的規(guī)格，采用最近鄰插值法。

2.2 特征提取

本文采用逐像素點(diǎn)特征提取法，即直接將圖像送入分類器進(jìn)行分類識別，這種特征提取方法相對簡單而且不會因缺少數(shù)據(jù)而喪失其他特征。逐像素點(diǎn)特征提取法在Matlab中表現(xiàn)為對字符圖像進(jìn)行逐行逐列掃描，將14×10的字符圖像矩陣重新排列成140×1的特征向量矩陣，通過調(diào)用指令feature=reshape（I,140,[]）實(shí)現(xiàn)。

2.3 分類識別

2.3.1 初始參數(shù)的選取

連接權(quán)值的初始值通常選取大小介于[-1,+1]的偽隨機(jī)數(shù)，調(diào)用randn（）實(shí)現(xiàn)；初始偏置設(shè)為全0；訓(xùn)練次數(shù)為1 000；學(xué)習(xí)速率η為0.05。

2.3.2 各層神經(jīng)元數(shù)目的確定

本文采用3層BP神經(jīng)網(wǎng)絡(luò)，即中間層數(shù)為1。輸入節(jié)點(diǎn)數(shù)目取決于特征向量，由于本文訓(xùn)練樣本采用14×10的點(diǎn)陣，采用逐像素點(diǎn)特征提取法，因此可以確定輸入層神經(jīng)節(jié)點(diǎn)數(shù)為140。輸出節(jié)點(diǎn)數(shù)取決于目標(biāo)向量，由于輸出模式有10種可能，本文采用10位數(shù)對輸出模式編碼，所以輸出節(jié)點(diǎn)數(shù)為10。對于隱含層節(jié)點(diǎn)數(shù)的確定，目前尚無確切的理論依據(jù)。節(jié)點(diǎn)數(shù)太少會導(dǎo)致“欠擬合”現(xiàn)象，識別精度不夠；節(jié)點(diǎn)數(shù)過多會造成“過擬合”現(xiàn)象，雖然擬合精度足夠高，但是模型的泛化能力不足。本文選擇如下經(jīng)驗(yàn)公式[9]：

式中：m為隱藏層節(jié)點(diǎn)；n為輸入層節(jié)點(diǎn)；I為輸出層節(jié)點(diǎn)；α為1～10之間的整數(shù)。已知n=140，I=10，令α=1，計(jì)算得m≈13。

2.3.3 BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

由于Sigmoid具有單調(diào)可微等優(yōu)良特性，本文的選取Sigmoid函數(shù)作為神經(jīng)元的激活函數(shù)，下面給出學(xué)習(xí)算法步驟[10]。

（1）將連接權(quán)值ωji初始化-1～+1之間的偽隨機(jī)數(shù)，偏置值θj初始化為0。

（2）輸入訓(xùn)練樣本Xk（k=1，2，…，P），期望輸出為dk（k=1，2，…，P），對每個訓(xùn)練樣本進(jìn)行步驟（3）到步驟（5）的迭代。

（3）計(jì)算神經(jīng)元的狀態(tài)和實(shí)際輸出:

（4）計(jì)算輸出誤差:

（5）修正連接權(quán)值和偏置值:

（6）當(dāng)?shù)螖?shù)滿足要求時，結(jié)束。

式中：ωji為前一層第i個神經(jīng)元到本層第j個神經(jīng)元的連接權(quán)值；okj為實(shí)際輸出；θj為本層第j個神經(jīng)元的偏置值；f（·）為激活函數(shù)；η為學(xué)習(xí)率。需要說明，式（4）適用于輸出層，式（5）適用于隱含層。

3 實(shí)驗(yàn)結(jié)果分析

本次實(shí)驗(yàn)在Windows10 64bit intel（R） Core（TM）i7-8750H 2.20Ghz CPU 8GB RAM環(huán)境下使用Maltab2016a完成。使用100個訓(xùn)練樣本對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練時間約為7.5 s，對驗(yàn)證集的識別準(zhǔn)確率約為92.5%，再對另外10張手寫數(shù)字圖片進(jìn)行識別，識別結(jié)果如表1所示。

表1 識別結(jié)果

可見，對于書寫較為簡單的數(shù)字，如0、1等識別正確率為100%。而較為復(fù)雜的數(shù)字，如8、6等識別正確率較低。此外，由于不同筆者的書寫風(fēng)格具有差異性，數(shù)字的傾斜度也不同；也有筆者書寫的數(shù)字5、6差別微乎其微。針對上述種種情況，可以考慮采用傾斜度矯正、圖像細(xì)化的方法以提高識別精度。

4 結(jié)束語

本文主要對手寫數(shù)字識別結(jié)合神經(jīng)網(wǎng)絡(luò)方法的實(shí)現(xiàn)進(jìn)行了探討與研究，并且采用MATLAB為開發(fā)環(huán)境，編寫了系統(tǒng)各個模塊。本文在BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上結(jié)合逐像素點(diǎn)特征提取法設(shè)計(jì)了手寫數(shù)字識別系統(tǒng)，該系統(tǒng)主要由圖像處理和分類識別兩大部分組成。對原始圖片進(jìn)行圖像處理是分類識別的前期工作，特征提取是連接圖像與神經(jīng)網(wǎng)絡(luò)的橋梁。分類識別是整個系統(tǒng)的核心，本文采用具有代表性的三層BP神經(jīng)網(wǎng)絡(luò)，在保證識別精度前提下又能保證簡短的訓(xùn)練過程，性能較好。手寫體數(shù)字識別是近年來的研究熱點(diǎn)并且應(yīng)用廣泛，特別是脫機(jī)手寫體數(shù)字識別在銀行票據(jù)認(rèn)證、成績自動錄入等方面均有用途。