雙小川，張 克

（中國礦業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，江蘇 徐州221116）

0 引 言

手寫數(shù)字識別是光學(xué)字符識別技術(shù)領(lǐng)域的重要研究方向，在郵政編碼、財務(wù)報表、銀行票據(jù)等方面有著廣泛應(yīng)用。由于手寫數(shù)字隨意性大，經(jīng)常出現(xiàn)連筆、斷筆等現(xiàn)象，識別精度不高。近年來，國內(nèi)外研究者提出了一些識別方法，大致可分為兩類［1］：基于統(tǒng)計特征和基于幾何結(jié)構(gòu)特征的方法。統(tǒng)計特征通常包括點密度、特征區(qū)域等，特點是易于訓(xùn)練；幾何結(jié)構(gòu)特征通常包括圓、端點、交叉點、輪廓和凹凸性等，特點是可以描述數(shù)字的結(jié)構(gòu)。兩種特征各有優(yōu)劣。幾何結(jié)構(gòu)特征因手寫數(shù)字的隨意性而改變，因此需要進行許多細節(jié)處理；統(tǒng)計特征可降低書寫隨意性的干擾。

提高手寫數(shù)字識別率的重要方法是提取數(shù)字的可靠特征和設(shè)計對應(yīng)的識別算法。目前的特征提取方法［2］有逐像素特征提取法［3］、骨架特征提取法［4］和垂直方向數(shù)據(jù)統(tǒng)計特征提取法［5］等。這些特征提取值因手寫數(shù)字的隨意性而產(chǎn)生偏差，需要進行細節(jié)處理，往往帶來較大的計算復(fù)雜度和識別精確度不高。這些方法適應(yīng)性不佳［6］。

針對特征提取方法不佳，本文提出了新的特征提取方法，從統(tǒng)計和結(jié)構(gòu)兩方面來提取特征。統(tǒng)計特征包括數(shù)字的空間，旋轉(zhuǎn)和層次特征。其中旋轉(zhuǎn)特征，改進了以前單一向橫軸或縱軸投影的局限性?？梢允故謱憯?shù)字沿任意直線投影，計算投影在在直線上各區(qū)間的像素比例。由于數(shù)字的形態(tài)不相同，不同數(shù)字投影的像素比例不同，從而實現(xiàn)手寫數(shù)字的識別。提取手寫數(shù)字的結(jié)構(gòu)特征，包括端點、分支點和交叉點。結(jié)合統(tǒng)計和結(jié)構(gòu)特征，降低了隨意性的干擾，利用LibSVM算法對提取的數(shù)字特征進行訓(xùn)練識別，達到很高識別率。

1 基于組合統(tǒng)計特征的預(yù)處理

手寫數(shù)字形變復(fù)雜，噪聲多。在提取特征之前，需要對手寫數(shù)字進行必要的預(yù)處理。本文預(yù)處理包括去除圖像噪聲、二值化圖像和提取數(shù)字的外界矩形框。

常用的圖像去噪聲方法有鄰域平均法、低通濾波法、中值濾波、小波變換等。小波變換去除噪聲是利用其時頻局部化及小波基選擇靈活性的特點，可以成功地去除信號中局部高頻化的噪聲。本文采用小波變換方法去除噪聲，從而降低了噪聲對特征的干擾。

利用OSTU算法對圖像二值化。OSTU是在判決分析最小二乘法原理的基礎(chǔ)上，推導(dǎo)得出的自動選取閥值的二值化方法。基本思想是將圖像直方圖用某一灰度值分割成兩組，當(dāng)被分割成的兩組方差最大時，此灰度值就作為圖像二值化處理的閥值。圖像經(jīng)過二值化后方便計算特征值。

提取數(shù)字的外界矩形框。外界矩形框是指包含數(shù)字的最小矩形框，如圖1矩形ABCD所示。通過遍歷圖像數(shù)組，記錄數(shù)字圖像中最左、右、上、下黑點的位置坐標(biāo)。根據(jù)最左和最上黑色像素位置組成矩形框的左上頂點A，最右和最下黑色像素位置組成矩形框的右下頂點C，由此可得外界矩形框ABCD。提取外界矩形框后可以消除手寫數(shù)字大小對特征值的影響。

圖1 手寫數(shù)字0的外界矩形框

2 基于統(tǒng)計和結(jié)構(gòu)特征的特征提取

手寫數(shù)字特征的選擇是決定識別率的關(guān)鍵。當(dāng)特征值過少時，由于決定性的分類特征太少，使得分類器無法發(fā)揮學(xué)習(xí)分類的功能，造成系統(tǒng)無法辨識。當(dāng)特征值過多時，除了使系統(tǒng)存儲量變大之外，也會因特征值的某些部分與其他特征值沖突，從而造成系統(tǒng)辨識的誤差。

2.1 統(tǒng)計和結(jié)構(gòu)特征提取流程

在大量樣本情況下，每一個手寫數(shù)字的統(tǒng)計量都趨于一個常數(shù)——概率。width和height分別表示外界矩形框的寬度和高度，M表示投影的區(qū)間數(shù)，dist表示區(qū)間的長度。P（i，j）＝1表示數(shù)字圖像在位置 （i，j）的像素是黑色，P（i，j）＝0表示數(shù)字圖像在位置 （i，j）的像素是白色。d為歸一化空間，max（X）和min（X）分別表示特征值xk的最大和最小值。

（1）提取數(shù)字圖像的空間特征。將圖像分成m×n塊，統(tǒng)計每塊子圖中的黑色像素數(shù)，該步驟產(chǎn)生m×n個特征值。countMN（i，j）表示第 （i，j）塊子圖中的黑色像素總數(shù)，max（X，Y），min（X，Y）分別表示countMN（i，j）的最大和最小值。特征值xi，j的計算公式為

（2）提取數(shù)字圖像沿橫軸投影的特征。將圖像沿橫軸投影，投影區(qū)間M等分，計算落在每等分區(qū)間內(nèi)黑色像素的總數(shù)，該步驟產(chǎn)生M個特征值。特征值xk的計算公式為

（3）提取數(shù)字圖像沿某一直線投影的特征。橫軸以一定角度θ逆時針旋轉(zhuǎn)，將圖像沿這條直線投影，投影區(qū)間M等分。計算投影在旋轉(zhuǎn)直線上的每等分區(qū)間內(nèi)黑色像素的總數(shù)，該步驟產(chǎn)生 M個特征值。count（k）為第k段投影區(qū)間內(nèi)的黑色像素總數(shù)，特征值xk的計算公式為

（4）提取數(shù)字圖像沿旋轉(zhuǎn)直線投影的特征。將步驟3中直線以角度θ繼續(xù)逆時針旋轉(zhuǎn)，圖像沿這條直線投影，投影區(qū)間M等分。計算投影在旋轉(zhuǎn)直線上的每等分區(qū)間內(nèi)黑色像素的總數(shù)。重復(fù)步驟4直到旋轉(zhuǎn)次數(shù)達到180／θ－1。該步驟產(chǎn)生 （180／θ－1）×M個特征值。特征值xk的計算公式同式 （4）。

（5）提取數(shù)字圖像的層次特征。將圖像從中心到邊框分成L層矩形框，即將圖像沿橫軸、縱軸等分成2L段，從圖像最內(nèi)層開始統(tǒng)計每一層矩形框所包含的黑色像素總數(shù)，直到數(shù)字的外界矩形框為止。該步驟產(chǎn)生L個特征值。countL（k）為第k層內(nèi)黑色像素數(shù)，特征值xk的計算公式為

（6）提取數(shù)字圖像的端點數(shù)、分支點數(shù)和交叉點數(shù)。圖像為二值化的八連接圖像。當(dāng)連接數(shù)為1時，為斷點或邊界點；當(dāng)連接數(shù)為2時，為連接點；當(dāng)連接數(shù)為3時，為分叉點；當(dāng)連接數(shù)為4時，為交叉點。共3個特征值。

通過以上步驟，提取了手寫數(shù)字的空間、旋轉(zhuǎn)、層次和結(jié)構(gòu)四類特征?？臻g、旋轉(zhuǎn)、層次和結(jié)構(gòu)特征分別對應(yīng)于特征提取流程的第1、2－4、5、6步。提取出的特征數(shù)有m×n＋ （180／θ）×M＋L＋3個。

圖2（a）將圖像分成2×2塊；2（b）將圖像沿橫軸分成4個投影區(qū)間；2（c）是將數(shù)字圖像向傾斜角度為θ的直線投影，投影區(qū)間分成7段；2（d）將數(shù)字圖像分為4層，從內(nèi)向外分別為第1，2，3，4層。

圖2 數(shù)字圖像6的特征提取

2.2 組合統(tǒng)計特征值分析

手寫數(shù)字6（見圖2（a））的統(tǒng)計特征值，設(shè)歸一化參數(shù)d為20。圖3（a）是手寫數(shù)字6在m＝4，n＝2（4×2＝8個特征值）時的特征值曲面圖；圖3（b）是在M＝10時向橫軸投影的特征值曲線圖；圖3（c）是在L＝4時，矩形框由內(nèi)向外包含黑色像素的特征值曲線圖。當(dāng)各參數(shù)確定時，手寫數(shù)字有相對穩(wěn)定的特征值曲線和曲面圖。本文是通過這些特征值圖來研究手寫數(shù)字的識別。

圖3 手寫數(shù)字6對應(yīng)的統(tǒng)計特征值

3 基于組合統(tǒng)計特征的手寫數(shù)字識別方法

目前常用的識別算法有貝葉斯算法［7］、人工神經(jīng)網(wǎng)絡(luò)算法［8］、多分類器組合算法［9］、基于圖論的算法［10］、支持向量機［11］、決策樹和K近鄰算法等。

支持向量機最初于20世紀(jì)90年代由VaPnik提出，根據(jù)有限的樣本數(shù)據(jù)在學(xué)習(xí)能力和模型復(fù)雜性間尋求最佳效果，希望獲得最好的應(yīng)用能力。支持向量機通過非線性映射把樣本空間映射到一個高維甚至無窮維的特征空間中，把樣本空間中非線性可分的問題轉(zhuǎn)化為在高維特征空間中線性可分的問題。支持向量機主要有升維數(shù)和線性化兩步驟。升維數(shù)就是把樣本向高維空間映射，向高維空間映射一般會使計算復(fù)雜化，SVM應(yīng)用核函數(shù)的展開定理［12］解決了這個問題。線性化是在低維樣本空間中無法線性處理的樣本集，通過線性超平面來實現(xiàn)高維特征空間中的線性劃分。

選擇不同的核函數(shù)，可以生成不同的SVM，常用的核函數(shù)有以下4種：線性核函數(shù)、多項式核函數(shù)、徑向基函數(shù)、二層神經(jīng)網(wǎng)絡(luò)核函數(shù)。本文利用LibSVM對手寫數(shù)字分類識別。

4 實 驗

手寫數(shù)字選自MNIST字體庫，該字體庫包含60 000條訓(xùn)練數(shù)據(jù)和10 000條測試數(shù)據(jù)，圖像像素大小為28×28。實驗選擇其中1500條訓(xùn)練數(shù)據(jù)和600條測試數(shù)據(jù)，部分選取的數(shù)據(jù)如圖4所示。本文實驗環(huán)境：操作系統(tǒng)是Windows XP；CPU是Intel Core 2，主頻是1.66GHz×2；內(nèi)存是2G。

圖4 部分選取的手寫數(shù)字

為驗證組合特征的有效性，提取每類特征后用LibSVM分類算法進行識別。識別率和統(tǒng)計參數(shù)的關(guān)系如圖5所示。本文為了確定圖像分塊數(shù)m×n、區(qū)間數(shù)M、旋轉(zhuǎn)角度θ和圖像空間層次L的值，利用LibSVM算法計算三類組合特征的識別率。m，n取值范圍是 ［2，8］、旋轉(zhuǎn)角度是 （0，90］、區(qū)間數(shù)是 ［2，14］、層次數(shù)是 ［2，8］。LibSVM采用C－SVC分類法并選擇線性核函數(shù)、cost＝64、eps＝0.01、gamma＝6.67×10－4。

手寫數(shù)字端點數(shù)、分支點數(shù)和交叉點數(shù)不因統(tǒng)計特征而改變，因此沒有識別率與結(jié)構(gòu)特征的關(guān)系圖。觀察圖5，當(dāng)旋轉(zhuǎn)角度θ＝20度、區(qū)間數(shù)M＝7時，僅用旋轉(zhuǎn)特征和結(jié)構(gòu)特征，其識別率達到極大值98.5%；當(dāng)分塊數(shù)m＝5，n＝5時，利用旋轉(zhuǎn)、空間和結(jié)構(gòu)三類組合特征，其識別率達到99.1667%；當(dāng)層次數(shù)L＝2時，運用四類特征，其識別率達到99.3333%。計算出組合特征的識別率如表1所示。

圖5 識別率和統(tǒng)計參數(shù)的關(guān)系

表1 特征組合后利用LibSVM算法的識別率

通過LibSVM計算不同特征的識別率，發(fā)現(xiàn)四類組合特征效果明顯，提高了手寫數(shù)字識別率。確定組合特征后，由于識別率由圖像分塊數(shù)m×n、區(qū)間數(shù)M、旋轉(zhuǎn)角度θ和分層數(shù)L共同影響。單一增長每個因子的精度時，識別率上升，但到達一定程度后下降。這是因為當(dāng)特征維數(shù)過少，分類算法無法發(fā)揮學(xué)習(xí)分類的功能，當(dāng)特征維數(shù)增加時，識別率上升。當(dāng)特征數(shù)達到一定維數(shù)后，特征值之間有冗余和無關(guān)屬性。同時特征的維數(shù)過高，即手寫數(shù)字樣本含有大量的特征時，還會導(dǎo)致：①過多的特征使手寫數(shù)字訓(xùn)練樣本集的數(shù)據(jù)量過大，分類器構(gòu)造算法的訓(xùn)練時間過長。②過多的特征使訓(xùn)練集的維數(shù)過高，經(jīng)訓(xùn)練后的分類器數(shù)值不穩(wěn)定，因此分類器的分類準(zhǔn)確率會下降。③訓(xùn)練集特征過多，訓(xùn)練后的分類器的分類規(guī)則復(fù)雜，不容易理解。這些使識別率下降。

通過Weka［13］中的分類算法對四類組合特征進行分類識別，由實驗得出各分類算法的識別率和消耗時間如表2所示。表3是國內(nèi)外學(xué)者對MNIST數(shù)據(jù)庫進行識別的研究成果。

表2 不同分類算法的識別率與消耗時間

表3 現(xiàn)有部分方法對MNIST字體庫的識別率［14］

LibSVM比BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間、測試時間長。其中BP神經(jīng)網(wǎng)絡(luò)算法的參數(shù)hiddenLayers＝12，learningRate＝0.3，momentum＝0.1，trainingTime＝10。根據(jù)表2可以選取適合需求的分類算法。按最佳參數(shù)值提取四類組合特征后，利用LibSVM分類算法得到的識別矩陣如圖6所示。

圖6 LibSVM分類算法的識別矩陣

本文在研究手寫數(shù)字識別過程中，提出組合統(tǒng)計和結(jié)構(gòu)特征，參數(shù)m、n、M、θ、L取值依次為5、5、7、20、2時識別率達到最大值。LibSVM分類算法的識別率高達99.3333%。

5 結(jié)束語

本文介紹了基于統(tǒng)計和結(jié)構(gòu)的手寫數(shù)字特征提取理論。統(tǒng)計特征包括空間，旋轉(zhuǎn)和層次特征；結(jié)構(gòu)特征包括端點、分支點和交叉點特征，提出了旋轉(zhuǎn)統(tǒng)計特征和綜合了特征提取方法。提取的特征全面表達了數(shù)字特點，用以區(qū)分不同的手寫數(shù)字。通過實驗驗證了特征提取方法的有效性和正確性。然后對組合特征值利用不同的分類算法進行識別，LibSVM算法的識別率最高，超越了以前論文的識別率。以后工作中在如何降低特征的維數(shù)和設(shè)置算法中最佳的參數(shù)值還需要進一步研究。

［1］YANG Zhihua.Novel handwritten numeral recognition based on Radon transform ［J］.Computer Engineering and Application，2008，44 （30）：13－15 （in Chinese）.［楊志 華.利用Radon變換實現(xiàn)手寫數(shù)字識別的新方法 ［J］.計算機工程與應(yīng)用，2008，44 （30）：13－15.］

［2］YANG Shuying.Pattern recognition and intelligent computing and Matlab technology ［M］.Beijing：Electronics Industry Press，2008：29－40 （in Chinese）.［楊淑瑩.模式識別與智能計算—Matlab技術(shù)實現(xiàn) ［M］.北京：電子工業(yè)出版社，2008：29－40.］

［3］CHEN Yanping，ZHAO Lei.Minutiae extraction in fingerprint images based on 8neighborhoods region coding pursue pixel［J］.Computer Knowledge and Technology，2008，4 （31）：932－934（in Chinese）.［陳艷平，趙磊.基于8鄰域編碼逐像素跟蹤法的指紋細節(jié)特征提取算法 ［J］.電腦知識與技術(shù)，2008，4 （31）：932－934.］

［4］LI Zhengguang，WU Liming.Study of skeleton extraction on machine vision recognition of failures for IC wafer ［J］.Semiconductor Technologys，2007，32 （4）：53－56 （in Chinese）.［李政廣，吳黎明.骨架提取在IC晶片缺陷機器視覺識別中的研究 ［J］.半導(dǎo)體技術(shù)，2007，32 （4）：53－56.］

［5］LIU Chunli，LV Shujing.Bangla handwritten numeral recognition based on blend features ［J］.Computer Engineering and Applications，2007，43 （20）：214－215 （in Chinese）.［劉春麗，呂淑靜.基于混合特征的孟加拉手寫體數(shù)字識別 ［J］.計算機工程與應(yīng)用，2007，43 （20）：214－215.］

［6］ZHONG Lehai，HU Wei.A new feature extraction method on handwritten digits recognition system ［J］.Journal of Sichuan University，2007，44 （5）：1000－1004 （in Chinese）. ［鐘樂海，胡偉.手寫體數(shù)字識別系統(tǒng)中一種新的特征提取方法［J］.四川大學(xué)學(xué)報，2007，44（5）：1000－1004.］

［7］WEN Shangqing，HAO Zhifeng，LIAO Qin，et al.Intelligent offline handwritten Chinese character recognition based on Bayesian network ［J］.Computer Aid Edengineering，2006，15 （3）：72－89 （in Chinese）.［溫尚清，郝志峰，廖芹，等.基于貝葉斯網(wǎng)絡(luò)的脫機手寫體漢字智能識別 ［J］.計算機輔助工程，2006，15 （3）：72－89.］

［8］ZHANG Wei，WANG Kejian，QIN Zhen.The research of digital recognition based on artificial neural network ［J］.Microelectronics ＆Computer，2006，23 （8）：206－208 （in Chinese）.［張偉，王克儉，秦臻.基于神經(jīng)網(wǎng)絡(luò)的數(shù)字識別的研究 ［J］.微電子學(xué)與計算機，2006，23 （8）：206－208.］

［9］GUI Jie，LI Xiaofeng，TANG Lei，et al.Methods of combining multiple classifiers and applications to totally unconstrained handwritten numbers［J］.Computer Engineering and Design，2007，28 （11）：2633－2636 （in Chinese）. ［桂杰，李曉風(fēng)，唐磊，等.多分類器組合及其應(yīng)用于手寫體數(shù)字識別 ［J］.計算機工程與設(shè)計，2007，28 （11）：2633－2636.］

［10］HONG Liurong， WANG Yaocai. Handwritten numeral recognition using graph theory and direction information ［J］.Computer Engineering，2006，32 （3）：34－36 （in Chinese）.［洪留榮，王耀才.應(yīng)用圖論和基元方向信息的手寫數(shù)字識別［J］.計算機工程，2006，32 （3）：34－36.］

［11］SHANG Lei，LIU Fengjin.Handwritten number recognition based on support vector machine ［J］.Ordnance Industry Automation，2007，26 （3）：39－41 （in Chinese）. ［尚磊，劉風(fēng)進.基于支持向量機的手寫體數(shù)字識別 ［J］.兵工自動化，2007，26 （3）：39－41.］

［12］LI Wenqu.Application of SVM in handwritten numeral recognition［J］.Journal of Quanzhou Normal University，2010，28 （4）：18－21（in Chinese）.［李文趨.SVM在手寫數(shù)字識別中的應(yīng)用［J］.泉州師范學(xué)院學(xué)報，2010，28 （4）：18－21.］

［13］Witten I H，F(xiàn)rank E.Data mining：Practical machine learning tools and techniques［M］.2nd ed.San Francisco：Morgan Kaufmann Publishers，2005.

［14］YANN Lecun.Courant institute NYU ［EB／OL］.http：／／yann.lecun.com／exdb／mnist／，2009.