宋婉娟

(湖北第二師范學(xué)院 計(jì)算機(jī)學(xué)院,武漢 420205)

基于模糊支持向量機(jī)的手寫(xiě)字符串識(shí)別

宋婉娟

(湖北第二師范學(xué)院 計(jì)算機(jī)學(xué)院,武漢 420205)

由于手寫(xiě)數(shù)字串書(shū)寫(xiě)的隨意和分割技術(shù)的局限性，手寫(xiě)數(shù)字串的識(shí)別成為了手寫(xiě)字符識(shí)別領(lǐng)域的一個(gè)難點(diǎn)。本文針對(duì)手寫(xiě)數(shù)字串的分割和識(shí)別采用了一種有效的模型，該模型針對(duì)手寫(xiě)數(shù)字串的分割的不準(zhǔn)確設(shè)置模糊支持向量機(jī)作為檢測(cè)器進(jìn)行再次識(shí)別確認(rèn)。實(shí)驗(yàn)證明，設(shè)置模糊支持向量機(jī)作為檢測(cè)器后，大大地減少了因?yàn)榉指铍x群點(diǎn)造成識(shí)別錯(cuò)誤率增加的問(wèn)題；其次，模糊隸屬度函數(shù)的正確選擇才能發(fā)揮模糊支持向量機(jī)的優(yōu)越性。

模糊支持向量機(jī)；檢測(cè)器；模糊隸屬度函數(shù)；聚合度；離群點(diǎn)

1 引言

手寫(xiě)字符識(shí)別是應(yīng)用非常廣泛的一種技術(shù)，其中脫機(jī)手寫(xiě)數(shù)字識(shí)別是其中的一個(gè)分支，這種技術(shù)已成功的應(yīng)用在表單系統(tǒng)，如郵件自動(dòng)分揀系統(tǒng)，銀行票據(jù)系統(tǒng)。單個(gè)數(shù)字識(shí)別技術(shù)已經(jīng)比較成熟，而手寫(xiě)數(shù)字串的分割與識(shí)別則成為了該領(lǐng)域的瓶頸和難點(diǎn)[1-5]。本文研究的是由于手寫(xiě)字的連筆擁擠等而形成的數(shù)字串的分割與識(shí)別。對(duì)于手寫(xiě)數(shù)字串的分割問(wèn)題，國(guó)內(nèi)外很多學(xué)者進(jìn)行了研究，主要的分割方法可以分為如下幾類(lèi)[1-5]：

1.1 基于圖像分析的分割[1,2]。通過(guò)圖像分析尋找數(shù)字之間較為合理的分割點(diǎn)，該方法利用字符間隙和數(shù)字間距以及數(shù)字寬度與高度比、投影法，或者是利用數(shù)字的連通域單元、筆劃、骨架、部件等結(jié)構(gòu)信息實(shí)現(xiàn)分割。

1.2 基于識(shí)別的分割[2,4,6]。在實(shí)際分割前增加一個(gè)識(shí)別環(huán)節(jié)，借助識(shí)別結(jié)果對(duì)各種可能存在的分割進(jìn)行篩選，根據(jù)每種分割候選者的置信度找到一種最佳的分割組合。

1.3 整體識(shí)別。以整個(gè)詞為待識(shí)客體，根據(jù)該詞的整體特征來(lái)識(shí)別，從而避免分割對(duì)字符的損傷，這種方法一般在識(shí)別有限的關(guān)鍵性詞匯時(shí)使用。

基于圖像分析的分割方法中，比較有代表性的如基于SCP(significant contour point)的數(shù)字切分[1]， 基于模具的手寫(xiě)數(shù)字串切分算法[5]，基于BFA(background and foreground analysis)[3]的數(shù)字切分都在某些領(lǐng)域達(dá)到了比較好的效果?；贐FA 方法的切分效果最佳，但BFA 方法過(guò)于復(fù)雜，在實(shí)際應(yīng)用中難以保證其實(shí)時(shí)性，限制了它的應(yīng)用；滴水算法相對(duì)比較簡(jiǎn)單，但由于算法本身存在容易陷入局部最優(yōu)的問(wèn)題，切分效果不是很理想[3]?；谧R(shí)別的分割方法以Casey和Nagy提出的遞歸分割算法[7]最具代表性，該方法具有動(dòng)態(tài)選擇分割點(diǎn)的能力,可以減少因分割錯(cuò)誤而造成的誤識(shí)和拒識(shí)。但也存在以下不足:由于未作預(yù)分類(lèi)使得算法效率不夠高；易發(fā)生多個(gè)分割結(jié)果，比如將4分割成了11。本文采用基于識(shí)別的分割方法，在分割的過(guò)程中引入識(shí)別機(jī)制，具有動(dòng)態(tài)選擇分割點(diǎn)的能力，可以減少因分割錯(cuò)誤而造成的誤識(shí)，所以能夠正確的選擇分割點(diǎn)。本文的主要貢獻(xiàn)有以下3點(diǎn)：(1)識(shí)別模型中檢測(cè)器的設(shè)置可以大大減少由于錯(cuò)誤分割造成手寫(xiě)數(shù)字串的識(shí)別錯(cuò)誤問(wèn)題；(2)選用模糊支持向量機(jī)(FSVM)這種學(xué)習(xí)機(jī)作為分割候選者的檢測(cè)器能合理的抑制分割過(guò)程中的離群點(diǎn)樣本；(3)模糊支持向量機(jī)只有與適合的模糊隸屬度函數(shù)結(jié)合才能使模糊支持向量機(jī)發(fā)揮好的性能，本文采用基于聚合度的模糊隸屬度函數(shù)，能給予離群點(diǎn)樣本合適的隸屬度，進(jìn)而使得模糊支持向量機(jī)的分類(lèi)性能大大提高。

手寫(xiě)數(shù)字串的分割步驟會(huì)產(chǎn)生很多分割碎片，由于分割技術(shù)的局限性，這些分割碎片中有數(shù)字樣本和非數(shù)字樣本，這些非數(shù)字樣本即為離群點(diǎn)樣本，如果對(duì)這些離群點(diǎn)樣本不加以處理，這些離群點(diǎn)樣本會(huì)大大的降低識(shí)別的正確率。本文基于這個(gè)問(wèn)題提出了一種新的識(shí)別模型，該模型設(shè)置了模糊支持向量機(jī)作為檢測(cè)器進(jìn)行再次識(shí)別用來(lái)保證手寫(xiě)數(shù)字串的分割正確率。模糊支持向量機(jī)是在傳統(tǒng)的支持向量機(jī)基礎(chǔ)上加以改進(jìn)的一種學(xué)習(xí)機(jī)，它對(duì)數(shù)據(jù)集中的每個(gè)樣本點(diǎn)關(guān)聯(lián)一個(gè)權(quán)重向量即模糊隸屬度，不同的隸屬度的樣本點(diǎn)對(duì)分類(lèi)超平面的學(xué)習(xí)有不同的貢獻(xiàn)，在某種程度上可以減少離群點(diǎn)對(duì)分類(lèi)超平面學(xué)習(xí)的干擾，模糊支持向量機(jī)能恰當(dāng)?shù)囊种七@些離群點(diǎn)樣本。取得合理的樣本隸屬度值，模糊支持向量機(jī)的分類(lèi)性能才能真正發(fā)揮其優(yōu)越性，本文采用基于聚合度的隸屬度函數(shù)，實(shí)驗(yàn)證明，該方法大大提高了模糊支持向量機(jī)的性能。

2 手寫(xiě)數(shù)字串識(shí)別模型

本文采用文獻(xiàn)[7]提出的這種識(shí)別模型[7]來(lái)進(jìn)行手寫(xiě)數(shù)字串的識(shí)別。由于前述提到的手寫(xiě)體數(shù)字的各種原因，會(huì)有過(guò)度分割和不足分割的情況出現(xiàn)，圖1提出的這種模型能有效的處理錯(cuò)誤分割的問(wèn)題。該模型采用基于識(shí)別的分割方式，在模型中運(yùn)用了分類(lèi)器和檢驗(yàn)器來(lái)達(dá)到良好的分割和識(shí)別效果。該模型運(yùn)用概率統(tǒng)計(jì)知識(shí)框架，結(jié)合檢測(cè)器和識(shí)別器的數(shù)據(jù)得出最優(yōu)的結(jié)果。該模型描述了手寫(xiě)數(shù)字串識(shí)別的整個(gè)過(guò)程，這個(gè)模型分為三個(gè)過(guò)程：部分檢測(cè)和切分，特征提取，識(shí)別和檢測(cè)器。模型采用的通用的分類(lèi)器是基于凹度和輪廓特征的，過(guò)度切分檢測(cè)器是基于多層凹度特征的，不足切分檢測(cè)器是基于凹度特征的。第三階段使用了檢測(cè)器用來(lái)檢測(cè)過(guò)度分割和不足分割的情況，用來(lái)協(xié)助數(shù)字串的分割，這種檢測(cè)器的設(shè)置大大的提高了分割的效果。本文采用模糊支持向量機(jī)作為分割結(jié)果的檢測(cè)器進(jìn)行再次確認(rèn)，能減少非數(shù)字離群點(diǎn)樣本被當(dāng)作有效樣本的情況。

3 模糊支持向量機(jī)

FSVM最初由文獻(xiàn)[8]等提出。在FSVM中，訓(xùn)練集中每個(gè)數(shù)據(jù)都關(guān)聯(lián)一個(gè)表征數(shù)據(jù)重要性的模糊權(quán)重，每個(gè)樣本點(diǎn)的權(quán)重值以關(guān)聯(lián)于它的一個(gè)合適超平面對(duì)2類(lèi)數(shù)據(jù)的分類(lèi)結(jié)果來(lái)計(jì)算，位于2類(lèi)相鄰邊界的疑似離群點(diǎn)及離群點(diǎn)數(shù)據(jù)將獲得較小的權(quán)重值，而其他數(shù)據(jù)則獲得較大的權(quán)重值，這樣能夠達(dá)到對(duì)數(shù)據(jù)的合理抑制。

s,t.yi(wφ(xi)+b)≥1-ξi

(ξi≥0;i=1,2,…,l),

(1)

式中，w為分類(lèi)面法向量，b為偏置。較小的si將降低松弛變量ξi的影響，從而使得相應(yīng)的訓(xùn)練數(shù)據(jù)xi被看得不太重要,由產(chǎn)生的錯(cuò)誤也會(huì)比較小,C為懲罰因子,控制間隔寬度與訓(xùn)練誤差的折中參數(shù)。式(1)的對(duì)偶形式為

表4檢驗(yàn)結(jié)果表明適合對(duì)量表數(shù)據(jù)進(jìn)行因子分析,運(yùn)用主成分分析與最大方差正交旋轉(zhuǎn)法,抽取出8個(gè)公共因子(特征值大于1),累積方差貢獻(xiàn)率達(dá)到65.409%。各公共因子在相應(yīng)測(cè)量指標(biāo)的載荷量較高,所選取的各驗(yàn)證因子與研究假設(shè)結(jié)構(gòu)具有一致性,量表設(shè)計(jì)滿足相關(guān)效度要求。

(0≤ai≤sC;i=1,2，…,l),

(2)

式(2)中：αi和αj為拉格朗日乘子；K(xi,xj)表示核函數(shù)，其一般形式為K(xi,xj)=φ(xi)Tφ(xi)。

FSVM與SVM之間的差異在于FSVM可以使用模糊權(quán)重si測(cè)量訓(xùn)練數(shù)據(jù)的重要性。若使si=1，則FSVM便成為SVM。式(1)或式(2)所示的問(wèn)題結(jié)構(gòu)并不保證FSVM必定獲得良好的分類(lèi)結(jié)果，因?yàn)槟：龣?quán)重函數(shù)能否較好識(shí)別離群點(diǎn)與正常數(shù)據(jù)是影響 FSVM分類(lèi)性能的一大關(guān)鍵因素。

4 模糊隸屬度函數(shù)

在模糊支持向量機(jī)的設(shè)計(jì)中,隸屬度函數(shù)的設(shè)計(jì)是整個(gè)模糊算法的關(guān)鍵。目前,構(gòu)造隸屬度函數(shù)的方法很多,但還沒(méi)有一個(gè)可遵循的一般性準(zhǔn)則。在目前的模糊支持向量機(jī)方法中,主要是采用基于樣本到類(lèi)中心之間的距離來(lái)度量其隸屬度的大小[8]。支持向量機(jī)方法中,最優(yōu)分類(lèi)面主要由支持向量決定,支持向量位于分類(lèi)面附近,而離群點(diǎn)的樣本常常也位于類(lèi)邊緣附近。依據(jù)樣本到類(lèi)中心之間距離確定樣本的隸屬度,以致將含離群點(diǎn)與有效樣本賦予相同的隸屬度，對(duì)有效樣本與離群點(diǎn)樣本無(wú)法區(qū)分開(kāi)，則求出的分類(lèi)面不是真正的最優(yōu)分類(lèi)面[10]。針對(duì)這種情況，本文采用基于聚合度的隸屬度函數(shù)[11,12,13]來(lái)估計(jì)模糊隸屬度，聚合度指的是類(lèi)內(nèi)樣本的聚集程度。這種方法可以合理的區(qū)分離群點(diǎn)和有效樣本。

基于聚合度的隸屬度函數(shù)[14]可以表示為：

s(xi)=f(sd(xi),sk(xi,x))

(3)

a)式(3)中，sd(xi)為S型函數(shù)的隸屬度函數(shù)[10]，具體公式如式(4)，其中di為樣本與所在類(lèi)中心之間的距離，參數(shù)a,b是一個(gè)預(yù)先定義的參數(shù),b=(a+b)/2，當(dāng)di=b時(shí),s(b;a,b,c)=0.5。

s(di;a,b,c)=

(4)

b)sk(xi,x))為樣本xi與所在類(lèi)中心之間的模糊連接度[7],反映xi樣本與類(lèi)中其他樣本之間的聚合度關(guān)系,其由下式確定:

(5)

式(5)中，ρ(xi,x)表示從xi到x的一條路徑，路經(jīng)的各點(diǎn)用ci表示，1≤i≤m。

c)f()表示為某種函數(shù)關(guān)系,本文取為乘積關(guān)系。

5 實(shí)驗(yàn)步驟及結(jié)果分析

圖1是手寫(xiě)數(shù)字串的分割識(shí)別過(guò)程。首先將待識(shí)圖像進(jìn)行平滑去噪，然后對(duì)粘連數(shù)字串預(yù)分割得到分割候選者，這些分割碎片有的是單個(gè)數(shù)字，有的是分割錯(cuò)誤的非數(shù)字，這些非數(shù)字樣本即為離群點(diǎn)。因此利用模糊支持向量機(jī)這種檢測(cè)器會(huì)使得這些非數(shù)字碎片的模糊隸屬度較低，正確排除非數(shù)字碎片，最后利用文獻(xiàn)[7]中的動(dòng)態(tài)規(guī)劃[1]找到最佳分割路徑并得到識(shí)別結(jié)果，這里的樣本的模糊隸屬度即為文獻(xiàn)[7]中樣本的的置信度。 實(shí)驗(yàn)樣本庫(kù)為搜集的票據(jù)樣本8000個(gè)，圖2是部分樣本的圖片。為了證明檢測(cè)器的設(shè)置對(duì)離群點(diǎn)樣本的的抑制作用，本文對(duì)樣本進(jìn)行了篩選分類(lèi),A類(lèi)樣本為所有的樣本庫(kù)樣本,其中3500個(gè)樣本作為訓(xùn)練樣本,剩下的4500個(gè)樣本作為測(cè)試樣本；B類(lèi)樣本為只包含0，2，4，6，9這五個(gè)容易產(chǎn)生過(guò)度分割和不足分割的數(shù)字的手寫(xiě)數(shù)字串，其中訓(xùn)練樣本為1600個(gè),測(cè)試樣本為1000個(gè)；C類(lèi)樣本為只包含1,3,5,7,8這些數(shù)字的樣本,其中訓(xùn)練樣本為2000個(gè),測(cè)試樣本為2500個(gè)。

首先對(duì)于有無(wú)設(shè)置檢測(cè)器以及檢測(cè)器類(lèi)型進(jìn)行對(duì)比實(shí)驗(yàn)，檢測(cè)器的類(lèi)型分別采用標(biāo)準(zhǔn)的支持向量機(jī)，模糊支持向量機(jī)作為檢測(cè)器。然后對(duì)模糊支持向量機(jī)的隸屬度函數(shù)的選擇進(jìn)行實(shí)驗(yàn)對(duì)比，分別采用基于線性距離的隸屬度，基于S型函數(shù)隸屬度和基于聚合度的隸屬度參數(shù)。識(shí)別模型中也采用支持向量機(jī)作為通用分類(lèi)器，SVM選用性能良好的高斯函數(shù)作為核函數(shù)，對(duì)應(yīng)參數(shù)為σ=0.4,C=1000，實(shí)驗(yàn)數(shù)據(jù)如表1所示。

表1 不同檢測(cè)器的性能對(duì)比數(shù)據(jù)

圖1 手寫(xiě)數(shù)字串分割流程

圖2 部分樣本原始圖片和預(yù)處理圖片對(duì)比

從表1可以看出,對(duì)A，B，C三類(lèi)樣本,設(shè)置了檢測(cè)器后均可以顯著提高識(shí)別率；總體來(lái)說(shuō)，模糊支持向量機(jī)作為檢測(cè)器得到識(shí)別率比傳統(tǒng)的支持向量機(jī)要高；但是模糊隸屬度函數(shù)的正確選擇才能保證模糊支持向量機(jī)的識(shí)別性能，比如采用線性距離這種隸屬度函數(shù)的模糊支持向量機(jī)反而不如傳統(tǒng)的支持向量機(jī)的識(shí)別效果好；采用基于聚合度的隸屬度函數(shù)的模糊支持向量機(jī)對(duì)各類(lèi)樣本集的識(shí)別效果均較好；對(duì)于B類(lèi)樣本集(含離群點(diǎn)比例最大的樣本集)而言，基于聚合度的模糊支持向量機(jī)的設(shè)置能顯著提升識(shí)別性能。

6 結(jié)論

由于手寫(xiě)數(shù)字串的分割過(guò)程中常常產(chǎn)生離群點(diǎn)樣本，這些離群點(diǎn)樣本影響了分割正確率，最終影響了手寫(xiě)數(shù)字串的識(shí)別效果。本文針對(duì)該問(wèn)題在識(shí)別過(guò)程中增加了模糊支持向量機(jī)作為檢測(cè)器進(jìn)行再次確認(rèn)，并采用聚合度隸屬度函數(shù)進(jìn)行隸屬度取值，實(shí)驗(yàn)證明該方法能改善手寫(xiě)數(shù)字串的識(shí)別效果，特別是對(duì)于帶離群點(diǎn)的樣本效果更加顯著。

[1]劉剛,魏鋒,吳銘.基于LDP算法的手寫(xiě)數(shù)字串分割[J].北京郵電大學(xué)學(xué)報(bào)，2003,3(26):14-18.

[2]李佐，王姝華.一種基于前端預(yù)測(cè)識(shí)別的粘連字符分割方法[J].計(jì)算機(jī)研究與發(fā)展，2001，38(11)1337-1344.

[3]ChenYikai，WangJhingfa．Segmentationofsingle—ormultiple—touchinghandwrittennumeralstringusingbackgroundandforegroundanalysis[J]．IEEETransPAMI，2000，22(11)：1 304-1 317．

[4]雷云,劉長(zhǎng)松,丁曉青.基于識(shí)別的粘連手寫(xiě)數(shù)字串分割系統(tǒng)[J].清華大學(xué)學(xué)報(bào)，2005,45(4):433-436.

[5] 張洪剛,吳銘,劉剛，等. 基于模具的手寫(xiě)數(shù)字串切分算法及其應(yīng)用[J]. 計(jì)算機(jī)學(xué)報(bào)，2003，26(7)：819-824.

[6]RGCasey,GNagy.Recursivesegmentationandclassificationofcompositepatterns.In:Procofthe6thInt’lConfonPatternRecognition.Munich,Germany, 1982. 1023～1026.

[7]LUI.OLIVEIRA,ROBERTSABOURIN.AutomaticRecognitionofHandwrittenNumeralStrings:ARecognitionandVerificationStrateg[J].IEEETranszactionPatternAnalysisandMachineIntelligence, 2002,24(11): 1438-1454.

[8]LinCF，wangSD．Fuzzysupportvectormachine[J].IEEETransNeuralNetw,2002,13(2):464-471.

[9] 邊肇祺,張學(xué)工.模式識(shí)別[M].北京:清華大學(xué)出版社, 2000: 135-136.

[10]張翔,肖小玲.模糊支持向量機(jī)中隸屬度的確定與分析[J].中國(guó)圖象圖形學(xué)報(bào)，2006,11(8):1188-1192.

[11]申豐山，張軍英.用于FSVM抑噪的統(tǒng)計(jì)型模糊權(quán)重函數(shù) [J].華中科技大學(xué)學(xué)報(bào)，2012,40(12).

[12]Wenjuan,ManguiLiang.Fuzzysupportvectormachinebasedonwithin-classscatterforclassificationproblemswithoutliersornoises[J].Neurocomputing，2013：101-110 .

[13]C.F.Lin,S.D.Wang,Fuzzysupportvectormachines,IEEETrans.NeuralNetworks，2002，13 (2)：464-471.

[14]張翔,肖小玲.基于樣本之間緊密度的模糊支持向量機(jī)方法[J].軟件學(xué)報(bào)，2006,17(5):951-958.

Handwritten Numerical String Recognition Based on Fuzzy Support Vector Machine

SONG Wan-Juan

(School of Computer Science, Hubei University of Education, Wuhan 430205, China)

Due to the limitation of writing arbitrariness and segmentation technology, the segmentation and recognition of handwritten numerical string becomes a problem of handwritten character recognition. This paper adopts an effective model for handwritten numerical string recognition which could deal with the inaccuracy of segmentation problems by setting verifier based fuzzy support vector machine. The experiment results show that this method with verifier based fuzzy support vector machine can greatly reduce recognition error rate owing to the inaccurate segmentation. In addition, the sound implementation of fuzzy membership function will exploit the advantage of performance of fuzzy support vector machine to the full.

fuzzy support vector machine; verifier; fuzzy membership function; affinity; outliers

2016-12-20

2016年湖北省教育廳科學(xué)研究計(jì)劃項(xiàng)目(B2016226)

宋婉娟(1980-)，女，講師，研究方向?yàn)閳D像處理與模式識(shí)別。

TP39

A

1674-344X(2017)2-0030-04