楊義軍,洪漢玉*,章秀華,王逸文,俞喆俊
(1.武漢工程大學(xué)圖像處理與智能控制實驗室,湖北 武漢 430205;2.北京科技大學(xué)數(shù)理學(xué)院,北京 100083)
國內(nèi)的鋼鐵集團和大型軋鋼廠主要靠人工檢測識別鋼坯端面的字符,并沒有形成對鋼坯字符進行計算機自動識別的成熟技術(shù).因此急需鋼坯字符識別方法,以滿足高速重軌生產(chǎn)線鋼坯從煉鋼到軋鋼的支支跟蹤需求,提高生產(chǎn)率.但由于武鋼高速重軌生產(chǎn)線場景復(fù)雜,以及鋼坯號字符復(fù)雜多變沒有固定的模式,如圖1所示,使得重軌生產(chǎn)線鋼坯字符識別在理論和方法上存在著以下難點[1]:1)復(fù)雜環(huán)境:生產(chǎn)線復(fù)雜的外部環(huán)境嚴(yán)重影響著鋼坯字符的正確識別,如生產(chǎn)線高溫、高熱,光照不均、白天和晚上不同的背景光、光照角度等.2)字符缺陷:鋼坯字符存在字體變異、污損、字符信息微弱、字跡模糊、斷字、粘連等現(xiàn)象,這都增加了鋼坯字符切分的難度,最終對鋼坯字符的正確識別提出了挑戰(zhàn).3)在線識別:為了滿足生產(chǎn)線時實性的需要,對鋼坯字符識別速度以及識別算法的魯棒性、準(zhǔn)確性與適應(yīng)性提出了很高的要求.
對于字符的識別,國內(nèi)外相關(guān)學(xué)者對相關(guān)理論和方法都進行了廣泛而充分的研究,并且已初步用于一些工業(yè)和生產(chǎn)領(lǐng)域,如集裝箱號識別、車牌識別、在線IC卡碼號識別、輪胎型號字符識別[2-5]等實際應(yīng)用環(huán)境中.但由于上述生產(chǎn)線復(fù)雜因素的影響,這些實際應(yīng)用的識別理論和方法就會表現(xiàn)出一定的針對性和局限性,使得最終的識別結(jié)果并不十分理想,很難有效地解決和處理重軌生產(chǎn)線鋼坯字符識別這一難題.
圖1 重軌生產(chǎn)線采集復(fù)雜場景鋼坯字符圖像Fig.1 Captured image in the heavy rail production line
重軌生產(chǎn)線鋼坯字符識別是針對重軌生產(chǎn)線鋼坯支支跟蹤的需求而提出的應(yīng)用開發(fā),它的工作原理是:煉鋼鋼坯通過輥道以一排排的方式傳輸至軋鋼生產(chǎn)線,在入爐前通過紅外光電傳感器發(fā)出觸發(fā)信號給高精度相機,觸發(fā)采集鋼坯字符圖像,然后通過千兆網(wǎng)線傳輸給工業(yè)控制計算機,通過識別軟件識別出鋼坯號字符信息,從而達(dá)到對鋼坯支支跟蹤的目的.其工作原理如圖2所示.
圖2 重軌生產(chǎn)線鋼坯字符識別系統(tǒng)工作原理Fig.2 Working principle diagram of billet character recognition system
鋼坯字符識別作為一種特殊的光學(xué)字符識別技術(shù),是重軌生產(chǎn)線鋼坯字符識別系統(tǒng)的重要組成部分.鋼坯字符識別流程同光學(xué)字符識別技術(shù)一樣,主要經(jīng)過鋼坯端面字符定位、切分、識別三個步驟來實現(xiàn)鋼坯字符信息的自動識別,如圖3所示.
圖3 鋼坯字符識別過程Fig.3 Recognition process of billet character
字符定位就是找出鋼坯圖像中字符所處的位置,是字符識別中非常關(guān)鍵的第一步,直接影響著識別系統(tǒng)的識別率.但由于現(xiàn)場環(huán)境惡劣、光照復(fù)雜、鋼坯運動導(dǎo)致字符區(qū)域變化較大等因素的影響,都加大了鋼坯字符精確定位的難度,影響了鋼坯字符識別率,因此精確定位出復(fù)雜場景中的鋼坯字符是非常必要的.
擬采用的定位方法是基于二值圖像的投影定位,要精確定位鋼坯字符其二值圖像就要完整地突出鋼坯字符.針對復(fù)雜場景中精確定位鋼坯字符這一難題,采用基于最大類間方差的遞歸二值化方法來獲得鋼坯字符二值圖,采用逐級濾波方法來抑制背景信息,并采用字符聚類方法自適應(yīng)區(qū)分目標(biāo)字符區(qū)域和非目標(biāo)字符區(qū)域,最終精確提取出鋼坯號字符[6].研究結(jié)果表明,定位方法在生產(chǎn)線場景中有著更好的穩(wěn)定性和準(zhǔn)確性,解決了復(fù)雜條件下字符定位的自適應(yīng)性、魯棒性、實時性與可應(yīng)用性等關(guān)鍵科學(xué)技術(shù)問題.
字符切分就是將一連串的鋼坯字符串分離成單個的字符圖像,字符切分是字符識別的前提,也是提高字符識別率的關(guān)鍵技術(shù)之一.常用字符切分方法有:基于圖像分析切分法(靜態(tài)投影)、基于識別切分法、整體切分法及前三種方法結(jié)合的方法[7-9].上述方法雖各有優(yōu)點,但由于鋼坯號字符的多樣性,使得字符的切分過程不易定量,則上述方法會有一定的局限性而達(dá)不到預(yù)期的切分效果.針對重軌生產(chǎn)線鋼坯字符切分這一難題,將多代理者技術(shù)[10]應(yīng)用其中,提出一種基于智能多代理者的字符切分處理方法.其中,將字符區(qū)域分割與切分、區(qū)域合并、區(qū)域分裂、特征計算等功能子程序作為個體代理者.
首先主控代理者調(diào)用字符分割與切分代理者,對定位出的鋼坯字符圖像進行二值化處理,并對其垂直投影初步切分;接著調(diào)用特征計算代理者搜集各切分區(qū)域的性質(zhì)和特征,如字符區(qū)域?qū)挾?、高度、中心距等特征,并對切分后的各個區(qū)域的性質(zhì)特征進行判斷,主控代理者將調(diào)用相應(yīng)的區(qū)域分裂或區(qū)域合并代理者對粘連或斷裂字符區(qū)域進行分裂或合并;然后再次調(diào)用特征計算代理者,對切分結(jié)果進行校正;若經(jīng)校正已經(jīng)沒有字符發(fā)生粘連或斷裂情況,則終止算法,反之,則調(diào)用相應(yīng)代理者進一步精確切分,直到完成鋼坯字符的正確切分,這樣形成了鋼坯字符“判斷—切分—校正”的智能切分.研究結(jié)果表明切分方法對生產(chǎn)線鋼坯字符信息微弱、粘連與斷裂等情況下有著更好的適應(yīng)性與準(zhǔn)確性,解決了重軌生產(chǎn)線復(fù)雜場景中的鋼坯字符準(zhǔn)確切分的問題.
字符識別是識別系統(tǒng)的關(guān)鍵環(huán)節(jié),經(jīng)過精確切分后的單個字符圖像,經(jīng)過字符識別的處理,就可以轉(zhuǎn)化為便于計算機處理和存儲的信息.常用字符識別算法主要有特征統(tǒng)計匹配識別法、基于模板匹配識別法和基于神經(jīng)網(wǎng)絡(luò)識別法[11-15]等.這些方法雖各有優(yōu)點,但在鋼坯號字符模糊、字符變異、字符傾斜、字符污染、殘缺等情況的實際復(fù)雜場景中,則會有一定的局限性而得不到正確的識別效果.針對生產(chǎn)線場景下鋼坯字符形態(tài)的多樣性,僅依靠單一字符模板匹配可能不能適應(yīng)復(fù)雜多變的鋼坯字符.因此在模板匹配算法的基礎(chǔ)上,提出了字符結(jié)構(gòu)特征識別來彌補單獨采用模板匹配算法的不足,將模板匹配與字符結(jié)構(gòu)特征識別相結(jié)合來實現(xiàn)鋼坯字符的多級識別,解決在線復(fù)雜場景下鋼坯號字符識別這一難題.
2.3.1 模板匹配 模板匹配方法的實質(zhì)是度量待識別鋼坯字符圖像與模板圖像之間的某種相似性,取相似性最大者為待識別字符圖像識別結(jié)果.它依據(jù)待識別鋼坯字符的直觀形象抽取特征,用相關(guān)匹配原理進行識別,即將輸入待識別鋼坯字符與標(biāo)準(zhǔn)模板字符在一個匹配測度下進行匹配,待識別鋼坯字符與模板字符匹配的測度如式(1)所示.
R(i,j)=
(1)
式(1)中,T(x,y)為M×N模板圖像,F(xiàn)i,j(x,y)為待識別子圖像.
當(dāng)模板與圖像進行匹配時,測度R(i,j)的值越大,模板圖像和待識別圖像越匹配,當(dāng)取最大值時,便指出了模板圖像和待識別圖像的最佳匹配結(jié)果,便得到了識別結(jié)果.
2.3.2 字符特征識別 字符特征識別的關(guān)鍵在于特征的提取,就是提取字符圖像中用戶感興趣的特征用于區(qū)分相似度很高的字符.考慮到人眼對字符的識別,主要是憑著對字符的結(jié)構(gòu)、輪廓等直觀的結(jié)構(gòu)特征進行的,因此,若能夠精確表征和提取字符的結(jié)構(gòu)特征,識別系統(tǒng)便能快速準(zhǔn)確的區(qū)分不同字符.由于鋼坯字符的多樣性,沒有固定的特征,需要構(gòu)造一系列特征,如字符寬高比、字符邊界特征、閉合曲線和開口方向特征、字符端點數(shù)與位置特征、高度/寬度變化特征、投影特征、筆劃密度特征、字符占空比等特征.并將上述特征進行歸類,分為主特征,次特征和輔助特征.首先對于模板匹配失敗的字符,提取其主特征和次特征,并根據(jù)其特征的判斷準(zhǔn)則進行識別,若能通過主特征與次特征將該字符與其他字符區(qū)分出來,得到可靠的識別結(jié)果,則終止識別算法;若該字符與模板庫中多個字符有著相同的主特征與次特征,則繼續(xù)提取待識別字符的輔助特征進行識別,直到區(qū)分出該待識別字符、正確識別出該待識別字符為止.
為了驗證所提出鋼坯字符識別算法的可靠性與適應(yīng)性,在線采集了復(fù)雜場景下的鋼坯號字符圖像進行了實驗,其中包括:鋼坯傾斜、鋼坯腐蝕、字符殘缺、字跡模糊及粘連等復(fù)雜情況.提出的算法均是在VC++6.0的環(huán)境下實現(xiàn)的,進行了鋼坯號字符定位、復(fù)雜鋼坯端面字符切分、以及復(fù)雜場景下鋼坯字符識別等實驗,如圖4至圖6所示,實驗結(jié)果表明的鋼坯字符識別方法有著較高的識別率,能適應(yīng)各種復(fù)雜多變的復(fù)雜場景中,具有一定的適應(yīng)性,能夠滿足重軌生產(chǎn)線實驗鋼坯檢測的需求.
圖4 鋼坯號字符圖像定位Fig.4 Location of billet character
圖5 復(fù)雜鋼坯字符切分(鋼坯端面腐蝕、字符粘連)Fig.5 Segmentation of billet character (The connected characters and the corrosive billet ends)
圖6 字符識別結(jié)果(鋼坯傾斜、字符殘缺)Fig.6 Recognition results (The slanting billet, the missing character)
以上針對重軌生產(chǎn)線鋼坯字符識別這一技術(shù)難題,提出了鋼坯字符定位、切分、識別等算法.對于鋼坯字符的定位,采用基于最大類間方差的多級分割濾波與聚類處理突出并找出字符目標(biāo)區(qū)域,從而精準(zhǔn)定位出鋼坯字符.對于鋼坯字符的切分,采用基于智能多代理者的切分算法,解決了鋼坯字符精確切分這一難題.對于鋼坯字符的識別,在模板匹配的基礎(chǔ)上,采用結(jié)構(gòu)特征與之結(jié)合的多級識別算法來提高鋼坯字符識別率,滿足了重軌生產(chǎn)線實時性的需求.從實驗結(jié)果可知,識別算法能夠較好地適應(yīng)復(fù)雜多變的環(huán)境,具有一定的穩(wěn)定性和適應(yīng)性,能夠滿足重軌生產(chǎn)線鋼坯支支跟蹤的需求.
參考文獻(xiàn):
[1] 洪漢玉. 現(xiàn)代圖像圖形處理與分析[M]. 武漢: 中國地質(zhì)大學(xué)出版社,2011.
[2] 闞偉, 朱秋煜. 一種新的用于集裝箱字符的識別方法[J]. 東北師大學(xué)報:自然科學(xué)版, 2000, 32(4): 20-24.
[3] 柴治, 陶青川, 余艷梅,等. 一種快速實用的車牌字符識別方法[J]. 四川大學(xué)學(xué)報:自然科學(xué)版, 2002, 39(3): 465-468.
[4] 鄭勝林, 潘保昌, 徐杜, 等. IC卡在線檢測的碼號定位分割方法研究[J]. 中國圖象圖形學(xué)報, 2004, 9(12): 1430-1436.
[5] 何明霞, 李萌, 寧福星. 基于字符識別的輪胎型號識別系統(tǒng)[J]. 橡膠工業(yè), 2009, 4(56): 237-241.
[6] 俞喆俊, 洪漢玉, 章秀華, 等. 生產(chǎn)線復(fù)雜場景鋼坯檢測識別的定位方法研究[J]. 光電工程, 2012, 39(1): 54-61.
[7] Chen T S, Chen M C. A New Search Engine for Chinese Document Image Retrieval Based on Chinese Char-
acter Segmentation Features[J]. International Journalof Computer Processing of Oriental Languages, 2002, 15(4): 417-431.
[8] Keunhwi K, SungHoo C, Pil Y J, et al. Character segmentation and recognition algorithm for various text region images[J]. Transactions of the Korean Institute of Electrical Engineers, 2009, 58(4): 806-816.
[9] Jung C, Liu Q, Kim J. A new approach for text segmentation using a stroke filter[J]. Signal Processing, 2008, 88(7): 1907-1916.
[10] Wooldridge M, Jennings N R, Kinny D. The Gaia Methodology for Agent-Oriented Analysis and Design[J]. Autonomous Agents and Multi-Agent Systems, 2000, 3(3): 285-312.
[11] Wang D P, Li J Z, Fang S Q. Research and realization of print form character recognition system based on characteristic value[J]. Procedia Engineering, 2011(15):2196-2200.
[12] Takahashi Y, Tanaka H, Suzuki A, et al. License plate recognition using gray image template matching with noise reduction filters and character alignment[J]. Systems and Computers in Japan, 2007, 38(3): 49-61.
[13] Sternby J, Morwing J, Andersson J, et al. On-line Arabic handwriting recognition with templates[J]. Pattern Recognition, 2009, 42(12): 3278-3286.
[14] Namane A, Guessoum A, Djebari M, et al. Hopfield-multilayer-perceptron serial combination for accurate degraded printed character recognition[J]. Optical Engineering, 2006, 45(8):087,201.
[15] Shelke S, Apte S. A multistage handwritten Marathi compound character recognition scheme using neural networks and wavelet features[J]. International Journal of Signal Processing:Image Processing and Pattern Recognition, 2011, 4(1): 81-94.