洪漢玉,朱 浩,魏和洪,秦實(shí)宏,俞喆俊,王 澍
(1.武漢工程大學(xué) 圖像處理與智能控制研究所,湖北 武漢430205;2. 武漢鋼鐵股份有限公司 條材總廠,湖北 武漢430083)
由于鋼坯端面粗糙不平、軋鋼生產(chǎn)線環(huán)境復(fù)雜、溫度高、光照環(huán)境變化和鋼坯成像背景復(fù)雜等因素的影響,加上打印的嵌入字符與背景的對(duì)比度低,使得鋼坯的在線檢測識(shí)別面臨著巨大的困難和挑戰(zhàn),鋼鐵制造行業(yè)生產(chǎn)過程的監(jiān)控水平迄今為止仍無法提高。目前,國內(nèi)外鋼鐵產(chǎn)業(yè)和大型軋鋼廠對(duì)鋼坯的識(shí)別主要靠人工檢測識(shí)別。
鋼坯字符識(shí)別中常用字符識(shí)別算法主要有基于模板匹配的字符識(shí)別方法和基于神經(jīng)網(wǎng)絡(luò)的字符識(shí)別方法[1-2]。而生產(chǎn)線實(shí)際檢測的鋼坯字符會(huì)出現(xiàn)諸如模糊、變異、傾斜、污染和殘缺等復(fù)雜情況,如圖1 所示。在復(fù)雜情況下,模板匹配字符識(shí)別有一定的局限性,對(duì)缺損的字符識(shí)別率較低。
圖1 鋼坯端面字符圖像
為解決上述問題,筆者提出了一種基于字符結(jié)構(gòu)特征的電子顯示識(shí)別方法,該方法彌補(bǔ)了模板匹配識(shí)別算法的不足。主要特點(diǎn)有:①以字符特有的特征作為基礎(chǔ),避免了以大量圖像作為模板,降低了圖像采集過程中對(duì)工作環(huán)境的要求,提升了識(shí)別率。并且不需要人工采集和制作大量模板圖像,節(jié)省了時(shí)間和人力消耗。②對(duì)于模板匹配,需要編譯十分復(fù)雜的相似性計(jì)算公式,容易產(chǎn)生誤差。而新方法能夠便捷地提取出字符圖像的特征,并針對(duì)其特征快速識(shí)別出字符,避免了繁瑣易錯(cuò)的過程。③該方法具有一定的自適應(yīng)性,對(duì)手寫字符能正確識(shí)別,不僅能應(yīng)用于鋼坯識(shí)別,還能應(yīng)用于手寫板和車牌的識(shí)別等。
電子顯示識(shí)別方法基于電子儀器中的電子數(shù)字顯示的逆過程,電子數(shù)字顯示的主要過程為先將計(jì)算機(jī)可識(shí)別的數(shù)字0 ~9,轉(zhuǎn)換到電路,通過排列成日字形的二極管顯示出來。筆者所采用的算法原理為逆向地推出圖像上數(shù)字的過程,包括定位、切分、細(xì)化的預(yù)處理。字符識(shí)別包含投影變換和電子顯示識(shí)別。
生產(chǎn)線鋼坯字符檢測系統(tǒng)的工作流程為:鋼坯在生產(chǎn)線上,通過紅外光電傳感器觸發(fā)信號(hào)給高精度相機(jī),觸發(fā)采集鋼坯字符圖像,然后通過網(wǎng)線傳輸給工業(yè)控制計(jì)算機(jī),通過軟件識(shí)別出鋼坯字符信息。
軟件系統(tǒng)運(yùn)作分為3 個(gè)過程:①預(yù)處理。主要用于字符信息的獲取,包含定位、切分、細(xì)化。②字符識(shí)別。它分為投影變換及電子顯示識(shí)別兩個(gè)步驟。③編碼識(shí)別。它將圖像轉(zhuǎn)換的編碼識(shí)別為與之對(duì)應(yīng)的字符。其流程如圖2 所示。
圖2 鋼坯字符識(shí)別流程圖
找出鋼坯圖像中鋼坯字符所處的位置是字符識(shí)別中的初始步驟,定位的準(zhǔn)確與否直接影響著識(shí)別系統(tǒng)的識(shí)別率。由于工作環(huán)境惡劣、光照復(fù)雜、鋼坯端面位置變化較大等原因,使得鋼坯字符精確定位有較大的難度。針對(duì)生產(chǎn)線噴印型鋼坯字符與嵌入型鋼坯字符的特點(diǎn),筆者基于OTUS的遞歸分割與基于邊緣檢測相結(jié)合的方法來獲得鋼坯字符信息[3-5]。
首先,利用Mean Shift 對(duì)復(fù)雜場景圖像進(jìn)行平滑處理,突出興趣區(qū)域,抑制背景噪聲。其次,采用多級(jí)分割濾波與邊緣檢測相結(jié)合的方法找出字符串目標(biāo)區(qū)域。最后,采用距離度量及投影方法計(jì)算出投影波形的平均寬度及波形之間的間距,根據(jù)得到的數(shù)據(jù)和先驗(yàn)知識(shí)(寬度小,分布較分散)去除多余噪聲波,以可度量的數(shù)據(jù)來準(zhǔn)確定位字符目標(biāo)。定位結(jié)果保留原有字符特征,并擁有各自字符的位置和形態(tài)特性,為后續(xù)切分提供依據(jù)。圖1 的定位結(jié)果如圖3 所示。
圖3 鋼坯端面字符串定位圖
切分是將圖像中的字符串分割為單個(gè)字符的過程。在該項(xiàng)目中,筆者采用基于智能多代理者的字符切分處理方法。智能多代理者切分算法由3 層的分層式控制結(jié)構(gòu)組成,每一層為不同的代理者,各層代理者具有各自的任務(wù)與功能。首先,將分控制層中的字符區(qū)域分割與切分、區(qū)域合并、區(qū)域分裂、特征計(jì)算等功能子程序作為個(gè)體代理者,主控制層作為主控代理者對(duì)這些個(gè)體代理者根據(jù)具體需要進(jìn)行統(tǒng)一分工協(xié)調(diào)。其次,各子代理者的切分信息反饋給主控代理者作為分析、控制各子代理者的重要因素。切分主體路線為判斷—切分—校正,直到共同完成鋼坯字符的精確切分,才由主控代理者終止算法執(zhí)行,進(jìn)而完成鋼坯號(hào)字符的精確切分[6-8]。鋼坯端面字符切分如圖4 所示。
圖4 鋼坯端面字符切分
細(xì)化的目的是得到與原來目標(biāo)區(qū)域形狀近似,由簡單曲線組成的骨架圖形,以利于特征提取和分析工作。細(xì)化的要求包括:①保持目標(biāo)的連續(xù)性,不能由于細(xì)化造成斷開;②細(xì)化為單線,即骨架寬度只有一個(gè)像素;③保持原有目標(biāo)的拓?fù)洹缀翁卣?。在得到?xì)化的圖像后,可以利用字符變形將細(xì)化后的數(shù)字圖像中的字符特征進(jìn)行變換,將變換后的特征進(jìn)行整理,去掉偽特征的干擾,并加強(qiáng)目標(biāo)特征的信息。鋼坯端面字符細(xì)化圖例如圖5 所示。
圖5 鋼坯端面字符細(xì)化圖例
選定好的基礎(chǔ)投影點(diǎn),能讓投影變換的效果最優(yōu)化。
基礎(chǔ)投影點(diǎn)的選定原則有以下兩點(diǎn):①不要落在細(xì)化后的圖像字符上。②要選定在整個(gè)數(shù)字的中間部分,即縱向上不要使圖像大部分出現(xiàn)在最下基礎(chǔ)點(diǎn)之下,或者最上基礎(chǔ)點(diǎn)之上,否則識(shí)別結(jié)果會(huì)為一條直線。橫向上同理,否則所得結(jié)果圖像只會(huì)為豎直的一條直線。
這里選用的基礎(chǔ)投影點(diǎn)如圖6(a)所示,在橫坐標(biāo)為1/2 圖像寬度、縱坐標(biāo)為3/4 高度的位置選定a 點(diǎn),在橫坐標(biāo)為1/2 圖像寬度、縱坐標(biāo)為1/4 高度的位置選定b 點(diǎn),則a、b 兩點(diǎn)作為基礎(chǔ)投影點(diǎn)。
圖6 字符圖像的變換原理示意圖和投影判別示意圖
投影變換的目的是最大化地讓數(shù)字字符的特征暴露出來,為后續(xù)的識(shí)別過程做準(zhǔn)備。其變換原則是:①細(xì)化后的數(shù)字字符上每點(diǎn)都要有橫向縱向兩次投影。②多個(gè)點(diǎn)可以重合在一起,在接收投影的基準(zhǔn)線上算一個(gè)點(diǎn)。
設(shè)定分別以a 與b 為中點(diǎn)的矩形M 和矩形N。矩形M 的下邊和N 的上邊重合,形成日字形的框架。分別在a、b 兩點(diǎn)對(duì)細(xì)化后的字符信息做4 個(gè)方向的投影。如圖6(a)所示,例如矩形M中,小于a 點(diǎn)橫坐標(biāo)的點(diǎn)往左投影,大于a 點(diǎn)橫坐標(biāo)的點(diǎn)往右投影。小于a 點(diǎn)縱坐標(biāo)的點(diǎn)往上投影,大于a 點(diǎn)縱坐標(biāo)的點(diǎn)往下投影。
進(jìn)行a 和b 兩個(gè)基礎(chǔ)投影點(diǎn)的投影之后,單元1 到單元7 上就會(huì)出現(xiàn)如圖7(c)中的線段(1~7)。為了消除偽特征的干擾,并且加強(qiáng)需要的字符特征,應(yīng)對(duì)其進(jìn)行電子字符處理[9-10]。
判別方法有以下幾種:①消除的偽特征并非是不需要的,將其與空單元一樣對(duì)應(yīng)函數(shù)表示為數(shù)字0。②加強(qiáng)的單元能明確地表示出字符的形態(tài),其對(duì)應(yīng)的函數(shù)以數(shù)字1 表示。③結(jié)合各個(gè)單元對(duì)應(yīng)的函數(shù)匯整成數(shù)字編碼。
基于上述方法,對(duì)于數(shù)字0、5 在日字框架上的單元1 ~7 依次進(jìn)行判斷,對(duì)大于閾值的單元進(jìn)行補(bǔ)全,小于閾值的單元進(jìn)行消除。其過程和結(jié)果如圖7 所示。數(shù)字字符0 與5 可完好地提取出字符特征。接下來對(duì)線段1 到線段7 上的白點(diǎn)進(jìn)行統(tǒng)計(jì),保存于單元1 到單元7 所對(duì)應(yīng)的函數(shù)中。則單元1 到單元7 中每個(gè)單元都有個(gè)數(shù)字代替圖像上的線段。接下去則是對(duì)單元1 到單元7 所對(duì)應(yīng)的函數(shù)進(jìn)行信息判斷。
圖7 數(shù)字字符投影變換
如圖8 所示,單元1 到單元7 的每個(gè)單元都有對(duì)應(yīng)的數(shù)值,排列出來作為判別數(shù)字字符的編碼。
圖8 數(shù)字字符對(duì)應(yīng)識(shí)別編碼
為了驗(yàn)證所提出鋼坯字符識(shí)別算法的可靠性與適應(yīng)性,采集了復(fù)雜場景下的鋼坯號(hào)字符圖像并進(jìn)行了實(shí)驗(yàn)。算法在VC + +6.0 的環(huán)境下進(jìn)行了字符定位、切分和變換等試驗(yàn)。
鋼坯圖像(圖1)經(jīng)字符定位與二值化處理后如圖9(a)所示。圖9(b)為圖9(a)中字符串切分后的結(jié)果。將切分后單一字符圖像(圖9(b))變換成圖9(c)所示電子顯示效果,而后綜合各個(gè)單一的結(jié)果合成為圖9(d)。最終圖1 中鋼坯端面字符識(shí)別結(jié)果如圖9(e)所示。
圖9 鋼坯字符識(shí)別
針對(duì)生產(chǎn)線鋼坯字符識(shí)別的難題,提出了基于字符特征轉(zhuǎn)換的電子顯示識(shí)別方法,利用字符結(jié)構(gòu)特征來彌補(bǔ)模板匹配方法的一些不足之處。實(shí)驗(yàn)結(jié)果表明,所提出的電子顯示識(shí)別算法能較好地適應(yīng)鋼坯端面字符的識(shí)別,具有較好的實(shí)時(shí)性和適應(yīng)性。
[1] 張?zhí)煨?成像自動(dòng)目標(biāo)識(shí)別[M].武漢:湖北科學(xué)技術(shù)出版社,2005:43-98.
[2] 洪漢玉. 現(xiàn)代圖像圖形處理與分析[M]. 武漢:中國地質(zhì)大學(xué)出版社,2011:65-154.
[3] 李智,劉佳輝. 基于分區(qū)OTSU 法的瀝青混合料圖像分割技術(shù)[J]. 武漢理工大學(xué)學(xué)報(bào),2011,33(6):87-90.
[4] 柴治,陶青川,余艷梅,等.一種快速實(shí)用的車牌字符識(shí)別方法[J].四川大學(xué)學(xué)報(bào):自然科學(xué)版,2002,39(3):465-468.
[5] 闞偉,朱秋煜.一種新的用于集裝箱字符的識(shí)別方法[J].東北師大學(xué)報(bào):自然科學(xué)版,2000,32(4):20-24.
[6] 俞喆俊,洪漢玉,章秀華,等.生產(chǎn)線復(fù)雜場景鋼坯檢測識(shí)別的定位方法研究[J]. 光電工程,2012,39(1):54-61.
[7] 鄭勝林,潘保昌,徐杜,等.IC 卡在線檢測的碼號(hào)定位分割方法研究[J]. 中國圖象圖形學(xué)報(bào),2004,9(12):1430-1436.
[8] 洪漢玉,楊義軍.基于智能多代理的復(fù)雜場景鋼坯字符切分算法[J].光電工程,2012,39(5):91-100.
[9] 楊義軍,洪漢玉. 重軌生產(chǎn)線鋼坯字符識(shí)別方法[J].武漢工程大學(xué)學(xué)報(bào),2012,34(5):64-67.
[10]JUNG C,LIU Q,KIM J.A new approach for text segmentation using a stroke filter[J]. Signal Processing,2008,88(7):1907-1916.