洪漢玉,俞喆俊,章秀華
(武漢工程大學圖像處理與智能控制實驗室,湖北 武漢 430205)
字符區(qū)域能否正確的檢測出來是鋼坯字符識別系統(tǒng)中十分關鍵的一步[1].在生產(chǎn)線上,由CCD相機得到的圖像中包含了許多信息,如圖1所示.定位檢測就是將鋼坯斷面字符區(qū)域從圖片中切割出來.與普通字符檢測不同的是,鋼坯字符目標是動目標,位置的不確定性使得很難固定窗口大小.同時,環(huán)境的多變性也讓目標檢測變得十分復雜.
圖1 復雜光照條件下的鋼坯圖像Fig.1 Complex illumination of billet image
常用的字符檢測方法有許多種,其中比較好的方法有:1字符邊緣的檢測提取[2-5];2水平灰度變化特征[6];3神經(jīng)網(wǎng)絡[7-10];4彩色分割[11-14]等.上述方案中,方案1的邊緣檢測可以快速的處理圖像,不過會遺漏很多細節(jié)部分的信息;方案2很難適應復雜場景變化的圖像,幾乎很難提取字符信息;方案3的計算時間長,數(shù)據(jù)量大滿足不了實時性的要求;方案4對于顏色比較接近的鋼坯字符而言(對比度低的圖像),很難做到統(tǒng)一、有效地提取字符.
視頻內(nèi)容分析的最終目標是捕獲興趣區(qū)域的描述證據(jù),這些描述證據(jù)依照人類視覺系統(tǒng)的分析,盡可能的表達出目標特征.針對在復雜場景中檢測出目標區(qū)域這一問題,采用多次分割方法分割圖像,并通過有效的聚類和投影特性來自適應區(qū)分興趣區(qū)域和非興趣區(qū)域.
最大類間方差算法的目標是在直方圖中尋找圖像的最佳分割閾值[15-16].當類間方差最大時,此時的閾值便為最佳閾值,即可最大化的區(qū)分背景與前景.最大類間方差算法和直方圖有著密切的關系,直方圖的分布形式會影響它的計算.當處理場景復雜圖像時,圖像的直方圖信息就不會出現(xiàn)“雙峰”的情況,即背景與前景信息有明顯的區(qū)分.此時,會出現(xiàn)多個波峰交替出現(xiàn)的情況,根據(jù)原有方法的計算,得出的閾值會偏向于較大波峰處,從而存在較大差異.以下提出的基于多次最大類間方差分割方法可以避免這一現(xiàn)象,較好的完成分割任務.其原理是多次利用最大類間方差分割方法,對于每次小于閾值門限的像素置0,直到判斷出分割圖像中包含字符信息.
可以看出,多次分割的終止條件是整個分割方法的核心.在復雜場景下的鋼坯端面字符檢測中,由于現(xiàn)場環(huán)境干擾,使用一般的多級分割無法檢測出字符區(qū)域.因此對多級分割算法加入聚類連通域的方法去噪,改進算法如下:
(1)計算最大類間方差得出最佳閾值,小于閾值門限的像素置0,大于則保留原像素不變.然后用聚類連通域的方法對分割后的二值圖做連通域標記,同時統(tǒng)計各個連通域面積、寬度和高度.為避免復雜光照造成的影響,根據(jù)先驗知識,將連通域個體寬度或者高度過大的連通域點集灰度置為0.由此得到新的灰度圖像(S1).
(2)判斷是否滿足多級分割的終止條件,如果不滿足將S1返回步驟1,直到滿足多級分割終止條件為止.
根據(jù)鋼廠需要,鋼坯兩個端面只有一端有字符,而鋼坯在生產(chǎn)線上的位置是不確定的,所以由相機得到的鋼坯圖像有可能是包含字符的鋼坯端面,也有可能呈現(xiàn)無字符端面.上述提出的改進最大類間方差分割算法對圖像進行多級分割,粗略統(tǒng)計圖像可能存在的字符興趣區(qū)域個數(shù).由實驗對比發(fā)現(xiàn),鋼坯空白端面有的會呈現(xiàn)出凸凹不平,造成偽字符目標區(qū)域個數(shù)較多的情況(數(shù)量大于5);有的空白端面因為比較平整,字符目標區(qū)域個數(shù)較少(1個字符目標區(qū)域)甚至沒有.而由先驗知識已知,待識別的鋼坯端面上字符分兩行(鋼坯號和鋼種號),由此判定過多或者過少字符目標區(qū)域的鋼坯端面為無字符端面.
由于生產(chǎn)線上鋼坯位置不固定性,CCD照相機得到的鋼坯字符圖像往往存在90°旋轉(zhuǎn)問題,這會影響鋼坯的端面字符識別.
對于鋼坯90°端面圖像旋轉(zhuǎn)校正的具體步驟如下:
(1) 使用多級分割方法得到每一級的二值分割圖;
(2) 統(tǒng)計水平方向上所有255像素點總數(shù)(totalrow),同時統(tǒng)計水平方向上255像素點的行數(shù)(countrow),計算出水平方向上的平均255像素數(shù)量(Averagerow),即:A1=totalrow/countrow;
(3) 統(tǒng)計垂直方向上所有255像素點總數(shù)(totalcol),同時統(tǒng)計垂直方向上255像素點的列數(shù)(countcol),計算出垂直方向上的平均255像素數(shù)量(Averagecol),即:A2=totalcol/countcol;
(4)在水平方向和垂直方向上比較平均255像素數(shù)量的大小.當水平方向上的平均255像素數(shù)量小于垂直方向上的255像素數(shù)量時,此二值圖需要90°順時針旋轉(zhuǎn),在得到旋轉(zhuǎn)獲得的新二值圖后再進行后續(xù)字符識別處理;反之,此二值圖無需旋轉(zhuǎn),可直接進入后續(xù)字符識別處理.
當背景復雜時,此時所需要的最佳閾值和最大類間方差便有可能失去直接聯(lián)系,即在直方圖上,背景的像素概率密度掩蓋了目標區(qū)域的像素概率密度,使最大類間方差算法失效.所以分割圖像前需要通過圖像平滑的方法,保證目標區(qū)域信息不減弱的同時有效的簡化圖像,確保了最大類間方差算法的可行性.
上述采用多次最大類間方差的方式,多次循環(huán)尋找最佳閾值,終止條件為判斷是否滿足水平/垂直聚類條件.終止條件的設定是能否找到最佳閾值的關鍵因素.在所獲得的最佳二值圖像中,鋼坯字符區(qū)域的連通域會排列成線性趨勢,如圖2所示的方框區(qū)域,把這種和水平線角度偏差不大的歸結為水平聚類,同理可歸納垂直聚類,聚類這些大小,左右間距相近的連通域數(shù)組(number(x)),通過比較(number(x))選出最佳值,就可以完成分割與定位.
圖2 最佳閾值的二值圖Fig.2 Binary image with optimal threshold
具體聚類步驟為:
(1)對第一次最大類間方差分割的二值圖像進行區(qū)域合并,記錄連通域的幾何、位置、像素屬性,并標記為0;
(2)依次使標記為0的連通域作為模版,對圖像進行排序掃描(以絕對距離最小為排序準則),如果連通域的幾何、位置、像素屬性與模版相比在規(guī)定范圍內(nèi),聚類此連通域,使number(x)加1,并使其標記為1,然后更新模版,繼續(xù)循環(huán)(2)步;
(3)以聚類連通域數(shù)組為原則,把number(x)≥4的集合進行排序,使最大數(shù)組number(x)賦值給number1;
(4)對第二次最大類間方差分割的二值圖進行步驟(1),把最后的最大數(shù)組number(x)賦值給number2;
(5)比較number1與number2,如果number1 為了驗證上述鋼坯字符檢測算法的可靠性與適應性,在線采集了復雜場景下的鋼坯號字符圖像進行了實驗,其中包括:倒立字符、90度旋轉(zhuǎn)字符、粘連及模糊字符、殘缺字符等復雜情況.上述算法均是在VC++6.0的環(huán)境下實現(xiàn)的,進行了復雜鋼坯端面字符分割、字符標定和篩選工作、以及字符檢測對比等實驗,如圖3、4、5所示. 圖3 多次分割圖Fig.3 Multistage segmentation image 從圖3可以看出,復雜場景下的鋼壞字符圖像被逐次分割,背景和目標區(qū)域可以很好的被分離出來。在經(jīng)過特征去噪、標定侯選區(qū)域、篩選侯選區(qū)域的處理后,字符區(qū)域會被完整的提取出來,如圖4所示.與傳統(tǒng)投影方法相比,該字符提取方法能夠避免復雜光照的影響,充分利用字符連通域的聚類和幾何比例特征對生產(chǎn)線的鋼壞字符圖像進行實時提取.如圖5所示,傳統(tǒng)投影方法[17]基本不能檢測出字符區(qū)域,本文提出的字符檢測方法卻能很好的定位出鋼壞字符. 圖4 字符提取結果Fig.4 Result of character extraction 圖5 檢測結果比較Fig.5 Comparison of detection results 根據(jù)重軌生產(chǎn)線鋼坯字符識別這一技術難題,提出了一種有效的鋼坯字符定位檢測算法.采用基于最大類間方差的多次分割方法,利用有效的聚類處理和字符特征對復雜生產(chǎn)線場景下的字符進行定位檢測.實驗結果表明,該字符檢測方法準確率高,能夠較好地適應復雜多變的復雜環(huán)境,具有一定的穩(wěn)定性和適應性,滿足重軌生產(chǎn)線鋼坯字符識別[18]的需求. 參考文獻: [1] 林志敏, 洪漢玉, 章秀華, 等. 基于投影匹配的鋼坯端面字符快速識別方法[J]. 計算機與數(shù)字工程, 2009, 3(37):172-174. [2] 鄭南寧, 張西寧, 戴瑩. 行駛車輛牌照自動識別系統(tǒng)[J]. 西安交通大學學報, 1991, 25(1):43-54. [3] 郭勇, 吳樂南. 行駛車輛的牌照識別系統(tǒng)[J]. 電子工程師, 2000(11): 37-41. [4] Yu M,Kim Y D. An approach to korean license plate recognition based on vertical edge matching[C]//2000 IEEE International Conference. Tennessee:2000(4):2975-2980. [5] Barroso J, Dagless E,Rafael L, et al.Number plate reading using computer vision [J]. Proceedings of IEEE International Symposium on Industrial Eledtronics,1997(3):761-766. [6] 湯德佑, 黃元江. 基于灰度跳變的車牌自動識別技術[J]. 株洲工學院學報, 2004, 18(2): 87-89. [7] 姚德宏. 基于神經(jīng)網(wǎng)絡的汽車牌照提取研究[J]. 計算機應用, 2001, 21(6): 40-41. [8] 陸峰. 基于改進的BP神經(jīng)網(wǎng)絡進行車牌定位的研究[J]. 蘇州大學學報(工學版), 2004, 24(6):5-8. [9] 蒙峭緣, 張遠夏. 基于BP神經(jīng)網(wǎng)絡車牌字符識別的研究[J]. 玉林師范學院學報, 2008, 5(29):129-133. [10] 劉艷梅, 薛定宇, 徐心和. 基于人工神經(jīng)網(wǎng)絡的立體視覺定位方法[J]. 計算機工程與應用, 2005, 22(41):33-35. [11] 郭捷, 施鵬飛. 基于顏色和紋理分析的車牌分析車牌定位方法[J]. 中國圖形圖象學報, 2002(5):58-62. [12] 楊家輝, 王建英. 基于色彩分割與體態(tài)紋理分析的車牌定位方法[J]. 交通運輸工程與信息學報, 2004, 2(1): 99-105. [13] Eun Ryung Lee, Pyeoung Kee Kim. Automatic recognition of a car license plate using color image processing[J]. Journal of Korea Institute of Telematics and Electronics,1995,24(2):128-131. [14] Yen J C, Chang F J, Chang S. A New Criterion for Automatic Multilevel Thresholding [J]. IEEE Trans on Image processing,1995,4(3):370-377. [15] 劉艷, 趙英良. Otsu多閾值快速求解算法 [J]. 計算機應用, 2011, 12(31): 3363-3365. [16] Otsu N A. A Threshold selection method from gray-level histograms [J]. IEEE Transactions on Systems Man and Cybernetics,1979, 9(1):62-66. [17] 孫愛民,李會凱,侯一民.基于LabVIEW的視覺計數(shù)系統(tǒng)研究[J].武漢理工大學學報,2010,32(22):205-208. [18] 楊義軍, 洪漢玉, 章秀華,等. 重軌生產(chǎn)線鋼坯字符識別方法研究 [J]. 武漢工程大學學報, 2012,34(5): 64-67.3 實驗結果與分析
4 結 語