方紅萍,方康玲,劉新海
(武漢科技大學(xué) 信息科學(xué)與工程學(xué)院,湖北 武漢430081)
理論上,同一規(guī)格的所有棒材斷面是半徑為r 的標準圓形目標Οr。然而,一方面受剪切工藝影響,工業(yè)現(xiàn)場獲得的棒材斷面形狀只是近似于圓形的類圓形對象;另一方面冷床上的棒材排列并不整齊,棒材之間存在堆疊和相互遮擋的現(xiàn)象 (特別是小規(guī)格的棒材),各個棒材的尺寸大小也不規(guī)則。因此如何實時、準確的識別出堆疊的、形狀尺寸不規(guī)則的類圓形棒材對象是實現(xiàn)在線棒材自動計數(shù)打捆系統(tǒng)首先需要解決的一個關(guān)鍵問題。目前很多學(xué)者都對該問題進行了研究。研究思路主要分為以下幾種:①將相互堆疊的棒材分割成相互分離的單個連通區(qū)域,每個連通區(qū)域即代表一根棒材。比如,文獻 [1]采用極限腐蝕等數(shù)學(xué)形態(tài)學(xué)方法將多堆疊棒材分割;文獻 [2]基于類圓形對象兩兩相互堆疊時會在接觸邊緣形成凹點的假設(shè)前提,采用凹點搜素和凹點匹配方法確定棒材之間的分割線,實現(xiàn)堆疊棒材的分割。這一類方法中,極限腐蝕方法對于小規(guī)格堆疊嚴重的棒材分割難度較大;另外由于棒材形狀不規(guī)則,也增加了選擇合適凹點問題的難度。②不分割,直接利用棒材的形狀、尺寸等先驗信息定位棒材中心以實現(xiàn)棒材的識別。該類方法能有效降低識別難度、提高識別精度:比如,文獻 [3,4]分別定義合適尺寸的圓形或八邊形模板,對實時棒材圖像進行模板匹配以實現(xiàn)棒材中心增強。文獻[5]等采用距離變換方法實現(xiàn)中心增強;文獻 [6]等首先在求取實時棒材斷面圖像八方向邊緣及其梯度信息的基礎(chǔ)上,采用cheers方法將各個邊緣點分別沿其梯度方向向中心聚集實現(xiàn)對棒材中心的增強。但是,這些方法總體來說采用的仍然是特定尺寸理想圓形目標的識別思路,對于某些生產(chǎn)工藝較好的棒材廠而言,其流水線上的棒材斷面形狀和尺寸能較好的擬合標準圓,棒材堆疊情況也不嚴重,采用上述方法可保證高的識別精度。然而國內(nèi)大部分棒材廠的生產(chǎn)工藝達不到這種水平,很多棒材斷面的形狀和尺寸都可能偏離先驗標準圓形信息的預(yù)設(shè),并且偏離程度也不確定,因此漏識別或誤識別情況較多。雖然文獻 [4]中考慮到棒材對象的類圓特性,定義了正八邊形模板,但是這個模板的形狀和尺寸也依舊是固定的。
模糊集理論能有效描述目標的不確定性特性。本文將模糊理論引入到標準霍夫圓變換 (circle Hough transform,CHT)方法中,以半徑為r的標準圓邊緣點為中心環(huán),定義了一個隸屬函數(shù)寬度為2*Δr的模糊梯度卷積核οOFSC,有效描述了棒材這一形狀、尺寸不規(guī)則的類圓形目標先驗信息?;谠撃:荻染矸e核對棒材斷面梯度圖像進行卷積操作,能使類圓形對象各邊緣點都直接沿其梯度方向,根據(jù)模糊梯度卷積核系數(shù)對棒材中心進行相應(yīng)增強。該方法克服了采用標準圓形對象識別方法進行類圓形目標中心增強時容易引起的峰值擴散問題,有效實現(xiàn)了對嚴重堆疊的、形狀大小不規(guī)則棒材斷面中心的準確識別。
標準霍夫圓變換 (circle Hough transform,CHT)是檢測標準圓形對象的經(jīng)典方法[7,8]。設(shè)X 是圖像空間I 中的邊緣點集,x,y 是每個邊緣點的坐標。圖像空間的標準圓形可用式描述
式中:a,b——圓心x 軸、y 軸坐標,r——半徑;鑒于此,CHT 可實現(xiàn)圖像空間I 到三維參量累積空間A(a,b,r)的映射
式中:Θk=(ak,bk,rk)是A 的第k 個量化分量,m——量化分量總個數(shù),|Sk|——集合Sk的模
定位A 的峰值,該峰值點對應(yīng)的各個參量值可有效描述圖像空間I中圓形目標。檢測I中特定半徑Radius 的圓形目標時,A 從三維降為兩維。I中的每個邊緣點p(x,y)將映射成A 中以點p(x,y)為圓心,半徑為Radius 的圓形曲線;則I中圓形目標上的所有邊緣點映射成一組有公共交點的圓形曲線,這個公共交點也即A 中的峰值點。文獻[7]定義卷積核οSc并以卷積方式有效實現(xiàn)了特定半徑的圓形目標檢測。卷積核οSc以核中心為圓心,半徑為Radius的圓周上對應(yīng)的卷積核系數(shù)為1,其余為0。基于卷積核οSc在圖像上進行卷積操作時,圖像中圓形目標邊界上的點會在其圓心聚集從而產(chǎn)生峰值。定位峰值點即可確定圓形目標的圓心。
同一規(guī)格的棒材半徑r信息已知,理想情況下可以用數(shù)學(xué)上半徑r的標準圓參量形式加以描述。然而,由于受剪切工藝、堆疊遮擋、棒材表面氧化、噪聲、數(shù)字化等因素的影響,在現(xiàn)場獲得的棒材斷面這一類圓形對象的邊緣像素點不規(guī)則的分布在一個寬度為2Δr 的圓環(huán)形區(qū)域內(nèi),半徑為r的理想圓形邊緣是此圓環(huán)形區(qū)域的中心環(huán)。針對這樣的類圓形對象,采用傳統(tǒng)的卷積核οSc方法進行檢測時,一個類圓形對象通過投票累積會在參量空間中形成多個局部峰值,即目標形狀邊緣點在參量空間投票累積時易于發(fā)生峰值擴散現(xiàn)象。
根據(jù)類圓形對象邊緣像素點的分布情況,本文引入模糊集理論,以標準圓Οr邊緣為中心環(huán),定義了模糊梯度卷積核οOFSC[7-9]。οOFSC中心點C(x0,y0)的坐標為 (0,0),模板尺寸是(2(r+Δr)+1)*(2(r+Δr)+1)。本文實驗中選取Δr=r。在οOFSC中,設(shè)和點C 相距r 的點集是S ={xi,i=1,2,…n},現(xiàn)將S中每個點xi用一組點集Xi={xij|xi-xij|=j(luò),j=-Δr…Δr}代替,Xi中的點xij位于通過點C 與xi的射線上,且xi與點xij距離為j。在οOFSC中為每個點xij分配值μij ,μij 是距離j 的函數(shù),表示點xij隸屬于類圓形對象的程度。結(jié)合棒材斷面邊緣點的分布情況,隸屬函數(shù)可以選擇常用的兩邊型隸屬函數(shù)。本文選用如下二維πfunction
另外,由于邊緣點的梯度|ΔI|(x,y)在其鄰域內(nèi)最大,而圓形目標邊緣上像素點的梯度方向和法線方向一致,兩者的單位向量的點乘積值最大。為了能更好的利用邊緣方向信息,本文將οOFSC定義為向量場OOFSC(OOFSC_x,OOFSC_y)T
采用粒度測量方法離線獲取各種規(guī)格棒材的標準半徑r,并按照式 (5),式 (6)定義各種規(guī)格棒材對應(yīng)的卷積核οOFSC,將它們分別離線保存。12mm 規(guī)格棒材的標準半徑r=5,其對應(yīng)的OOFSC_x,OOFSC_y分別如圖1、圖2所示。
圖1 OOFSC_x卷積核圖像
圖2 OOFSC_y 卷積核圖像
對采集的實時棒材斷面原始圖像首先進行ROI區(qū)域選擇、中值濾波、腐蝕、二值化、高斯模糊等一系列預(yù)處理操作。圖3 (a)為一幀在線實時棒材預(yù)處理圖像。
圖3 棒材中心增強各步驟結(jié)果
其次,獲取預(yù)處理圖像的邊緣梯度圖像E =(Ex,Ey)T。圖3 (b)、(c)中即為采用Sobel邊緣檢測算子獲取的預(yù)處理圖3 (a)的水平方向、垂直方向邊緣梯度圖。
然后按照式 (7)所示,首先將OOFSC_xOOFSC_y卷積核在Ex,Ey邊緣梯度圖像中進行卷積操作,然后將各自得到的卷積結(jié)果圖像求和,最后進行歸一化處理,得到如圖3 (d)所示的棒材中心增強圖像QOFSC(代表卷積操作)
在增強圖像QOFSC的基礎(chǔ)上,本文依次采用如下3個步驟進行處理,實現(xiàn)棒材中心的準確定位。
(1)候選點選取。根據(jù)模糊梯度卷積核οOFSC的設(shè)計原理易于分析得知,增強圖像QOFSC的每個峰值點即為可能的類圓形棒材中心點。從上至下,從左到右依次掃描增強圖像QOFSC的每個像素點pi(x,y),若點pi(x,y)的像素值大于等于其8鄰域內(nèi)所有像素的像素值,則點pi(x,y)屬于候選點集CP 。
(2)局部峰值抑制。首先設(shè)置閾值參數(shù)Qthres,并依次掃描候選點集。若某候選點CPi在增強圖像QOFSC中值小于Qthres,則刪除該候選點CPi。該步驟主要用來刪除因為噪聲或者多類圓形對象堆積時在堆疊區(qū)域產(chǎn)生的小峰值點??紤]到棒材這種類圓形對象的大小和形狀的不規(guī)則性,在每個類圓形對象中可能產(chǎn)生多個峰值點,這些峰值點中除了最大峰值點外,其他可視為該目標內(nèi)的局部峰值點。這些局部峰值點采用如下非最大抑制方法進行刪除:
步驟1 搜索現(xiàn)有候選點集CP 中像素值最大的點CPi;
步驟2 定位以點CPi為中心,半徑為rthres的圓形區(qū)域,并將處于這一區(qū)域的其它候選點刪除;
步驟3 返回步驟2,直到所有的候選點均處理完畢。
(3)距離檢測。結(jié)合棒材尺寸的先驗信息,采用距離檢測方法刪除多棒材堆疊時可能產(chǎn)生的棒材中心位置誤檢。依次取候選點集中的任意2個候選點CPi,CPj,其各自在增強圖像QOFSC中對應(yīng)像素值記為Q(xi,yi),Q(xj,yj)。R為候選點CPi,CPj之間的歐式距離。定義閾值參數(shù)rcmb表明2個棒材堆疊在一起的最小合并半徑。距離檢查的檢測原則如下:
依次經(jīng)過上述3個步驟的處理,保留下來的候選點即為最終定位的棒材中心點。
將圓形模板匹配方法、正八變形模板匹配方法、距離變換方法和本文方法比較 (注:為簡化說明,依次將上述方法簡稱為CircleTM、OctangelTM、DT 和OFSC),重點針對棒材中心增強效果、棒材中心識別結(jié)果以及運行實時性3個問題進行了仿真實驗研究。實驗的硬件平臺中CPU:Intel Core i7-2600,內(nèi)存4 G,軟件平臺操作系統(tǒng)為Windows XP。12mm 的棒材規(guī)格最小,在冷床上更容易多層堆疊,其識別難度最大,所以仿真實驗就專門針對12 mm在線棒材斷面圖像進行棒材中心識別。所有在線棒材斷面圖像均從某鋼鐵廠棒材生產(chǎn)工業(yè)現(xiàn)場實時采集得到。經(jīng)粒度測量,12mm 棒材的標準半徑r=5;circleTM 方法中定義的圓形模板尺寸(2(r+1)*(2(r+1)),其中圓半徑為r;octangelTM 方法中定義的正八邊形模板尺寸(2(r+1)*(2(r+1)),正八邊形外接圓的半徑為r。本文OFSC方法的模糊梯度卷積核如第1節(jié)所述。
(1)中心增強效果對比與分析
該仿真實驗的程序采用matlab7.0編寫,圖4給出了4種方法分別對圖4 (a)中的原始圖像進行中心增強后的歸一化增強圖像二維等高輪廓線。(注:圖4 (a)中人工標定了棒材編號,另外為圖片顯示效果明顯,圖4中顯示的等高輪廓線中等高線填充顏色從白到黑漸變表示歸一化增強值從0到1變化。)
從圖中可知,DT 方法相較于其它幾種方法,中心增強圖中各峰峰值差異較大,第①根和第⑦根棒材形成的峰值明顯低于其它棒材。這是因為這2 根棒材由于剪切或者部分氧化的原因,使攝像頭采集到的棒材圖像呈現(xiàn)為尺寸偏小的不規(guī)則扁平形狀,DT 方法是通過計算目標點到背景點的最短距離來實現(xiàn)增強,因此DT 方法就會針對這類形狀的棒材產(chǎn)生小的峰值。DT 方法帶來的峰值差異大的問題,會給后期中心定位選擇合適的閾值參數(shù)Qthres帶來困難。若閾值參數(shù)Qthres設(shè)置偏高,這些低峰值目標即為漏識別;而閾值參數(shù)Qthres設(shè)置偏低,其它高峰值目標區(qū)域會產(chǎn)生多個候選中心點,增加了誤識別的概率。另外有效識別多層堆疊棒材對象是提高識別率的關(guān)鍵。第②根和第③根棒材以及第④和第⑤根棒材相互堆疊比較嚴重,CircleTM 方法、OctangleTM 方法還有DT 方法在增強圖像中產(chǎn)生的兩峰之間都明顯形成了較高的馬鞍形狀連接區(qū)域,而OFSC 算法對于堆疊嚴重的2根棒材,卻能生成獨立的雙峰形狀。最后由于Cir-cleTM 方法、OctangleTM 方法還有DT 方法在增強圖像中易于出現(xiàn)峰值的擴散,中心增強圖像中形成的峰值區(qū)域都較大偏離棒材實際的質(zhì)心。
圖4 中心增強圖二維等高輪廓線對比
(2)棒材中心識別效果對比與分析
該仿真實驗的程序采用matlab7.0編寫。采用4種算法分別進行中心增強后,均采用2.3 節(jié)步驟進行中心識別,其中涉及參數(shù)設(shè)置如下:r=5;Qthres=0.6;rthres=0.6*r;rcmb=1.8*r。部分識別結(jié)果如下:
從圖5、圖6 中的識別結(jié)果來看,CircleTM、OctangleTM 方法在多棒材堆疊時易造成誤識別的情況,并且也能明顯看到,識別出的棒材中心位置易于偏離棒材斷面質(zhì)心。DT 算法對于扁平形狀的棒材很容易造成漏識別情況,而本文提出的OFSC 方法對于各種形狀的棒材均能較為有效的識別,且識別出的棒材中心位置也和棒材斷面質(zhì)心位置接近。
(3)識別算法實時性驗證
在線棒材計數(shù)系統(tǒng)對算法的實時性要求較高。本系統(tǒng)攝像頭的實時采集幀率為25f/s。由于采用場采集方式,則要求算法對采集到的每幅圖片處理時間為20ms??紤]到模板大小遠低于圖像大小,本實驗中將卷積操作轉(zhuǎn)換為圖像和卷積核的傅里葉變換的乘積操作,這樣處理不僅降低了算法復(fù)雜度,同時算法的運算時間和卷積模板大小關(guān)聯(lián)也大大降低??紤]實際現(xiàn)場12mm 的棒材堆疊層數(shù)最多為5-6層,故本系統(tǒng)選取的圖像ROI大小為300*70。系統(tǒng)使用計算機視覺庫opencv2.1,采用VC2010開發(fā)。連續(xù)處理5段連續(xù)50 幀的現(xiàn)場實時棒材斷面圖像,算法平均時間8.3ms,這為后面的實時計數(shù)算法預(yù)留了充足的時間,能保證系統(tǒng)實時要求。
圖5 各算法棒材中心識別結(jié)果一
圖6 各算法棒材中心識別結(jié)果二
棒材中心準確識別是實現(xiàn)在線棒材計數(shù)系統(tǒng)需要解決的關(guān)鍵問題之一。本文引入模糊集理論,定義了一個模糊梯度卷積核οOFSC,有效描述了棒材斷面這一形狀、大小不規(guī)則,且易于堆疊類圓形對象的先驗信息。采用卷積核οOFSC對棒材斷面梯度圖像進行卷積操作,一方面能使各邊緣點直接沿其梯度方向增強中心,減少計算工作量;同時也使各個邊緣點均能根據(jù)對應(yīng)卷積核系數(shù)對中心點進行累積增強。實驗結(jié)果表明,針對各種形狀大小偏離標準圓,且相互之間堆疊嚴重的類圓形對象,該方法均能生成形狀呈現(xiàn)單峰、且峰值差異較小的棒材中心增強效果圖。在此基礎(chǔ)上采用候選點選取、局部峰值抑制、距離檢測3個步驟識別棒材中心位置,有效減少誤識別和漏識別情況。最后該方法的平均執(zhí)行時間為8.3ms,能滿足系統(tǒng)實時性要求。
本文提出的模糊梯度卷積核方法同樣能適用于其它各種類圓形對象的識別領(lǐng)域。如何根據(jù)類圓形對象的變形程度選擇合適的Δr以及模糊隸屬函數(shù),將是下一步的重點研究工作。
[1]ZHANG Yancheng,MAO Hanping,HU Bo,et al.Separate algorithm for overlapping spots in crop disease image [J].Transactions of the Chinese Society for Agricultural Machinery,2008,39 (2):112-115 (in Chinese). [張艷誠,毛罕平,胡波,等.作物病害圖像中重疊病斑分離算法 [J].農(nóng)業(yè)機械學(xué)報,2008,39 (2):112-115.]
[2]XIE Zhonghong,JI Changying,GUO Xiaoqing,et al.Detection and location algorithm for overlapped fruits based on concave spots searching[J].Transactions of the Chinese Society for Agricultural Machinery,2011,42 (12):191-196 (in Chinese). [謝忠紅,姬長英,郭小清,等.基于凹點搜索的重疊果實定位檢測算法研究[J].農(nóng)業(yè)機械學(xué)報,2011,42 (12):191-196.]
[3]ZHANG Da,XIE Zhi,AI Jiangshan.Research on rebar section positioning method in online rebar counting system [J].Chinese Jourual of Scientific Instrument,2010,31 (5):1174-1178 (in Chinese). [張達,謝植,艾江山.棒材在線計數(shù)中斷面定位方法研究 [J].儀器儀表學(xué)報,2010,31 (5):1174-1178.]
[4]HOU Weiyan,DUAN Zhenwei,ZHAO Hui.Measurement method for binding bar based on muitiple tempiates matching [J].Process Automation Instrumentation,2013,34 (4):7-13 (in Chinese).[候維巖,段政偉,趙慧.基于多模板匹配的捆扎棒材計量方法[J].自動化儀表,2013,34 (4):7-13.]
[5]Pinaki Pratim Acharjya,Dibyendu Ghoshal.Watershed segmentation based on distance transform and edge detection techniques [J].International Journal of Computer Applications,2012,52 (13):6-10.
[6]XU Longfei.Simulation study on the system for steel bar dynamic splitting based on visual feedback control[D].Changsha:Central South University,2012 (in Chinese).[徐龍飛.基于視覺反饋的動態(tài)分鋼系統(tǒng)仿真研究[D].長沙:中南大學(xué),2012.]
[7]Hollitt,Christopher.A convolution approach to the circle Hough transform for arbitrary radius[J].Machine Vision and Applications,2013,24 (4):683-694.
[8]Shih-Hsuan Chiu,Che-Yen Wen,Jun-Huei Lee,et al.A fast randomized generalized Hough transform [J].International Journal of Innovative Computing,Information and Control,2012,8 (2):1103-1116.
[9]Izadinia H,Sadeghi F,Ebadzadeh MM.Fuzzy generalized Hough transform invariant to rotation and scale in noisy environment[C]//IEEE International Conference on Fuzzy Systems,2009:153-158.
[10]NI Chao,LI Qi,XIA Liangzheng.Automatic segmentation and counting of touching bar images[J].Journal of Data Acquisition & Processing,2007,22 (1):72-75 (in Chinese)[倪超,李奇,夏良正.粘連棒材圖像自動分割計數(shù)技術(shù)[J].數(shù)據(jù)采集與處理,2007,22 (1):72-75.]