李慶利,王永強(qiáng),張 帆
LI Qing-li1, WANG Yong-qiang2, ZHANG Fan1
(1.唐山學(xué)院 機(jī)電工程系,唐山 063000;2.唐山學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)系,唐山 063000)
在現(xiàn)代制造業(yè)中,零件的自動(dòng)識(shí)別已經(jīng)成為實(shí)現(xiàn)柔性自動(dòng)化不可或缺的關(guān)鍵技術(shù)。機(jī)器視覺技術(shù)通過對(duì)獲取的目標(biāo)圖像進(jìn)行處理和分析,可實(shí)現(xiàn)對(duì)目標(biāo)的自動(dòng)識(shí)別和分類等工作,具有可快速獲取并處理大量信息,系統(tǒng)集成性和實(shí)時(shí)性好等優(yōu)點(diǎn)。引入機(jī)器視覺技術(shù)可以大大提高生產(chǎn)的柔性和自動(dòng)化程度,為零件自動(dòng)識(shí)別提供有效的解決途徑[1~3]。
目前,零件識(shí)別已成為機(jī)器視覺技術(shù)領(lǐng)域的一大研究熱點(diǎn),而對(duì)圖像的預(yù)處理則是識(shí)別的前提。通過圖像預(yù)處理可以改善圖像視覺效果,便于后續(xù)的分析和識(shí)別。
由于技術(shù)原因,現(xiàn)有的零件視覺識(shí)別系統(tǒng)絕大多數(shù)使用灰度圖像。由于灰度圖像僅僅包含亮度信息,所以生產(chǎn)現(xiàn)場(chǎng)的任何干擾,如照明的不均勻、反光和陰影(如圖1(a))等都會(huì)嚴(yán)重影響圖像預(yù)處理效果,進(jìn)而降低識(shí)別的準(zhǔn)確性。圖1(b)、(c)、(d)分別為使用經(jīng)典的最大類間方差法、腐蝕和Canny算子進(jìn)行處理后的效果,由于存在陰影和反光的影響,所以目標(biāo)邊緣檢測(cè)的效果較差,不便于后續(xù)處理。
與灰度圖像相比,彩色圖像具有更加豐富的信息,不僅包含亮度信息,還有色調(diào)、飽和度等信息,為圖像預(yù)處理和零件識(shí)別等操作提供了更加有效的信息。本文主要探討了應(yīng)用灰色關(guān)聯(lián)分析方法在復(fù)雜場(chǎng)景下以零件識(shí)別為最終目的的彩色圖像預(yù)處理算法。
圖1 灰度圖像分割效果圖
與灰度圖像處理類似,本文所涉及的彩色圖像預(yù)處理算法主要包括圖像平滑和分割等。
零件圖像在采集和傳輸過程中,由于成像設(shè)備、傳輸信道和外界環(huán)境等原因,圖像中不可避免地包含各種各樣的噪聲[4,5]。在進(jìn)行圖像識(shí)別和分析之前,進(jìn)行平滑去噪是十分必要的。對(duì)于彩色圖像的平滑處理,以考慮像素的各分量之間內(nèi)在聯(lián)系的矢量中值濾波算法為常用的方法[6]。
彩色圖像分割主要是指依據(jù)圖像中顏色和紋理等信息把圖像劃分成若干個(gè)不同區(qū)域,是實(shí)現(xiàn)圖像分析和識(shí)別的前提。常用的分割方法有:顏色直方圖閾值法和特征空間聚類(FCM)法等[7]。
由于彩色圖像每個(gè)像素點(diǎn)由三個(gè)分量組成,進(jìn)行處理時(shí)必須考慮三個(gè)分量之間的內(nèi)在聯(lián)系。通常的方法是通過計(jì)算特定顏色空間中的矢量距離來確定像素點(diǎn)間的隸屬度,然后以隸屬度來描述像素間的關(guān)系[8]。
本文中應(yīng)用華中科技大學(xué)鄧聚龍教授1982年提出的灰色系統(tǒng)理論,將三個(gè)分量值看做一條曲線,通過計(jì)算兩條曲線形狀的相似程度來確定像素點(diǎn)間的關(guān)聯(lián)程度[9](隸屬度)。若兩條曲線形狀相似,則關(guān)聯(lián)度較大。
進(jìn)行彩色圖像處理時(shí),必須用定量方法來描述顏色信息,即選定顏色空間。常用的顏色空間包括RGB、YIQ、CIEL*a*b*和HSV等等。其中,RGB顏色空間是使用最廣泛的顏色空間,通過R(紅)、G(綠)、B(藍(lán))三個(gè)分量的疊加可得到各種顏色。由于現(xiàn)有彩色成像設(shè)備均工作在RGB空間,且RGB顏色值也便于存儲(chǔ)和處理,所以選定在RGB顏色空間中進(jìn)行主要的圖像處理操作。HSV顏色空間是從人的心理感知角度建立的,符合人的視覺特征,三個(gè)分量分別為:H(色調(diào))、S(飽和度)、V(亮度)。由于在HSV顏色空間中H分量與V分量是分開的,所以以H分量作為背景判別的依據(jù)。
在R G B 顏色空間,假定以圖像中某一像素點(diǎn)X0={R0,G0,B0}作為參考,其他像素點(diǎn)為Xi={Ri,Gi,Bi},根據(jù)灰色關(guān)聯(lián)度計(jì)算公式[10]簡(jiǎn)化得:
矢量中值濾波的基本思想是通過求解濾波窗口中距離其他像素最近的像素作為中值矢量,然后以其替代中心像素[11]。本文中以像素間的灰色關(guān)聯(lián)度替代了矢量距離,相應(yīng)的中值矢量則是濾波窗口內(nèi)與其他像素灰色關(guān)聯(lián)度值最高的像素。濾波處理時(shí),先按照式(1)計(jì)算窗口內(nèi)的每個(gè)像素與其余像素的灰色關(guān)聯(lián)度,然后求和Si,最后找出灰色關(guān)聯(lián)度之和最大者Smax所對(duì)應(yīng)的像素點(diǎn)Xm,作為濾波窗口的中值矢量。
式中n為濾波窗口大小。
依據(jù)顏色進(jìn)行圖像分割,首先要提取圖像的特征顏色。由于灰色系統(tǒng)理論適用于“小樣本,貧信息”系統(tǒng),所以要對(duì)整幅圖像進(jìn)行分塊處理,提取各子塊(子圖像)的特征顏色。提取P×P子圖像的特征顏色原理同濾波算法,即找到子圖像內(nèi)與其他像素灰色關(guān)聯(lián)度最高的像素。
首先,根據(jù)式(1)計(jì)算子圖像中各像素點(diǎn)間的灰色關(guān)聯(lián)度值Υi,j。然后構(gòu)造矩陣A,并對(duì)矩陣A中的每一行進(jìn)行求和。最后根據(jù)式(2)計(jì)算得到子圖像的特征顏色X′。
由于本文中預(yù)處理操作是為后續(xù)零件識(shí)別服務(wù)的,因此沒有應(yīng)用諸如FCM等算法[12]求得最優(yōu)的特征顏色。在得到各子圖像的特征顏色后,計(jì)算所有特征顏色間的灰色關(guān)聯(lián)度,將相互間關(guān)聯(lián)程度最小的K種顏色作為整幅圖像的特征顏色 {Xi′} (i=1,…,K)。
最后,計(jì)算各像素點(diǎn)Xj與各特征顏色Xi′的灰色關(guān)聯(lián)度,并將其歸入最大值Υmax(如式(3)所示)所對(duì)應(yīng)的一類顏色,完成圖像分割。
如前所述,在HSV顏色空間中,H分量與V分量是相互獨(dú)立的,不均勻照明、反光和陰影等干擾主要影響亮度分量,據(jù)此可將零件目標(biāo)與背景分離開來。
假定標(biāo)準(zhǔn)背景顏色的色度分量為H0,各特征顏色的色度分量為Hi′,給定閾值Hp,可按照式(4)對(duì)背景進(jìn)行檢測(cè)。
完成背景與目標(biāo)的分離操作后,將彩色圖像轉(zhuǎn)換為灰度圖像,即可按照灰度圖像邊緣跟蹤算法完成最終預(yù)處理操作。圖像預(yù)處理流程如圖2所示。
為了驗(yàn)證算法的可行性,選取普通六角螺母、墊圈及螺桿作為被測(cè)對(duì)象進(jìn)行了識(shí)別試驗(yàn)。采用D65光源均勻散射前光照明,照度大于400lx;攝像頭型號(hào)為MVC-3M(有效像素1024×1024);紅色有機(jī)玻璃板作為背景平臺(tái);特征顏色數(shù)目K=16,子圖像大小為5×5,H0=354.1,Hp=2。圖3(a)為原始彩色圖像,由于反光和陰影的存在,背景十分復(fù)雜。圖3(i)中顯示了16種特征顏色在圖像中所占比例,圖3(b)、(c)、(d)、(e)分別為使用本文算法進(jìn)行處理的中間結(jié)果。圖3(f)為最終邊緣檢測(cè)結(jié)果,可見完整清晰的各被測(cè)目標(biāo)。整個(gè)預(yù)處理過程耗時(shí)約0.5秒。
圖2 算法流程
實(shí)驗(yàn)表明,應(yīng)用本文算法可充分利用彩色圖像提供的豐富信息,完成灰度圖像(如圖3(g)所示)不便處理的復(fù)雜場(chǎng)景問題,為后續(xù)識(shí)別打下了良好基礎(chǔ)。圖3(h)即為使用預(yù)處理后的圖像(圖3(f))進(jìn)行螺母和墊圈識(shí)別的效果圖,圖中以十字標(biāo)示識(shí)別出的目標(biāo)幾何中心。
圖3 預(yù)處理結(jié)果
本文中提出了一種應(yīng)用灰色關(guān)聯(lián)分析進(jìn)行彩色圖像預(yù)處理的新方法,主要包括矢量中值濾波算法和彩色圖像分割算法。在RGB顏色空間,通過計(jì)算顏色間的灰色關(guān)聯(lián)度來確定像素點(diǎn)間隸屬關(guān)系,進(jìn)而求得圖像的特征顏色,并據(jù)此完成彩色圖像分割。最后,利用HSV空間中H分量的獨(dú)立性,實(shí)現(xiàn)背景的檢測(cè),完成預(yù)處理操作。通過零件識(shí)別實(shí)驗(yàn),證明在照明不十分均勻和場(chǎng)景中有陰影、反光等干擾情況下,本方法具有較好的處理效果,處理后可提取出連續(xù)、封閉的零件邊緣,為圖像識(shí)別處理打下了良好的基礎(chǔ)。
[1] 潘武,張莉彥,徐俊成.基于機(jī)器視覺的工件的在線檢測(cè)[J].組合機(jī)床與自動(dòng)化加工技術(shù).2012,(7):75-78,81.
[2] 夏慶觀,盛黨紅,路紅,陳桂.零件圖像特征提取和識(shí)別的研究[J].中國(guó)機(jī)械工程.2005,16(22):2031-2033.
[3] 祁曉玲,趙霞霞,靳伍銀.基于機(jī)器視覺的軸類零件幾何尺寸測(cè)量[J].組合機(jī)床與自動(dòng)化加工技術(shù).2013,(1):65-68,73.
[4] 鐘靈,章云.等級(jí)閾值的彩色圖像矢量中值濾波[J].中國(guó)圖象圖形學(xué)報(bào),2011.16(3):330-335.
[5] 何希平.基于鄰域Mean-Shift的彩色圖像濾波算法[J].計(jì)算機(jī)應(yīng)用,2011,31(2):386-389.
[6] 金良海,姚行中,李德華.彩色圖像矢量濾波技術(shù)綜述[J].中國(guó)圖象圖形學(xué)報(bào).2009,14(2):243-254.
[7] 高春甫,賀新升,唐可洪,程麗麗.隨機(jī)紋理圖像的色差檢測(cè)[J].光學(xué)精密工程,2009,17(8):1999-2003.
[8] 依玉峰,高立群,郭麗.改進(jìn)FCM在交互式圖像分割中的應(yīng)用[J].中國(guó)圖象圖形學(xué)報(bào),2012.17(3):342-348.
[9] 劉思峰,謝乃明,等.灰色系統(tǒng)理論及其應(yīng)用[M].北京:科學(xué)出版社,2013.
[10] 黎鎖平.基于灰色關(guān)聯(lián)分析的多級(jí)別聚類評(píng)價(jià)模型的研究[J]. 甘肅工業(yè)大學(xué)學(xué)報(bào),2000.26(4):100-103.
[11] 鄧廷權(quán),董天禎,謝巍,戴家樹.自適應(yīng)中心加權(quán)的彩色圖像中值濾波方法[J].控制與決策.2013,28(9):1372-1376.
[12] 薄明心.隨機(jī)紋理墻地磚差異區(qū)實(shí)時(shí)檢測(cè)方法的研究[D].吉林:吉林大學(xué),2006.