毛金蓮
MAO Jinlian
浙江商業(yè)職業(yè)技術(shù)學(xué)院 信息技術(shù)學(xué)院,杭州 310053
Institute of Information Technology,Zhejiang Business College,Hangzhou 310053,China
管道作為一種重要的物質(zhì)傳輸工具,在現(xiàn)代工農(nóng)業(yè)和人們的日常生活中,都起到至關(guān)重要的作用。由于在實(shí)際工程建設(shè)中,管道多是采用分段焊接的方式,在戶外直接完成;因此,為了保障管道運(yùn)輸?shù)陌踩煽?,常常需要?duì)焊縫條紋進(jìn)行定期檢測(cè)和維護(hù)。近年來,隨著計(jì)算機(jī)視覺和自動(dòng)化技術(shù)的飛速發(fā)展,采用機(jī)器人對(duì)包含焊縫管道區(qū)域拍攝圖像,然后運(yùn)用計(jì)算機(jī)視覺技術(shù)對(duì)焊縫條紋進(jìn)行自動(dòng)識(shí)別、定位、提取和檢測(cè)的方法被大量使用,極大地提高了工作效率和識(shí)別的準(zhǔn)確性[1-3]。
然而,與日常圖像相比較,這類拍攝到的管道焊縫檢測(cè)圖像,具有亮度不均勻,焊縫邊緣結(jié)構(gòu)復(fù)雜,圖像噪聲較多的特點(diǎn)(如圖1所示),給后續(xù)的焊縫條紋識(shí)別、定位與分割帶來了極大的挑戰(zhàn)。與此同時(shí),在實(shí)際工程應(yīng)用中,為了盡量提高機(jī)械自動(dòng)化檢測(cè)的準(zhǔn)確率,需要預(yù)先對(duì)包含焊縫條紋的檢測(cè)圖像進(jìn)行快速處理,從中準(zhǔn)確地提取出焊縫條紋,整個(gè)處理過程需要盡量達(dá)到實(shí)時(shí)性的要求[2-3]。
圖1 彩色焊縫條紋圖像示例
針對(duì)上述問題和要求,本文根據(jù)管道焊縫條紋圖像的特點(diǎn),提出一種基于顏色曲線分析的快速焊縫條紋提取方法,通過將原始的RGB顏色空間轉(zhuǎn)換到Y(jié)UV顏色空間,在V通道上進(jìn)行顏色曲線統(tǒng)計(jì)分析,可以快速得到一個(gè)最佳的二值化閾值,再結(jié)合形態(tài)學(xué)去噪、填充和合并離散塊操作處理,得到焊縫條紋分割提取模板,最后依據(jù)該模板,可以實(shí)現(xiàn)快速、準(zhǔn)確的彩色圖像焊縫條紋提取。
與本文研究內(nèi)容關(guān)系最密切的工作主要是:圖像分割。因此,在本章,先對(duì)這方面的研究情況做簡要回顧。
圖像分割是計(jì)算機(jī)視覺研究中一個(gè)非常重要的問題,在傳統(tǒng)數(shù)字圖像處理中占據(jù)重要地位。若將一幅圖像看成是由前景區(qū)域和背景區(qū)域疊加構(gòu)成的,那么圖像分割可以解釋為將用戶所需要的前景區(qū)域從原始圖像中提取出來的過程。按照所處理圖像類型的不同,可以大致劃分為彩色圖像分割和灰度圖像分割。雖然彩色圖像與灰度圖像在數(shù)據(jù)表達(dá)上存在差異:前者是多通道(分量)的圖像,而后者是單通道的圖像,但是從圖像分割的基本原理來說,這兩類圖像的分割方法是非常接近的。通常都是利用圖像像素之間的相似性和像素點(diǎn)的空間結(jié)構(gòu)關(guān)聯(lián)性,對(duì)目標(biāo)區(qū)域進(jìn)行分割提取[4-6]。
就具體方法而言,常用的圖像分割方法包括如下幾類:閾值方法[7-8]、基于邊緣的方法[9]、基于區(qū)域的分割方法[10-12]和結(jié)合特定理論工具的方法(如基于數(shù)學(xué)形態(tài)學(xué)的分割方法[9,13-15]與基于粗糙集技術(shù)的圖像分割方法[10],基于譜圖理論和最大流的分割方法[16-17]等)?,F(xiàn)實(shí)生活中的圖像,包含的內(nèi)容極其復(fù)雜多樣,圖像的前景區(qū)域與背景區(qū)域有時(shí)又具有一定的模糊性和可變性,使得現(xiàn)有的圖像分割算法,大多只是針對(duì)某些類型的圖像分割有效,而對(duì)其他類型的圖像則不盡如人意。因而,實(shí)際應(yīng)用中不僅需要選擇合適的分割方法,還需要根據(jù)應(yīng)用背景對(duì)方法進(jìn)行特定優(yōu)化,比如使用形態(tài)學(xué)改進(jìn)邊緣檢測(cè)效果[9,14]和使用人工交互處理[11]來提高圖像分割準(zhǔn)確率。
其中,使用形態(tài)學(xué)與閾值方法相結(jié)合的方法,因計(jì)算簡單、快速、易于實(shí)現(xiàn),在許多場(chǎng)合都被證明是一種行之有效的圖像分割方法。在生物組織的紋理分割[13]和小鼠舌頭切片圖像的分割[14]應(yīng)用中都驗(yàn)證了該方法所具有的優(yōu)勢(shì)。本文所提出基于顏色曲線分析的快速焊縫條紋提取方法,本質(zhì)上可以看成是一種改進(jìn)的形態(tài)學(xué)與閾值方法相結(jié)合的方法。
而在特定的焊縫條紋提取研究工作中,大多數(shù)研究都是從數(shù)字圖像處理的角度,對(duì)包含焊縫條紋的圖像進(jìn)行分割處理,比較少有研究者關(guān)注到圖像的顏色曲線,從分析顏色曲線變化的角度來實(shí)現(xiàn)快速的焊縫條紋圖像分割。
金忠[15]等人在分析X射線數(shù)字圖像的特點(diǎn)后,提出利用多尺度形態(tài)學(xué)梯度算子來獲取梯度圖像,結(jié)合迭代閾值分割算法,實(shí)現(xiàn)圖像的分割。劉國平[18]等人則針對(duì)結(jié)構(gòu)光下焊縫圖像的特點(diǎn),提出多種快速模板匹配的算法,并實(shí)驗(yàn)驗(yàn)證了所提方法的可行性。丁度坤[2]等人對(duì)焊縫識(shí)別技術(shù)進(jìn)行了深入研究,提出采用最小二乘法建立焊縫的軌跡方程,提高焊縫跟蹤定位精度?;诟櫟慕Y(jié)果,可以用于指導(dǎo)彩色焊縫條紋的提取。
與現(xiàn)有其他工作不同,本文所提方法通過將原始RGB顏色空間圖像轉(zhuǎn)換到Y(jié)UV顏色空間,對(duì)YUV顏色空間中的V通道顏色曲線的分析,快速得到最佳的二值化閾值。利用該閾值對(duì)V通道圖像進(jìn)行二值化,經(jīng)形態(tài)學(xué)去噪、填充、膨脹和合并離散塊處理,得到圖像分割模板,最后根據(jù)該模板,可以實(shí)現(xiàn)快速彩色圖像焊縫條紋提取。
彩色圖像提供了比灰度圖像更加豐富的信息,對(duì)于客觀世界的描述能力也更加強(qiáng)。隨著近年來計(jì)算機(jī)處理能力的飛速提升,對(duì)彩色圖像的處理變得越來越容易。然而,由于不同的顏色空間下,圖像的各個(gè)顏色通道所表達(dá)的內(nèi)容是不一樣的,對(duì)于圖像的分割也會(huì)隨之產(chǎn)生不一樣的效果,因此在彩色圖像分割時(shí),選擇合適的顏色空間非常重要。
常用的顏色空間包括RGB,歸一化RGB,YUV,HSV,HIS等。其中,RGB顏色空間中三個(gè)通道依次對(duì)應(yīng)與圖像的R、G、B三個(gè)顏色分量,與人們?nèi)粘V袑?duì)顏色的直接定義比較接近,因而使用得比較廣泛。然而,RGB顏色空間具有三個(gè)分量高度相關(guān)并且顏色空間不均勻的特點(diǎn)。圖像的亮度變化時(shí),RGB空間所對(duì)應(yīng)的三個(gè)分量會(huì)隨之發(fā)生變化,因而不穩(wěn)當(dāng)。雖然歸一化的RGB顏色空間降低了亮度對(duì)圖像色彩的影響,但是在低亮度情況下對(duì)噪聲特別敏感[9]。YUV是線性顏色空間,將亮度和色度分離開,部分地消除了RGB顏色空間的相關(guān)性問題,同時(shí)具有計(jì)算量小,易于與RGB顏色空間進(jìn)行轉(zhuǎn)換(轉(zhuǎn)換公式(1)和(2)),在圖像邊緣檢測(cè)中應(yīng)用得非常普遍。在YUV顏色空間中,Y分量決定了顏色的明亮度,U和V決定顏色本身。此外,HSV和HSI是非線性的顏色空間,消除了分量之間的相關(guān)性,各個(gè)分量也具有很直觀的含義,常用于圖像處理。
圖2和圖3顯示的是本文實(shí)驗(yàn)所要處理的一幅彩色圖像及其在YUV和HSV顏色空間下各個(gè)分量圖。對(duì)比圖2和圖3,可以看出來,在HSV顏色空間上,S分量雖然很好地保留和突出了焊縫條紋,但是其中還是包含了較多的雜質(zhì)點(diǎn),并不適合用來做后續(xù)的處理。相對(duì)而言,在YUV顏色空間中的V分量圖上,不僅很好地保留了焊縫條紋區(qū)域,同時(shí)焊縫條紋與周圍雜質(zhì)的區(qū)分性也非常明顯,適合用于后續(xù)的處理。因此,在本文中,選擇在YUV顏色空間的V通道上對(duì)圖像進(jìn)行后續(xù)處理。
圖2 原始圖像及其在HSV顏色空間上的三個(gè)分量
圖3 原始圖像及其在YUV顏色空間上的三個(gè)分量
承前所述,在圖像分割方法中,包括了閾值方法、基于邊緣的方法、基于區(qū)域的分割方法和結(jié)合特定理論工具的方法?;谶吘壍姆椒▏?yán)重依賴于邊緣檢測(cè)算子,通常對(duì)于邊緣清晰的圖像效果比較合適,但是對(duì)于本文所需要處理的圖像(如圖1,2所示),邊緣并不清晰,同時(shí)噪聲非常嚴(yán)重,因此并不合適?;趨^(qū)域分割的方法,根據(jù)圖像的空間局部特性(如灰度、紋理和顏色)來劃分區(qū)域。該方法能準(zhǔn)確定位圖像的邊緣,計(jì)算熵,相對(duì)來說也比較簡單,但是該方法對(duì)于噪聲比較敏感,并且容易產(chǎn)生過分割現(xiàn)象,也容易丟失低對(duì)比度圖像的重要輪廓。結(jié)合特點(diǎn)理論工具的方法,往往需要借助一定的數(shù)學(xué)理論模型,計(jì)算復(fù)雜度也比較高,并且在實(shí)現(xiàn)上也存在一定的難度。對(duì)比而言,閾值方法是最簡單和實(shí)用的一種分割方法,適合在前景圖像與背景圖像存在明顯的差異的情況下使用。直觀上來說,就是在圖像的直方圖上體現(xiàn)為“雙峰”特性。
本文統(tǒng)計(jì)V分量圖像,繪制直方圖如圖4所示。從圖4可以看出來,雖然V分量圖的直方圖并不是呈現(xiàn)出簡單的“雙峰”特性,而是“多峰”特性,但是不同峰之間的間隙非常明顯,也就是說可以利用閾值方法,實(shí)現(xiàn)對(duì)不同峰的劃分。因像素值小于110或大于160的像素點(diǎn)都非常少,因此x軸區(qū)間設(shè)置為110~160。
圖4 V分量圖的直方圖
為了確定一個(gè)合適的二值化閾值(即分割時(shí)所需要平均像素值與偏差),本文對(duì)V分量圖像的顏色曲線進(jìn)行分析。在實(shí)驗(yàn)中,首先將所有的樣本圖像都統(tǒng)一縮放到800×600的尺寸大小。圖5顯示的是圖3(d)V分量圖像上的第400行位置600個(gè)像素點(diǎn)的像素值變化曲線和列方向平均的像素值變化曲線。從圖5(a)中可以看出,對(duì)于單行的像素點(diǎn),像素值變化存在一定的波動(dòng),但是在進(jìn)行整幅圖像的平均后,像素值的變化變得穩(wěn)定(如圖5(b))。易發(fā)現(xiàn)圖5(b)的低谷位置所對(duì)應(yīng)的正是原始圖像中焊縫條紋所在的位置,低谷附近的小段曲線可以用來確定二值化閾值。
圖5 V分量圖像的顏色曲線圖
圖6 焊縫條紋邊緣搜索示意圖
為了自動(dòng)獲取這小段曲線的起始列號(hào),對(duì)圖5(b)做進(jìn)一步分析,得到圖6。以圖6(a)中像素值最小的列號(hào)為中心(對(duì)應(yīng)于圖6(a)中紅色五角星標(biāo)記位置),根據(jù)實(shí)際焊縫寬度,設(shè)置一定寬度的左右搜索空間(實(shí)驗(yàn)中設(shè)置為30個(gè)像素,對(duì)應(yīng)圖6(a)中紅色星號(hào)標(biāo)記位置)。對(duì)這個(gè)搜索區(qū)間內(nèi)的每一點(diǎn),以其自身為中心,左右各3個(gè)像素,總共7個(gè)像素點(diǎn),計(jì)算直線擬合方程,得到該點(diǎn)上擬合直線的斜率值。根據(jù)每個(gè)搜索點(diǎn)所對(duì)應(yīng)的斜率值,可以得到的斜率曲線(如圖6(b)所示),稱之為“一次斜率曲線”。從圖6(b)的一次斜率曲線可以看出曲線中存在兩個(gè)突變的地方,整條曲線大致可以劃分為三個(gè)部分。同理,對(duì)一次斜率曲線再按照相同的規(guī)則,計(jì)算二次斜率曲線(如圖6(c))。對(duì)圖6(c)以0.1為閾值,求大于此閾值的所有列號(hào)。對(duì)滿足條件的列號(hào)進(jìn)行排序,求列號(hào)排序上相鄰且列差最大的兩個(gè)列號(hào)(如圖6(c)紅色箭頭所指位置),將其作為計(jì)算二值化閾值所需要的曲線段起始與終止列號(hào)。
根據(jù)所確定的曲線段范圍,計(jì)算焊縫條紋區(qū)域像素的平均值與方差,計(jì)算公式如下:其中,Iij是V分量圖像上(i,j)位置處的像素值,S是根據(jù)曲線分析得出的焊縫區(qū)間范圍集合,n是圖像上總共落在焊縫區(qū)間范圍內(nèi)的像素點(diǎn)總數(shù)。
根據(jù)上式計(jì)算的閾值參數(shù)m和σ,對(duì)V分量圖像按照如下的準(zhǔn)則進(jìn)行二值化:
其中,Iij代表原始V分量圖像上的第i行第j列位置的像素值,Bij是該位置在二值化圖像中的值,k是用戶定義的一個(gè)正數(shù),在本文實(shí)驗(yàn)中設(shè)置為3。
在得到V 分量圖像(圖7(a))的二值化圖(圖7(b))中,依舊包含有不少的噪聲。為了去除掉周圍的噪聲,本文利用形態(tài)學(xué)處理方法,先對(duì)原始二值化圖像做腐蝕操作,去掉較小的對(duì)象,隨后進(jìn)行膨脹操作[13-14]。圖7(c)顯示的是經(jīng)過形態(tài)學(xué)處理后的結(jié)果??梢钥闯觯藭r(shí)圖像分成若干個(gè)不同大小的塊。為了得到完整的焊縫條紋,對(duì)這些塊進(jìn)行合并操作[12],對(duì)于任意的兩個(gè)塊,如果它們?cè)诹蟹较蛏蠅K的坐標(biāo)值區(qū)間存在相交部分,則進(jìn)行合并,最后保留所占面積最大的塊,得到如圖7(d)所示的結(jié)果。此時(shí)已經(jīng)得到圖像分割模板,將其運(yùn)用到原圖像上(如圖8(a)),即可實(shí)現(xiàn)對(duì)原始彩色圖像的焊縫條紋提?。ㄈ鐖D8(b)所示)。
圖7 V分量圖像及其二值化、形態(tài)學(xué)處理和合并離散塊處理結(jié)果
圖8 焊縫條紋圖像及其上焊縫提取結(jié)果
為了驗(yàn)證本文算法的有效性,使用在實(shí)際工程項(xiàng)目中拍攝的350張包含焊縫條紋的彩色圖像進(jìn)行測(cè)試。實(shí)驗(yàn)測(cè)試前,先將全部彩色圖像統(tǒng)一縮放到800像素×600像素的固定大小。部分測(cè)試樣例圖像如圖1所示。本文算法使用MATLAB語言編程實(shí)現(xiàn),在英特爾Core i5處理器、2.40 GHz主頻、4 GB內(nèi)存的臺(tái)機(jī)上運(yùn)行。實(shí)驗(yàn)中隨機(jī)選擇200張彩色圖像,人工標(biāo)注焊縫條紋框所在位置,以此作為基準(zhǔn),對(duì)比算法計(jì)算得到的焊縫條紋框與人工標(biāo)注的焊縫條紋框之間的重疊程度(即2×重合面積/條紋框總面積),用以驗(yàn)證算法的準(zhǔn)確性。測(cè)試結(jié)果如表1所示。從表1可以看出,重疊比例在70%以上的占90%。將本文所提算法與采用視覺注意的支持向量機(jī)(Support Vector Machine,SVM)彩色圖像分割方法進(jìn)行比較[19]。SVM方法的分割結(jié)果如表2所示。對(duì)比表1和表2可以看出,本文所提出的方法在分類準(zhǔn)確性上要優(yōu)于其對(duì)比方法。主要的原因是因?yàn)镾VM彩色圖像分割方法適用于前后背景區(qū)分比較明顯的自然圖像[19],用于焊縫圖像處理時(shí),得到的分割結(jié)果破碎區(qū)域比較多,易造成前景提取區(qū)域的擴(kuò)大化,從而降低圖像分割的準(zhǔn)確率。
表1 本文方法實(shí)驗(yàn)結(jié)果
表2 對(duì)比方法實(shí)驗(yàn)結(jié)果
此外,在算法消耗時(shí)間對(duì)比上(如表3所示),實(shí)驗(yàn)結(jié)果表明:平均處理一幅800×600尺寸大小的圖像時(shí)間約為0.3 s,遠(yuǎn)快于SVM方法[19]。主要原因是本算法所需要的計(jì)算量相對(duì)比較少,主要時(shí)間消耗是在兩次計(jì)算曲線斜率和形態(tài)學(xué)處理上。相對(duì)而言,對(duì)比算法在圖像預(yù)處理階段:首先利用Hou提取顯著區(qū)域法[20]在縮微圖像頻譜上分析幅度譜和相位譜,再通過Fourier逆變換在空間域上得到縮微圖像的顯著圖,接著利用雙線性插值方法得到原始圖像上的顯著圖。而在圖像的分割階段,則是利用已經(jīng)訓(xùn)練好的SVM分類器模型對(duì)所有圖像像素進(jìn)行逐像素的分類預(yù)測(cè)。因此整個(gè)算法的計(jì)算復(fù)雜性要遠(yuǎn)高于本文所提的方法。通過上述兩個(gè)實(shí)驗(yàn),可以看出本算法可以快速、準(zhǔn)確地提取出彩色圖像中所包含的焊縫條紋區(qū)域。
表3 不同算法平均消耗時(shí)間對(duì)比結(jié)果
本文提出一種基于顏色曲線分析的快速焊縫條紋提取方法。實(shí)驗(yàn)結(jié)果表明將該方法運(yùn)用到彩色圖像焊縫條紋的提取,可以在0.3 s內(nèi),快速、準(zhǔn)確地提取出圖像中所包含的焊縫條紋區(qū)域,具有較強(qiáng)的實(shí)用性。然而,本方法也存在一定的不足,比如對(duì)于曲線型的焊縫條紋,在合并離散塊時(shí),可能出現(xiàn)提取區(qū)域的擴(kuò)大,這是下一步研究工作需要解決的問題。
[1]毛鵬軍,張慧,黃石生,等.計(jì)算機(jī)視覺及其在焊接中的應(yīng)用[J].電焊機(jī),2002,32(7):1-4.
[2]丁度坤,高向東,趙傳敏.計(jì)算機(jī)視覺焊縫識(shí)別技術(shù)研究[J].焊接技術(shù),2006,35(6):19-21.
[3]廖高華,甘志梅,吳園.管道焊縫檢測(cè)視覺圖像處理的研究[J].工藝與新技術(shù),2011,40(6):33-36.
[4]陳科慶,何茂軍.彩色圖像分割綜述[J].湖北師范學(xué)院學(xué)報(bào),2004,24(4):32-36.
[5]林開顏,吳軍輝,徐立鴻.彩色圖像分割方法綜述[J].中國圖象圖形學(xué)報(bào),2005,10(1):15-20.
[6]Lin Y,Tian J.A survey on medical image segmentation methods[J].InternationalJournalofPattern Recognition and Artificial Intelligence,2002,6(2):192-204.
[7]韓思奇,王蕾.圖像分割的閾值法綜述[J].系統(tǒng)工程與電子技術(shù),2002,24(6):91-102.
[8]陳坤,馬燕,李順寶.融合直方圖閾值和K-均值的彩色圖像分割方法[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(4):162-165.
[9]黃鳳崗,楊國,宋克歐.柔性形態(tài)學(xué)在圖像邊緣檢測(cè)中的應(yīng)用[J].中國圖象圖形學(xué)報(bào),2000,5(4):284-287.
[10]姚紅,王國胤,張清華.基于粗糙集合云模型的彩色圖像分割方法[J].小型微型計(jì)算機(jī)系統(tǒng),2013,11(34):2615-2620.
[11]吳琳,李海燕.面向生物醫(yī)學(xué)圖像的交互式分割算法[J].計(jì)算機(jī)工程,2010,36(16):208-209.
[12]范偉.基于區(qū)域生長的彩色圖像分割算法[J].計(jì)算機(jī)工程,2010,36(13):192-193.
[13]趙福君,李景文,陳大克,等.數(shù)學(xué)形態(tài)學(xué)的紋理圖像分割方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2008,18(5):112-114.
[14]王奇文,鄭麗敏,梅樹立.基于形態(tài)學(xué)的小鼠舌頭切片圖像分割與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2011,37(19):5-8.
[15]金忠,劉波峰,張林山,等.一種基于形態(tài)學(xué)的X射線數(shù)字圖像焊縫邊緣檢測(cè)方法[J].計(jì)量技術(shù),2006,1(5):33-35.
[16]錢素靜,彭宏京,劉越.一種改進(jìn)的譜聚類彩色圖像分割方法[J].小型微型計(jì)算機(jī)系統(tǒng),2013,34(6):1413-1416.
[17]楊曉藝,王小歡,宋錦萍.連續(xù)最大流圖像分割模型及算法[J].中國圖象圖形學(xué)報(bào),2013,18(11):1462-1467.
[18]劉國平,王洪亮,胡榮華,等.模板匹配技術(shù)在焊縫圖像處理中的應(yīng)用[J].焊接技術(shù),2004,33(4):14-16.
[19]郭文濤,王文劍,白雪飛.基于視覺注意的SVM彩色圖像分割方法[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(36):174-176.
[20]Hou X,Zhang L.Saliency detection:a spectral residual approach[J].Computer Vision and Pattern Recognition,2007:1-8.