□ 張澤文 □ 鄭志軍 □ 白永潔 □ 徐 值 □ 余卉卉 □ 張巨豪 □ 殷安民

1.寧波大學(xué)機(jī)械工程與力學(xué)學(xué)院 浙江寧波 315211 2.浙江省零件軋制成形技術(shù)研究重點(diǎn)實(shí)驗(yàn)室 浙江寧波 315211 3.寧波亞大自動(dòng)化科技有限公司 浙江寧波 315143 4.寧波福士汽車部件有限公司 浙江寧波 315145

1 研究背景

汽車剎車系統(tǒng)常見的剎車失靈、剎車距離過長等故障,大多是由于剎車油管環(huán)形接頭密封不良導(dǎo)致,因此,對剎車油管環(huán)形接頭進(jìn)行表面缺陷檢測,是消除剎車油管漏油隱患,保證汽車行車安全的重要措施。環(huán)形接頭由于表面存在高反光鍍膜,在機(jī)器視覺采集時(shí)常常導(dǎo)致微小缺陷處圖像欠曝光或過曝光,環(huán)形接頭高反光、微缺陷的特性同時(shí)給檢測提高了難度。

目前,已有較多學(xué)者提出了改進(jìn)方法,對高反光零件進(jìn)行缺陷檢測。Pizzichemi等[1]提出一種利用數(shù)字對象唯一標(biāo)識符信息對正電子發(fā)射斷層顯像探測器進(jìn)行優(yōu)化的方法,通過優(yōu)化正電子發(fā)射斷層顯像模塊的時(shí)序性能,提升對原始圖像的動(dòng)態(tài)分辨率。文獻(xiàn)[2-3]提出一種不需要高動(dòng)態(tài)范圍相機(jī)的多曝光圖像融合技術(shù),通過計(jì)算不同曝光強(qiáng)度圖像的權(quán)重因子矩陣,將一組圖像融合為一張曝光合適的圖片。這一方法實(shí)現(xiàn)了對高反光零件的圖像采集,并且能有效抑制過曝光現(xiàn)象。文獻(xiàn)[4-5]針對屏幕面板光線反射度高所導(dǎo)致的低對比度微小缺陷難以檢出的問題,提出一種明暗場融合圖像處理的微缺陷檢測系統(tǒng)。試驗(yàn)證明,這一系統(tǒng)的視場寬度可達(dá)88.7 mm,分辨精度可達(dá)10 μm。文獻(xiàn)[6-7]提出一種基于澤尼克矩陣改進(jìn)的亞像素邊緣提取零件缺陷檢測算法,利用小波分解方法在頻域上對圖像信息進(jìn)行預(yù)處理,增強(qiáng)相關(guān)目標(biāo)信息。這一方法可以降低金屬零件的高光噪聲,實(shí)現(xiàn)對金屬零件的高反光抑制。目前,針對高反光特性汽車剎車油管環(huán)形接頭亞毫米級缺陷檢測,研究仍比較少。

筆者針對汽車剎車油管環(huán)形接頭所具有的微米級缺陷、高反光能力等特點(diǎn),在圖像融合的基礎(chǔ)上,提出一種新型感興趣區(qū)域融合差值法,先對零件進(jìn)行感興趣區(qū)域提取,基于疊加因子權(quán)重矩陣進(jìn)行融合,再對圖像進(jìn)行差值運(yùn)算,提高缺陷部分與正常部分的分離度,進(jìn)而提升機(jī)器視覺識別系統(tǒng)對缺陷的檢出率。

2 特征圖像采集

汽車剎車油管環(huán)形接頭如圖1所示。剎車油管環(huán)形接頭待檢測區(qū)域是直徑約為15 mm的圓環(huán),肉眼可見的點(diǎn)狀缺陷非常細(xì)微。對于此類微缺陷,若由人工進(jìn)行檢測,則檢出率較低,缺陷位置較難確定,缺陷處容易被忽略。

▲圖1 汽車剎車油管環(huán)形接頭

圖像采集系統(tǒng)如圖2所示,相機(jī)的型號為MER-504-10GM-P,鏡頭的型號為XF-5MDT05X178,采用DHJ-COX2-85W型白色同軸光源,圖像工作站使用M4800型,采用i7-4930MQ型處理器、K4100M型圖像顯示卡,具有4 GiByte顯存、32 GiByte大容量內(nèi)存。原始采集圖像如圖3所示。

▲圖2 圖像采集系統(tǒng)

▲圖3 原始采集圖像

3 多曝光圖像感興趣區(qū)域融合

前期圖像處理主要分為感興趣區(qū)域提取和基于疊加因子權(quán)重矩陣的多圖像融合。其中,疊加因子矩陣由亮度因子矩陣、對比度因子矩陣加權(quán)相乘而得。

3.1 感興趣區(qū)域提取

由于原始圖片中存在汽車剎車油管環(huán)形接頭多余部分的影響,因此首先需要進(jìn)行目標(biāo)檢測區(qū)域的提取。提取時(shí),采用坎尼算子計(jì)算圖片中像素的強(qiáng)度梯度,使用findContours函數(shù)RETR_EXTERNAL檢索模式進(jìn)行父級輪廓尋找,使感興趣區(qū)域中保留最外層多個(gè)相互獨(dú)立的圓形輪廓。將所有檢索到的輪廓置于純黑掩模中進(jìn)行開運(yùn)算,便可得到感興趣區(qū)域外層圓輪廓。感興趣區(qū)域外輪廓提取流程如圖4所示。

▲圖4 感興趣區(qū)域外輪廓提取流程▲圖5 感興趣區(qū)域提取流程▲圖6 融合過程

由于感興趣區(qū)域的內(nèi)外輪廓都為圓形,因此可以使用findContours函數(shù)RETR_LIST檢索模式進(jìn)行圖中全部輪廓的尋找,再利用內(nèi)外圓輪廓直徑的比值范圍剔除過小的圓輪廓,進(jìn)行純黑填充,得到圖像掩模,與原圖像疊加后,即可得到所需的感興趣區(qū)域。感興趣區(qū)域提取流程如圖5所示。

3.2 圖像融合

傳統(tǒng)多曝光圖像融合中,常使用曝光亮度特征因子、圖像細(xì)節(jié)特征因子、圖像飽和度特征因子[8]。由于工業(yè)電荷耦合器件相機(jī)拍攝的圖像為灰度圖,因此飽和度不再作為圖像融合的考慮因素。從亮度和對比度兩方面入手,進(jìn)行權(quán)重疊加,對多曝光圖像進(jìn)行融合。融合過程如圖6所示。首先對所采集的原始圖像進(jìn)行掩模處理,將提取到的感興趣區(qū)域掩模疊加于原始圖層,得到感興趣區(qū)域圖Rk(i,j),k指多曝光圖片集中第k張圖片。然后針對感興趣區(qū)域圖Rk(i,j),根據(jù)亮度因子和對比度因子,計(jì)算疊加因子矩陣Wk(i,j),并進(jìn)行歸一化。最后針對感興趣區(qū)域圖Rk(i,j),采用疊加因子矩陣Wk(i,j)進(jìn)行疊加融合,得到最終的融合圖像F(i,j)。

在融合過程中,對提取到的感興趣區(qū)域圖Rk(i,j)像素灰度值進(jìn)行歸一化,得到灰度值Gk(i,j)。對灰度值Gk(i,j)進(jìn)行閾值處理,保留中部合適的灰度值,再進(jìn)行分配合理權(quán)重。采用標(biāo)準(zhǔn)正態(tài)分布,對灰度值Gk(i,j)分配權(quán)重。

亮度因子矩陣Ek(i,j)為:

Ek(i,j)=

(1)

(2)

式中:GT為灰度閾值,取0.1。σ為灰度值Gk(i,j)的標(biāo)準(zhǔn)差,取0.2;μ(i,j)為灰度值Gk(i,j)的數(shù)學(xué)期望。

當(dāng)GT

在多曝光圖像疊加融合過程的權(quán)重分配中引入對比度因子,可以有效抑制圖像的高反光現(xiàn)象。主要采用拉普拉斯算子濾波的方式[9]。

對于一個(gè)二維圖像f(x,y)而言,拉普拉斯濾波矩陣如圖7所示。

▲圖7 拉普拉斯濾波矩陣

對灰度值Gk(i,j)進(jìn)行拉普拉斯變換,得到對比度增強(qiáng)部分Dk(i,j)。再對對比度增強(qiáng)部分Dk(i,j)取絕對值,進(jìn)行高斯低通濾波,即可得到對比度因子矩陣Ck(i,j)。

將亮度因子矩陣Ek(i,j)與對比度因子矩陣Ck(i,j)相乘并歸一化,得到疊加因子矩陣Wk(i,j),即:

wk(i,j)=Ek(i,j)Ck(i,j)

(3)

(4)

歸一化是為了使多張曝光圖中相同像素點(diǎn)的各項(xiàng)權(quán)值和為1。

最后得到融合圖像F(i,j),為:

(5)

汽車剎車油管環(huán)形接頭融合結(jié)果如圖8所示。

▲圖8 汽車剎車油管環(huán)形接頭融合結(jié)果

4 差值運(yùn)算表征缺陷

在對相機(jī)采集的原始圖像進(jìn)行前期感興趣區(qū)域提取和多曝光圖像疊加融合后,缺陷部分和正常表面的分離度不高。為了進(jìn)一步提升前景和背景之間的分離度,引入拉普拉斯局部特征差值相減法來凸顯缺陷區(qū)域,對汽車剎車油管環(huán)形接頭缺陷處進(jìn)行表征。

4.1 差值運(yùn)算

對預(yù)處理的融合圖像進(jìn)行均值濾波,得到均值濾波圖。對融合圖像進(jìn)行拉普拉斯銳化和二值分割,得到拉普拉斯二值圖。然后對處理后的均值濾波圖與拉普拉斯二值圖做差,使缺陷部位更加清晰。差值步驟如圖9所示。

▲圖9 差值步驟

經(jīng)過差值運(yùn)算,融合圖像對比度進(jìn)一步提升,缺陷部分得到增強(qiáng),差值前后圖像細(xì)節(jié)對比如圖10所示。

▲圖10 差值前后圖像細(xì)節(jié)對比

4.2 缺陷降噪

由于汽車剎車油管環(huán)形接頭表面存在一些非缺陷噪聲,拍攝過程中相機(jī)自身也會(huì)產(chǎn)生椒鹽噪聲等圖像噪聲痕跡,因此需要對差值運(yùn)算后的圖像進(jìn)行降噪處理。采用中值濾波和形態(tài)學(xué)變換來進(jìn)行降噪。圖像中存在的噪聲大多為顆粒狀椒鹽噪聲,對比均值濾波、高斯濾波、中值濾波的降噪效果,中值濾波的降噪效果較為明顯,可有效濾除圖像中的椒鹽噪聲。不同方法降噪效果對比如圖11所示。

▲圖11 不同方法降噪效果對比

為進(jìn)一步去除噪聲中非椒鹽類型噪聲,對圖像進(jìn)行形態(tài)學(xué)變換,采用尺寸為7像素×7像素的結(jié)構(gòu)元素對圖像進(jìn)行閉運(yùn)算遍歷,圖像噪聲得到較好抑制,汽車剎車油管環(huán)形接頭表面缺陷部分得到保留。形態(tài)學(xué)處理前后對比如圖12所示。

▲圖12 形態(tài)學(xué)處理前后對比

5 試驗(yàn)驗(yàn)證

采用VS2019平臺驗(yàn)證筆者方法的效果,并與文獻(xiàn)[10]傳統(tǒng)融合算法、文獻(xiàn)[11]非銳化掩模算法進(jìn)行對比。傳統(tǒng)融合算法對多曝光圖像進(jìn)行加權(quán)融合,是最常用的高反光處理方案,具有較強(qiáng)的代表性。非銳化掩模算法也是圖像處理中常用的算法之一,采用非銳化掩模圖像增強(qiáng)法,對圖像進(jìn)行平滑處理做差后,得到圖像高頻細(xì)節(jié),再將高頻細(xì)節(jié)覆蓋于原圖像,完成對原始圖像的高反光抑制。

5.1 圖像處理效果對比

從汽車剎車油管環(huán)形接頭的缺陷類型中挑選出三種具有代表性的點(diǎn)、線、面缺陷類型進(jìn)行圖像采集和處理,分別為銹蝕、劃痕、凹坑。

銹蝕缺陷圖像處理效果如圖13所示。原始圖像中極難分辨銹蝕區(qū)域與正常區(qū)域。采用文獻(xiàn)[10]算法,銹蝕區(qū)域平均灰度過高,缺陷部分對比度不大。采用文獻(xiàn)[11]算法,銹蝕區(qū)域得到增強(qiáng),能與正常部分相互區(qū)分,但是正常區(qū)域中圖像噪聲也被放大。采用本文方法,銹蝕區(qū)域也得到有效增強(qiáng),與正常部分區(qū)分度高,正常區(qū)域中圖像噪聲抑制明顯。

▲圖13 銹蝕缺陷圖像處理效果

劃痕缺陷圖像處理效果如圖14所示。原始圖像左上方有明顯灰度值較低的劃痕,并且圖像整體灰度值分布不均衡。采用文獻(xiàn)[10]算法,整體灰度值分布均勻,但是劃痕區(qū)域不明顯。采用文獻(xiàn)[11]算法,雖然整體灰度值與原始圖像相比均衡化有所增強(qiáng),劃痕部分區(qū)分度明顯,但是正常區(qū)域中出現(xiàn)點(diǎn)狀圖像噪聲。采用本文方法,劃痕區(qū)域區(qū)分度高,并且正常區(qū)域中圖像噪聲削弱明顯。

▲圖14 劃痕缺陷圖像處理效果

凹坑缺陷圖像處理效果如圖15所示。原始圖像中可以看到明顯黑色凹坑,左下角白色反光噪聲明顯。采用文獻(xiàn)[10]算法,灰度值上升,缺陷輪廓模糊,目標(biāo)區(qū)域噪聲信號有所抑制。采用文獻(xiàn)[11]算法,凹坑處缺陷輪廓明顯,但是圖像噪點(diǎn)較多。采用本文方法,凹坑缺陷處與周圍對比明顯,并且噪點(diǎn)得到抑制。

▲圖15 凹坑缺陷圖像處理效果

綜上所述,通過本文方法進(jìn)行增強(qiáng)的圖像具有良好的視覺檢出效果,圖像融合機(jī)制可以有效避免汽車剎車油管環(huán)形接頭高反光特性帶來的圖像灰度值不均衡問題,拉普拉斯銳化能夠有效表征正常區(qū)域中的缺陷部分,同時(shí)中值濾波對非缺陷部分椒鹽噪聲抑制效果明顯。

5.2 圖像量化數(shù)據(jù)對比

對于圖像處理結(jié)果,還需要進(jìn)行客觀上的有效性分析[12]。筆者圖像處理目標(biāo)是突出汽車剎車油管環(huán)形接頭缺陷部分,并抑制正常部分噪聲,灰度值均衡化。

對此,筆者從三個(gè)方面對不同方法處理結(jié)果進(jìn)行衡量:信息熵、峰值信噪比、變異因數(shù)。

信息熵指標(biāo)可用于衡量圖像中像素位置的灰度信息與鄰域內(nèi)灰度分布的綜合特征,因此信息熵可以量化圖像信息,通過熵值的大小來表示圖像信息的復(fù)雜程度[13]。信息熵值越大,包含的信息量越多,被保留的圖像細(xì)節(jié)也就越多。信息熵IE為:

(6)

(7)

式中:PF(i,j)為灰度值相對圖像的統(tǒng)計(jì)概率;I(i,j)為原始圖像灰度值;M、N分別為圖像的長和寬。

峰值信噪比指標(biāo)可用于對圖像處理前后的相似程度進(jìn)行檢測,衡量圖像處理之后的失真程度和噪聲大小[14]。通常峰值信噪比越大,表明處理后的細(xì)節(jié)保留程度越高,處理效果越好。峰值信噪比PSNR為:

(8)

(9)

式中:Imax(i,j)為圖像最大灰度值;K(i,j)為處理后圖像灰度值;MSE(I,K)為原始圖像和處理后圖像間的均方誤差。

變異因數(shù)又稱離散因數(shù),是標(biāo)準(zhǔn)差與平均值之比,可以抵消不同圖像的不同灰度均值對圖像灰度值離散程度的影響[15]。變異因數(shù)越小,說明圖像變異程度越低,圖像處理質(zhì)量越高。變異因數(shù)COV為:

(10)

(11)

三種方法不同缺陷汽車剎車油管環(huán)形接頭圖像處理后的信息熵對比見表1。

表1 信息熵對比

由表1數(shù)據(jù)可以看出,對于相機(jī)采集到的原始圖像,三種方法都能夠?qū)崿F(xiàn)對圖像細(xì)節(jié)部分的提升,但是由于文獻(xiàn)[10]算法沒有差值化步驟,因此總體來看文獻(xiàn)[10]算法提升不明顯。文獻(xiàn)[11]算法和本文方法都具備差值化環(huán)節(jié),對具備高反光環(huán)形特征的圖像的細(xì)節(jié)部分提升較大,因此處理后信息熵值較大。本文方法還針對汽車剎車油管環(huán)形接頭采用中值濾波降噪模塊,因此塊狀缺陷區(qū)域的降噪效果較好,圖像細(xì)節(jié)及有效信息的保留優(yōu)于另外兩種算法。

三種方法不同缺陷汽車剎車油管環(huán)形接頭圖像處理后的峰值信噪比對比見表2。

表2 峰值信噪比對比

由表2數(shù)據(jù)可以看出,本文方法圖像處理后的峰值信噪比大于另外兩種算法。由于本文方法在融合疊加基礎(chǔ)上添加了差值運(yùn)算和降噪模塊,因此處理效果良好,尤其在凹坑缺陷處理中,缺陷輪廓增強(qiáng)明顯。結(jié)合峰值信噪比的特性可知,本文方法對圖像中的噪聲信號抑制效果較好,對于缺陷部分的檢出效果也得到提升。

三種方法不同缺陷汽車剎車油管環(huán)形接頭圖像處理后的變異因數(shù)對比見表3。

表3 變異因數(shù)對比

由表3數(shù)據(jù)可以看出,本文方法變異因數(shù)最小,處理效果最為理想。結(jié)合另外兩種算法的原理分析,文獻(xiàn)[10]算法沒有差值化處理,對灰度值分布的優(yōu)化效果較弱,文獻(xiàn)[11]算法沒有加權(quán)融合環(huán)節(jié),無法抑制過高灰度值和提升過低灰度值。本文方法對于圖像灰度值離散程度的抑制效果最好,灰度值分布較為均衡,圖像處理效果優(yōu)于另外兩種算法。

6 結(jié)束語

針對汽車剎車油管環(huán)形接頭的缺陷表征,提出一種基于多曝光融合疊加的差值處理算法,利用兩種算子對采集到的圖像進(jìn)行感興趣區(qū)域劃分,對感興趣區(qū)域計(jì)算不同圖層的權(quán)重,進(jìn)行加權(quán)融合疊加,差值處理疊加后的圖像,并對汽車剎車油管環(huán)形接頭特有的椒鹽噪聲采取中值濾波進(jìn)行降噪,最終達(dá)到對圖像噪聲的有效抑制,缺陷區(qū)域及缺陷輪廓部分灰度值加強(qiáng),增大缺陷與正常區(qū)域的對比度,提高機(jī)器視覺對缺陷的敏感度及檢出率。結(jié)合試驗(yàn)對比,三種方法對不同缺陷的處理結(jié)果與處理方法的算法特性相吻合,本文方法圖像處理后的信息熵值與峰值信噪比較大,變異因數(shù)較小,可較好地保留圖像細(xì)節(jié)特征,有效抑制圖像的噪聲信號,均衡圖像的灰度值分布,對汽車剎車油管環(huán)形接頭圖像具有良好的處理效果。