郝 麗 楊 旭 王 崢 黃亞平 宋元濤*

1(中國科學(xué)院大學(xué)工程科學(xué)學(xué)院 北京 100049)2(交通運(yùn)輸部水運(yùn)科學(xué)研究院 北京 100088)3(南京明輝建設(shè)集團(tuán) 江蘇 南京 211210)

0 引 言

工件產(chǎn)品的瑕疵檢測在產(chǎn)品質(zhì)量檢驗(yàn)中至關(guān)重要。光滑產(chǎn)品表面的瑕疵檢測一直是工件檢測的熱門問題，但是產(chǎn)品表面的強(qiáng)反射噪聲一直是該問題的主要難點(diǎn)。光滑物體表面的強(qiáng)烈反光現(xiàn)象會(huì)使物體表面光照分布不均，很難通過簡單的圖像處理步驟將反光區(qū)域與瑕疵區(qū)域分開。

目前針對(duì)反光金屬表面圖像分割問題有諸多研究。在改進(jìn)圖像提取的光照背景以減少反光影響的方面，Do等[1]在對(duì)金屬球表面瑕疵檢測時(shí)，用兩臺(tái)漸進(jìn)式CCD攝像機(jī)捕捉金屬球表面的多個(gè)灰度圖像，同時(shí)通過在球周圍安裝遮光罩來降低金屬表面的鏡面反射。蘇俊宏等[2]將光源與機(jī)械旋轉(zhuǎn)平臺(tái)相結(jié)合，從而采集到?jīng)]有反光的完整的圓柱面的圖像。Rosati等[3]將光線通過合適的曲面鏡傳輸?shù)浇饘俦砻嫔?，使其中的涂層瑕疵可以以各種形狀和尺寸的陰影形式出現(xiàn)。在改進(jìn)圖像分割算法方面，馬云鵬等[4]根據(jù)灰度波動(dòng)來自適應(yīng)地得到不同的閾值與步長，使用主成分分析法將得到的一系列差分圖像壓縮至單幅圖像，得到瑕疵分割圖。郭皓然[5]在均勻光照下獲得工件圖片，將Canny算子、全局閾值分割方法結(jié)合起來，從而實(shí)現(xiàn)對(duì)瑕疵目標(biāo)的識(shí)別。Peng等[6]在檢測玻璃表面瑕疵區(qū)域時(shí)，基于自適應(yīng)的向下閾值法去除背景來增強(qiáng)瑕疵，最后通過固定閾值和有限灰度范圍的OTSU算法，得到瑕疵區(qū)域。Wang等[7]則采用了基于圖像增強(qiáng)和中值濾波的OTSU分割算法，最后利用面積特征參數(shù)對(duì)鋼球的瑕疵來進(jìn)行檢測。

為了消除鏡面反射，付慧等[8]提出將Retinex算法和高斯混合模型(GMM)相結(jié)合，用于定位和消除彩色樹葉圖像中的鏡面反射區(qū)。

這些算法在光滑物體表面的瑕疵檢測上取得了一定的效果，但現(xiàn)有方法中，一是光滑工件的瑕疵檢測對(duì)光照條件的要求比較強(qiáng)；二是算法復(fù)雜，因?yàn)閳D像背景的復(fù)雜性，多采用復(fù)雜的算法對(duì)圖像去噪、分割。本文提出了較為簡單的融合光暈的多閾值分割算法，可對(duì)復(fù)雜背景下光滑工件表面進(jìn)行瑕疵識(shí)別。本文算法的優(yōu)勢在于對(duì)光照沒有嚴(yán)苛的要求，可根據(jù)工件材質(zhì)的特點(diǎn)融合光暈完善背景，整個(gè)算法可以有效識(shí)別瑕疵部位，且整體框架簡潔，計(jì)算量小、效率高。

1 算法設(shè)計(jì)

1.1 算法流程

圖1所示為復(fù)雜環(huán)境下獲得的工件圖，矩形框內(nèi)是瑕疵區(qū)域，可以看出對(duì)于該反光工件進(jìn)行瑕疵檢測會(huì)存在以下難點(diǎn)：(1) 工件的反光區(qū)域亮度高，整個(gè)工件表面亮度分布不均；(2) 瑕疵區(qū)域的灰度值位于背景區(qū)域與反光區(qū)域之間，單一閾值無法解決問題；(3) 存在和瑕疵區(qū)域灰度值相近的噪聲區(qū)域。

為了減少圖像反光的影響，對(duì)獲得的圖像進(jìn)行去霧增強(qiáng)處理。因?yàn)殍Υ玫幕叶戎堤幵诒尘昂头垂鈪^(qū)域之間，所以本文采用多閾值處理分割方法得到前景與反光噪聲圖。對(duì)于反光噪聲部分，本文基于合金反射光的原理獲得光暈部分。并將光暈部分與反光噪聲背景圖相融合以獲得較前景區(qū)更為完整的反光噪聲區(qū)域，二者相減以得到瑕疵區(qū)域。

本文算法整體流程如圖2所示。

圖2 本文的算法流程

1.2 去 霧

在計(jì)算機(jī)視覺和計(jì)算圖形中，用下式來描述霧圖模型：

I(x)=J(x)t(x)+A[1-t(x)]

(1)

式中：I(x)為有霧的圖像，J(x)為要得到的無霧的圖像，A是用來描述大氣光成分的參數(shù)，t(x)為空氣的投射率，故圖像去霧的任務(wù)就是已知I(x)來求J(x)。

對(duì)式(1)變形得到下式：

(2)

式中：c代表的是RGB三個(gè)通道。

(3)

(4)

當(dāng)投射圖t值偏小時(shí)，會(huì)導(dǎo)致J(x)的值偏大，從而使得圖像整體偏白。因此設(shè)置閾值t0，當(dāng)t值小于t0時(shí)，令t=t0，本文以t0=0.1為標(biāo)準(zhǔn)進(jìn)行計(jì)算。

由于光在工件表面發(fā)生強(qiáng)光反射，照片發(fā)生了不同程度的曝光，導(dǎo)致工件表面光照分布不均。這是反光工件表面瑕疵檢驗(yàn)面臨的主要問題。為了緩解該問題，本文使用基于暗通道的去霧方法來對(duì)圖片進(jìn)行圖像增強(qiáng)處理[10]。

信息熵是衡量圖像信息量的指標(biāo)之一，其越大，則表示圖像的信息量越多、圖像的信息越豐富[10]。信息熵計(jì)算公式如下：

H(x)=E[I(xi)]=E[log2(1/p(xi))]=

(5)

式中：p(xi)表示像素值xi占圖像整體像素的概率，表1所示為使用式(5)計(jì)算的去霧前后圖像的信息熵。

表1 去霧前后的信息熵

去霧后圖像在減少曝光影響的同時(shí)，圖像的信息不能丟失太多，所以用信息熵來衡量圖像的信息量?？梢钥闯?，去霧前后的信息熵變化滿足預(yù)期，同時(shí)也在一定程度上增強(qiáng)了圖像。

1.3 多閾值分割

由于工件表面存在反光，工件表面缺陷的灰度值高于背景區(qū)域，低于工件主要反光區(qū)域。根據(jù)該原理，使用低閾值來保留瑕疵區(qū)域和高亮區(qū)域，去除背景區(qū)域；使用高閾值來分割出反光高亮區(qū)域。兩種閾值分割后得到不同分割圖像，將二者相減即可達(dá)到去除背景和反光區(qū)域的目的。

1.3.1均值閾值化獲得前景

將圖像轉(zhuǎn)換成灰度圖像，降低特征提取的維度[12]。為了更好地確定圖像分割的閾值，對(duì)工件的灰度圖像進(jìn)行分析，所獲得其灰度直方圖如圖3所示。

圖3 圖像去霧后的灰度直方圖

瑕疵區(qū)域的灰度值比反光區(qū)域小，比環(huán)境背景大，所以單一的閾值分割很難將瑕疵分割出來。由于單一閾值方法在保留瑕疵部分的同時(shí)也會(huì)保留反光區(qū)域的噪聲，且可以去除反光噪聲的閾值不能同時(shí)保留瑕疵部分，所以采用多閾值分割相減的方法。

首先確定閾值來保留瑕疵區(qū)域。本文將瑕疵區(qū)域稱為前景區(qū)域。在對(duì)前景部分進(jìn)行分割時(shí)，如果閾值過小，會(huì)導(dǎo)致整個(gè)圖像的過分割，瑕疵識(shí)別更加困難。在對(duì)比了多種閾值效果后，使用均值T1(圖3中左邊虛線位置)作為閾值分割得到相關(guān)的前景圖。假設(shè)圖像大小為M×N，均值T1的計(jì)算公式如下：

(6)

式中：xi表示圖像的灰度值；I(xi)表示灰度值xi的頻數(shù)；I(xi)總和為圖像的像素總和。

1.3.2極小值閾值化獲得反光噪聲區(qū)域

均值閾值化并不能很好地去除反光噪聲，所以均值閾值化操作后會(huì)保留反光區(qū)域和瑕疵區(qū)域。下一步通過在大于均值灰度值的一定范圍內(nèi)尋找極小值閾值，進(jìn)一步獲得只分割出反光區(qū)域的閾值T2。

對(duì)于此步驟分割出的反光區(qū)域，一要盡可能與前景中的部分相符合；二要去除瑕疵部分。所以最佳閾值范圍在大于1.3.1中的均值閾值附近(圖3中兩條黑色虛線內(nèi)部)。

為了得到滿足上述條件中的反光區(qū)域，將這個(gè)問題進(jìn)一步看成在T1內(nèi)的前景和背景分割，將瑕疵部分看成是背景部分，反光噪聲看成是前景部分。根據(jù)兩者的灰度值的差異，使用相應(yīng)閾值范圍之間灰度值的極小值作為分割閾值T2。α表示均值閾值后搜索極小值的范圍，具體公式如下：

(7)

如上述1.3.1和1.3.2節(jié)，得到分割閾值T1和T2，分別得到瑕疵前景圖P1和反光噪聲圖P2。

1.4 融合光暈去除背景

上述得到的反光噪聲P2與前景P1直接相減，仍然留有很大的噪聲。主要原因是在計(jì)算P2時(shí)，極小值閾值化消除了部分反光區(qū)域。這些區(qū)域是反光區(qū)域中較暗的區(qū)域，本文稱之為光暈部分。兩步的反光區(qū)域邊界部分不能較好吻合，導(dǎo)致未能成功分割瑕疵。為了方便后續(xù)的圖像識(shí)別，采用融合光暈來完善背景。

首先研究光線在工件表面的反射現(xiàn)象。反射是當(dāng)光線射到工件表面時(shí)，改變?cè)镜膫鞑シ较?，直接返回到原來物質(zhì)中。

光滑工件表面的亮度分布不均，主要是看反射光線是否正對(duì)取景位置，亮度較高的反射區(qū)域是這部分的反射光線正對(duì)取景角度，否則，則呈現(xiàn)較暗的反光區(qū)域。產(chǎn)生這二者的主要原因是工件表面并非絕對(duì)光滑，光線在物體表面會(huì)產(chǎn)生多個(gè)方向的反射光，如圖5所示。

圖5 光在工件表面的反射情況

根據(jù)上述分析，可以通過金屬反射光的顏色通道來提取沒有直接進(jìn)入取景位置部分的反射光線。本文稱之為“光暈”部分。反射光的顏色主要由工件的金屬材質(zhì)來決定。因?yàn)轭伾头瓷涔獠ㄩL相關(guān)，波長和原子的狀態(tài)是相關(guān)的，本文利用描述物體表面屬性的菲涅爾反射率F0來表示金屬表面的反射情況。相關(guān)金屬的F0反射光顏色通道值[11]如表2所示。本文中工件的材質(zhì)是鋁合金，所以根據(jù)鋁元素的反射光顏色通道為中心±β范圍來獲得光暈部分。

表2 金屬的菲涅爾反射率F0反射光顏色通道值

(8)

則兩圖做差可得F′：

(9)

此時(shí)，得到的F′中有瑕疵區(qū)域以及部分做差殘留的小區(qū)域，最后去除面積小于γ的殘留區(qū)域得到最終的瑕疵區(qū)域F,其中f(γ)代表F′中面積小于γ的連通域：

F=F′-f(γ)

(10)

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)環(huán)境

測試本文算法實(shí)驗(yàn)的平臺(tái)是Python 3，使用的計(jì)算機(jī)處理型號(hào)是Intel i7-7500U，雙核，主頻2.70 GHz。工件為工廠內(nèi)的車門飾條工件。本文的圖像數(shù)據(jù)來自車間光照下的手機(jī)拍攝，圖像大小為740×264，分辨率為96 dpi。工件的主要缺陷是表面的劃痕、擦傷。擦傷的面積較大，對(duì)圖像形態(tài)學(xué)膨脹腐蝕次數(shù)和大小等實(shí)驗(yàn)參數(shù)的敏感度較低；但是劃痕缺陷面積比較小，大小、輕重也不盡相同，形態(tài)學(xué)膨脹腐蝕次數(shù)和大小等實(shí)驗(yàn)參數(shù)的敏感度比較高。由于本文運(yùn)用了較多的圖像形態(tài)學(xué)處理，所以本文算法適合較大面積的缺陷，不適合小缺陷以及較淺劃痕的細(xì)致檢測。

2.2 算法參數(shù)確定

實(shí)驗(yàn)要確定的參數(shù)有：(1) 確定極小值閾值的范圍α；(2) 獲得光暈的顏色通道范圍β；(3) 去除連通域面積的閾值γ。

2.2.1確定極小值閾值的范圍α

極小值閾值化主要目的是獲得反光噪聲。與前一步均值閾值化所得的反光噪聲區(qū)域相比，該反光噪聲區(qū)域的大小盡可能吻合。二者之間范圍不能過大，過大會(huì)將差距拉大，過小則會(huì)留有噪聲。本文α取50。

2.2.2獲得光暈的顏色通道范圍β

經(jīng)過本文的實(shí)驗(yàn)，反光顏色通道范圍可以有效提取光暈，彌補(bǔ)了2.2.1中閾值帶來的反光區(qū)域偏差。光暈范圍過小，則影響后續(xù)圖之間做差的效果；光暈范圍過大，則會(huì)引入新的噪聲。所以本文以三個(gè)通道的±β為范圍來獲取光暈部分。本文β取20。

2.2.3去除連通域面積的閾值γ

本文針對(duì)的是擦傷類缺陷，面積較大，所以去除連通域的面積有較大的魯棒性。本文γ取150。

2.3 實(shí)驗(yàn)結(jié)果

圖6(a)是光滑工件的原圖，圖6(b)是經(jīng)過去霧步驟后所得的圖像，將圖6(b)灰度化后均值閾值化后得圖6(c)，將圖6(b)灰度化后極小閾值化后得圖6(d)，圖6(e)是根據(jù)反射光獲得的光暈部分，將圖6(c)和圖6(e)融合后得到圖6(f)，將圖6(d)和圖6(f)相減得到圖6(g)，即為最終分割出的瑕疵部分。

圖6 本文算法下瑕疵檢測的具體過程

2.4 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證每個(gè)步驟的必要性，我們?cè)谄溆嗖襟E相同的情況下，分別進(jìn)行了三種不同條件的對(duì)比實(shí)驗(yàn)：(1) 對(duì)比實(shí)驗(yàn)1，取消步驟1去霧；(2) 對(duì)比實(shí)驗(yàn)2，將步驟3選取后續(xù)范圍灰度的平均值作為閾值；(3) 對(duì)比實(shí)驗(yàn)3，取消步驟4、步驟5提取融合光暈的過程。

三種對(duì)比結(jié)果如圖7所示，均不如原算法的效果好。對(duì)比實(shí)驗(yàn)1如圖7(a)所示，表面的曝光的噪聲極大的影響了圖像分割。對(duì)比實(shí)驗(yàn)2如圖7(b)所示,使用均值的背景分割沒有極小值閾值的效果好。對(duì)比實(shí)驗(yàn)3如圖7(c)所示，沒有融合光暈反光部分有較大的差值。

圖7 檢驗(yàn)各步驟對(duì)算法效果提升的影響

為了進(jìn)一步驗(yàn)證本文算法適用范圍，選取不同場景下的工件，如圖8(a)。使用本文算法對(duì)圖8(a)進(jìn)行處理，得到最終的瑕疵圖8(b)?？梢钥闯霰疚姆椒梢杂行ёR(shí)別復(fù)雜背景下的瑕疵。

圖8 本文算法效果圖

3 結(jié) 語

本文通過研究復(fù)雜背景下光滑工件表面的瑕疵情況，提出了多閾值的瑕疵檢測方法。首先使用去霧算法弱化曝光效果，再使用多閾值分割得到前景圖和反光噪聲圖，最后根據(jù)合金反射光原理融合光暈來完善背景。實(shí)驗(yàn)證明，該算法可以有效檢測出反光工件上具有較大面積的擦傷類瑕疵區(qū)域，可作為檢測瑕疵工件的初步篩選工具，其算法思想也可擴(kuò)展于同類型的反光去噪應(yīng)用之中。將本文算法用于工廠車門飾條擦傷瑕疵檢測中，擁有擦傷工件100個(gè)，擦傷缺陷共118處，共檢測出缺陷106處。算法對(duì)于小面積缺陷的檢測效果并不理想，針對(duì)此問題，未來將進(jìn)一步研究針對(duì)反光工件上細(xì)小缺陷瑕疵的分割檢測工作。