陳波,朱英韜
1. 武漢科技大學(xué) 武漢科大自控系統(tǒng)有限公司,湖北 武漢 430081
2. 武漢科技大學(xué) 信息科學(xué)與工程學(xué)院,湖北 武漢 430081
得益于其快速有效且節(jié)省成本的優(yōu)勢(shì),基于機(jī)器視覺(jué)的鋼材表面圖像缺陷檢測(cè)方法[1-2]應(yīng)用越來(lái)越廣泛,然而在利用工業(yè)相機(jī)對(duì)鋼材表面圖像進(jìn)行采集時(shí),光學(xué)系統(tǒng)的不穩(wěn)定、環(huán)境光的影響、鋼材表面反光等因素都會(huì)導(dǎo)致采集到的圖像光照不均、對(duì)比度很低且?guī)в写罅吭肼?。此?lèi)低質(zhì)量的圖像給缺陷分割和識(shí)別帶來(lái)了很大的困難,為此在進(jìn)行缺陷檢測(cè)前對(duì)鋼材表面圖像進(jìn)行光照均衡化和增強(qiáng)非常必要。
基于直方圖均衡化[3-4]是低光照低對(duì)比度圖像增強(qiáng)的經(jīng)典方法,然而這類(lèi)方法往往需要經(jīng)驗(yàn)地設(shè)置閾值參數(shù)且操作復(fù)雜?;谕瑧B(tài)濾波[5-6]是將像素域變換和頻域?yàn)V波有效結(jié)合處理的一類(lèi)圖像增強(qiáng)算法,此類(lèi)方法首先考慮在頻域處理圖像的照度,然后對(duì)亮度分量進(jìn)行動(dòng)態(tài)范圍壓制并調(diào)整對(duì)比度以獲得高清晰度的圖像,但存在過(guò)度增強(qiáng),高亮區(qū)域壓縮不夠等問(wèn)題。此外,基于視網(wǎng)膜大腦皮層理論(retina + cortex, Retinex)模型[7-8]的方法也是低光照低對(duì)比度圖像增強(qiáng)的常用方法。Retinex 模型假設(shè)拍攝設(shè)備獲得的圖像是由入射光(光照分量)和反射光(反射分量)的相互作用形成。此類(lèi)方法只對(duì)光照分量進(jìn)行分離就可以單獨(dú)調(diào)整圖像的亮度信息而不影響其他分量,但這種方法計(jì)算復(fù)雜度較高,且容易在像素飽和處產(chǎn)生顏色擴(kuò)散和光暈效應(yīng)。基于深度學(xué)習(xí)的方法[9-10]是近年來(lái)比較火熱也是效果最好的方法,然而此類(lèi)方法依賴(lài)于準(zhǔn)確的模型建立和大量的訓(xùn)練樣本,且訓(xùn)練時(shí)間較長(zhǎng),缺少理論性分析,實(shí)踐應(yīng)用并不普及。
上述介紹的算法都取得了較好的效果,但是這些方法都忽略了一個(gè)重要的問(wèn)題,即低光照低對(duì)比度的圖像往往被大量噪聲所污染,這些方法都對(duì)噪聲敏感,特別是在噪聲水平較高的時(shí)候算法性能急劇下降。為了解決這一問(wèn)題,本文提出了一種基于噪聲水平估計(jì)的鋼材表面圖像分解與增強(qiáng)算法。最后使用基于Canny 邊緣檢測(cè)[11]和基于大津算法(nobuyuki Otsu method, Otsu)[12]2 種分割算法對(duì)增強(qiáng)的鋼材表面圖像進(jìn)行缺陷檢測(cè)。實(shí)驗(yàn)結(jié)果表明本文方法無(wú)論是在圖像增強(qiáng)還是缺陷檢測(cè)方面的性能都優(yōu)于最新的方法。
使用工業(yè)相機(jī)采集到的鋼材表面圖像往往光照不均,對(duì)比度低且?guī)в写罅吭肼?。一般情況下,直接改善圖像的光照也會(huì)放大噪聲,這會(huì)增加噪聲抑制或去除的難度。通過(guò)分解圖像的不同結(jié)構(gòu)信息,可以在基礎(chǔ)層(圖像結(jié)構(gòu)信息)中調(diào)整亮度,在細(xì)節(jié)層(圖像細(xì)節(jié)信息和突出的缺陷)中實(shí)現(xiàn)噪聲抑制。在本文中沒(méi)有直接去除細(xì)節(jié)層,而是在細(xì)節(jié)層實(shí)現(xiàn)了噪聲抑制和細(xì)節(jié)增強(qiáng)。首先,輸入的低光照低對(duì)比度鋼材表面圖像I(x,y)(RGB 三通道分別處理)可以看作是基礎(chǔ)層Ib(x,y)和細(xì)節(jié)層Id(x,y)的疊加:
然后,基于文獻(xiàn)[13] 中提出的總變分(total variation, TV)正則化,通過(guò)最小化以下目標(biāo)函數(shù)得到基礎(chǔ)層:
該目標(biāo)函數(shù)包括2 項(xiàng):第1 項(xiàng)是與紋理成分相適應(yīng)的差分項(xiàng),用于保留有意義的結(jié)構(gòu);而第2 項(xiàng)是基于總變差的正則化項(xiàng),這將限制圖像細(xì)節(jié)在細(xì)節(jié)層。 ?為梯度運(yùn)算符, λ在本文設(shè)置為全局噪聲估計(jì)( σ)的2 倍,即λ=2σ。設(shè)置λ=2σ的主要目的是確保噪聲和部分高頻細(xì)節(jié)(如缺陷)被劃分到細(xì)節(jié)層。因此,可以在細(xì)節(jié)層中實(shí)現(xiàn)噪聲抑制和細(xì)節(jié)增強(qiáng),而不受低頻信息的干擾。
全局噪聲估計(jì) σ可由文獻(xiàn)[14]計(jì)算為
式中:*為卷積運(yùn)算符;W和H分別為圖像I(x,y)的寬度和高度;N為卷積模板,定義為
利用式(3),可以粗略估計(jì)高頻分量的大小,并用于確定式(2)中的正則化參數(shù)。因此,本文提出的方法能夠自適應(yīng)地確定將被分配到細(xì)節(jié)層中的高頻分量。通過(guò)求解式(2)將得到包含鋼材表面圖像主體結(jié)構(gòu)的基礎(chǔ)層。然后通過(guò)求殘差可以簡(jiǎn)單地獲得細(xì)節(jié)層為
圖1 示出了具有全局噪聲估計(jì)的圖像分解的一個(gè)示例,其中原始圖像是具有劃痕的鋼材表面圖像。從圖1 可以清楚地看到亮度信息主要被分離到基礎(chǔ)層,而細(xì)節(jié)層中則出現(xiàn)了細(xì)節(jié)和噪聲。因此,基礎(chǔ)層中的亮度調(diào)整不會(huì)放大細(xì)節(jié)層中存在的噪聲。另一方面,與亮度分離的細(xì)節(jié)層將促進(jìn)噪聲在基礎(chǔ)層的抑制。對(duì)于圖1,細(xì)節(jié)層中3 個(gè)通道的噪聲水平分別為σR=5.117、σG=4.221、σR=5.128。
圖1 基于全局噪聲估計(jì)的TV 正則化圖像分解
通過(guò)TV 模型的分解,可以獲得一個(gè)低光照低對(duì)比度的結(jié)構(gòu)分量即基礎(chǔ)層Ib(x,y)和一個(gè)細(xì)節(jié)分量即細(xì)節(jié)層Id(x,y)。本文目的是對(duì)基礎(chǔ)層進(jìn)行光照均衡化,對(duì)細(xì)節(jié)層進(jìn)行噪聲抑制并保留圖像的細(xì)節(jié)信息。為了得到一個(gè)較為平滑且光照均衡的基礎(chǔ)層,本文利用Retinex 模型將基礎(chǔ)層分解成光照分量和反射分量并分別增強(qiáng),再利用高斯平滑估計(jì)細(xì)節(jié)層的增強(qiáng)權(quán)重并抑制多余的噪聲以獲得一個(gè)高信噪比的細(xì)節(jié)層;最后將增強(qiáng)后的基礎(chǔ)層和增強(qiáng)后的細(xì)節(jié)層以一個(gè)倍數(shù)相加得到最終的高質(zhì)量圖像。
為了使用Retinex 模型,本文將基礎(chǔ)層RGB圖像Ib(x,y)轉(zhuǎn)換到HSI 顏色空間,該空間可以更準(zhǔn)確地描述圖像的色調(diào)(H)、飽和度(S)和強(qiáng)度(I)的變化,該模型只處理強(qiáng)度層I。在本文中,使用Ii(x,y)描述強(qiáng)度層I。Ii(x,y)可以被分解為光照分量L(x,y)以及反射分量R(x,y),根據(jù)Retinex模型:
通常情況下,光照分量由底層圖像的動(dòng)態(tài)范圍決定,而反射分量則取決于底層圖像中目標(biāo)的內(nèi)在特征。式(4)一般轉(zhuǎn)換為對(duì)數(shù)域,使乘法變成加法。光照分量可以通過(guò)多種方法得到,最常見(jiàn)的就是基于低通濾波器,既要保持邊緣又要保證平坦區(qū)域的平滑,為此,本文采用保邊效果優(yōu)異又快速的引導(dǎo)圖像濾波器(guided image filter,GIF)[15]來(lái)提取光照分量為
式中GIF(·)表示引導(dǎo)圖像濾波器[15]。反射分量為
為了統(tǒng)一和方便,將光照分量重新定義為L(zhǎng)l(x,y)=L(x,y),反射分量重新定義為Rl(x,y)=lg(R(x,y))。
2.1.1 增強(qiáng)光照分量
通常,基于光照-反射模型的方法是在不考慮光照分量的情況下提取并增強(qiáng)反射分量。這種處理導(dǎo)致灰度之間缺乏協(xié)調(diào),并產(chǎn)生顏色失真。為了解決這個(gè)問(wèn)題,Nuri 等[16]提出了將光照分量與反射分量一起增強(qiáng)的方法?;诖怂枷耄疚耐ㄟ^(guò)非線性拉伸Sigmoid 變換處理光照分量,在文獻(xiàn)[17]中指出,Sigmoid 變換具有銳化圖像、突出局部細(xì)節(jié)、拉伸圖像對(duì)比度的能力。非線性拉伸Sigmoid 變換為
式中:Lsig(x,y)為自定義的Sigmoid 非線性函數(shù),其范圍為[0,1];rmin和rmax分別為反射分量的最小值和最大值。值得注意的是,式(5)有2 個(gè)重要參數(shù)α 和 β,其中參數(shù) α控制圖像的增強(qiáng)方式,參數(shù) β控制對(duì)比度增強(qiáng)。一般來(lái)說(shuō),一個(gè)較大的 α可以在很大程度上增強(qiáng)圖像。另一方面,一個(gè)較小的 β可以增強(qiáng)暗區(qū)域的對(duì)比度,并且一個(gè)較大的 β可以增強(qiáng)亮區(qū)域的對(duì)比度。受文獻(xiàn)[16]啟發(fā),下面給出α 和 β的取值范圍為
針對(duì)本文的數(shù)據(jù)集[18],參數(shù) α和 β分別取2 和0.004。增強(qiáng)后的光照分量為
式中:Ll(x,y)為初始光照分量,Le(x,y)為增強(qiáng)后的光照分量。
2.1.2 增強(qiáng)反射分量
眾所周知,人眼對(duì)高亮度差異的敏感度很低,但對(duì)低亮度的微小差異很敏感。因此,伽馬變換通常用于增強(qiáng)反射分量:
式中:c為常數(shù);Rl(x,y)為原始反射分量;當(dāng)γ<1時(shí)伽馬變換會(huì)拉伸低灰度區(qū)域,并且壓縮高灰度區(qū)域;當(dāng)γ>1時(shí)伽馬變換會(huì)增強(qiáng)高灰度區(qū)域。受文獻(xiàn)[19]啟發(fā),c和γ的取值范圍分別為c∈[0.15,0.65],γ ∈[0.5,1.5],在本文中,選擇c=0.3和 γ=0.6。
通過(guò)對(duì)光照分量和反射分量進(jìn)行反對(duì)數(shù)處理可以得到增強(qiáng)后的圖像,即HSI 圖像的強(qiáng)度層I。新的HSI 圖像由增強(qiáng)后的強(qiáng)度層I、原始色調(diào)層H 和原始飽和度層S 組成。然后將增強(qiáng)后的HSI 圖像轉(zhuǎn)換為RGB 圖像,得到最終的基礎(chǔ)層的增強(qiáng)圖像Ib_e(x,y)。
圖2 示出了對(duì)基礎(chǔ)層增強(qiáng)后的對(duì)比圖,其中原始圖像是含有斑塊缺陷的鋼材表面圖像。從圖2 可以看出經(jīng)過(guò)本文方法增強(qiáng)后的基礎(chǔ)層比原圖和原始基礎(chǔ)層光照更均衡,特別是圖像左半部分的暗區(qū)與缺陷很好地分離,缺陷被凸顯出來(lái),即使對(duì)缺陷作分割操作也能被很好地提取出來(lái)。
圖2 基礎(chǔ)層的增強(qiáng)對(duì)比
低光照低對(duì)比度鋼材表面圖像通常會(huì)受到嚴(yán)重的噪聲污染,尤其是在使用低質(zhì)量相機(jī)時(shí)。為了提高圖像的質(zhì)量,噪聲抑制是一個(gè)必要的步驟。在本文中,采用了噪聲抑制而非去噪的策略來(lái)抑制噪聲并保留細(xì)節(jié)。此外,在細(xì)節(jié)層進(jìn)行噪聲抑制,在一定程度上避免了低頻信息的干擾??紤]到噪聲具有平穩(wěn)的特性,為此假設(shè)具有最低局部能量的區(qū)域代表圖像的噪聲水平,因?yàn)榫哂凶畹湍芰康膮^(qū)域通常是主要包含噪聲的平滑區(qū)域(如天空)。相反,其他能量較高的區(qū)域應(yīng)該是局部細(xì)節(jié)和噪聲的結(jié)合。
因此,本文使用細(xì)節(jié)層的局部能量來(lái)估計(jì)細(xì)節(jié)保留的權(quán)重ω(x,y)為
式中:*為卷積運(yùn)算符;G(x,y)為高斯濾波器,定義為
本文取高斯標(biāo)準(zhǔn)差δ=21,如式(7)所定義,一個(gè)較小的權(quán)重ω(x,y)表示點(diǎn)(x,y)將位于平滑區(qū)域中,該區(qū)域只有噪聲,不包含任何圖像細(xì)節(jié),應(yīng)被抑制。相比之下,一個(gè)非常高的權(quán)重ω(x,y)表示點(diǎn)(x,y)可能位于包含細(xì)節(jié)的區(qū)域中,應(yīng)予以保留。因此,可以通過(guò)在細(xì)節(jié)層中實(shí)現(xiàn)細(xì)節(jié)保留的同時(shí)對(duì)噪聲進(jìn)行抑制:
圖3 示出了對(duì)細(xì)節(jié)層進(jìn)行噪聲抑制后的對(duì)比圖,其中原始圖像為帶有劃痕的鋼材表面圖像。從圖3 可以看出基于全局噪聲水平估計(jì)分解的細(xì)節(jié)層包含大量的噪聲和缺陷的輪廓信息,通過(guò)對(duì)噪聲的抑制,大部分噪聲被去除掉,并且細(xì)節(jié)信息被很好地保留下來(lái),噪聲抑制后的細(xì)節(jié)層非常干凈清晰。
圖3 細(xì)節(jié)層的噪聲抑制對(duì)比
通過(guò)基礎(chǔ)層和細(xì)節(jié)層對(duì)輸入圖像進(jìn)行處理,得到基礎(chǔ)層的亮度增強(qiáng)圖和細(xì)節(jié)層的噪聲抑制細(xì)節(jié)圖。最后,根據(jù)處理后的基礎(chǔ)層和細(xì)節(jié)層可以得到最終的結(jié)果為
式中θ用于平衡細(xì)節(jié)增強(qiáng)和噪聲抑制。通過(guò)像素歸一化的后處理,得到最終的低光照低對(duì)比度鋼材表面圖像增強(qiáng)結(jié)果圖。更多的增強(qiáng)結(jié)果可在實(shí)驗(yàn)部分得到。
為了驗(yàn)證所提方法的有效性,本文在東北大學(xué)(NEU)鋼材表面缺陷數(shù)據(jù)庫(kù)[17]進(jìn)行了測(cè)試,該數(shù)據(jù)庫(kù)收集了熱軋鋼帶的6 種典型表面缺陷,即軋制氧化、斑點(diǎn)、開(kāi)裂、點(diǎn)蝕表面、內(nèi)含物和劃痕。該數(shù)據(jù)庫(kù)的NEU-CLS 部分包含1 800 張大小為200×200的圖像,即6 種不同類(lèi)型的典型表面缺陷各300 個(gè)樣本,NEU-DET 部分是對(duì)這些圖像缺陷位置的標(biāo)記。所有實(shí)驗(yàn)均在MATLAB 2019a環(huán)境下進(jìn)行。本文方法參數(shù)設(shè)置為:式(5)中α=2 、β=0.004;式(6)中c=0.3、 γ=0.6;式(8)中δ=21;式(9)中θ=5。對(duì)比方法參數(shù)設(shè)置均為原文獻(xiàn)推薦的參數(shù)。
在本節(jié)中,對(duì)比了經(jīng)典的圖像增強(qiáng)算法,分別為基于直方圖均衡化的方法[4]、基于同態(tài)濾波的方法[6]和基于Retinex 模型的圖像增強(qiáng)方法[8]。
圖4 是各種方法的增強(qiáng)示例,其中的原始圖像含有斑點(diǎn)缺陷和氧化缺陷。從圖4 可以看出原始圖像較暗,基于直方圖均衡化、基于同態(tài)濾波和基于Retinex 模型增強(qiáng)后的結(jié)果并不理想,不僅出現(xiàn)局部的過(guò)度增強(qiáng),還含有大量的噪聲,導(dǎo)致增強(qiáng)后的圖像較為模糊,特別是圖像左半部分的灰度被過(guò)度拉伸,導(dǎo)致缺陷的紋理被淹沒(méi),而本文方法則很好地把缺陷都凸顯出來(lái),并且信噪比較高。
圖4 各種增強(qiáng)方法對(duì)比
圖5 是一個(gè)劃痕的增強(qiáng)示例,可以看到基于直方圖均衡化的方法過(guò)度地增強(qiáng)了亮度,導(dǎo)致缺陷和背景難以分割,基于同態(tài)濾波和基于Retinex模型效果較好,但是相比于本文方法沒(méi)有把缺陷增強(qiáng),作缺陷檢測(cè)的時(shí)候難于分割背景和缺陷。
圖5 各種增強(qiáng)方法對(duì)比
為了客觀地展示本文方法的圖像增強(qiáng)性能,本文還根據(jù)不同的性能指標(biāo)[20]比較了各種方法的增強(qiáng)性能。這些度量是:1)新添加的可見(jiàn)邊的比率e=(nr-n0)/n0,其中n0和nr表示原始和增強(qiáng)圖像中可見(jiàn)邊集的基數(shù)。因此,它測(cè)量了增強(qiáng)前后可見(jiàn)邊緣的對(duì)比度變化。2)可見(jiàn)邊的歸一化梯度平均值其中表示增強(qiáng)圖像中所考慮缺陷的可見(jiàn)性水平,L0i表示原始圖像中所考慮缺陷的可見(jiàn)性水平。3)飽和黑色或白色像素的百分比 σ。更大θ 和或更小的σ,表明更好的增強(qiáng)效果。表1 是不同方法性能的平均值。
表1 各種增強(qiáng)方法的平均性能
從表1 可以看出,本文方法在增強(qiáng)后的可見(jiàn)性?xún)?yōu)于基于直方圖均衡化、基于同態(tài)濾波和基于Retinex 模型的方法,并且飽和像素的比率低于其他方法。
為了全面地展示所提增強(qiáng)方法在缺陷檢測(cè)方面的性能,本文對(duì)比了沒(méi)有進(jìn)行增強(qiáng)的鋼材表面圖像缺陷檢測(cè)和利用3.1 節(jié)的方法增強(qiáng)后的鋼材表面圖像缺陷檢測(cè)。本文所用到的圖像分割方法為基于Canny 邊緣檢測(cè)的方法[11]和基于Otsu 的方法[12]。
基于自適應(yīng)Canny 邊緣檢測(cè)的方法[11]首先對(duì)圖像的梯度進(jìn)行非極大值抑制,然后使圖像梯度值與Canny 算子的高閾值和低閾值進(jìn)行比較,若圖像中某個(gè)像素位置的梯度值大于高閾值時(shí),則該像素值被標(biāo)記為邊緣像素。若圖像中某個(gè)像素位置的梯度值小于低閾值時(shí),則該像素被去除。
基于閾值優(yōu)化的Otsu 方法[12]首先使用頂帽變換和同態(tài)濾波對(duì)常規(guī)缺陷和低對(duì)比度缺陷去光照不均處理,然后對(duì)缺陷特征相對(duì)較明顯的常規(guī)缺陷選擇Sobel 算法進(jìn)行邊緣檢測(cè)。對(duì)于特征相對(duì)不明顯的低對(duì)比度缺陷采用基于Otsu 確定閾值的Canny 算法進(jìn)行分割。
圖6 是使用Canny 邊緣檢測(cè)對(duì)圖4 進(jìn)行處理的結(jié)果對(duì)比,可以看出對(duì)原始圖像,基于直方圖均衡化方法、基于同態(tài)濾波方法增強(qiáng)后的圖像進(jìn)行檢測(cè)的效果不理想,只能檢測(cè)出一小部分缺陷,而經(jīng)過(guò)基于Retinex 模型和本文方法增強(qiáng)后的圖像可以檢測(cè)出更多的缺陷,且本文的方法檢測(cè)出來(lái)的缺陷更全面。
圖6 Canny 邊緣檢測(cè)對(duì)圖4 處理的結(jié)果比較
圖7 是使用Otsu 算法對(duì)圖5 進(jìn)行閾值分割的結(jié)果對(duì)比,可以看出直接對(duì)原始圖像進(jìn)行分割會(huì)使缺陷和背景融合在一起;由于直方圖均衡化過(guò)度增強(qiáng)圖像,導(dǎo)致缺陷無(wú)法被分割開(kāi)來(lái);同態(tài)濾波方法和Retinex 模型能較好地檢測(cè)出缺陷,但仍然將非缺陷區(qū)域即圖像上部分也當(dāng)作缺陷進(jìn)行二值化;得益于在細(xì)節(jié)層對(duì)噪聲的抑制,對(duì)本文方法增強(qiáng)后的圖像進(jìn)行分割可以檢測(cè)出只含較少背景且干凈的缺陷。
圖7 Otsu 算法對(duì)圖5 處理的結(jié)果比較
為了更客觀地比較每種方法的檢測(cè)性能,本文對(duì)NEU-CLS 數(shù)據(jù)集進(jìn)行增強(qiáng)與檢測(cè),并與NEUDET 標(biāo)記數(shù)據(jù)集進(jìn)行對(duì)比。檢測(cè)的準(zhǔn)確率為準(zhǔn)確檢測(cè)的圖像數(shù)量與總圖像數(shù)量的比值,結(jié)果如表2 所示,可以看到經(jīng)過(guò)本文方法增強(qiáng)后的鋼材表面圖像無(wú)論采用Canny 邊緣檢測(cè)還是Otsu 算法檢測(cè),均比其他方法至少提高15%的準(zhǔn)確率。
表2 各種方法對(duì)缺陷檢測(cè)的準(zhǔn)確率%
由于設(shè)備或環(huán)境的影響,利用工業(yè)相機(jī)對(duì)鋼材表面圖像進(jìn)行采集時(shí)難免光照不均且易引入噪聲。為了解決這一問(wèn)題,本文提出了一種基于噪聲水平估計(jì)的圖像分解并增強(qiáng)的方法,首先對(duì)分解后的基礎(chǔ)層利用Retinex 模型再分解成光照分量和反射分量并分別增強(qiáng)使光照均衡化。對(duì)分解后的細(xì)節(jié)層進(jìn)行噪聲抑制后再重新添加回基礎(chǔ)層以得到高質(zhì)量的圖像。最后使用最新的基于Canny邊緣檢測(cè)和基于Otsu 圖像分割方法對(duì)增強(qiáng)后的鋼材表面圖像進(jìn)行缺陷檢測(cè)。實(shí)驗(yàn)結(jié)果表明無(wú)論是低光照低對(duì)比度增強(qiáng)還是缺陷檢測(cè),所提方法的性能均優(yōu)于對(duì)比方法,且經(jīng)過(guò)本文方法增強(qiáng)后的圖像更易于后續(xù)的其他處理如缺陷識(shí)別與缺陷分類(lèi)。