陳小芳,蔡尊煌
(福建林業(yè)職業(yè)技術(shù)學(xué)院信息工程系,福建 南平 353000)
分割帶鋼表面缺陷是帶鋼表面缺陷檢測中的關(guān)鍵環(huán)節(jié),能否高效準(zhǔn)確地分割缺陷將直接影響整個(gè)檢測系統(tǒng)的性能。 由于帶鋼缺陷圖像具有灰度不均勻、邊緣模糊、紋理結(jié)構(gòu)不清晰等特點(diǎn)。 傳統(tǒng)的分割方法在分割這類圖像時(shí)并未達(dá)到理想的分割效果。
基于幾何活動輪廓模型的分割技術(shù)為帶鋼表面缺陷分割問題的解決提供了一個(gè)很好的工具,該模型能自動地收斂于能量極小值狀態(tài)并且計(jì)算復(fù)雜度較低。 基于幾何活動輪廓模型可分為基于邊緣的模型[1-2]和基于區(qū)域的模型[3-5]。 基于邊緣的模型是根據(jù)圖像梯度信息對目標(biāo)邊界進(jìn)行檢測,對噪聲、弱邊緣的敏感度較高。 基于區(qū)域的幾何活動輪廓模型利用圖像灰度信息演化目標(biāo)輪廓,解決了前者存在的問題,其中的經(jīng)典模型CV(Chan-Vese)模型,能夠分割帶噪聲的均勻灰度圖像,卻只利用了全局信息,因此不能用于灰度不均勻的帶鋼表面缺陷。 為此,文獻(xiàn)[6]通過將圖像局部灰度信息引入CV 模型提出RSF 模型,但是RSF 模型容易陷入最小值。 為了提高RSF 模型的分割性能,研究學(xué)者提出了很多改進(jìn)的算法[7-13]。 文獻(xiàn)[7]提出局部多尺度結(jié)構(gòu)和向量水平集改進(jìn)模型,改進(jìn)模型取得不錯(cuò)的分割結(jié)果。 文獻(xiàn)[8]結(jié)合圖像局部全局信息,并且利用灰度分布信息自適應(yīng)地調(diào)整局域化區(qū)域范圍,提高了分割的準(zhǔn)確率和運(yùn)行效率,但引入了過多的參數(shù),模型復(fù)雜。 文獻(xiàn)[9]通過結(jié)合灰度值變化信息、圖像熵與RSF 模型對該模型進(jìn)行改進(jìn),改進(jìn)后的模型對初始輪廓的魯棒性以及分割灰度不均勻圖像的能力有所提升,但是局部極小值的問題仍然存在。 文獻(xiàn)[10]利用貝葉斯法則設(shè)計(jì)了一種非線性自適應(yīng)速度函數(shù),自動確定曲線演化的方向,較好地實(shí)現(xiàn)了對弱邊緣的分割,但該算法對于初始輪廓敏感。 文獻(xiàn)[11]通過使用圖像局部兩點(diǎn)間的歐氏距離代替模型中的高斯核函數(shù),提出了一種基于局部相似性系數(shù)( Region-based model via Local Similarity Factor,RLSF)的RLSF 模型,更好地實(shí)現(xiàn)了對灰度不均勻圖像的分割。 文獻(xiàn)[12]提出了一種基于局部預(yù)擬合能量的主動輪廓模型,通過計(jì)算曲線演化前局部圖像的平均灰度值來定義2 個(gè)預(yù)擬合函數(shù),該模型可用于圖像的快速分割。 文獻(xiàn)[13]將RSF 模型與分水嶺結(jié)合,實(shí)現(xiàn)了不錯(cuò)的分割效果。 文獻(xiàn)[14]增加局部信息速度函數(shù)與自適應(yīng)權(quán)重系數(shù)改進(jìn)RSF模型,對凹邊界和弱邊界的提取能力得到提升。
RSF 模型曲線的構(gòu)建依據(jù)是原始圖像與局部擬合圖像之間存在的差異,這使得RSF 模型容易陷入局部極小值,曲線停止演化導(dǎo)致誤分割,尤其是針對邊緣模糊的缺陷區(qū)域。 此外,RSF 模型中引入高斯函數(shù),對于邊緣模糊的缺陷區(qū)域會造成二次模糊,導(dǎo)致RSF 模型出現(xiàn)誤分割或者分割不出缺陷目標(biāo)區(qū)域。 針對這些問題,本文提出了改進(jìn)的RSF 模型并應(yīng)用于帶鋼表面缺陷分割。 一方面,在RSF 模型曲線中引入局部灰度差異信息,分別將局部灰度均值差異、局部方差差異作為新的擬合項(xiàng)和原模型擬合項(xiàng)的控制參數(shù),驅(qū)動曲線演化避免陷入局部最小值;另一方面,使用雙邊濾波函數(shù)代替高斯函數(shù)來利用圖像的局部信息,并且保護(hù)圖像邊緣細(xì)節(jié)。
研究可知,文獻(xiàn)[6]在CV 模型中引入局部灰度信息提出了RSF 模型,解決了CV 模型不能分割灰度不均勻圖像的缺陷,該模型利用2 個(gè)灰度擬合項(xiàng)來分別近似圖像在演化曲線內(nèi)部與外部的能量值,并引入高斯核函數(shù)來實(shí)現(xiàn)局域可變。 具體的能量泛函為:
其中,λ1、λ2是大于等于零的常量;Kσ(y - x)為高斯核函數(shù);H(x) 為Heaviside 函數(shù);φ(x) 為Lipschitz 函數(shù);δ(x) 為Dirac 函數(shù)。
式(1)中第1、2 項(xiàng)為曲線內(nèi)外局部灰度擬合項(xiàng),也稱為能量項(xiàng),該項(xiàng)的作用為驅(qū)動模型曲線演化;第3 項(xiàng)為長度約束項(xiàng),通過該項(xiàng)可以約束演化曲線的周長;第4 項(xiàng)為符號距離函數(shù),避免模型曲線在演化過程中重新初始化。f1(x)、f2(x) 為點(diǎn)x鄰域內(nèi)模型演化曲線內(nèi)外的局部平均灰度值:
RSF 模型通過引入局部信息能夠分割灰度不均勻的圖像,但是該模型易陷入局部最優(yōu)值而導(dǎo)致模型曲線停止演化,造成誤分割和有些缺陷目標(biāo)區(qū)域未被分割出來;此外,計(jì)算局部平均值時(shí)使用高斯核函數(shù),導(dǎo)致目標(biāo)的邊界變得模糊,更不利于邊緣模糊的缺陷區(qū)域的分割。 本文通過引入局部灰度差異信息和雙邊濾波來改進(jìn)RSF 模型。
RSF 模型的擬合項(xiàng)中通過使用高斯核函數(shù)來利用局部信息,因此可以用來分割灰度不均勻的圖像。但是高斯核函數(shù)的引入也為RSF 模型帶來了副作用,該函數(shù)會對圖像進(jìn)行平滑,使得模糊邊緣更加模糊。 為了在分割灰度不均勻的帶鋼表面缺陷的同時(shí)能夠保留邊緣細(xì)節(jié),應(yīng)該選擇具有高斯核函數(shù)功能并且能夠保持邊緣的核函數(shù),雙邊濾波函數(shù)則符合該要求。 本文通過引入雙邊濾波函數(shù)代替高斯核函數(shù)來計(jì)算RSF 模型中的局部灰度平均值,從而改進(jìn)擬合項(xiàng)。 改進(jìn)后的局部灰度平均值的公式為:
其中,W為雙邊濾波函數(shù)[15]。 進(jìn)一步,可以推得:
從式(6)中可以看出,在缺陷圖像的平滑區(qū),灰度差異小,即R(i,j,k,l) 小,R(i,j,k,l) 的值接近于1,此時(shí)的雙邊濾波的作用相當(dāng)于高斯核函數(shù);在邊緣區(qū),灰度差異大,即R(i,j,k,l) 大,則W(i,j,k,l) 小,濾波作用減弱,達(dá)到保持邊緣的目的,特別是針對模糊邊緣,避免了高斯核函數(shù)二次模糊的同時(shí)保留了邊緣細(xì)節(jié),從而有利于RSF 模型分割邊緣模糊的帶鋼表面缺陷。
從式(1)可以看出RSF 模型依賴像素點(diǎn)x的局部擬合能量和演化曲線內(nèi)外的擬合值f1(x)、f2(x),利用了局部灰度信息,卻忽略了各個(gè)灰度值間的差異信息,造成RSF 模型陷入局部最小值,使得模型曲線無法準(zhǔn)確定位。
針對這個(gè)問題,本文通過引入局部均值差異MD和局部方差差異信息VD1、VD2來解決。 其中,局部灰度均值差異是指曲線內(nèi)外局部鄰域間像素灰度值的平均值差異,能夠反映曲線內(nèi)外灰度的大致差異情況,較大的局部灰度均值表明模型曲線接近圖像的真實(shí)輪廓,本文將其加入RSF 模型的能量泛函曲線作為一個(gè)新的擬合項(xiàng),為曲線向真實(shí)輪廓靠近增加動力,加快曲線演化;局部灰度方差差異是指曲線內(nèi)外局部鄰域間灰度值的方差差異情況,能夠表征曲線內(nèi)外的局部區(qū)域的均質(zhì)情況,本文將其分別代替RSF 模型中的λ1、λ2作為擬合項(xiàng)的曲線內(nèi)外能量項(xiàng)參數(shù)。
若M1(x)、M2(x) 分別表示像素點(diǎn)x處的曲線內(nèi)外局部灰度均值,則有:
其中,C(x,y) 表示圓形鄰域權(quán)重,用來計(jì)算像素點(diǎn)x的圓形鄰域中的像素點(diǎn)y的權(quán)重,可由式(9)來進(jìn)行計(jì)算:
其中,N為像素點(diǎn)x的圓形鄰域中的像素點(diǎn)數(shù)目;D(x,y) 表示圓形鄰域中的像素點(diǎn)y與像素點(diǎn)x的距離;r表示該圓形鄰域的半徑。
本文將局部均值差異MD和局部方差差異VD1、VD2定義為:
其中,std(X) 表示X的標(biāo)準(zhǔn)差。
由此得到,本文的能量泛函定義為:
由式(11)~(13)可以看出,當(dāng)std2(M1(x))>std2(M2(x)) 時(shí),VD1>VD2,表明曲線內(nèi)部勻質(zhì)性小于外部,則增加曲線內(nèi)部灰度擬合項(xiàng)的權(quán)重,以驅(qū)動曲線向內(nèi)部演化;反之,說明曲線外部勻質(zhì)性小于內(nèi)部,則增加曲線外部灰度擬合項(xiàng)的權(quán)重;當(dāng)兩項(xiàng)差異最小時(shí),能量泛函取得最小值達(dá)到最優(yōu)。
改進(jìn)的RSF 模型應(yīng)用于帶鋼表面缺陷分割算法流程如圖1 所示。 由圖1 可知,模型的流程步驟為:
圖1 改進(jìn)的RSF 模型應(yīng)用于帶鋼表面缺陷分割算法流程圖Fig. 1 Flowchart of the improved RSF model applied to the segmentation algorithm of strip surface defects
(1)設(shè)定各參數(shù)的值。 尺度參數(shù)σ =3,γ =-1.0,μ =1.0,ν =0.3×255×255,圓形鄰域半徑r =7,最大迭代次數(shù)It =1 000,時(shí)間步長為Δt =0.1;
(2)給定初始輪廓,初始化水平集函數(shù)φ0;
(3)計(jì)算VD1、VD2、;
(4)更新水平集函數(shù)φn;
(5)判斷是否滿足收斂標(biāo)準(zhǔn),若滿足則輸出最終結(jié)果,否則返回步驟(3)。 收斂標(biāo)準(zhǔn)為|φn+1-φn |≤0.01 或者是否達(dá)到最大迭代次數(shù)。
實(shí)驗(yàn)硬件環(huán)境為Intel(R) Core(TM) i5-6500處理器、8G 內(nèi)存,軟件環(huán)境為Windows7 系統(tǒng)、Matlab R2015a 軟件。 數(shù)據(jù)集選用文獻(xiàn)[16]中的NEU 帶鋼表面缺陷數(shù)據(jù)集,該數(shù)據(jù)集中包含了6 類熱軋帶鋼表面缺陷,分別為裂紋(Crazing,CR)、夾雜(Inclusion,IN)、氧化鐵皮壓入(Rolled in Scale,RS)、乳化液斑跡(Patches,PA)、劃痕(Scratches,SC)、麻點(diǎn)(Pitted Surface,PS),如圖所示。 本文進(jìn)行了大量實(shí)驗(yàn),選取各模型最優(yōu)參數(shù)的分割結(jié)果。研究中對大量的帶鋼表面缺陷圖像進(jìn)行了分割實(shí)驗(yàn),并且將本文改進(jìn)的模型分別與RSF 模型、RLSF模型和文獻(xiàn)[13]模型的分割結(jié)果做對比。
為驗(yàn)證本文算法的有效性,分別與RSF 模型、RLSF 模型、文獻(xiàn)[13]在NEU 數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果見圖2。 從圖2 中可以看出,本文算法能較準(zhǔn)確地分割6 類缺陷,對邊緣模糊的部分缺陷區(qū)域也進(jìn)行了準(zhǔn)確分割,但仍然有部分邊緣模糊的缺陷未被分割;對于裂紋缺陷,RSF 模型存在分割錯(cuò)誤,對非缺陷區(qū)域也進(jìn)行了分割;RLSF 模型分割出部分缺陷區(qū)域,文獻(xiàn)[13]模型準(zhǔn)確分割出大部分缺陷,但對邊緣模糊的一部分缺陷并沒有分割出來。對于夾雜缺陷,RSF 模型演化曲線停留在邊緣明顯的缺陷區(qū)域上,未對圖2 中邊緣模糊的缺陷進(jìn)行分割;RLSF 模型和文獻(xiàn)[13]的模型相較于RSF 模型分割出部分邊緣模糊的缺陷目標(biāo)區(qū)域,但仍然沒有本文的分割算法效果好。 對于乳化液斑跡缺陷,RSF 模型因?yàn)槿毕荼尘肮庹詹痪霈F(xiàn)了誤分割,但其他2 種模型以及本文算法對該缺陷都進(jìn)行了正確分割。 對于麻點(diǎn)缺陷,4 種分割模型都存在較大的不足,對于大量的分散麻點(diǎn)并沒有分割出來,RSF模型和文獻(xiàn)[13]模型分割效果相當(dāng),對于邊緣模糊的小麻點(diǎn)缺陷未分割出來,本文算法相較于RLSF模型分割出較多的模糊邊緣的小缺陷;對于氧化鐵皮壓入缺陷。 本文算法略優(yōu)于其他3 種算法,分割出更多邊緣模糊的小缺陷區(qū)域。 對于劃痕缺陷,4種算法都分割出了較明顯的劃痕區(qū)域,與其他3 種算法相比,本文算法多分割出圖2 中的另2 個(gè)劃痕缺陷區(qū)域。 對6 類缺陷的分割結(jié)果說明,相比于RSF 模型、RLSF 模型、文獻(xiàn)[13]分割模型,本文分割算法引入的局部均值和局部方差差異項(xiàng)以及雙邊濾波函數(shù)更好地對局部缺陷目標(biāo)區(qū)域進(jìn)行表征、并且保留了圖像細(xì)節(jié),能夠避免演化曲線誤分割以及準(zhǔn)確分割出邊緣模糊的缺陷區(qū)域。
圖2 不同分割模型結(jié)果對比Fig. 2 Comparison of results of different segmentation models
此外,本文通過平均迭代次數(shù)比較4 種模型的分割效率,結(jié)果見表1。 相比于RSF 模型、RLSF 模型和文獻(xiàn)[13]模型,本文算法的迭代速度有所提升,這是由于本文算法引入2 個(gè)灰度差異給原始模型增加驅(qū)動力,推動模型曲線加速演化,但本文為了保持缺陷區(qū)域邊緣細(xì)節(jié)、避免高斯函數(shù)二次模糊缺陷邊緣引入雙邊濾波這個(gè)非線性濾波函數(shù),犧牲了一定的迭代速度。
表1 不同分割模型下的迭代次數(shù)對比Tab. 1 Comparison of the number of iterations under different segmentation models
在應(yīng)用RSF 模型分割灰度不均勻以及邊緣模糊的帶鋼表面缺陷區(qū)域時(shí),該模型易陷入局部最小值而停止曲線的進(jìn)一步演化,導(dǎo)致出現(xiàn)誤分割,另外,該模型中的高斯函數(shù)容易造成邊緣模糊的缺陷區(qū)域二次模糊進(jìn)而影響分割效果,針對這些問題,本文利用局部方差差異調(diào)節(jié)曲線輪廓原有的2 個(gè)能量項(xiàng),并且引入局部均值方差作為新的能量項(xiàng),更好地對區(qū)域灰度值進(jìn)行表征的同時(shí)為曲線演化增加新的動力,促使曲線加速演化。 另外,使用雙邊濾波函數(shù)代替高斯函數(shù),以避免對模糊缺陷邊緣造成二次模糊并保留圖像細(xì)節(jié)。 在NEU 數(shù)據(jù)集上仿真實(shí)驗(yàn)結(jié)果表明,本文算法能夠避免誤分割,并且可以把邊緣模糊的缺陷較快速地分割出來,從分割準(zhǔn)確度以及運(yùn)行效率上都取得良好的分割效果。 但是本文引入高斯函數(shù)犧牲了一定的運(yùn)行時(shí)間,算法的運(yùn)行速度有進(jìn)一步的提升空間,此外,本文的算法未能完全分割出邊緣模糊的小缺陷區(qū)域,算法有待改進(jìn)。