趙 波 ,鄭力新
(1.華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,福建 廈門 362021;2.華僑大學(xué) 信息科學(xué)與工程學(xué)院,福建 廈門 362021)
織物疵點(diǎn)檢測(cè)是近年來國(guó)內(nèi)外學(xué)者在圖像領(lǐng)域的熱門研究課題之一。本文在結(jié)合國(guó)內(nèi)外相關(guān)參考文獻(xiàn)[1-10]的基礎(chǔ)上,針對(duì)從企業(yè)獲取的疵點(diǎn)圖像,利用最大熵原理和Gabor濾波器技術(shù),提出了一種新的基于最大熵和Gabor濾波器的織物疵點(diǎn)檢測(cè)方法。該方法首先對(duì)預(yù)處理后的圖像采用兩個(gè)Gabor濾波器分別進(jìn)行水平和垂直方向?yàn)V波的模值圖像,然后對(duì)模值圖像分別利用最大熵閾值分割,再融合分割后的二值圖像并進(jìn)行形態(tài)學(xué)處理,最后通過計(jì)算輪廓面積和周長(zhǎng)的方法去掉小的孤立點(diǎn)和描繪出最終疵點(diǎn)圖像,從而獲得疵點(diǎn)檢測(cè)結(jié)果。實(shí)驗(yàn)表明,該方法能夠很好地檢測(cè)和分割出絕大多數(shù)疵點(diǎn),而且速度快、效果好。
熵是源于物理學(xué)的基本概念,由Shannon引入到信息論中。信息論中,熵是作為事件出現(xiàn)概率不確定性的量度,能有效地反映事件包含的信息。圖像中,熵代表圖像中信息量的大小,可以通過定義圖像各個(gè)像素點(diǎn)分布情況定義圖像的局部熵。
一幅M×N大小的圖像,熵的定義為[11]:
式中,Hf是M×N大小的局部窗口的熵,即局部熵;Pij是 點(diǎn)(i,j)處 灰 度 分 布 概 率 ,Pij<1;f(i,j)是 點(diǎn)(i,j)處 灰度值;M、N為圖像的長(zhǎng)和寬。
由于式(1)存在兩次二維求和,程序中會(huì)用到四層循環(huán),因此時(shí)間和計(jì)算機(jī)內(nèi)存開銷都很大。本文根據(jù)泰勒級(jí)數(shù)展開式,舍去了式(1)中的高次項(xiàng),對(duì)其進(jìn)行簡(jiǎn)化,將量大的對(duì)數(shù)運(yùn)算簡(jiǎn)化為簡(jiǎn)單的代數(shù)運(yùn)算,提高了運(yùn)算速度[4]。優(yōu)化后得到熵的近似公式如下:
Gabor濾波器也稱Gabor變換函數(shù),由Dennis Gabor在1946年提出[3]。1980年,Daugman將其擴(kuò)展至二維并證明其可達(dá)空域及頻域的最優(yōu)化,首次將其用于表征圖像[5]。
二維Gabor函數(shù)空間表達(dá)的一般形式為[5]:
式中,σx、σy為尺度因子,決定高斯函數(shù)的空間擴(kuò)展;f為Gabor函數(shù)的中心頻率。
從式(3)可以看出,Gabor濾波器是一個(gè)高斯包絡(luò)函數(shù)所限定的正弦波平面波,即 g(x,y)是由尺度參數(shù) σx和σy決定的高斯函數(shù)調(diào)制函數(shù)。
[3-10]中研究分析了基于Gabor濾波器的疵點(diǎn)檢測(cè),大致思路都是先采用不同的方法獲取Gabor濾波參數(shù)從而選取Gabor濾波器組,然后分別對(duì)原始圖像和疵點(diǎn)圖像進(jìn)行多尺度和多方向?yàn)V波,提取特征(均值和標(biāo)準(zhǔn)差),再計(jì)算差值圖像后對(duì)圖像進(jìn)行層內(nèi)、層間融合,最后通過某種準(zhǔn)則進(jìn)行閾值分割,最終得到圖像疵點(diǎn)。而本文從降低算法復(fù)雜度,保證檢測(cè)效果的基礎(chǔ)上對(duì)以上方法進(jìn)行了以下兩點(diǎn)改進(jìn)并提出了完整算法步驟。
(1)在Gabor濾波中引入最大熵
一幅不含疵點(diǎn)的織物圖像,其紋理特征是確定的。當(dāng)有疵點(diǎn)出現(xiàn)時(shí),圖像的紋理特征遭到破壞,其熵值相應(yīng)地也會(huì)發(fā)生變化。由于疵點(diǎn)的灰度變化會(huì)引起局部熵值的極大變化,所以很容易檢測(cè)出疵點(diǎn)的存在。
參考文獻(xiàn)[6-7]分別對(duì)標(biāo)準(zhǔn)圖像和疵點(diǎn)圖像進(jìn)行Gabor濾波后求均值和標(biāo)準(zhǔn)差,再通過均值求取偏差圖像、通過標(biāo)準(zhǔn)差對(duì)偏差圖像進(jìn)行二值化,再融合,最后選定閾值對(duì)總?cè)诤虾蟮臉?biāo)準(zhǔn)圖像和疵點(diǎn)圖像的均值之差(差值圖像)進(jìn)行分割,從而得到疵點(diǎn)圖像。在計(jì)算上,求標(biāo)準(zhǔn)差時(shí)涉及二維平方、除法以及開根號(hào)等操作,差值圖像進(jìn)行層內(nèi)、層間融合時(shí)也涉及對(duì)圖像像素點(diǎn)的多次平方操作,計(jì)算量大。而本文引用最大熵直接對(duì)Gabor濾波后模值圖像進(jìn)行二值化處理,只涉及一次乘法運(yùn)算(如1.2節(jié)),降低了算法復(fù)雜度,減少了計(jì)算量。
另外,在參考文獻(xiàn)[4,8,9]中都分析了疵點(diǎn)檢測(cè)中熵的應(yīng)用,采用的都是局部熵,涉及了閾值選擇,牽涉到人的因素。本文采用最大熵作為準(zhǔn)則,利用式(4)迭代,自動(dòng)獲取閾值,同時(shí)結(jié)合Gabor濾波,進(jìn)行最大熵測(cè)試。以緯疵和勾絲為例,如圖1所示的實(shí)驗(yàn)表明,本文提出的方法能獲得很好的檢測(cè)結(jié)果,能避免閾值等參數(shù)的主觀經(jīng)驗(yàn)選擇,排除了人的因素,降低了算法復(fù)雜度。
圖1 最大熵測(cè)試
(2)選模值圖像作為Gabor濾波后的輸出特性
基于二維Gabor變換所采用的核(Kernels)與哺乳動(dòng)物視覺皮層簡(jiǎn)單細(xì)胞的二維感受野剖面(Profile)非常相似機(jī)理[3],Gabor分解可以看作是一個(gè)對(duì)方向和尺度敏感的有方向性的顯微鏡,從而用于織物紋理多層結(jié)構(gòu)的檢測(cè)。
關(guān)于Gabor濾波后的輸出特征,在參考文獻(xiàn)[3,10]中,采用的都是Gabor濾波后圖像的實(shí)部,在其參數(shù)選擇中,比較了實(shí)Gabor濾波器(RGF)和虛 Gabor濾波器(IGF)對(duì)圖像疵點(diǎn)的分辨率影響,得出在不同徑向中心頻率和方位角的組合下,RGF的分辨率都要遠(yuǎn)遠(yuǎn)好于IGF。本文算法中,以緯疵為例通過如圖2所示的實(shí)驗(yàn)測(cè)試,證明選取Gabor濾波后圖像的模值比選取實(shí)部對(duì)最大熵的應(yīng)用具有更好的效果。
圖2 模值圖像測(cè)試
針對(duì)本文所獲取的疵點(diǎn)圖像,其紋理基本上是按經(jīng)緯方向織成的,在對(duì)角方向上沒有明顯的紋理特性,同時(shí)考慮實(shí)時(shí)性、減少計(jì)算量,只采用水平和垂直兩個(gè)方向進(jìn)行濾波。即采用一個(gè)尺度兩個(gè)方向的Gabor濾波器。具體算法如下:
(1)源圖像獲取
分別獲取大小為 M×N(本文為 512×512)的某織物標(biāo)準(zhǔn)圖像 r(x,y)和含疵點(diǎn)圖像 t(x,y),并分別對(duì)其進(jìn)行灰度化,將彩色圖像轉(zhuǎn)為灰度圖像。
(2)圖像預(yù)處理
先分別對(duì) r(x,y)和 t(x,y)進(jìn)行直方圖均衡化,從而增加圖像像素的動(dòng)態(tài)范圍,如圖3所示,減少光照等因素的影響;再對(duì) r(x,y)和 t(x,y)分別進(jìn)行高斯濾波,剔除噪聲,獲得平滑信號(hào)和較好的圖像邊緣。從圖3(b)中可看出,均衡化后的圖像像素動(dòng)態(tài)范圍得到了顯著增強(qiáng)。
圖3 圖像均衡化測(cè)試
(3)Gabor濾波
設(shè) 計(jì) Gabor 濾 波 器 gp(x,y), 將 r(x,y)和 t(x,y)與Gabor濾波器分別進(jìn)行卷積:
式中,p=1、2,表示方向(0°,90°)。 取其模作為輸出,得到模值圖像:
(4)最大熵處理
在疵點(diǎn)圖像中,對(duì) Gabor濾波后的模值圖像 Tp(x,y)用最大熵進(jìn)行分割,求得二值圖像Sp(x,y)。
(5)圖像融合
將不同方向的二值圖像進(jìn)行融合,融合后的圖像為:
(6)形態(tài)學(xué)處理
由于存在一些不相關(guān)的冗余細(xì)節(jié),也可能疵點(diǎn)的不連續(xù)存在,對(duì)融合后的圖像 K(x,y),采用形態(tài)學(xué)中的腐蝕和膨脹的方法,得到平滑清晰圖像P(x,y)。
(7)孤立點(diǎn)處理
采用形態(tài)學(xué)腐蝕和膨脹方法后的圖像 P(x,y),還可能存在孤立點(diǎn)等非理想結(jié)果。為此,本文采用計(jì)算二值圖像中孤立點(diǎn)的周長(zhǎng)和面積的方法,將一些小的孤立點(diǎn)當(dāng)作噪點(diǎn)處理掉,得到圖像 Q(x,y):
式中,k表示P(x,y)中描繪的閉合曲線的個(gè)數(shù),n表示 第 n 個(gè) 閉 合 曲 線 ,CPn(x,y)、SPn(x,y)分 別 為 第 n 個(gè) 閉 合 曲線的周長(zhǎng)和面積,T1、T2根據(jù)實(shí)際疵點(diǎn)確定。
(8)疵點(diǎn)輪廓描繪
最后對(duì) Q(x,y)進(jìn)行輪廓描繪獲得疵點(diǎn)輪廓圖像Y(x,y)作為結(jié)果輸出。
本實(shí)驗(yàn)在OpenCV2.1+VisualStudio2010環(huán)境下進(jìn)行。OpenCV是一個(gè)基于C/C++語言的開源圖像處理函數(shù)庫(kù),與Matlab等相比,其最大的特點(diǎn)是具有良好的移植性,同時(shí)具有低級(jí)和高級(jí)應(yīng)用程序接口(API),能提供面向Intel IPP高效多媒體函數(shù)庫(kù)的接口,可針對(duì)用戶使用的Intel CPU優(yōu)化代碼,提高程序性能[12]。
實(shí)驗(yàn)分別對(duì)斷緯、缺經(jīng)、破洞、勾絲等四類常見的疵點(diǎn)進(jìn)行了測(cè)試,疵點(diǎn)圖像的大小為512×512,測(cè)試結(jié)果分別如圖 4~圖 7所示。
圖4 斷緯疵點(diǎn)檢測(cè)結(jié)果
圖5 缺經(jīng)疵點(diǎn)檢測(cè)結(jié)果
圖6 破洞疵點(diǎn)檢測(cè)結(jié)果
圖7 勾絲疵點(diǎn)檢測(cè)結(jié)果
圖 4~圖 7中,(a)為標(biāo)準(zhǔn)灰度圖像(疵點(diǎn)圖像背景),(b)為疵點(diǎn)灰度圖像,(c)、(d)分別為(b)經(jīng) Gabor水平和垂直方向?yàn)V波后輸出的模值圖像,(e)、(f)為利用最大熵對(duì)(c)、(d)分別進(jìn)行閾值分 割后的疵點(diǎn) 圖像 ,(g)為(e)、(f)進(jìn)行融合并經(jīng)過形態(tài)學(xué)處理后的疵點(diǎn)圖像,(h)為(g)孤立點(diǎn)處理后最終疵點(diǎn)輪廓圖像。
鑒于織物疵點(diǎn)中對(duì)實(shí)時(shí)性的要求極高,本文提出的算法避開了傳統(tǒng)方法的弊端,在疵點(diǎn)特征提取中只對(duì)水平和垂直兩個(gè)方向進(jìn)行Gabor濾波,并以模值圖像作為輸出,降低了圖像特征的維數(shù)和計(jì)算的復(fù)雜度;然后提出用最大熵方法對(duì)模值圖像進(jìn)行閾值分割,再進(jìn)行二值圖像融合,降低了計(jì)算量,從而保證了實(shí)時(shí)性。本文對(duì)織物的多種疵點(diǎn)進(jìn)行了檢測(cè),實(shí)驗(yàn)結(jié)果表明,本文的算法能將織物疵點(diǎn)從背景中較準(zhǔn)確地分割出來,證明了該檢測(cè)算法具有良好的檢測(cè)效果。
參考文獻(xiàn)
[1]KUMAR A.Computer vision based fabric defect detection:a survey[J].IEEE Transactions on Industrial Electronics,2008,55(1):348-363.
[2]ROCKERY A.Automated fabric inspection:assessing the current state of the art[M].Technical Specifications,2001.
[3]KUMAR A,PANG G K H.Defect detection in textured materialsusing Gaborfilters[J].IEEE Transactionson Industry Applications, 2002,38(2):425-440.
[4]Wang Dongyun,Niu Zhengguang.Improved method of fabric defectsinspection based on localentropy [C], Control Conference, 2008.CCC.27th Chinese,2008:208-211.
[5]Liu Hao,Han Jiuqiang.Defect detection in textiles using optimal Gabor wavelet filter[C].The Sixth World Congress on Intelligent Control and Automation, 2006:10005-10007.
[6]Chen Shuyue, Feng Jun, Zou Ling.Study of fabric defects detection through Gabor filter based on scale transformation[J].Image Analysis and Signal Processing(IASP),2010(9-11):97-99.
[7]韓潤(rùn)萍,孫蘇榕,姜玲.基于 Gabor濾波器組的織物疵點(diǎn)檢測(cè)方法[J].計(jì)算機(jī)工程與應(yīng)用,2007,43(7):211-214.
[8]卿湘運(yùn),段紅,魏俊民.基于局部熵的織物疵點(diǎn)檢測(cè)與識(shí)別的研究[J].紡織學(xué)報(bào),2004,25(5):56-57.
[9]沈雅芬,劉純平,王朝暉.基于局部熵的 CMOS攝像頭疵點(diǎn)檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(20):71-73.
[10]鄒超,汪秉文,孫志剛.基于 Gabor濾波器組的實(shí)時(shí)疵點(diǎn)圖像分割[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(12):185-187.
[11]PUN T.Entropic thresholding:a new approach.computer vision[J].Graphics and Image Processing,1981,16(3):210-239.
[12]BRADSKI G,KAEHLER A.Learning OpenCV[M].于任瑛,劉瑞禎譯.南京:東南大學(xué)出版社,2009.