李 敏， 崔樹芹， 陳 佳

(武漢紡織大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院, 湖北 武漢 430072)

應(yīng)用視覺顯著性的小提花織物疵點(diǎn)檢測

李 敏， 崔樹芹， 陳 佳

(武漢紡織大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院, 湖北 武漢 430072)

為實(shí)現(xiàn)小提花織物的疵點(diǎn)檢測，提出了一種基于視覺顯著性的疵點(diǎn)定位與分割方法。針對小提花織物的花型具有周期性的特點(diǎn)，通過對織物圖像進(jìn)行快速傅里葉變換和形態(tài)濾波來抑制正?；y的顯著性，突出疵點(diǎn)區(qū)域的顯著性，以獲取圖像的全局顯著圖；然后使用基于圖論的視覺顯著模型來計(jì)算圖像的局部顯著圖，并對全局和局部顯著圖進(jìn)行合并生成綜合顯著圖；最后使用最大熵法對綜合顯著圖進(jìn)行分割，以得到疵點(diǎn)目標(biāo)。實(shí)驗(yàn)結(jié)果表明，在對橫襠、破洞、斷頭、打結(jié)和跳花等5種瑕疵進(jìn)行測試時(shí)，該方法的正確率高達(dá)93.5%，非常適合于對小提花織物進(jìn)行疵點(diǎn)檢測。

小提花織物; 疵點(diǎn)檢測; 視覺顯著性; 最大熵法

提花織物疵點(diǎn)檢測是織物疵點(diǎn)自動(dòng)檢測的難點(diǎn)[1-2]。與素織物不同，提花織物有花紋圖案，這些圖案會(huì)對檢測過程造成干擾，故檢測難度較大。

目前國內(nèi)外對提花織物疵點(diǎn)檢測方面的研究比較少[3-5]，其中，文獻(xiàn)[3]提出的方法效果最好。該方法先對提花織物進(jìn)行Motif分割，然后提取每個(gè)Motif的運(yùn)動(dòng)能量和能量方差來形成一個(gè)決策區(qū)域，最后通過判斷待測圖像每個(gè)Motif的運(yùn)動(dòng)能量和能量方差是否在決策區(qū)域內(nèi)來確定該Motif是否具有瑕疵。該方法的準(zhǔn)確率為93.32%，但是該方法只能判斷織物是否含有疵點(diǎn)，不能定位疵點(diǎn)的具體位置。

視覺注意機(jī)制是人類視覺感知系統(tǒng)的重要內(nèi)容，可使人類在面臨復(fù)雜場景時(shí)能夠迅速將注意力集中在一些顯著目標(biāo)上，從而對這些目標(biāo)進(jìn)行優(yōu)先處理。近年來，視覺注意機(jī)制已經(jīng)在圖像檢索、場景分析、目標(biāo)檢測與識別等方面取得了很多有價(jià)值的研究成果。不僅如此，視覺注意機(jī)制還成功解決了鋼鐵企業(yè)中銅帶表面缺陷檢測問題[6]。

由于疵點(diǎn)在顏色、亮度、紋理或者方向上與其周圍正?？椢锝M織的特征不一致，管聲啟等[7-8]對平紋織物中的疵點(diǎn)進(jìn)行檢測時(shí)指出，與傳統(tǒng)方法相比較，基于視覺注意機(jī)制的疵點(diǎn)檢測方法可取得理想的結(jié)果；在使用視覺注意機(jī)制對織物進(jìn)行疵點(diǎn)檢測時(shí)，僅僅計(jì)算了圖像的局部顯著性，沒有考慮圖像的全局顯著性，因此不能很好地解決提花織物花紋圖案對疵點(diǎn)檢測的干擾問題。

盡管小提花織物圖像背景復(fù)雜，但其花紋是有規(guī)律地在進(jìn)行排列，具體有3種：具有花型周期；花型周期采用四方循環(huán)的結(jié)合方式排列組成；花型在任何地方均有大致相同的結(jié)構(gòu)尺寸?；谶@一特點(diǎn)，本文提出了一種結(jié)合全局和局部顯著性的織物疵點(diǎn)檢測方法，該方法以獲取小提花織物圖像的顯著圖為切入點(diǎn)，引進(jìn)最大熵法實(shí)現(xiàn)疵點(diǎn)的定位和分割。實(shí)驗(yàn)結(jié)果表明，使用本文提出的疵點(diǎn)檢測方法，可得到比較高的檢測正確率。

1 相關(guān)背景

1.1 Itti模型

目前計(jì)算機(jī)視覺領(lǐng)域中應(yīng)用最廣泛的視覺顯著性模型是Itti模型[9]。Itti模型通過計(jì)算對象的區(qū)域及鄰域等局部信息來獲得顯著圖。圖1示出對含有跳花疵點(diǎn)的小提花織物圖像，使用Itti模型進(jìn)行顯著性計(jì)算所得到的顯著圖。

從圖1(b)可看出，Itti模型能突出大部分比較明顯的疵點(diǎn)，但無法解決花紋圖案對疵點(diǎn)檢測的干擾，將很多非疵點(diǎn)區(qū)域也當(dāng)成了顯著區(qū)域。造成這種現(xiàn)象的主要原因在于，Itti計(jì)算的是像素與其周圍像素的對比度，屬于局部顯著性。由于提花織物的花紋跟周圍像素相比，顯著性較高，易被誤判為疵點(diǎn)，故還需考慮像素的全局顯著性，即像素對于整幅圖像的顯著性。

1.2 譜殘差模型

譜殘差(spectral residual, SR)模型是一種基于傅里葉變換的視覺顯著性計(jì)算模型[10]，通過計(jì)算圖像的全局特征來獲取圖像中的顯著區(qū)域。圖2示出使用SR模型對圖1中的織物圖像進(jìn)行顯著性計(jì)算所得到的結(jié)果。

從圖2可看出，SR模型依然無法完全排除花紋圖案的干擾，其主要原因在于SR模型先計(jì)算譜殘差，然后使用譜殘差做傅里葉逆變換來計(jì)算顯著圖。計(jì)算譜殘差時(shí)使用了減法操作，不僅去掉了花紋圖案信息，還將很多疵點(diǎn)信息也去除(見圖2(a))，盡管通過高斯平滑濾波可善顯著圖的效果，但是，平滑濾波后所得到的顯著圖依然不是很準(zhǔn)確。

2 本文提出的算法

因?yàn)樾√峄椢锏幕ㄐ途哂兄芷谛浴Ｈ绻麑畏√峄椢飯D像的信息(H)看成由2部分構(gòu)成：

H=H1+H2

其中：H1為圖像中的正常信息；H2為異常信息，即疵點(diǎn)部位信息。若將H1視為噪聲信號，H2視為有效信號，如果能夠在濾除前者的同時(shí)保留后者，則可確保H2部分的顯著性遠(yuǎn)遠(yuǎn)大于H1的顯著性。

2.1 理論分析

周期信號的頻譜是離散的，由一系列沖擊信號組成。圖3示出在(0,30π)的范圍內(nèi)，正弦信號sin(t)的波形圖和對數(shù)幅度譜圖。從圖3(b)可看出，周期信號的對數(shù)幅度譜存在很明顯的尖峰。

經(jīng)實(shí)驗(yàn)分析發(fā)現(xiàn)，不管周期信號中出現(xiàn)幾次異常信號，其對數(shù)幅度譜中的尖峰總存在，且對數(shù)幅度譜總保持大致不變的形狀，結(jié)果如圖4所示。

借鑒電力系統(tǒng)中局部放電窄帶周期性干擾研究的成果[11]，對含有異常信號的周期信號，使用形態(tài)濾波器來濾除信號中的周期信號，然后再進(jìn)行傅里葉逆變換，即可突出異常信號，結(jié)果見圖5所示。

比較圖5和圖4(a)可看出，通過對含有異常信號的周期信號的對數(shù)幅度譜進(jìn)行濾波，可在抑制周期信號的同時(shí)保留異常信號。

2.2 全局顯著性算法實(shí)現(xiàn)

基于2.1節(jié)對周期信號對數(shù)幅度譜分析的結(jié)果，本文提出的全局顯著性計(jì)算過程如下。

1)對圖像I(x)進(jìn)行傅里葉變換,得到幅度譜A(f)和相位譜P(f)，計(jì)算對數(shù)幅度譜ln(A(f))。

2)對ln(A(f))進(jìn)行形態(tài)濾波，得到R(f)。

3)利用R(f) 和P(f)信息進(jìn)行傅里葉逆變換，得到輸入圖像的視覺顯著圖S(x)。

4)對S(x)進(jìn)行高斯平滑濾波。

圖6示出使用本文提出的全局顯著性算法，對圖1中的織物圖像進(jìn)行顯著性計(jì)算所得到的結(jié)果。 從圖6可看出，使用本文所提的方法計(jì)算所得的顯著圖，比使用SR模型所得到的顯著圖更能夠完整突出疵點(diǎn)區(qū)域的顯著性。

2.3 局部顯著性算法實(shí)現(xiàn)

通過對多種視覺顯著性模型進(jìn)行測試，從顯著圖的準(zhǔn)確性和速度等方面綜合考慮，本文選擇使用基于圖論的視覺顯著性模型(graph-based visual saliency, GBVS)[12]來提取小提花織物圖像的局部顯著性。

為降低算法的時(shí)間復(fù)雜度，本文研究只提取圖像的亮度特征來生成顯著圖。圖7示出使用GBVS模型，對圖1中織物圖像進(jìn)行顯著性計(jì)算所得到的局部顯著圖。

2.4 疵點(diǎn)定位和分割

得到全局和局部顯著圖后，先對2幅顯著圖進(jìn)行合并生成綜合顯著圖；然后使用最大熵法來對其進(jìn)行顯著區(qū)分割，并使用形態(tài)學(xué)對分割所得的二值圖像進(jìn)行操作，以去除孤立的非連續(xù)區(qū)域；最后將二值圖像與原始圖像進(jìn)行疊加，即可得到疵點(diǎn)區(qū)域。結(jié)果如圖8所示。

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文所提方法的有效性，進(jìn)行了一系列的實(shí)驗(yàn)。實(shí)驗(yàn)機(jī)器配置為Genuine Intel 1.83 GHz CPU和1.24 GB內(nèi)存，操作系統(tǒng)為Windows XP，軟件編譯環(huán)境為Matlab 2009。在實(shí)驗(yàn)過程中一共使用了200幅小提花織物圖像，其中，含有橫襠疵的圖像60幅，含有破洞、斷頭、打結(jié)、跳花4類疵點(diǎn)的圖像各30幅，無瑕疵的織物圖像20幅。圖像的大小為256像素×256像素。

實(shí)驗(yàn)時(shí)使用4種不同方法計(jì)算小提花織物圖像的顯著圖，即GBVS模型(方法1)，SR模型(方法2)，CA(context-aware，CA)模型[13](方法3)和本文提出的方法(方法4)。其中，GBVS是計(jì)算局部顯著性的模型，SR是計(jì)算全局顯著性的模型，CA是綜合考慮局部和全局顯著性的模型。

在測試的過程中，首先使用不同顯著性模型來計(jì)算顯著圖，然后使用最大熵法對顯著圖進(jìn)行分割得到二值圖像，最后基于二值圖像得到疵點(diǎn)區(qū)域信息，并將分割所得到的疵點(diǎn)信息進(jìn)行對比。

圖9示出對1幅含有斷頭疵的小提花織物圖像使用不同方法獲得的顯著圖。圖10示出疵點(diǎn)檢測結(jié)果。從圖10中可看出，使用不同顯著性模型進(jìn)行疵點(diǎn)檢測，都能取得一定的準(zhǔn)確性，這說明使用視覺顯著性模型進(jìn)行小提花織物的疵點(diǎn)檢測是可行的。同時(shí)也可看到，跟其他幾種方法相比較，本文所提方法缺陷定位準(zhǔn)確率更高，所分割出的疵點(diǎn)區(qū)域更完整、更精確。

使用不同方法對200幅圖像進(jìn)行測試，所得準(zhǔn)確率如表1所示，平均準(zhǔn)確率和時(shí)間如表2所示。

表l 對不同類型疵點(diǎn)圖像進(jìn)行檢測所得準(zhǔn)確率Tab.1 Accuracy rate obtained by four different methods %

表2 使用不同方法進(jìn)行疵點(diǎn)檢測所的結(jié)果比較Tab.2 Comparison of results by four different methods

從表1可看出，本文所提方法的準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于方法1和方法2。特別是對于破洞疵點(diǎn)，本文所提方法的正確率達(dá)到了93.3%，而方法1只有76.7%，造成這種現(xiàn)象主要是因?yàn)榉椒?通過計(jì)算像素與周圍像素的差異來生成顯著圖。當(dāng)疵點(diǎn)面積比較小時(shí)，方法1所生成的顯著圖中疵點(diǎn)區(qū)域的顯著性不高，導(dǎo)致后面顯著區(qū)域分割出現(xiàn)誤差；對于橫襠和跳花疵點(diǎn)，本文所提方法的準(zhǔn)確率分別達(dá)到了95%和96.7%，而方法2的準(zhǔn)確率分別只有78.3%和76.7%。造成這種現(xiàn)象的原因是，橫襠和跳花疵點(diǎn)面積都比較大，SR在計(jì)算譜殘差時(shí)，將疵點(diǎn)區(qū)域的信息也去除了，因此方法2最終生成的顯著圖沒能包含完整的疵點(diǎn)區(qū)域信息。

從表2可看出，本文所提方法的平均準(zhǔn)確率為93.5%，遠(yuǎn)遠(yuǎn)高于方法1和方法2；由于方法3綜合考慮了全局和局部顯著性，因此，其平均準(zhǔn)確率高于方法1和方法2，比本文提到的方法只少1.5%。

從算法的執(zhí)行速度來看，本文所提方法的平均速度為0.829 s，比方法1慢0.104 s，比方法2慢0.68 s，但是遠(yuǎn)遠(yuǎn)快于方法3的90.038 s。

需要指出的是，在使用本文提出的方法計(jì)算全局顯著性的過程中，為提高速度，將圖像縮小為128像素×128像素后再進(jìn)行傅里葉變換；進(jìn)行形態(tài)濾波時(shí)，使用的是半徑為2的圓形結(jié)構(gòu)元素。

4 結(jié) 語

針對小提花織物圖像的特點(diǎn)，提出了一種結(jié)合全局和局部顯著性的小提花織物疵點(diǎn)檢測方法。該方法先計(jì)算圖像的全局顯著圖和局部顯著圖，并將全局顯著圖和局部顯著圖進(jìn)行合并生成綜合顯著圖，接著對綜合顯著圖進(jìn)行分割，所得到的顯著區(qū)域即為疵點(diǎn)可能出現(xiàn)的區(qū)域，最后分割所得的二值圖像與原始圖像進(jìn)行疊加，即可得到疵點(diǎn)區(qū)域信息。實(shí)驗(yàn)結(jié)果表明，本文提出的方法可有效檢測出橫襠、破洞、斷頭、打結(jié)和跳花等5種瑕疵。

在后續(xù)的研究中，將致力于提高算法的速度以達(dá)到在線檢測的目的。

FZXB

致謝 感謝香港大學(xué)的H.Y.T. Ngan和 G. K. H. Pang為本文研究所提供的織物圖像。

[1] NGAN Y T, PANG K H, YUNG H C. Automated fabric defect detection: a review[J]. Image and Vision Computing, 2011(29): 442-458.

[2] TAJERIPOUR F, KABIR E, SHEIKHIN A. Defect detection in patterned fabrics using modified local binary patterns[C]//International conference on computational intelligence and multimedia applications. Tamil Nadu: IEEE, 2007: 261 -267.

[3] NGAN Y T, PANG K H, YUNG H C. Motif-based defect detection for patterned fabric [J]. Pattern Recognition, 2008, 41: 1878-1894.

[4] LI M, DENG Z M, WANG L J. Defect detection of patterned fabric by spectral estimation technique and rough set classifier[C]//4thGlobal Congress on Intelligent Systems. Hong Kong: IEEE, 2013: 190-194.

[5] YU X B, HU J L, BACIU G. Defect detection of Jacquard fabrics using multiple color-channel analy-sis[J]. Journal of Textile Application, 2005, 1:21-29.

[6] 張學(xué)武,丁燕瓊,段敦勤，等. 基于視覺仿生機(jī)理的銅帶表面缺陷檢測[J].中國圖象圖形學(xué)報(bào), 2011,16(4): 593-598. ZHANG Xuewu, DING Yanqiong, DUAN Dunqin, et al. Surface defects inspection of copper strips based on vision bionics [J]. Journal of Image and Graphics, 2011, 16(4): 593-598.

[7] 管聲啟,高照元,吳寧,等. 基于視覺顯著性的平紋織物疵點(diǎn)檢測[J].紡織學(xué)報(bào),2014,35(4):56-61.

GUAN Shengqi, GAO Zhaoyuan, WU Ning, et al. Defect detection for fabrics based on visual saliency [J]. Journal of Textile Research, 2014, 35(4): 56-61.

[8] GUAN S Q, GAO Z Y. Fabric defect image segmentation based on the visual attention mechanism of the wavelet domain[J]. Textile Research Journal, 2014, 84(10): 1018-1033.

[9] ITTI L, KOCH C, NIEBUR E. A model of saliency- based visual attention for rapid scene analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11):1254-1259.

[10] HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis: IEEE, 2007:1-8.

[11] 劉云鵬，律方成，李成榕，等. 基于數(shù)學(xué)形態(tài)濾波器抑制局部放電窄帶周期性干擾的研究[J].中國電機(jī)工程學(xué)報(bào)，2004, 24(3): 169-173. LIU Yunpeng, Lü Fangcheng, LI Chengrong, et al. Study of the mathematical morphological filter in suppressing periodic narrow bandwidth noise of PD [J]. Chinese Society for Electrical Engineering, 2004, 24(3): 169-173.

[12] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]//Advances in Neural Information Processing Systems. Vancouver: NIPS, 2007: 545-552.

[13] GOFERMAN S, ZELNIK L, TAL A. Context-aware saliency detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926.

Defect detection for mini-jacquard fabric based on visual saliency

LI Min, CUI Shuqin, CHEN Jia

(SchoolofMathematicsandComputerScience,WuhanTextileUniversity,Wuhan,Hubei430072,China)

This paper proposed a new defect detection method for mini-jacquard fabric based on visual saliency. This method firstly analyzed the characteristic of the mini-jacquard and proposed to apply fast Fourier transform and mathematical morphological filter on the original image to keep down the saliency of the normal area, pop out the saliency of the defect area and obtain the global saliency map; and then, the local saliency map was obtained by using the graph-based visual saliency model; after that, the saliency map could be generated by combining the global and local saliency map; and finally, a maximum entropy method was implemented on the saliency map to separate the defected area. Experimental results show that the proposed method can effectively detect multiple kinds of defects of barre, hole, broken end, knots and netting, and the average success rate is 93.5%. It is an effective defect detection method.

mini-jacquard fabric; defect detection; visual saliency; maximum entropy method

10.13475/j.fzxb.20151003406

2015-10-20

2016-07-21

湖北省教育廳科技項(xiàng)目(D20161605)

李敏(1978—)，女，副教授，博士。主要研究方向?yàn)閳D像處理和模式識別。E-mail：reaphope@163.com。

TS 101.9

A