李春雷， 高廣帥， 劉洲峰， 劉秋麗， 李文羽

(1. 中原工學(xué)院 電子信息學(xué)院， 河南 鄭州 451191; 2. 中原工學(xué)院 紡織學(xué)院， 河南 鄭州 451191)

應(yīng)用方向梯度直方圖和低秩分解的織物疵點(diǎn)檢測(cè)算法

李春雷1， 高廣帥1， 劉洲峰1， 劉秋麗1， 李文羽2

(1. 中原工學(xué)院 電子信息學(xué)院， 河南 鄭州 451191; 2. 中原工學(xué)院 紡織學(xué)院， 河南 鄭州 451191)

織物疵點(diǎn)檢測(cè)是織物表面質(zhì)量控制的關(guān)鍵環(huán)節(jié)。基于方向梯度直方圖(HOG)和低秩分解，提出一種有效的織物疵點(diǎn)檢測(cè)算法。首先，將織物圖像劃分為大小相同的圖像塊，提取每個(gè)圖像塊的HOG特征，并將圖像塊特征組成特征矩陣，針對(duì)特征矩陣構(gòu)建有效的低秩分解模型，通過(guò)方向交替方法(ADM)優(yōu)化求解，生成低秩陣和稀疏陣；最后采用改進(jìn)最優(yōu)閾值分割算法對(duì)由稀疏陣生成的顯著圖進(jìn)行分割，從而定位出疵點(diǎn)區(qū)域。實(shí)驗(yàn)結(jié)果表明，低秩分解能有效實(shí)現(xiàn)織物疵點(diǎn)的快速分離，與已有方法進(jìn)行對(duì)比，本文方法能顯著提高復(fù)雜織物紋理圖像的疵點(diǎn)檢測(cè)性能。

方向梯度直方圖； 低秩分解； 織物圖像； 疵點(diǎn)檢測(cè)

織物疵點(diǎn)檢測(cè)是紡織品質(zhì)量控制系統(tǒng)中的核心環(huán)節(jié)，直接影響著系統(tǒng)的性能。目前已有的織物疵點(diǎn)檢測(cè)算法主要分為4類(lèi)：基于模型的方法；基于頻譜分析的方法；基于統(tǒng)計(jì)的方法；基于字典學(xué)習(xí)的方法?；谀Ｐ偷姆椒ㄍㄟ^(guò)對(duì)正?？椢锛y理進(jìn)行建模、判別測(cè)試圖像是否符合該模型來(lái)進(jìn)行疵點(diǎn)檢測(cè)，但其算法比較復(fù)雜，計(jì)算量大，并且在線學(xué)習(xí)比較困難，對(duì)面積較小的疵點(diǎn)檢測(cè)能力較差[1]；基于頻譜分析的方法首先將圖像變換到頻域，然后利用某種能量準(zhǔn)則進(jìn)行織物疵點(diǎn)檢測(cè)，但檢測(cè)效果依賴于濾波器組的選擇[2]；基于統(tǒng)計(jì)的方法通過(guò)計(jì)算正?？椢锱c疵點(diǎn)區(qū)域紋理的統(tǒng)計(jì)特性進(jìn)行疵點(diǎn)檢測(cè)，該類(lèi)方法簡(jiǎn)單易行，檢測(cè)結(jié)果受紋理模式和疵點(diǎn)形狀等的影響，對(duì)于小的疵點(diǎn)可能會(huì)產(chǎn)生漏檢的情況[3-4]；基于字典學(xué)習(xí)方法通過(guò)自身或訓(xùn)練圖像學(xué)習(xí)出字典集，然后采用稀疏優(yōu)化求解重構(gòu)正?？椢飯D像，通過(guò)與測(cè)試圖像作差，突出疵點(diǎn)區(qū)域，或者通過(guò)構(gòu)建字典集作為投影矩陣實(shí)現(xiàn)降維，再采用支持向量域描述算法判別或特征比對(duì)進(jìn)行疵點(diǎn)檢測(cè)。該類(lèi)方法如果通過(guò)自身訓(xùn)練字典集，重構(gòu)圖像仍存在部分疵點(diǎn)，檢測(cè)效果不理想；如果采用正?？椢飯D像進(jìn)行字典學(xué)習(xí)，則降低了算法的自適應(yīng)性[5]。

低秩分解可將矩陣分解為低秩陣(平滑的背景區(qū)域)和稀疏陣(前景目標(biāo)區(qū)域)，被用于視覺(jué)顯著性和目標(biāo)檢測(cè)中，取得了很好的效果。如利用低秩分解進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)[6]，將低秩分解應(yīng)用到人臉檢測(cè)[7]中和復(fù)雜環(huán)境紅外弱小目標(biāo)檢測(cè)[8]中。

織物圖像為人造紋理，雖然形態(tài)多樣，結(jié)構(gòu)復(fù)雜，但大面積的正常圖像存在高度視覺(jué)冗余，而疵點(diǎn)屬于稀疏部分，因此織物疵點(diǎn)檢測(cè)相對(duì)自然圖像中的目標(biāo)檢測(cè)，更好地符合了低秩分解模型。然而現(xiàn)有基于低秩分解的目標(biāo)檢測(cè)等，主要針對(duì)自然場(chǎng)景圖像的目標(biāo)檢測(cè)，在特征提取階段主要采用亮度、色差等信息。對(duì)于織物圖像，疵點(diǎn)往往表現(xiàn)為紋理的不一致，因此，需要提出有效的織物圖像表征方法，并針對(duì)提取特征，構(gòu)造低秩分解模型并求解，實(shí)現(xiàn)疵點(diǎn)的有效分離。

本文提出了一種基于方向梯度直方圖(histogram of oriented gradient, HOG)和低秩分解的織物疵點(diǎn)檢測(cè)算法。首先對(duì)圖像進(jìn)行均勻分塊，并提取每個(gè)圖像塊的HOG特征，實(shí)現(xiàn)對(duì)織物圖像的有效表征，然后將特征向量組合成特征矩陣。通過(guò)建立有效的低秩分解模型，并采用方向交替方法(alternating direction method，ADM)[9]進(jìn)行優(yōu)化求解，將特征矩陣分解為低秩陣與稀疏陣，最后采用改進(jìn)最優(yōu)閾值分割算法[10]對(duì)由稀疏矩陣生成的顯著圖進(jìn)行分割，從而定位出疵點(diǎn)區(qū)域。

1 算法提出及應(yīng)用方法

本文提出了一種基于HOG和低秩分解的織物疵點(diǎn)檢測(cè)算法，其構(gòu)建過(guò)程如圖1所示。主要包括以下4步：預(yù)處理、特征提取、基于低秩分解的顯著圖生成以及顯著圖分割。

圖1 所提算法的構(gòu)建過(guò)程Fig.1 Construction process of proposed algorithm

1.1 預(yù)處理

1)圖像分塊：將大小為M×N的織物測(cè)試圖像X等分為大小為m×m的圖像Xi，其中i=1,2,…，N(N為圖像塊數(shù))。

2)為了去相關(guān)性，采用式(1)對(duì)圖像塊Xi進(jìn)行變換：

(1)

式中：mean(Xi)表示取圖像塊Xi的平均值；norm(·)是向量的范數(shù)。

1.2 特征提取

HOG作為一種有效的紋理特征描述方法，廣泛應(yīng)用于目標(biāo)檢測(cè)與識(shí)別中[10]。該方法認(rèn)為局部目標(biāo)的表象和形狀可被梯度或邊緣的方向密度分布很好地描述，通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征，因此，本文對(duì)織物圖像塊提取HOG特征。具體實(shí)現(xiàn)過(guò)程如下。

1)Gamma校正。首先利用Gamma校正對(duì)圖像進(jìn)行規(guī)范化，具體公式為

(2)

在本文中，取gamma為1/2。

2)計(jì)算圖像梯度。計(jì)算圖像像素點(diǎn)在橫軸和縱軸方向的梯度：

(3)

式中，Gx(x,y)、Gy(x,y)、H(x,y)分別表示輸入圖像中像素點(diǎn)(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為

(4)

3)構(gòu)建梯度直方圖。將圖像分成若干個(gè)單元格cell，將cell中的每個(gè)像素的梯度方向在直方圖上進(jìn)行加權(quán)投影，生成梯度直方圖。然后將cell單元組合成更大的塊(block)并歸一化塊內(nèi)的梯度直方圖。將各個(gè)cell單元組合成大的、空間上聯(lián)通的區(qū)間(blocks)。這些區(qū)間互相重疊，即每個(gè)單元格的特征會(huì)以不同的結(jié)果多次出現(xiàn)在最后的特征向量中。

4)組裝HOG特征。組合圖像(檢測(cè)窗口)中所有重疊的塊的HOG特征，生成最終的特征向量。

最終，對(duì)每個(gè)圖像塊Xi(i=1,2,…，N), 采用上述步驟提取HOG特征，表示為fi。將所有圖像塊的特征fi組成特征矩陣F=[f1,f2,…，fN],F∈RD×N，用來(lái)表示整幅圖像，其中D為特征的維數(shù)。

1.3 基于低秩分解的顯著圖生成

針對(duì)生成的特征矩陣F，構(gòu)建低秩分解模型如下：

(5)

式中：L為低秩陣，用來(lái)表示冗余織物背景；S為稀疏陣，即疵點(diǎn)信息。

因?yàn)樯鲜鰡?wèn)題屬于NP-hard問(wèn)題，很難得到有效解，故采用如下凸優(yōu)化方法來(lái)替代：

(6)

式中：‖L‖*為矩陣L的核范數(shù)；‖·‖1表示l1范數(shù)；λ為控制低秩度和稀疏度的平衡因子。

式(6)為凸優(yōu)化模型，對(duì)于該模型的優(yōu)化求解方法，其中頗具代表性的有增廣拉格朗日乘子法[11]、對(duì)偶法[12]、加速逼近梯度法[12]、ADM法[9]等。其中，ADM法具有迭代次數(shù)少、精確度高及計(jì)算速度快等優(yōu)點(diǎn)，得到了廣泛的應(yīng)用，因此，本文采用文獻(xiàn)[7]中介紹的ADM算法對(duì)提出的模型進(jìn)行優(yōu)化求解。

對(duì)低秩分解模型通過(guò)ADM優(yōu)化求解，將織物圖像的特征矩陣F分離成對(duì)應(yīng)于背景的低秩矩陣L和對(duì)應(yīng)于疵點(diǎn)的稀疏矩陣S。其中S的每一列Si對(duì)應(yīng)著一個(gè)圖像塊為疵點(diǎn)的可能性，本文采用Si的 l1范數(shù)來(lái)表示圖像塊i的顯著度(sal)，即為疵點(diǎn)的可能性大小：

(7)

‖Si‖1越大，則圖像塊Bi顯著度越大，即為疵點(diǎn)的可能性越大，所有圖像塊的顯著度組成相應(yīng)的顯著圖SM。

1.4 顯著圖分割

1)對(duì)視覺(jué)顯著圖SM進(jìn)行降噪得到

(8)

其中：g為圓形平滑濾波器；“°”為哈達(dá)瑪內(nèi)積運(yùn)算符；“*”為卷積運(yùn)算符。

(9)

3)利用改進(jìn)優(yōu)化閾值分割算法[10]對(duì)G進(jìn)行分割，從而定位出疵點(diǎn)區(qū)域。

2 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文算法的有效性，從織物圖像庫(kù)中隨機(jī)挑選幾類(lèi)常見(jiàn)的疵點(diǎn)圖像(包括錯(cuò)緯、斷經(jīng)、跳花、斷緯等)，圖片大小均為512像素×512像素，圖像塊大小選為16像素×16像素。本文的所有實(shí)驗(yàn)均在Inter(R) Core(TM) i3-2120 3.3 GHz的CPU環(huán)境下，使用工具軟件MatLab 2011a完成。

首先考慮對(duì)于不同的梯度方向提取HOG特征，具體如圖2所示。由圖可看出：所選特征較少時(shí)，對(duì)于有些圖像疵點(diǎn)檢測(cè)不連續(xù)，如圖2(c)的B圖所示，如此這樣并不能很好地表示圖像；而若特征維數(shù)較多，又會(huì)增加計(jì)算量。所以綜合考慮，選擇特征維數(shù)為8。

注：A—原圖；B—提取6維HOG特征生成顯著圖；C—提取7維HOG特征生成顯著圖；D—提取8維HOG特征生成顯著圖； E—提取9維HOG特征生成顯著圖。圖2 織物疵點(diǎn)圖像和不同特征顯著性檢測(cè)結(jié)果Fig.2 Fabric defect image and saliency map corresponding to different features. (a) Filling mixed; (b) Skips; (c) Broken skip

注：A—原圖； B—λ=0.02； C—λ=0.04； D—λ=0.06； E—λ=0.08； F—λ=0.10。圖3 不同λ對(duì)應(yīng)顯著性檢測(cè)結(jié)果Fig.3 Saliency map corresponding to different λ.(a) Filling mixed; (b) Skips; (c) Broken skip

接下來(lái)，考慮不同的平衡因子λ所對(duì)應(yīng)的顯著圖，具體如圖3所示。平衡因子λ可控制低秩度和稀疏度之間的平衡。由圖3可見(jiàn)，當(dāng)λ較小時(shí)，存在的噪聲較大，如圖3中B圖所示。當(dāng)λ較大時(shí)，可能會(huì)產(chǎn)生漏檢的情況，如圖3中F圖所示，所以綜合考慮各種因素，本文選擇平衡因子λ為0.06。

通過(guò)上文分析，本文選擇特征維數(shù)為8，平衡因子λ為0.06的顯著圖作為最終的檢測(cè)結(jié)果。

圖4 基于上下文感知生成的顯著圖Fig.4 Saliency maps generated by context aware method.(a) Filling mixed; (b) Skips; (c) Broken skip

圖5 基于元胞自動(dòng)機(jī)生成的顯著圖Fig.5 Saliency maps generated by cellular automaton method.(a) Filling mixed; (b) Skips; (c) Broken skip

圖6 基于低層特征小波變換生成的顯著圖Fig.6 Saliency maps generated by low-level features of wavelet transform method.(a) Filling mixed; (b) Skips; (c) Broken skip

圖7 采用本文方法生成的顯著圖Fig.7 Saliency maps generated by proposed method. (a) Filling mixed; (b) Skips; (c) Broken skip

圖8 最終分割結(jié)果Fig.8 Final segmentation results.(a) Filling mixed; (b) Skips; (c) Broken skip

將本文算法生成的顯著圖與其他視覺(jué)顯著模型生成的視覺(jué)顯著圖進(jìn)行對(duì)比，最后再對(duì)顯著圖進(jìn)行閾值分割，定位并凸顯出疵點(diǎn)區(qū)域，結(jié)果如圖4～8所示。由圖 可看到，基于上下文感知的視覺(jué)顯著圖[13]只考慮了圖像的亮度特征，而對(duì)于織物圖像更多的是紋理和方向特征，且大都為灰度圖像，所以該方法不太適合于織物的疵點(diǎn)檢測(cè)；基于元胞自動(dòng)機(jī)[14]生成的視覺(jué)顯著圖只是將圖像分成大小不一的元胞，而忽略了織物圖像的整體信息，對(duì)織物疵點(diǎn)圖像的檢測(cè)效果都不是太理想；基于低層特征的小波變換[15]生成的視覺(jué)顯著圖，也是只考慮了圖像的亮度特征，對(duì)于疵點(diǎn)和背景紋理差別不大的圖片基本上就完全失效，如圖6(c)所示；而由本文方法結(jié)合HOG特征和低秩分解算法得到的顯著圖可有效地突出織物的疵點(diǎn)區(qū)域，如圖7所示。

最后，對(duì)于生成的視覺(jué)顯著圖，利用前述的改進(jìn)最優(yōu)閾值分割算法對(duì)顯著圖進(jìn)行分割，從而定位出疵點(diǎn)區(qū)域，實(shí)驗(yàn)結(jié)果如圖8所示。從最終的分割圖可看出，本文算法可很好地將疵點(diǎn)和背景分離開(kāi)，且更加凸顯疵點(diǎn)區(qū)域，檢測(cè)正確。

3 結(jié) 論

本文提出一種基于HOG特征和低秩分解的織物疵點(diǎn)檢測(cè)算法。首先將疵點(diǎn)圖像均勻分塊，再提取HOG特征，取每塊的這些特征作為該塊的特征向量，將所有的特征向量組合成的特征矩陣進(jìn)行低秩分解，得到一個(gè)對(duì)應(yīng)于背景的低秩矩陣和對(duì)應(yīng)于疵點(diǎn)的稀疏矩陣，通過(guò)稀疏矩陣生成顯著圖。最后通過(guò)迭代最優(yōu)閾值分割算法對(duì)顯著圖進(jìn)行分割，得到最終的檢測(cè)結(jié)果。實(shí)驗(yàn)證明了本文算法可有效并正確地檢測(cè)出疵點(diǎn)區(qū)域。將本文算法生成的顯著圖與其他視覺(jué)顯著性模型生成的顯著圖進(jìn)行對(duì)比認(rèn)為，本文算法更具有較好的有效性和魯棒性。本文算法的提出，為進(jìn)一步研究在復(fù)雜結(jié)構(gòu)中的目標(biāo)檢測(cè)提供了新的思路。

FZXB

[1] ALATA O, RAMANANJARASOA C. Unsupervised textured image segmentation using 2-D quarter plane autoregressive model with four prediction supports [J]. Pattern Recognition Letters, 2005, 26(8):1069-1081.

[2] YANG X, PANG G, YUNG N. Robust fabric defect detection and classification using multiple adaptive wavelets [J]. IEE Proceedings-Vision, Image and Signal Processing, 2005, 152(6):715-723.

[3] YING S. Fabric defects detection using adaptive wavelets [J]. International Journal of Clothing Science & Technology, 2014, 26(3):202-211.

[4] 劉洲峰,趙全軍,李春雷,等. 基于局部統(tǒng)計(jì)與整體顯著性的織物疵點(diǎn)檢測(cè)算法[J]. 紡織學(xué)報(bào), 2014, 35(11):62-67. LIU Zhoufeng, ZHAO Quanjun, LI Chunlei, et al. Fabric defect detection algorithm using local statistic features and global saliency analysis [J]. Journal of Textile Research, 2014, 35(11):62-67.

[5] 劉洲峰,閆磊,李春雷,等. 基于稀疏優(yōu)化的織物疵點(diǎn)檢測(cè)算法[J]. 紡織學(xué)報(bào), 2016, 37(5):56-61. LIU Zhoufeng, YAN Lei, LI Chunlei, et al. Fabric defect detection algorithm based on sparse optimiz-ation [J]. Journal of Textile Research, 2016, 37(5):56-61.

[6] ZHOU Xiaowei, YANG Can, YU Weichuan. Moving

object detection by detecting contiguous outliers in the low-rank representation [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 35(3):597-610.

[7] ZHENG Z, YU M, JIA J, et al. Fisher discrimination based low rank matrix recovery for face recognition [J]. Pattern Recognition, 2014, 47(11):3502-3511.

[8] 趙愛(ài)罡, 王宏力, 楊小岡,等. 基于結(jié)構(gòu)低秩編碼的復(fù)雜環(huán)境紅外弱小目標(biāo)檢測(cè)算法 [J]. 中國(guó)慣性技術(shù)學(xué)報(bào), 2015, 23(5):662-669. ZHAO Aigang，WANG Hongli, YANG Xiaogang, et al. Infrared dim small target detection algorithm based on structural low-rank coding under complex environment. Journal of Chinese Inertial Technology, 2015, 23(5):662-669.

[9] YUAN Xiaoming, YANG Junfeng. Sparse and low rank matrix decomposition via alternating direction method [J]. Pacific Journal of Optimization, 2009, 9(1)：1-16.

[10] 李春雷, 張兆翔, 劉洲峰,等. 基于紋理差異視覺(jué)顯著性的織物疵點(diǎn)檢測(cè)算法[J]. 山東大學(xué)學(xué)報(bào)(工學(xué)版), 2014，44(4):1-8. LI Chunlei, ZHANG Zhaoxiang, LIU Zhoufeng, et al. A novel fabric defect detection algorithm based on textural differential visual saliency model [J]. Journal of Shandong University, 2014, 44(4):1-8.

[11] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]// IEEE Conference on Computer Vision and Pattern Recognition, CVPR Workshops 2005. San Diego: IEEE,2005： 886-893.

[12] CHEN Minming, GANESH A，LIN Z，et al. Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix [J]. Journal of the Marine Biological Association of the UK，2009，56(3):707-722.

[13] GOFERMAN S, ZELNIK-MANOR L, TAL A. Context-aware saliency detection [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 34(10):1915-1926.

[14] QIN Yao, LU Huchuan, XU Yiqun, et al. Saliency detection via cellular automata [C]// IEEE Conference on Computer Vision and Pattern Recognition, Boston: IEEE, 2015:110-119.

[15] IMAMOGLU N, LIN W, FANG Y. A saliency detection model using low-level features based on wavelet transform [J]. Multimedia IEEE Transactions on, 2013, 15(1):96-105.

Fabric defect detection algorithm based on histogram of orientedgradient and low-rank decomposition

LI Chunlei1, GAO Guangshuai1, LIU Zhoufeng1， LIU Qiuli1， LI Wenyu2

(1.SchoolofElectricandInformationEngineering,ZhongyuanUniversityofTechnology,Zhengzhou,Henan451191,China; 2.SchoolofTextile,ZhongyuanUniversityofTechnology,Zhengzhou,Henan451191,China)

Fabric defect detection plays an important role in controlling the quality of fabric surface. An effective fabric detection algorithm based on histogram of oriented gradient (HOG) and low-rank decomposition was proposed. Firstly, the test fabric image was divided into image blocks with the same size. A feature matrix was generated by extracting the HOG feature of each block. Secondly, an efficient low-rank decomposition model was constructed, and alternating direction method (ADM) was adopted to decompose the feature matrix into a low-rank matrix and a sparse matrix. Finally, the saliency map generated by sparse matrix was segmented via an improved optimal threshold algorithm to localize the defect. The experimental results show that the proposed method can sufficiently improve the defect detection performance of complicated textile texture patterns.

histogram of oriented gradient; low-rank decomposition; fabric image; defect detection

2016-03-22

2016-12-13

國(guó)家自然科學(xué)基金資助項(xiàng)目(61379113；61202499)；河南省高校科技創(chuàng)新人才項(xiàng)目(17HASTIT019);鄭州市科技領(lǐng)軍人才項(xiàng)目(131PLJRC643)

李春雷(1979—)，男，副教授，博士。主要研究方向?yàn)閳D像處理與目標(biāo)識(shí)別。E-mail: lichunlei1979@sina.com。

10.13475/j.fzxb.20160304106

TP 391.9； TS 736.2

A