馬金秀，張緩緩，景軍鋒，李鵬飛，王 震，仵景濤

(西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048)

0 引 言

印花織物作為一種附加值較高的織物，在服裝制衣、高端家紡制品及家居裝飾品中的應(yīng)用十分廣泛[1-2]。但在花型印制的過程中，由于機(jī)械故障、人工操作失誤以及生產(chǎn)環(huán)境干擾等因素，不可避免地產(chǎn)生缺陷，而缺陷的存在直接影響了印花終端產(chǎn)品的質(zhì)量及價格。因此，對印花織物的缺陷檢測尤為重要。然而印花織物材質(zhì)多樣、紋理結(jié)構(gòu)復(fù)雜、顏色多變、花型繁多，缺陷特征難以有效表征，極大地增加了計算機(jī)對缺陷檢測的難度。

近年來，隨著機(jī)器學(xué)習(xí)、圖像處理與模式識別在紡織品工業(yè)質(zhì)量控制方面的廣泛應(yīng)用，許多國內(nèi)外學(xué)者針對原料布[3-4]、網(wǎng)狀織物[5]和色織物[6-7]等面料紋理結(jié)構(gòu)相對簡單的織物瑕疵的研究取得了較多得成果。為了進(jìn)一步解決具有復(fù)雜紋理和花型特性的印花織物缺陷，潘如如等提出了一種基于互相關(guān)的印花織物缺陷檢測方法[8]，該方法能實現(xiàn)印花織物的花紋偏移、顏色色差等缺陷的自動檢測，但是這些缺陷都來自于軟件的模擬，并沒有對實際的印花樣本進(jìn)行驗證。KUO等提出了一種基于RGB累計均值法的印花織物缺陷檢測方法[9]，并對斷經(jīng)、斷緯等缺陷進(jìn)行了有效檢測，但RGB空間計算量大，對硬件要求較高且論文并未對非周期印花織物進(jìn)行探討。景軍鋒等提出采用曲線匹配算法對織物圖像進(jìn)行分割[10]，完成圓網(wǎng)印花過程中對花誤差的檢測，但是在檢測過程中必須以標(biāo)準(zhǔn)圖像進(jìn)行對比匹配，否則無法完成檢測。劉茁梅等提出基于稀疏表示的印花織物缺陷檢測[11]，但其文中的印花織物并非嚴(yán)格意義上的印花織物，仍然屬于紋理結(jié)構(gòu)相對簡單的織物類型。LIU等利用多級GAN網(wǎng)絡(luò)對數(shù)量較少的印花織物進(jìn)行樣本擴(kuò)充[12]，提高分割網(wǎng)絡(luò)的精度，成功完成對周期性印花織物的缺陷檢測。JING等利用Mobile-Unet網(wǎng)絡(luò)模型實現(xiàn)了對多種類型織物缺陷的檢測[13]，結(jié)果表現(xiàn)優(yōu)秀，但是網(wǎng)絡(luò)模型的訓(xùn)練需要人工標(biāo)記大量的圖片，費時費力、主觀性強(qiáng)。李敏等使用高斯混合模型完成了對印花織物錯花、色差以及花型歪斜等缺陷的檢測[14]，但該方法的檢測目標(biāo)仍然是周期性印花織物，且需要正樣本的對比匹配。任歡歡等提出的一種基于黃金圖像減法與傅里葉變換位移定理曲線匹配算法相結(jié)合的方法[15]，實現(xiàn)了周期性印花織物的錯花缺陷檢測。

而這些方法目前解決的問題多是周期性印花織物缺陷，缺陷類型主要集中在錯花、對花[16]等方面，并沒有對非周期性印花織物的漏墨、破洞等缺陷進(jìn)行驗證，而且這些方法需要無缺陷圖像作為正樣本參考匹配，參數(shù)調(diào)節(jié)繁瑣。因此，為了解決以上問題，文中以圖像修復(fù)技術(shù)為基礎(chǔ)，給出一種改進(jìn)的Criminisi算法對織物缺陷進(jìn)行檢測，旨在修復(fù)印花織物的缺陷圖像以達(dá)到最終檢測的目的。

1 印花織物圖像缺陷檢測

文中提出的基于Criminisi修復(fù)算法非周期性印花織物缺陷檢測方法，先以FT算法和大津閾值處理后的顯著二值圖作為Criminisi算法的Mask掩碼圖，得到修復(fù)的印花圖像，然后將修復(fù)圖與原圖做差，最終得到缺陷區(qū)域。該方法的優(yōu)勢在于不需要正樣本的對比匹配，不需要參數(shù)的調(diào)節(jié)，操作簡單，即可實現(xiàn)對非周期性印花織物漏墨、污漬的缺陷檢測。檢測流程如圖1所示。

圖 1 印花織物缺陷檢測框圖Fig.1 Flow chart of printed fabric defect detection

1.1 Mask掩碼圖的獲取

Mask掩碼圖用于印花織物的修復(fù)過程，用來確定待修復(fù)區(qū)域，對印花織物缺陷檢測非常重要。雖然非周期性印花織物的背景紋理復(fù)雜多變，缺陷區(qū)域不易識別，但其缺陷區(qū)域有一定的顯著性，因此本文利用FT顯著性算法[17]，獲取印花織物的顯著信息。算法原理為該方法先對圖像進(jìn)行高斯濾波，獲得濾波后的圖像，提取其像素點的Lab值Ic(x,y)，然后計算圖像在Lab空間的均值Iμ，最后通過計算歐氏距離，獲得缺陷區(qū)域的顯著圖。

為了保證獲取完整的印花缺陷顯著區(qū)域，對顯著性圖有明確要求：①著重強(qiáng)調(diào)最大的顯著性物體；②顯著性區(qū)域的亮度均勻；③邊界處明顯；④丟棄有紋理、噪聲產(chǎn)生的高頻信息，避免對顯著性檢測的干擾；⑤算法高效，顯著圖與原圖大小一致。

通過上述要求可以看出，得到的顯著圖像中需要保留目標(biāo)部分低頻信號，也要表征目標(biāo)邊緣對應(yīng)的高頻信號，同時要去除噪聲的干擾等因素所對應(yīng)的高頻信號。為了解決這些問題，在計算顯著圖的過程中，選擇不同頻率分段的信號并進(jìn)行組合，濾除非顯著區(qū)域?qū)?yīng)的頻率，以獲得滿足要求的顯著圖。

FT將組合的高斯差分濾波器(difference of Gaussian，DoG)作為帶通濾波器使用。DoG通過把原圖像與高斯核函數(shù)卷積得到濾波結(jié)果F(x,y)，可表示為

G(x,y,σ1)-G(x,y,σ2)

(1)

式中：x、y分別為圖像像素的橫、縱坐標(biāo);σ1和σ2為高斯標(biāo)準(zhǔn)差，且σ1>σ2。并且當(dāng)DoG的標(biāo)準(zhǔn)差比ρ=σ1/σ2固定在1.6時[18]，可以達(dá)到理想顯著效果。

對于任意圖像I的顯著性圖定義為S(x,y)，得

S(x,y)=|Iμ-Ic(x,y)|

(2)

式中：Iμ為原圖像素值的算術(shù)平均值；Ic(x,y)為經(jīng)過DoG算子模糊后圖像(x,y)處的像素值。

將式(2)加入顏色特征和亮度特征，其擴(kuò)展公式為

S(x,y)=‖Iμ-Ic(x,y)‖

(3)

式中：‖‖為L2范數(shù);Iμ為圖像的特征向量；Ic(x,y) 是原始圖像對應(yīng)的高斯模糊圖像的像素矢量。式(3)可以滿足前面提出的要求。

為了進(jìn)一步獲取Mask掩碼圖，需要分割突出區(qū)域，即待修復(fù)區(qū)域。因此需要對顯著性圖進(jìn)行自適應(yīng)閾值二值化，白色像素(像素值為1)對應(yīng)待修復(fù)區(qū)域，而黑色像素(像素值為0)對應(yīng)印花織物背景,本文選用大津法[19]對顯著圖進(jìn)行分割。

首先要計算顯著圖中的類間方差，類間方差定義公式為

g=ω0ω1(μ0-μ1)2

(4)

式中：g為類間方差；ω0為前景的像素點數(shù)占整幅圖像的比例；μ0為其平均灰度；ω1為背景像素點數(shù)占整幅圖像的比例；μ1為其平均灰度。然后根據(jù)計算的類間方差，獲取Mask掩碼圖。

1.2 基于Criminisi算法的圖像修復(fù)

獲取Mask掩碼圖之后，采用 Criminisi算法[20]對印花織物缺陷圖像進(jìn)行修復(fù)。Criminisi算法是一種基于樣例的修復(fù)算法，它的優(yōu)勢在于用合適的方法填補圖像缺失的部分，對合成圖像和復(fù)雜紋理的全彩圖像上的大物體遮擋和小劃痕具有良好的修復(fù)作用。而印花織物的背景花紋紋理復(fù)雜，缺陷區(qū)域形狀、大小不一。因此在獲得Mask掩碼圖后，利用Criminisi算法修復(fù)缺陷印花織物。

1) 在需要修復(fù)區(qū)域(即印花的缺陷區(qū)域)的輪廓上計算優(yōu)先權(quán)，選擇優(yōu)先權(quán)最大的輪廓點作為待修復(fù)點，優(yōu)先權(quán)P(p)可表示為

P(p)=C(p)D(p)

(5)

式中：C(p)為置信度項，表示樣本塊中包含的已知像素點的多少；D(p)為數(shù)據(jù)項,表示結(jié)構(gòu)信息量。C(p)越大,說明p中包含的已知信息所占有的比例越大，即置信度越大,應(yīng)優(yōu)先修復(fù)。D(p)越大，說明表面線性結(jié)構(gòu)越復(fù)雜,應(yīng)優(yōu)先修復(fù)。隨著修復(fù)的進(jìn)行，待修復(fù)區(qū)域外層的像素將趨向于更大的置信值，因此會更早填充,待修復(fù)中心的像素將具有更小的置信值。其中，C(p)與D(p)分別定義為

(6)

(7)

2) 在該點周圍鄰域取一個一定大小的樣本塊，在圖像其他區(qū)域內(nèi)找該樣本塊的最近鄰塊。樣本塊的大小是n×n(其中n為像素的個數(shù))，修復(fù)過程中，本文選取Criminisi算法默認(rèn)的9×9大小的樣本塊。

3) 將最近鄰patch塊對應(yīng)到需要修復(fù)區(qū)域(即缺陷區(qū)域)的部分，復(fù)制到等待修復(fù)的區(qū)域，再重復(fù)上述步驟，直至所有點都填充完畢。

圖2從左到右依次為Criminisi修復(fù)算法的某一次迭代過程。其中，Ω表示待修復(fù)區(qū)域，即缺陷區(qū)域，其輪廓用δΩ表示；Φ表示源區(qū)域，提供修復(fù)過程中使用的樣本。假設(shè)要修復(fù)以點p為中心的方形模板Ψp∈Ω，源區(qū)域的最佳匹配樣本來自于Ψq∈Φ，Ψq是與Ψp已修復(fù)部分最相似的部分。如果Ψp位于圖像邊緣的延續(xù)上，則最可能的最佳匹配將位于相同(或顏色相似)的邊緣上。所有需要修復(fù)的等壓線向內(nèi)傳播是通過一個簡單的模式，即從最佳匹配的源圖像塊轉(zhuǎn)移到待修復(fù)的塊中。

圖 2 Criminisi修復(fù)算法的一次迭代過程Fig.2 An iteration process of Criminisi repair algorithm

2 實驗結(jié)果與分析

為驗證所提方法的有效性，實驗選取溢達(dá)織物裁片庫和實地工廠采集的印花織物作為實驗檢測樣本，包括迷彩印花圖片和復(fù)雜印花圖片，印花圖片的缺陷類型主要集中在漏墨、污漬等，圖片像素大小均為256×256。計算機(jī)處理器為Intel(R) Core(TM)i5-5200U CPU@2.20GHz，操作系統(tǒng)為64位Windows 10，軟件編譯環(huán)境為Matlab 2019a。

本文所提方法對非周期性印花織物的檢測結(jié)果與其他方法的對比結(jié)果如圖3所示，圖3中1～4種織物為復(fù)雜印花織物，第5種織物為迷彩印花織物，圖中紅色框為缺陷所在位置。

(a) 各種印花織物缺陷原圖

(b) 文獻(xiàn)[13]方法檢測結(jié)果

(c) 文獻(xiàn)[14]方法檢測結(jié)果

(d) 文獻(xiàn)[21]方法檢測結(jié)果

(e) 本文方法圖 3 各種印花織物缺陷檢測對比結(jié)果Fig.3 Defect detection and comparison results of various printed fabrics

從圖3(b)可知，文獻(xiàn)[13]基于Mobile-Unet網(wǎng)絡(luò)模型的方法可以檢測到部分印花樣本缺陷，較好地保留了缺陷的細(xì)節(jié)部分，但是對迷彩印花織物檢測結(jié)果并不理想，原因在于迷彩印花缺陷損壞程度較小，不易檢測。另外，該方法需要對大量的樣本進(jìn)行人工標(biāo)記，主觀性較強(qiáng)。從圖3(c)可知，文獻(xiàn)[14]基于高斯模型的方法對印花織物的缺陷總體檢測不準(zhǔn)確，無法有效去除花紋背景紋理的影響，同樣，迷彩印花織物的背景信息對檢測結(jié)果的影響也較大。從圖3(d)可知，文獻(xiàn)[21]基于先驗知識的最小二乘回歸方法對印花織物的整體檢測效果不佳，得到的不規(guī)則圖是模糊的，定位的缺陷也是不準(zhǔn)確的，原因在于印花織物過于復(fù)雜的背景紋理增加了該方法對缺陷檢測的難度。

從本文方法的檢測結(jié)果圖3(e)可以看出，該方法能夠有效檢測到各類非周期性印花織物的漏墨、破洞、污漬等缺陷區(qū)域，并且基本保留了缺陷區(qū)域的完整性。所提方法的實驗過程中無需正樣本圖像作對比參照，不涉及參數(shù)的調(diào)節(jié)，減少了檢測的繁瑣性，適用范圍較為廣泛。

在織物疵點檢測中，客觀評價指標(biāo)主要從準(zhǔn)確率RACC、漏檢率M、誤檢率F和交占比4個指標(biāo)來進(jìn)行量化對比。成功檢測到的缺陷被歸類為真實陽性TP，錯誤檢測被歸類為假陽性FP，未檢測到的缺陷被歸類為假陰性FN。RACC、M、F可表示為

(8)

M=FN/(TP+FN)

(9)

F=FP/(FP+TN)

(10)

交占比是交集面積與理論真實面積和檢測到的多邊形區(qū)域的并集面積之比，比值越接近1，表示檢測結(jié)果與實際情況越接近。本文方法和其他方法在RACC、M、F和交占比上的對比結(jié)果如表1所示，其中“-”表示無法獲得。

表 1 評價指標(biāo)對比結(jié)果Fig.1 Comparison of evaluation indicators

從表1可以看出，文獻(xiàn)[21]無法檢測到印花織物的缺陷，文獻(xiàn)[14]對復(fù)雜印花織物的漏檢率結(jié)果表現(xiàn)良好，文獻(xiàn)[13]對復(fù)雜印花的交占比較高，但對其他參數(shù)指標(biāo)，本文方法的結(jié)果都優(yōu)于其他方法，檢測準(zhǔn)確度整體水平較高，誤檢率與漏檢率較低，交占比高，能夠達(dá)到檢測要求。

3 結(jié) 語

本文針對非周期性印花織物背景紋理結(jié)構(gòu)復(fù)雜、花型繁多、缺陷區(qū)域不易檢測的問題，提出基于Criminisi修復(fù)算法對非周期性印花織物缺陷進(jìn)行檢測。首先,使用FT算法對印花織物原圖進(jìn)行顯著性檢測，用大津閾值法對顯著圖處理，得到Mask掩碼圖，確定待修復(fù)區(qū)域,其次,基于Criminisi修復(fù)算法對缺陷圖像進(jìn)行修復(fù)，最后,將修復(fù)圖與原圖做減法，從而得到缺陷檢測區(qū)域。經(jīng)大量實驗驗證，該方法無需正樣本，無需復(fù)雜參數(shù)調(diào)節(jié)，準(zhǔn)確率高，誤檢率與漏檢率相對較小，既能檢測非印花類織物缺陷，也能夠分割出印花織物的缺陷區(qū)域。在未來的研究中，還需對該方法加以改進(jìn)，使其在較短時間內(nèi)完成更多復(fù)雜印花織物的不同缺陷類型的檢測。