馬金秀，張緩緩，景軍鋒，李鵬飛，王 震，仵景濤

(西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048)

0 引 言

印花織物作為一種附加值較高的織物，在服裝制衣、高端家紡制品及家居裝飾品中的應(yīng)用十分廣泛[1-2]。但在花型印制的過程中，由于機(jī)械故障、人工操作失誤以及生產(chǎn)環(huán)境干擾等因素，不可避免地產(chǎn)生缺陷，而缺陷的存在直接影響了印花終端產(chǎn)品的質(zhì)量及價(jià)格。因此，對(duì)印花織物的缺陷檢測(cè)尤為重要。然而印花織物材質(zhì)多樣、紋理結(jié)構(gòu)復(fù)雜、顏色多變、花型繁多，缺陷特征難以有效表征，極大地增加了計(jì)算機(jī)對(duì)缺陷檢測(cè)的難度。

近年來(lái)，隨著機(jī)器學(xué)習(xí)、圖像處理與模式識(shí)別在紡織品工業(yè)質(zhì)量控制方面的廣泛應(yīng)用，許多國(guó)內(nèi)外學(xué)者針對(duì)原料布[3-4]、網(wǎng)狀織物[5]和色織物[6-7]等面料紋理結(jié)構(gòu)相對(duì)簡(jiǎn)單的織物瑕疵的研究取得了較多得成果。為了進(jìn)一步解決具有復(fù)雜紋理和花型特性的印花織物缺陷，潘如如等提出了一種基于互相關(guān)的印花織物缺陷檢測(cè)方法[8]，該方法能實(shí)現(xiàn)印花織物的花紋偏移、顏色色差等缺陷的自動(dòng)檢測(cè)，但是這些缺陷都來(lái)自于軟件的模擬，并沒有對(duì)實(shí)際的印花樣本進(jìn)行驗(yàn)證。KUO等提出了一種基于RGB累計(jì)均值法的印花織物缺陷檢測(cè)方法[9]，并對(duì)斷經(jīng)、斷緯等缺陷進(jìn)行了有效檢測(cè)，但RGB空間計(jì)算量大，對(duì)硬件要求較高且論文并未對(duì)非周期印花織物進(jìn)行探討。景軍鋒等提出采用曲線匹配算法對(duì)織物圖像進(jìn)行分割[10]，完成圓網(wǎng)印花過程中對(duì)花誤差的檢測(cè)，但是在檢測(cè)過程中必須以標(biāo)準(zhǔn)圖像進(jìn)行對(duì)比匹配，否則無(wú)法完成檢測(cè)。劉茁梅等提出基于稀疏表示的印花織物缺陷檢測(cè)[11]，但其文中的印花織物并非嚴(yán)格意義上的印花織物，仍然屬于紋理結(jié)構(gòu)相對(duì)簡(jiǎn)單的織物類型。LIU等利用多級(jí)GAN網(wǎng)絡(luò)對(duì)數(shù)量較少的印花織物進(jìn)行樣本擴(kuò)充[12]，提高分割網(wǎng)絡(luò)的精度，成功完成對(duì)周期性印花織物的缺陷檢測(cè)。JING等利用Mobile-Unet網(wǎng)絡(luò)模型實(shí)現(xiàn)了對(duì)多種類型織物缺陷的檢測(cè)[13]，結(jié)果表現(xiàn)優(yōu)秀，但是網(wǎng)絡(luò)模型的訓(xùn)練需要人工標(biāo)記大量的圖片，費(fèi)時(shí)費(fèi)力、主觀性強(qiáng)。李敏等使用高斯混合模型完成了對(duì)印花織物錯(cuò)花、色差以及花型歪斜等缺陷的檢測(cè)[14]，但該方法的檢測(cè)目標(biāo)仍然是周期性印花織物，且需要正樣本的對(duì)比匹配。任歡歡等提出的一種基于黃金圖像減法與傅里葉變換位移定理曲線匹配算法相結(jié)合的方法[15]，實(shí)現(xiàn)了周期性印花織物的錯(cuò)花缺陷檢測(cè)。

而這些方法目前解決的問題多是周期性印花織物缺陷，缺陷類型主要集中在錯(cuò)花、對(duì)花[16]等方面，并沒有對(duì)非周期性印花織物的漏墨、破洞等缺陷進(jìn)行驗(yàn)證，而且這些方法需要無(wú)缺陷圖像作為正樣本參考匹配，參數(shù)調(diào)節(jié)繁瑣。因此，為了解決以上問題，文中以圖像修復(fù)技術(shù)為基礎(chǔ)，給出一種改進(jìn)的Criminisi算法對(duì)織物缺陷進(jìn)行檢測(cè)，旨在修復(fù)印花織物的缺陷圖像以達(dá)到最終檢測(cè)的目的。

1 印花織物圖像缺陷檢測(cè)

文中提出的基于Criminisi修復(fù)算法非周期性印花織物缺陷檢測(cè)方法，先以FT算法和大津閾值處理后的顯著二值圖作為Criminisi算法的Mask掩碼圖，得到修復(fù)的印花圖像，然后將修復(fù)圖與原圖做差，最終得到缺陷區(qū)域。該方法的優(yōu)勢(shì)在于不需要正樣本的對(duì)比匹配，不需要參數(shù)的調(diào)節(jié)，操作簡(jiǎn)單，即可實(shí)現(xiàn)對(duì)非周期性印花織物漏墨、污漬的缺陷檢測(cè)。檢測(cè)流程如圖1所示。

圖 1 印花織物缺陷檢測(cè)框圖Fig.1 Flow chart of printed fabric defect detection

1.1 Mask掩碼圖的獲取

Mask掩碼圖用于印花織物的修復(fù)過程，用來(lái)確定待修復(fù)區(qū)域，對(duì)印花織物缺陷檢測(cè)非常重要。雖然非周期性印花織物的背景紋理復(fù)雜多變，缺陷區(qū)域不易識(shí)別，但其缺陷區(qū)域有一定的顯著性，因此本文利用FT顯著性算法[17]，獲取印花織物的顯著信息。算法原理為該方法先對(duì)圖像進(jìn)行高斯濾波，獲得濾波后的圖像，提取其像素點(diǎn)的Lab值Ic(x,y)，然后計(jì)算圖像在Lab空間的均值Iμ，最后通過計(jì)算歐氏距離，獲得缺陷區(qū)域的顯著圖。

為了保證獲取完整的印花缺陷顯著區(qū)域，對(duì)顯著性圖有明確要求：①著重強(qiáng)調(diào)最大的顯著性物體；②顯著性區(qū)域的亮度均勻；③邊界處明顯；④丟棄有紋理、噪聲產(chǎn)生的高頻信息，避免對(duì)顯著性檢測(cè)的干擾；⑤算法高效，顯著圖與原圖大小一致。

通過上述要求可以看出，得到的顯著圖像中需要保留目標(biāo)部分低頻信號(hào)，也要表征目標(biāo)邊緣對(duì)應(yīng)的高頻信號(hào)，同時(shí)要去除噪聲的干擾等因素所對(duì)應(yīng)的高頻信號(hào)。為了解決這些問題，在計(jì)算顯著圖的過程中，選擇不同頻率分段的信號(hào)并進(jìn)行組合，濾除非顯著區(qū)域?qū)?yīng)的頻率，以獲得滿足要求的顯著圖。

FT將組合的高斯差分濾波器(difference of Gaussian，DoG)作為帶通濾波器使用。DoG通過把原圖像與高斯核函數(shù)卷積得到濾波結(jié)果F(x,y)，可表示為

G(x,y,σ1)-G(x,y,σ2)

(1)

式中：x、y分別為圖像像素的橫、縱坐標(biāo);σ1和σ2為高斯標(biāo)準(zhǔn)差，且σ1>σ2。并且當(dāng)DoG的標(biāo)準(zhǔn)差比ρ=σ1/σ2固定在1.6時(shí)[18]，可以達(dá)到理想顯著效果。

對(duì)于任意圖像I的顯著性圖定義為S(x,y)，得

S(x,y)=|Iμ-Ic(x,y)|

(2)

式中：Iμ為原圖像素值的算術(shù)平均值；Ic(x,y)為經(jīng)過DoG算子模糊后圖像(x,y)處的像素值。

將式(2)加入顏色特征和亮度特征，其擴(kuò)展公式為

S(x,y)=‖Iμ-Ic(x,y)‖

(3)

式中：‖‖為L(zhǎng)2范數(shù);Iμ為圖像的特征向量；Ic(x,y) 是原始圖像對(duì)應(yīng)的高斯模糊圖像的像素矢量。式(3)可以滿足前面提出的要求。

為了進(jìn)一步獲取Mask掩碼圖，需要分割突出區(qū)域，即待修復(fù)區(qū)域。因此需要對(duì)顯著性圖進(jìn)行自適應(yīng)閾值二值化，白色像素(像素值為1)對(duì)應(yīng)待修復(fù)區(qū)域，而黑色像素(像素值為0)對(duì)應(yīng)印花織物背景,本文選用大津法[19]對(duì)顯著圖進(jìn)行分割。

首先要計(jì)算顯著圖中的類間方差，類間方差定義公式為

g=ω0ω1(μ0-μ1)2

(4)

式中：g為類間方差；ω0為前景的像素點(diǎn)數(shù)占整幅圖像的比例；μ0為其平均灰度；ω1為背景像素點(diǎn)數(shù)占整幅圖像的比例；μ1為其平均灰度。然后根據(jù)計(jì)算的類間方差，獲取Mask掩碼圖。

1.2 基于Criminisi算法的圖像修復(fù)

獲取Mask掩碼圖之后，采用 Criminisi算法[20]對(duì)印花織物缺陷圖像進(jìn)行修復(fù)。Criminisi算法是一種基于樣例的修復(fù)算法，它的優(yōu)勢(shì)在于用合適的方法填補(bǔ)圖像缺失的部分，對(duì)合成圖像和復(fù)雜紋理的全彩圖像上的大物體遮擋和小劃痕具有良好的修復(fù)作用。而印花織物的背景花紋紋理復(fù)雜，缺陷區(qū)域形狀、大小不一。因此在獲得Mask掩碼圖后，利用Criminisi算法修復(fù)缺陷印花織物。

1) 在需要修復(fù)區(qū)域(即印花的缺陷區(qū)域)的輪廓上計(jì)算優(yōu)先權(quán)，選擇優(yōu)先權(quán)最大的輪廓點(diǎn)作為待修復(fù)點(diǎn)，優(yōu)先權(quán)P(p)可表示為

P(p)=C(p)D(p)

(5)

式中：C(p)為置信度項(xiàng)，表示樣本塊中包含的已知像素點(diǎn)的多少；D(p)為數(shù)據(jù)項(xiàng),表示結(jié)構(gòu)信息量。C(p)越大,說(shuō)明p中包含的已知信息所占有的比例越大，即置信度越大,應(yīng)優(yōu)先修復(fù)。D(p)越大，說(shuō)明表面線性結(jié)構(gòu)越復(fù)雜,應(yīng)優(yōu)先修復(fù)。隨著修復(fù)的進(jìn)行，待修復(fù)區(qū)域外層的像素將趨向于更大的置信值，因此會(huì)更早填充,待修復(fù)中心的像素將具有更小的置信值。其中，C(p)與D(p)分別定義為

(6)

(7)

2) 在該點(diǎn)周圍鄰域取一個(gè)一定大小的樣本塊，在圖像其他區(qū)域內(nèi)找該樣本塊的最近鄰塊。樣本塊的大小是n×n(其中n為像素的個(gè)數(shù))，修復(fù)過程中，本文選取Criminisi算法默認(rèn)的9×9大小的樣本塊。

3) 將最近鄰patch塊對(duì)應(yīng)到需要修復(fù)區(qū)域(即缺陷區(qū)域)的部分，復(fù)制到等待修復(fù)的區(qū)域，再重復(fù)上述步驟，直至所有點(diǎn)都填充完畢。

圖2從左到右依次為Criminisi修復(fù)算法的某一次迭代過程。其中，Ω表示待修復(fù)區(qū)域，即缺陷區(qū)域，其輪廓用δΩ表示；Φ表示源區(qū)域，提供修復(fù)過程中使用的樣本。假設(shè)要修復(fù)以點(diǎn)p為中心的方形模板Ψp∈Ω，源區(qū)域的最佳匹配樣本來(lái)自于Ψq∈Φ，Ψq是與Ψp已修復(fù)部分最相似的部分。如果Ψp位于圖像邊緣的延續(xù)上，則最可能的最佳匹配將位于相同(或顏色相似)的邊緣上。所有需要修復(fù)的等壓線向內(nèi)傳播是通過一個(gè)簡(jiǎn)單的模式，即從最佳匹配的源圖像塊轉(zhuǎn)移到待修復(fù)的塊中。

圖 2 Criminisi修復(fù)算法的一次迭代過程Fig.2 An iteration process of Criminisi repair algorithm

2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所提方法的有效性，實(shí)驗(yàn)選取溢達(dá)織物裁片庫(kù)和實(shí)地工廠采集的印花織物作為實(shí)驗(yàn)檢測(cè)樣本，包括迷彩印花圖片和復(fù)雜印花圖片，印花圖片的缺陷類型主要集中在漏墨、污漬等，圖片像素大小均為256×256。計(jì)算機(jī)處理器為Intel(R) Core(TM)i5-5200U CPU@2.20GHz，操作系統(tǒng)為64位Windows 10，軟件編譯環(huán)境為Matlab 2019a。

本文所提方法對(duì)非周期性印花織物的檢測(cè)結(jié)果與其他方法的對(duì)比結(jié)果如圖3所示，圖3中1～4種織物為復(fù)雜印花織物，第5種織物為迷彩印花織物，圖中紅色框?yàn)槿毕菟谖恢谩?/p>

(a) 各種印花織物缺陷原圖

(b) 文獻(xiàn)[13]方法檢測(cè)結(jié)果

(c) 文獻(xiàn)[14]方法檢測(cè)結(jié)果

(d) 文獻(xiàn)[21]方法檢測(cè)結(jié)果

(e) 本文方法圖 3 各種印花織物缺陷檢測(cè)對(duì)比結(jié)果Fig.3 Defect detection and comparison results of various printed fabrics

從圖3(b)可知，文獻(xiàn)[13]基于Mobile-Unet網(wǎng)絡(luò)模型的方法可以檢測(cè)到部分印花樣本缺陷，較好地保留了缺陷的細(xì)節(jié)部分，但是對(duì)迷彩印花織物檢測(cè)結(jié)果并不理想，原因在于迷彩印花缺陷損壞程度較小，不易檢測(cè)。另外，該方法需要對(duì)大量的樣本進(jìn)行人工標(biāo)記，主觀性較強(qiáng)。從圖3(c)可知，文獻(xiàn)[14]基于高斯模型的方法對(duì)印花織物的缺陷總體檢測(cè)不準(zhǔn)確，無(wú)法有效去除花紋背景紋理的影響，同樣，迷彩印花織物的背景信息對(duì)檢測(cè)結(jié)果的影響也較大。從圖3(d)可知，文獻(xiàn)[21]基于先驗(yàn)知識(shí)的最小二乘回歸方法對(duì)印花織物的整體檢測(cè)效果不佳，得到的不規(guī)則圖是模糊的，定位的缺陷也是不準(zhǔn)確的，原因在于印花織物過于復(fù)雜的背景紋理增加了該方法對(duì)缺陷檢測(cè)的難度。

從本文方法的檢測(cè)結(jié)果圖3(e)可以看出，該方法能夠有效檢測(cè)到各類非周期性印花織物的漏墨、破洞、污漬等缺陷區(qū)域，并且基本保留了缺陷區(qū)域的完整性。所提方法的實(shí)驗(yàn)過程中無(wú)需正樣本圖像作對(duì)比參照，不涉及參數(shù)的調(diào)節(jié)，減少了檢測(cè)的繁瑣性，適用范圍較為廣泛。

在織物疵點(diǎn)檢測(cè)中，客觀評(píng)價(jià)指標(biāo)主要從準(zhǔn)確率RACC、漏檢率M、誤檢率F和交占比4個(gè)指標(biāo)來(lái)進(jìn)行量化對(duì)比。成功檢測(cè)到的缺陷被歸類為真實(shí)陽(yáng)性TP，錯(cuò)誤檢測(cè)被歸類為假陽(yáng)性FP，未檢測(cè)到的缺陷被歸類為假陰性FN。RACC、M、F可表示為

(8)

M=FN/(TP+FN)

(9)

F=FP/(FP+TN)

(10)

交占比是交集面積與理論真實(shí)面積和檢測(cè)到的多邊形區(qū)域的并集面積之比，比值越接近1，表示檢測(cè)結(jié)果與實(shí)際情況越接近。本文方法和其他方法在RACC、M、F和交占比上的對(duì)比結(jié)果如表1所示，其中“-”表示無(wú)法獲得。

表 1 評(píng)價(jià)指標(biāo)對(duì)比結(jié)果Fig.1 Comparison of evaluation indicators

從表1可以看出，文獻(xiàn)[21]無(wú)法檢測(cè)到印花織物的缺陷，文獻(xiàn)[14]對(duì)復(fù)雜印花織物的漏檢率結(jié)果表現(xiàn)良好，文獻(xiàn)[13]對(duì)復(fù)雜印花的交占比較高，但對(duì)其他參數(shù)指標(biāo)，本文方法的結(jié)果都優(yōu)于其他方法，檢測(cè)準(zhǔn)確度整體水平較高，誤檢率與漏檢率較低，交占比高，能夠達(dá)到檢測(cè)要求。

3 結(jié) 語(yǔ)

本文針對(duì)非周期性印花織物背景紋理結(jié)構(gòu)復(fù)雜、花型繁多、缺陷區(qū)域不易檢測(cè)的問題，提出基于Criminisi修復(fù)算法對(duì)非周期性印花織物缺陷進(jìn)行檢測(cè)。首先,使用FT算法對(duì)印花織物原圖進(jìn)行顯著性檢測(cè)，用大津閾值法對(duì)顯著圖處理，得到Mask掩碼圖，確定待修復(fù)區(qū)域,其次,基于Criminisi修復(fù)算法對(duì)缺陷圖像進(jìn)行修復(fù)，最后,將修復(fù)圖與原圖做減法，從而得到缺陷檢測(cè)區(qū)域。經(jīng)大量實(shí)驗(yàn)驗(yàn)證，該方法無(wú)需正樣本，無(wú)需復(fù)雜參數(shù)調(diào)節(jié)，準(zhǔn)確率高，誤檢率與漏檢率相對(duì)較小，既能檢測(cè)非印花類織物缺陷，也能夠分割出印花織物的缺陷區(qū)域。在未來(lái)的研究中，還需對(duì)該方法加以改進(jìn)，使其在較短時(shí)間內(nèi)完成更多復(fù)雜印花織物的不同缺陷類型的檢測(cè)。