郜仲元，余靈婕，章玉銘，支 超，陳夢琦

(1.西安工程大學(xué) 紡織科學(xué)與工程學(xué)院，陜西 西安 710048； 2.西安工程大學(xué) 省部共建智能紡織材料與制品國家重點(diǎn) 實(shí)驗(yàn)室(培育)陜西 西安 710048； 3.紹興文理學(xué)院元培學(xué)院 紡織服裝與藝術(shù)設(shè)計(jì)分院，浙江 紹興 312000)

織物疵點(diǎn)檢測在紡織生產(chǎn)的質(zhì)量控制中起著至關(guān)重要的作用。傳統(tǒng)的人工疵點(diǎn)檢測很容易受到心理等主觀條件的影響，導(dǎo)致效率低、精度低、實(shí)時性能差[1]。因此，智能織物疵點(diǎn)檢測已成為近年來的一種研究趨勢。

近年來，深度學(xué)習(xí)在織物疵點(diǎn)檢測領(lǐng)域取得了可觀的成果，但深度學(xué)習(xí)網(wǎng)絡(luò)的檢測能力主要依賴于訓(xùn)練數(shù)據(jù)集的大小和多樣性[2]。然而由于織物紋理和疵點(diǎn)的復(fù)雜和隨機(jī)性，難以獲得一個包含所有可能的織物紋理和疵點(diǎn)的完整數(shù)據(jù)集，這限制了深度學(xué)習(xí)在織物疵點(diǎn)檢測領(lǐng)域的進(jìn)一步發(fā)展和應(yīng)用。

Goodfellow等[3]于2014年提出了生成式對抗性網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)以人工合成圖像，其在人臉識別、醫(yī)學(xué)、自動駕駛等各類領(lǐng)域取得了較好效果。近年來，基于GAN的改進(jìn)生成模型已被廣泛用于目標(biāo)檢測的數(shù)據(jù)集增強(qiáng)問題。Hu等[4]提出了一種基于深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)的自動檢測織物疵點(diǎn)的無監(jiān)督方法。Liu等[5]采用多層GAN模型在無疵點(diǎn)樣品圖像中人工合成疵點(diǎn)，增強(qiáng)了數(shù)據(jù)集。劉紀(jì)等[6]通過 GAN擴(kuò)充數(shù)據(jù)樣本，再利用濾波處理及霍夫變換檢測織物缺陷。但他們的方法都局限于單一紋理，且適用于特定模型。

雖然收集具有不同紋理和疵點(diǎn)形態(tài)的織物疵點(diǎn)圖像非常困難，但采集包含各類織物背景的無疵點(diǎn)織物圖像相對較為簡單。若能利用GAN網(wǎng)絡(luò)構(gòu)建適用于織物疵點(diǎn)的生成模型，在干凈的無疵點(diǎn)圖像上人工合成各類疵點(diǎn)，則能夠有效增強(qiáng)訓(xùn)練數(shù)據(jù)集，從而提高后續(xù)目標(biāo)檢測模型的效率?；谏鲜鲇懻?，本文提出了一種基于雙層深度Pix2PixGAN網(wǎng)絡(luò)[7](簡稱為DPGAN)的織物疵點(diǎn)數(shù)據(jù)集增強(qiáng)方法，并采用目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN[8]驗(yàn)證該方法對檢測模型的提高效果。實(shí)驗(yàn)結(jié)果表明該方法生成的疵點(diǎn)圖像較為真實(shí)，并能有效提高疵點(diǎn)檢測的準(zhǔn)確性。

1 DPGAN模型

1.1 DPGAN網(wǎng)絡(luò)概述

DPGAN網(wǎng)絡(luò)的主要任務(wù)為在無疵點(diǎn)的織物圖像上人工合成疵點(diǎn)。DPGAN模型基本框架如圖1所示。

圖1 DPGAN模型基本框架Fig.1 Basic framework of the DPGAN model. (a) First stage of DPGAN model; (b) Second stage of DPGAN model

從圖1可以看出，DPGAN網(wǎng)絡(luò)的訓(xùn)練主要包括2個階段：

階段1：DPGAN預(yù)訓(xùn)練。首先對原織物疵點(diǎn)數(shù)據(jù)集(即紋理1)進(jìn)行訓(xùn)練，得到預(yù)訓(xùn)練模型。輸入圖像大小設(shè)置為512 dpi×512 dpi×3 dpi。此階段通過對紋理1圖像中的疵點(diǎn)人工語義分割，并結(jié)合原圖像同時送入網(wǎng)絡(luò)訓(xùn)練，從而實(shí)現(xiàn)了一種偽注意力機(jī)制，幫助網(wǎng)絡(luò)更好地提取疵點(diǎn)特征。為了匹配圖像的像素大小和確保更好的全局信息，深化了一層u-net[9]網(wǎng)絡(luò)結(jié)構(gòu)，并通過調(diào)整適當(dāng)?shù)腖L1損失參數(shù)來確保紋理的完整繼承，此階段網(wǎng)絡(luò)的損失定義見式(1)：

(1)

式中：LPGAN為生成對抗網(wǎng)絡(luò)損失，LL1為正則化損失，G*為總損失。x和y均為輸入圖像，其中x是原織物疵點(diǎn)數(shù)據(jù)集，y為疵點(diǎn)涂白的紋理1圖像數(shù)據(jù)集;D(x,y)表示真實(shí)配對數(shù)據(jù)x與y對于判別器D的結(jié)果，而D(x,G(x))表示x生成的圖像G(x)與x對于D的判斷結(jié)果；在式(1)中，可通過改變λ來控制生成圖像與真實(shí)值的相似度，λ越大則相似度越高，本文λ值設(shè)定為200。

階段2：DPGAN微調(diào)。在預(yù)實(shí)驗(yàn)中發(fā)現(xiàn)經(jīng)預(yù)訓(xùn)練模型生成的疵點(diǎn)圖像不夠真實(shí)，疵點(diǎn)與織物紋理融合效果較差。為此，利用第1階段得到的預(yù)訓(xùn)練疵點(diǎn)圖像，并結(jié)合對應(yīng)紋理2無疵點(diǎn)真實(shí)圖像進(jìn)行第2次訓(xùn)練。增加了疵點(diǎn)與背景的融合度。此階段為了生成圖像與真實(shí)圖像相似度更高，將λ設(shè)定為500。最終完成DPGAN的網(wǎng)絡(luò)權(quán)重訓(xùn)練。

1.2 DPGAN生成器網(wǎng)絡(luò)結(jié)構(gòu)

輸入生成器的圖像大小為512 dpi×512 dpi×3 dpi，DPGAN生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其中，卷積核大小為4，步幅為2。整個網(wǎng)絡(luò)除第1層卷積，使用批處理歸一化來加速網(wǎng)絡(luò)的收斂速度。同時，為了防止過擬合，在前4層反卷積中加入了dropout函數(shù)，并將該值設(shè)置為0.5。

圖2 DPGAN生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of DPGAN generator

2 結(jié)果與討論

2.1 實(shí)驗(yàn)配置

實(shí)驗(yàn)所使用的計(jì)算機(jī)硬件配置為TitanRTXGPU(24 G)，軟件環(huán)境為Windows10操作系統(tǒng)、Tensorflow(2.1.1)深度學(xué)習(xí)框架和Python3.6編程環(huán)境。DPGAN網(wǎng)絡(luò)學(xué)習(xí)率為0.000 2，采用Adam優(yōu)化器自適應(yīng)優(yōu)化學(xué)習(xí)率，迭代次數(shù)為1 000。目標(biāo)檢測網(wǎng)絡(luò)的訓(xùn)練損失函數(shù)沿用原Faster R-CNN中的損失函數(shù)公式。網(wǎng)絡(luò)訓(xùn)練初始學(xué)習(xí)率為0.000 1，迭代次數(shù)為100，采用Adam優(yōu)化器自適應(yīng)優(yōu)化學(xué)習(xí)率。

2.2 基于DPGAN的數(shù)據(jù)增強(qiáng)

為驗(yàn)證方法的有效性，本文分別收集了真實(shí)場景中的織物疵點(diǎn)圖像和無疵點(diǎn)織物圖像作為數(shù)據(jù)集[10]。圖3顯示了搜集的原始織物數(shù)據(jù)集，圖像大小均為600 dpi×600 dpi×3 dpi。其中圖3(a)所示為部分紋理1的織物疵點(diǎn)圖像，包含線狀、破洞和污漬3種疵點(diǎn)類型；圖3(b)為部分紋理2的無疵點(diǎn)織物圖像，此部分圖像將用于數(shù)據(jù)增強(qiáng)。

圖3 原織物數(shù)據(jù)集Fig.3 Original fabric dataset. (a) Parts of fabric defect images of Texture 1; (b) Parts of defect-free fabric images of Texture 2

在訓(xùn)練DPGAN模型時，由于數(shù)據(jù)集不均衡，將色織的破洞和污漬數(shù)據(jù)通過翻轉(zhuǎn)和顏色變換增強(qiáng)1倍，得到最終的DPGAN模型訓(xùn)練集和測試集，如表1所示。

表1 DPGAN模型訓(xùn)練集和測試集Tab.1 Training set and test set of DPGAN model

在無疵點(diǎn)織物圖像上可任意標(biāo)注區(qū)域，通過已訓(xùn)練的DPGAN在該區(qū)域根據(jù)不同模型自動生成不同疵點(diǎn)。圖4顯示了無疵點(diǎn)織物圖像經(jīng)由DPGAN模型生成的疵點(diǎn)圖像。從圖4可看出，第2階段與第1階段相比，線狀效果減弱，但破洞和污漬的圖像效果有了較大的提升，更接近實(shí)際情況。

圖4 DPGAN生成疵點(diǎn)圖像Fig.4 Generateded defect images by using DPGAN model. (a) Generated images of stage 1；(b) Generated images of stage 2

2.3 評估指標(biāo)

本文采用平均精度(Average Precision，簡稱AP)以及平均精度均值(mean Average Precision，簡稱mAP)來評估目標(biāo)檢測率。

AP值是精確度和召回率被繪制的二維曲線所包圍的區(qū)域，具有垂直坐標(biāo)和水平軸坐標(biāo)，其表示某一類疵點(diǎn)的檢測精度，mAP表示3類疵點(diǎn)的平均檢測精度。當(dāng)目標(biāo)檢測模型接受不同的信息時，就會得到不同的精度和召回率。通過改變置信度，可以得到許多精確度(Precision)和召回率值(Recall)。精度和召回率計(jì)算公式如式(2)(3)所示：

(2)

(3)

式中：TP指分類器認(rèn)為是正樣本而實(shí)際上就是正樣本的例子，F(xiàn)P指分類器認(rèn)為是正樣本但實(shí)際上不是正樣本的例子，而FN是指一個分類器認(rèn)為是負(fù)樣本但實(shí)際上不是負(fù)樣本的例子。

2.4 結(jié)果分析

在本節(jié)中，采用經(jīng)典目標(biāo)檢測網(wǎng)絡(luò)Faster-RCNN 作為疵點(diǎn)檢測模型，采用原紋理1織物疵點(diǎn)數(shù)據(jù)集作為檢測模型訓(xùn)練集1，采用DPGAN模型生成圖像與訓(xùn)練集1結(jié)合作為檢測模型訓(xùn)練集2。另外采用由紋理1和紋理2部分疵點(diǎn)圖像組合作為檢測模型測試集。

Faster-RCNN模型訓(xùn)練集和測試集如表2所示。訓(xùn)練集1共1 800張；訓(xùn)練集2共3 632張，其中生成圖像由DPGAN模型階段1和階段2組合產(chǎn)生，每階段選取大約300張圖像。

表2 Faster-RCNN模型訓(xùn)練集和測試集Tab.2 Faster-RCNN model training set and test set

在Faster-RCNN網(wǎng)絡(luò)中，輸入圖像大小為512 dpi×512 dpi×3 dpi，訓(xùn)練次數(shù)為100次，學(xué)習(xí)率為0.000 1，置信度為0.5。在使用不同訓(xùn)練集，同一測試集的情況下，F(xiàn)aster-RCNN模型AP值如表3所示。

表3 Faster-RCNN模型AP值Tab.3 The AP value of Faster-RCNN model %

從結(jié)果中可以看出，模型平均精度僅有70%左右，導(dǎo)致平均精度低的原因，主要是由于訓(xùn)練集和測試集紋理是完全不同的。而3種疵點(diǎn)圖像在經(jīng)過數(shù)據(jù)增強(qiáng)后，平均精度都有所提升。其中線狀提升效果最好，提升了11%，這源于在DPGAN模型中，線狀的訓(xùn)練集最大，生成的圖像效果好，而破洞和污漬的原始數(shù)據(jù)集較小，即使經(jīng)過翻轉(zhuǎn)和顏色變換，但并沒能從本質(zhì)改變訓(xùn)練集。

3 結(jié) 論

本文提出了一種基于改進(jìn)Pix2PixGAN(簡稱為DPGAN)的織物疵點(diǎn)數(shù)據(jù)集增強(qiáng)方法，該方法可幫助提升織物疵點(diǎn)檢測模型的精度。首先利用人工圖像分割實(shí)現(xiàn)偽注意力機(jī)制，幫助后續(xù)網(wǎng)絡(luò)對疵點(diǎn)位置的判定與學(xué)習(xí)；其次構(gòu)建DPGAN網(wǎng)絡(luò)，即通過加深U-net網(wǎng)絡(luò)結(jié)構(gòu)，并串聯(lián)2個Pix2PixGAN網(wǎng)絡(luò)；最后在無疵點(diǎn)織物圖像上任意標(biāo)注區(qū)域，通過已訓(xùn)練的DPGAN在該區(qū)域自動生成制定疵點(diǎn)，從而實(shí)現(xiàn)織物疵點(diǎn)圖像數(shù)據(jù)增強(qiáng)。

本文搜集了包含2種紋理(即紋理1和紋理2)、3類疵點(diǎn)(即線狀、破洞和污漬)的原始織物數(shù)據(jù)集，通過構(gòu)建的DPGAN網(wǎng)絡(luò)對各類疵點(diǎn)分別生成600張，共1 800張織物疵點(diǎn)圖像擴(kuò)展原訓(xùn)練集樣本，并利用Faster-RCNN目標(biāo)檢測網(wǎng)絡(luò)來驗(yàn)證本文提出算法的有效性。實(shí)驗(yàn)結(jié)果表明：

①構(gòu)建的DPGAN網(wǎng)絡(luò)可改善原始U-net網(wǎng)絡(luò)生成疵點(diǎn)與紋理匹配較差的問題，從而獲得接近真實(shí)疵點(diǎn)形態(tài)的織物疵點(diǎn)圖像。

②增強(qiáng)后的訓(xùn)練集有利于提高疵點(diǎn)檢測模型的平均精度，線狀、破洞和污漬的平均精度分別由73%、75%和62%提升到了84%、79%和65%。