王 斌，李 敏，雷承霖，何儒漢

(1.武漢紡織大學(xué) 湖北省服裝信息化工程技術(shù)研究中心，湖北 武漢 430200；2.武漢紡織大學(xué) 計(jì)算機(jī)與人工智能學(xué)院，湖北 武漢 430200; 3.武漢紡織大學(xué) 紡織服裝智能化湖北省工程研究中心，湖北 武漢 430200)

疵點(diǎn)檢測(cè)是紡織企業(yè)提高產(chǎn)品質(zhì)量的重要環(huán)節(jié)。目前，我國(guó)大多數(shù)企業(yè)仍然以人工目測(cè)為主，由于人體生理機(jī)能的限制，當(dāng)織物運(yùn)動(dòng)速度過(guò)快時(shí)，手工操作不可避免地會(huì)造成人眼疲勞，進(jìn)而導(dǎo)致誤差，這無(wú)疑限制了高質(zhì)量織物的生產(chǎn)[1]。不僅如此，人工檢測(cè)結(jié)果容易受人的主觀因素影響，準(zhǔn)確率不高。產(chǎn)品質(zhì)量控制是紡織品生產(chǎn)時(shí)必不可少的環(huán)節(jié)[2]，由于疵點(diǎn)種類繁多，形狀不一，如果采用傳統(tǒng)的人工檢測(cè)方法是無(wú)法滿足效率需求的[3]。紡織企業(yè)如果想要提高織物疵點(diǎn)檢測(cè)的效率，同時(shí)又不降低紡織產(chǎn)品的質(zhì)量，那么有必要用智能檢測(cè)取代人工檢測(cè)。

迄今為止，研究者們已經(jīng)提出了許多不同的疵點(diǎn)檢測(cè)方法，如基于模型的方法、基于結(jié)構(gòu)的方法、基于統(tǒng)計(jì)學(xué)的方法、基于譜分析的方法和基于機(jī)器學(xué)習(xí)的方法等。然而，由于紡織品種類多，生產(chǎn)工藝各異；疵點(diǎn)種類繁多，很多不同類型的疵點(diǎn)外觀差別非常小；受圖像采集背景的影響，同一類型的疵點(diǎn)又會(huì)呈現(xiàn)出很大差異，這使得疵點(diǎn)檢測(cè)仍然具有很大的挑戰(zhàn)性。

深度學(xué)習(xí)是近年興起的新型人工智能技術(shù)，其通過(guò)高層神經(jīng)網(wǎng)絡(luò)的構(gòu)建，用簡(jiǎn)潔而有效的形式對(duì)物體的本質(zhì)特征進(jìn)行綜合表達(dá)[4]。從2012年的ImageNet競(jìng)賽開(kāi)始，深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域發(fā)揮出巨大威力，在通用圖像分類、圖像檢測(cè)、光學(xué)字符識(shí)別、人臉識(shí)別等領(lǐng)域，基于深度學(xué)習(xí)的系統(tǒng)均能取得較高的準(zhǔn)確率。不僅如此，深度學(xué)習(xí)模型已被應(yīng)用到工業(yè)品表面缺陷檢測(cè)中，并且取得了良好的效果。

本文對(duì)基于深度學(xué)習(xí)的織物疵點(diǎn)檢測(cè)方法進(jìn)行了綜述和分析，結(jié)合最新的研究成果分析各個(gè)方法的優(yōu)缺點(diǎn)，并從數(shù)據(jù)集、評(píng)判標(biāo)準(zhǔn)以及通用性3個(gè)角度提出了對(duì)未來(lái)發(fā)展的構(gòu)想，為今后更深入的研究提供參考依據(jù)。

1 深度學(xué)習(xí)與疵點(diǎn)檢測(cè)的關(guān)系

傳統(tǒng)的織物疵點(diǎn)檢測(cè)算法[5-7]一般為先使用圖像預(yù)處理的方法得到便于檢測(cè)的圖像，然后借助統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法來(lái)提取圖像特征，進(jìn)而實(shí)現(xiàn)疵點(diǎn)的檢測(cè)[8]。

圖像預(yù)處理通常包括直方圖均衡化、濾波去噪、灰度二值化、再次濾波等部分，以得到前后景分離的簡(jiǎn)單化圖像信息；隨后利用傅里葉變換、Gabor變換等算法以及機(jī)器學(xué)習(xí)模型完成疵點(diǎn)的標(biāo)記與檢測(cè)。

雖然傳統(tǒng)算法在某些特定的應(yīng)用[9-11]中已經(jīng)取得了較好的效果，但仍然存在許多不足。例如：圖像預(yù)處理步驟繁多且具有強(qiáng)烈的針對(duì)性，魯棒性差；多種算法計(jì)算量驚人且無(wú)法精確地檢測(cè)疵點(diǎn)的大小和形狀，而深度學(xué)習(xí)可以直接通過(guò)學(xué)習(xí)數(shù)據(jù)更新參數(shù)，避免人工設(shè)計(jì)復(fù)雜的算法流程，并且有著較高的魯棒性、速度和精度。

1.1 在線疵點(diǎn)檢測(cè)的速度需求

對(duì)于工業(yè)生產(chǎn)而言，檢測(cè)速度過(guò)慢會(huì)導(dǎo)致成本增加，降低企業(yè)收益。在傳統(tǒng)的織物疵點(diǎn)檢測(cè)方法中，楊曉波[12]提出基于高斯-馬爾可夫隨機(jī)場(chǎng)模型(GMRF)的紋理模型用于自動(dòng)識(shí)別不同種類的統(tǒng)計(jì)特征畸變織物疵點(diǎn)，對(duì)于尺寸為512像素×512像素的待檢織物圖像，整個(gè)檢測(cè)過(guò)程(不包含對(duì)織物進(jìn)行建模)耗時(shí)1.81 s；楊曉波[13]還根據(jù)織物特征設(shè)計(jì)織物自適應(yīng)Gabor濾波器，再利用設(shè)計(jì)好的Gabor濾波器對(duì)方向性特征畸變織物疵點(diǎn)進(jìn)行增強(qiáng)，對(duì)于1張尺寸為512像素×512像素的待檢織物圖像，檢測(cè)過(guò)程耗時(shí)2.34 s。目前實(shí)時(shí)檢測(cè)的標(biāo)準(zhǔn)為1張圖像檢測(cè)時(shí)間不超過(guò)0.7 s，顯然這樣的檢測(cè)速度是無(wú)法滿足企業(yè)要求的。

引入深度學(xué)習(xí)模型可大大提高疵點(diǎn)檢測(cè)的速度。Jing等[14]提出了一種基于改進(jìn)的YOLOv3模型的實(shí)時(shí)性更高的織物疵點(diǎn)檢測(cè)方法，樣本圖片大小為416像素×416像素，網(wǎng)絡(luò)模型的平均檢測(cè)效率為21.8 張/s左右。晏琳等[15]將更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster RCNN)與殘差網(wǎng)絡(luò)(ResNet101)相結(jié)合的方法應(yīng)用于坯布疵點(diǎn)檢測(cè)，由于ResNet101的層數(shù)較深，導(dǎo)致對(duì)1張圖像的檢測(cè)時(shí)間穩(wěn)定在0.13 s左右，即便如此，速度上的提升也是巨大的。由此可見(jiàn)，引入深度學(xué)習(xí)模型的織物疵點(diǎn)檢測(cè)方法，能夠在速度上滿足工業(yè)生產(chǎn)的需求。

1.2 疵點(diǎn)檢測(cè)的精度要求

在保證生產(chǎn)速度的前提下，更高的檢測(cè)精度能帶來(lái)更高的企業(yè)收益。傳統(tǒng)的織物疵點(diǎn)檢測(cè)算法，大都只是檢測(cè)出是否存在疵點(diǎn)，但對(duì)于疵點(diǎn)的類別和位置并不能進(jìn)行判斷。杜磊等[16]分別用4種自適應(yīng)閾值算法對(duì)平紋和斜紋織物疵點(diǎn)圖像進(jìn)行檢測(cè)，準(zhǔn)確率最好為76.92%和55%。管聲啟等[17]在研究織物紋理分類的基礎(chǔ)上，通過(guò)傅里葉變換獲得頻譜圖像，把灰度圖像分割成若干子窗口，將統(tǒng)計(jì)子窗口方差作為特征值與設(shè)定的閾值比較，從而判別是否存在疵點(diǎn)。在實(shí)驗(yàn)采集的樣本中，準(zhǔn)確率最好為86.7%。

引入深度學(xué)習(xí)模型不僅能檢測(cè)出疵點(diǎn)，還能判斷疵點(diǎn)的類型和位置。晏琳等[15]將Faster RCNN與ResNet101相結(jié)合的方法應(yīng)用于坯布疵點(diǎn)檢測(cè)，數(shù)據(jù)集來(lái)自現(xiàn)場(chǎng)采集，迭代訓(xùn)練5 000次后，準(zhǔn)確率可達(dá)94.71%，并且能在圖像中標(biāo)出疵點(diǎn)的位置；Zhao等[18]提出基于VGG16網(wǎng)絡(luò)的多尺度卷積神經(jīng)網(wǎng)絡(luò)(MSCNN)檢測(cè)方法，主要用于亞麻織物和圖像織物的疵點(diǎn)檢測(cè)，織物缺陷數(shù)據(jù)集為機(jī)器采集，每種疵點(diǎn)的平均檢測(cè)精度約為92%。由此可見(jiàn)，引入深度學(xué)習(xí)模型的織物疵點(diǎn)檢測(cè)方法，能夠在保證較高速度的前提下，獲得較高的精度，可為企業(yè)帶來(lái)更高的收益。

1.3 引入深度學(xué)習(xí)面臨的困難與挑戰(zhàn)

目前，雖然深度學(xué)習(xí)方法在很多領(lǐng)域取得了不錯(cuò)的效果，如智能駕駛、行人檢測(cè)、物體分類等，但仍需要在克服過(guò)擬合問(wèn)題和提高模型通用性之間進(jìn)行權(quán)衡。深度學(xué)習(xí)模型想要取得良好的成效離不開(kāi)大量實(shí)驗(yàn)數(shù)據(jù)的訓(xùn)練和模型的優(yōu)化，但由于疵點(diǎn)數(shù)據(jù)集難以采集和疵點(diǎn)的特異性問(wèn)題，疵點(diǎn)檢測(cè)仍存在一些問(wèn)題亟待解決。

1)實(shí)驗(yàn)數(shù)據(jù)的合理采集。疵點(diǎn)是織物在織制過(guò)程中由于原材料、生產(chǎn)設(shè)備及生產(chǎn)操作等因素的影響，在布面產(chǎn)生的各種缺陷[19]。常見(jiàn)的由紗線原因造成的疵點(diǎn)主要有竹節(jié)紗、錯(cuò)緯、條干不勻、粗經(jīng)等；由于織前準(zhǔn)備原因造成的疵點(diǎn)主要有漿斑、經(jīng)縮、棉球、油紗等；此外，多數(shù)疵點(diǎn)是由織機(jī)機(jī)械狀態(tài)不良和織布操作不當(dāng)導(dǎo)致的，主要有稀緯、脫緯、雙緯、跳花、百腳、經(jīng)縮、緯縮、斷經(jīng)、毛邊、破洞、邊撐疵、云織、拆痕、穿錯(cuò)等。數(shù)據(jù)樣本收集會(huì)耗費(fèi)大量的人力成本，而且實(shí)際生產(chǎn)過(guò)程中并沒(méi)有很多自然生成的疵點(diǎn)數(shù)據(jù)，所以多數(shù)情況下會(huì)對(duì)采集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)操作，用的較多的是對(duì)原始數(shù)據(jù)集進(jìn)行裁剪、翻轉(zhuǎn)等。綜上分析，如何合理地采集實(shí)驗(yàn)數(shù)據(jù)是將深度學(xué)習(xí)引入織物疵點(diǎn)檢測(cè)需要面臨的挑戰(zhàn)。

2)由疵點(diǎn)特征產(chǎn)生的難點(diǎn)?？椢锛y理的多樣性致使對(duì)1種或幾種疵點(diǎn)表現(xiàn)良好的學(xué)習(xí)器，對(duì)其它疵點(diǎn)可能出現(xiàn)“過(guò)擬合”或“泛擬合”現(xiàn)象。細(xì)化學(xué)習(xí)方法，針對(duì)不同種類織物選取不同學(xué)習(xí)方法有利于降低虛警率，但同時(shí)也增加了人工成本。

在疵點(diǎn)檢測(cè)的過(guò)程中，通常有很多模型可供選擇，對(duì)同一種模型使用不同的參數(shù)配置時(shí)，取得的效果也會(huì)有所不同?，F(xiàn)實(shí)中通常是計(jì)算成本和性能估計(jì)綜合考慮。

同時(shí)，目前絕大多數(shù)目標(biāo)檢測(cè)任務(wù)通常是在大型通用數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練后，再在特定下游任務(wù)中進(jìn)行遷移學(xué)習(xí)，然而因?yàn)橥ㄓ脭?shù)據(jù)集中的訓(xùn)練目標(biāo)和織物圖像相差太大，這種方式在疵點(diǎn)檢測(cè)上不一定適用，導(dǎo)致訓(xùn)練難度增大。此外，一些特異性的疵點(diǎn)也是檢測(cè)的難點(diǎn)所在，具體包括：極小的疵點(diǎn)，如棉球、斷紗、小破洞、污點(diǎn)等，在檢測(cè)時(shí)非常容易漏檢。非規(guī)則的織物，在很多檢測(cè)方法中將織物背景當(dāng)成一種周期性循環(huán)往復(fù)的信號(hào)，疵點(diǎn)的出現(xiàn)則破壞了這種信號(hào)，非規(guī)則的織物則不能使用這種方法。疵點(diǎn)的判斷依賴于背景信息，在提花織物中的花紋屬于背景，但在白坯布中則是疵點(diǎn)，造成誤檢漏檢。過(guò)于豐富的紋理和疵點(diǎn)類型，在深度學(xué)習(xí)方法中，存在著假設(shè)待預(yù)測(cè)的物體至少在訓(xùn)練樣本中存在類似的分布，如果需要設(shè)計(jì)一套通用的疵點(diǎn)檢測(cè)算法，就必須使得訓(xùn)練樣本中包含可能出現(xiàn)的所有背景紋理和疵點(diǎn)的組合。

針對(duì)不同織物圖像的不同特點(diǎn)，如何設(shè)計(jì)合理的深度學(xué)習(xí)模型，或者具有一定的普適性以適應(yīng)不同織物圖像數(shù)據(jù)集的深度學(xué)習(xí)模型，這也是目前將深度學(xué)習(xí)引入織物疵點(diǎn)檢測(cè)領(lǐng)域的難點(diǎn)。

2 深度學(xué)習(xí)模型

深度學(xué)習(xí)主要由定義模型和損失函數(shù)、訓(xùn)練模型、尋找優(yōu)化方法和循環(huán)迭代4步構(gòu)成，其結(jié)構(gòu)如圖1所示。在第1步可以搭建自己的模型，也可以根據(jù)任務(wù)對(duì)經(jīng)典模型進(jìn)行細(xì)微調(diào)整；第2步使用數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練；第3步是分析訓(xùn)練結(jié)果并進(jìn)行優(yōu)化；最后一步是循環(huán)迭代直至獲得最佳結(jié)果。

圖1 深度學(xué)習(xí)基本步驟

目前主要的深度學(xué)習(xí)模型包括卷積神經(jīng)網(wǎng)絡(luò)和自動(dòng)編碼器等技術(shù)。

卷積神經(jīng)網(wǎng)絡(luò)由多層卷積層和多層下采樣層重復(fù)疊加而成，具有良好的容錯(cuò)能力以及能夠處理復(fù)雜環(huán)境下信息提取的自學(xué)習(xí)功能[20]。卷積神經(jīng)網(wǎng)絡(luò)是一種強(qiáng)大的可視化模型，在圖像識(shí)別、圖像檢測(cè)等方面都已取得不錯(cuò)的效果。根據(jù)不同的需要，可以產(chǎn)生多種特征層次結(jié)構(gòu)，但是隨著網(wǎng)絡(luò)層次的逐步加深，模型會(huì)變得十分復(fù)雜，更加依賴硬件性能。Zeiler等[21]提出的反卷積網(wǎng)絡(luò)模型在實(shí)際的結(jié)構(gòu)構(gòu)成和實(shí)現(xiàn)方法上與卷積神經(jīng)網(wǎng)絡(luò)有所不同。反卷積網(wǎng)絡(luò)更多的是充當(dāng)可視化作用，對(duì)于一個(gè)復(fù)雜的深度卷積網(wǎng)絡(luò)，通過(guò)反卷積的還原可以對(duì)模型的處理過(guò)程進(jìn)行可視化處理。反卷積網(wǎng)絡(luò)模型常應(yīng)用于場(chǎng)景分割、生成模型等。

自動(dòng)編碼器[22](auto-encoder)是深度學(xué)習(xí)中較為簡(jiǎn)單的訓(xùn)練方式，通過(guò)復(fù)現(xiàn)輸入信號(hào)逐層地調(diào)整整個(gè)網(wǎng)絡(luò)，其可以學(xué)習(xí)輸入數(shù)據(jù)的隱含特征，同時(shí)根據(jù)這些特征重構(gòu)出原始數(shù)據(jù)。自動(dòng)編碼器常用來(lái)進(jìn)行數(shù)據(jù)的降維、降噪處理，但由于其與數(shù)據(jù)高度相關(guān)，故泛用性較差。

Geoffrey等[23]提出的受限玻爾茲曼機(jī)(RBM)能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則，同時(shí)縮短訓(xùn)練的時(shí)間，常用于處理特征提取、協(xié)同過(guò)濾等問(wèn)題。Geoffrey等[24]還提出了深度信任網(wǎng)絡(luò)，它由若干個(gè)RBM的堆疊和1層有監(jiān)督的反向傳播網(wǎng)絡(luò)組成，即使網(wǎng)絡(luò)的層次較多，依舊可以合理優(yōu)化參數(shù)，使得深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)更加高效。深度信任網(wǎng)絡(luò)訓(xùn)練更快，常應(yīng)用于運(yùn)動(dòng)捕捉等領(lǐng)域。

3 引入深度學(xué)習(xí)的疵點(diǎn)檢測(cè)方法

織物疵點(diǎn)檢測(cè)結(jié)果的評(píng)判標(biāo)準(zhǔn)與疵點(diǎn)檢測(cè)涉及的目標(biāo)有關(guān)，主要可分為3種：疵點(diǎn)召回與否，即是否檢測(cè)出存在疵點(diǎn)；疵點(diǎn)分類與否，即是否檢測(cè)出疵點(diǎn)的類別；疵點(diǎn)位置回歸與否，即能否確定疵點(diǎn)的位置。

根據(jù)深度學(xué)習(xí)模型的特點(diǎn)，本文將織物疵點(diǎn)檢測(cè)方法分為3類：基于卷積神經(jīng)網(wǎng)絡(luò)模型的疵點(diǎn)檢測(cè)；基于自動(dòng)編碼器的疵點(diǎn)檢測(cè)；基于其它深度學(xué)習(xí)模型的疵點(diǎn)檢測(cè)。

3.1 基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法

卷積神經(jīng)網(wǎng)絡(luò)由于其強(qiáng)大的非線性擬合能力在圖像識(shí)別領(lǐng)域發(fā)揮出巨大威力，不少研究人員嘗試將卷積神經(jīng)網(wǎng)絡(luò)引入到織物疵點(diǎn)檢測(cè)領(lǐng)域，表1示出卷積神經(jīng)網(wǎng)絡(luò)模型的疵點(diǎn)檢測(cè)方法。Zhao等[18]提出一種基于VGG16網(wǎng)絡(luò)的檢測(cè)方法用于亞麻織物和圖像織物的疵點(diǎn)檢測(cè)，可檢測(cè)出破洞、污漬等6種疵點(diǎn)。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)于采集到的織物疵點(diǎn)檢測(cè)效果更好。隨著模型結(jié)構(gòu)日趨復(fù)雜，模型層次也在不斷加深，Pandia等[25]將織物顏色作為重要特征設(shè)計(jì)了一種深度卷積神經(jīng)網(wǎng)絡(luò)，從各種缺陷數(shù)據(jù)集的訓(xùn)練階段進(jìn)行學(xué)習(xí)，在測(cè)試階段利用了一種學(xué)習(xí)特性進(jìn)行疵點(diǎn)分類。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的淺層學(xué)習(xí)方法相比，可以提高疵點(diǎn)分類的準(zhǔn)確率。Wu等[26]構(gòu)造了改進(jìn)的兩級(jí)疵點(diǎn)檢測(cè)器，以實(shí)現(xiàn)更好的通用性。實(shí)驗(yàn)結(jié)果表明，與當(dāng)前的檢測(cè)器相比，端到端的體系結(jié)構(gòu)提高了基于區(qū)域的目標(biāo)檢測(cè)器的性能。對(duì)于簡(jiǎn)單背景紋理的織物圖像中的疵點(diǎn)檢測(cè)效果良好，但不擅長(zhǎng)檢測(cè)復(fù)雜背景紋理中的疵點(diǎn)。

表1 基于卷積神經(jīng)網(wǎng)絡(luò)模型的疵點(diǎn)檢測(cè)方法

Faster RCNN算法是基于候選區(qū)域的目標(biāo)檢測(cè)算法中的代表算法，在目標(biāo)檢測(cè)領(lǐng)域展現(xiàn)了優(yōu)異的性能。晏琳等[15]在原始Faster RCNN的基礎(chǔ)上進(jìn)行改進(jìn)，對(duì)坯布的疵點(diǎn)目標(biāo)進(jìn)行分類與檢測(cè)。實(shí)驗(yàn)對(duì)比了Faster RCNN分別與VGG16、ResNet101結(jié)合時(shí)的檢測(cè)結(jié)果，結(jié)果表明，該方法可有效解決坯布疵點(diǎn)檢測(cè)問(wèn)題，檢測(cè)準(zhǔn)確率較高。安萌等[27]基于Faster RCNN網(wǎng)絡(luò)模型，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，將不同尺度的特征金字塔網(wǎng)絡(luò)模型引入?yún)^(qū)域生成網(wǎng)絡(luò)(RPN)以增加細(xì)節(jié)化的淺層特征，通過(guò)對(duì)Softmax分類器進(jìn)行正則化來(lái)減小類內(nèi)間距、增大類間間距，不斷更新網(wǎng)絡(luò)參數(shù)來(lái)提高網(wǎng)絡(luò)收斂能力。實(shí)驗(yàn)結(jié)果表明，相對(duì)于原始模型，改進(jìn)后的模型對(duì)于織物疵點(diǎn)的檢測(cè)具有更高的準(zhǔn)確率、泛化能力和魯棒性，但是檢測(cè)速度仍有待提高。

針對(duì)織物圖像采集過(guò)程中存在疵點(diǎn)樣本分布不均，現(xiàn)有織物樣本缺乏多樣性的問(wèn)題，Liu等[28]提出了基于生成對(duì)抗網(wǎng)絡(luò)(GAN)的織物疵點(diǎn)檢測(cè)框架，能夠在已有樣本的基礎(chǔ)上學(xué)習(xí)生成新的樣本，通過(guò)對(duì)各種代表性的織物樣品進(jìn)行綜合實(shí)驗(yàn)，驗(yàn)證提出的方法能有效地檢出織物疵點(diǎn)。李明等[29]提出應(yīng)用GAN和Faster RCNN相結(jié)合的疵點(diǎn)識(shí)別算法。先采用GAN對(duì)采集的樣本數(shù)據(jù)進(jìn)行擴(kuò)充，然后再利用Faster RCNN進(jìn)行檢測(cè)。實(shí)驗(yàn)結(jié)果表明，該方法可提高色織物圖像庫(kù)中的疵點(diǎn)圖像檢測(cè)效率，并能準(zhǔn)確獲取疵點(diǎn)位置和類別。Hu等[30]提出了基于深度卷積生成對(duì)抗網(wǎng)絡(luò)的無(wú)監(jiān)督織物疵點(diǎn)自動(dòng)檢測(cè)方法。在實(shí)驗(yàn)過(guò)程中與其它方法進(jìn)行了比較，證明該方法在織物疵點(diǎn)檢測(cè)中的有效性，但檢測(cè)速度仍有待提升。通過(guò)數(shù)據(jù)增強(qiáng)的方式擴(kuò)大樣本的方法也存在不足之處：一是生成新樣本的過(guò)程仍然需要相應(yīng)背景的真實(shí)疵點(diǎn)圖像；二是需要花費(fèi)更多的時(shí)間訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)來(lái)生成圖像。

相比于上述基于候選區(qū)域的檢測(cè)算法，基于回歸分析的算法在檢測(cè)速度上更具優(yōu)勢(shì)。Jing等[14]提出了一種基于改進(jìn)的YOLOv3模型的實(shí)時(shí)性更高的織物疵點(diǎn)檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，與YOLOv3相比，該方法可更有效地檢測(cè)和標(biāo)記織物疵點(diǎn)，并有效降低誤檢率。但是此方法在對(duì)復(fù)雜紋理背景的織物進(jìn)行檢測(cè)時(shí)，檢測(cè)性能會(huì)有所下降。為了提高織物疵點(diǎn)檢測(cè)和定位的準(zhǔn)確性，縮短檢測(cè)時(shí)間，Peng等[31]提出了基于先驗(yàn)錨定卷積神經(jīng)網(wǎng)絡(luò)的織物疵點(diǎn)檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，該方法顯著提高了織物疵點(diǎn)檢測(cè)的準(zhǔn)確率和檢測(cè)速度，適用于織物疵點(diǎn)的自動(dòng)檢測(cè)。Xie等[32]使用RefineDet作為基礎(chǔ)模型對(duì)特征提取模塊進(jìn)行改進(jìn)，在TILDA數(shù)據(jù)集上新模型的平均準(zhǔn)確率可達(dá)80.2%。在香港圖案紋理數(shù)據(jù)集和DAGM2007數(shù)據(jù)集上，以多種檢測(cè)模型做對(duì)比，實(shí)驗(yàn)結(jié)果顯示改進(jìn)的模型效果更佳，可以實(shí)現(xiàn)較高的準(zhǔn)確率和較好的實(shí)時(shí)性。

針對(duì)計(jì)算資源受限的應(yīng)用場(chǎng)景，Liu等[33]提出一種淺層網(wǎng)絡(luò)DLSE-Net來(lái)判斷圖像中是否存在疵點(diǎn)。該網(wǎng)絡(luò)采用弱監(jiān)督學(xué)習(xí)方法和三分支結(jié)構(gòu)來(lái)緩解不同層之間連接造成的語(yǔ)義鴻溝，實(shí)驗(yàn)結(jié)果表明，在DAGM2007和自建數(shù)據(jù)集上，該方法能夠較高精度地定位疵點(diǎn)。Jun等[34]提出，采用稀疏卷積網(wǎng)絡(luò)來(lái)提取特征，可大大減少網(wǎng)絡(luò)中的參數(shù)數(shù)量和計(jì)算量。以天池競(jìng)賽2 560像素×1 920像素的數(shù)據(jù)集中的破洞、污漬和折痕3種疵點(diǎn)為主，訓(xùn)練后的模型可以準(zhǔn)確地檢出疵點(diǎn)所在位置。

對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的織物疵點(diǎn)檢測(cè)方法的數(shù)據(jù)集和檢測(cè)性能進(jìn)行了整理，如表2所示。疵點(diǎn)檢測(cè)性能指標(biāo)主要包括精度和運(yùn)行速度(實(shí)時(shí)性)，同時(shí)列出了疵點(diǎn)類型(種類)和所使用的硬件資源。

從表2可以看出，引入深度學(xué)習(xí)模型的疵點(diǎn)檢測(cè)方法整體上取得了不錯(cuò)的檢測(cè)效果。其中一些方法取得了較高的精度，同當(dāng)時(shí)最好的機(jī)器學(xué)習(xí)等其它類型的方法比，檢測(cè)精度有明顯的提高；部分方法在保證較高精度的同時(shí)可以滿足或基本滿足實(shí)時(shí)性要求。

3.2 基于自動(dòng)編碼器的檢測(cè)方法

自動(dòng)編碼器是深度學(xué)習(xí)中最簡(jiǎn)單的一種訓(xùn)練方法, 通過(guò)復(fù)現(xiàn)輸入信號(hào)來(lái)逐層地調(diào)整整個(gè)網(wǎng)絡(luò), 其可以學(xué)習(xí)輸入數(shù)據(jù)的隱含特征, 同時(shí)可以根據(jù)這些特征重構(gòu)出原始數(shù)據(jù)。Li等[38]通過(guò)基于Fisher準(zhǔn)則的堆疊去噪自動(dòng)編碼器將織物貼片分類為無(wú)疵點(diǎn)類別和疵點(diǎn)類別，首次把深度學(xué)習(xí)引入該領(lǐng)域，為疵點(diǎn)檢測(cè)的研究提供了新的思路。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)周期性花紋織物和較為復(fù)雜的提花經(jīng)編織物的疵點(diǎn)檢測(cè)是有效的。

針對(duì)傳統(tǒng)織物疵點(diǎn)檢測(cè)手工提取特征困難，疵點(diǎn)樣本有限的問(wèn)題，Mei等[39]提出了基于無(wú)監(jiān)督學(xué)習(xí)的自動(dòng)檢測(cè)和定位織物疵點(diǎn)的方法，實(shí)驗(yàn)結(jié)果表明，該模型具有較好的魯棒性和整體性能，具有較高的查準(zhǔn)率和召回率。景軍鋒等[40]結(jié)合卷積自動(dòng)編碼器，提出基于Fisher準(zhǔn)則的棧式去噪自動(dòng)編碼器算法。實(shí)驗(yàn)結(jié)果表明，該算法能夠有效地提取織物圖像的分類特征。為了克服在工業(yè)領(lǐng)域很難獲取大量的實(shí)際疵點(diǎn)數(shù)據(jù)這個(gè)難題，Han等[41]提出了一種基于堆疊式卷積自動(dòng)編碼器的疵點(diǎn)檢測(cè)方法。自動(dòng)編碼器僅使用非疵點(diǎn)數(shù)據(jù)和基于專家知識(shí)的疵點(diǎn)特征生成的合成疵點(diǎn)數(shù)據(jù)進(jìn)行訓(xùn)練。

基于自動(dòng)編碼器的織物疵點(diǎn)檢測(cè)方法的數(shù)據(jù)集和檢測(cè)性能如表3所示。由于自動(dòng)編碼器依據(jù)特定的樣本進(jìn)行訓(xùn)練,因此其適用性很大程度上被局限于與訓(xùn)練樣本相似的數(shù)據(jù)，容易過(guò)擬合。

表3 基于自動(dòng)編碼器的織物疵點(diǎn)檢測(cè)方法性能

3.3 基于其它深度學(xué)習(xí)模型的檢測(cè)方法

基于卷積神經(jīng)網(wǎng)絡(luò)的疵點(diǎn)檢測(cè)方法取得了不錯(cuò)的成果，但是存在一定的局限性。劉洲峰等[42]提出了基于稀疏優(yōu)化的織物疵點(diǎn)檢測(cè)算法。首先，通過(guò)稀疏表示原理從待檢測(cè)粗點(diǎn)圖像中學(xué)習(xí)自適應(yīng)字典庫(kù)；然后求解出稀疏表示系數(shù)矩陣，重構(gòu)出不包含疵點(diǎn)的正常圖像，將正常圖像與待檢測(cè)的疵點(diǎn)圖像相減，突出疵點(diǎn)區(qū)域，利用閾值分割定位疵點(diǎn)。

以外，Chen等[43]從算法的角度出發(fā)，提出了一種基于遺傳算法優(yōu)化的Gabor濾波器和Faster RCNN相結(jié)合的方法，針對(duì)紋理干擾問(wèn)題，利用Gabor濾波器在頻率分析中的優(yōu)勢(shì)，結(jié)合遺傳算法確定最佳Gabor濾波器參數(shù)，然后通過(guò)將Gabor內(nèi)核嵌入Faster RCNN中進(jìn)行改進(jìn)，得到了比單獨(dú)使用神經(jīng)網(wǎng)絡(luò)更好的結(jié)果，然而推理速度有所下降。

Li等[35]提出了基于特征序列的注意力網(wǎng)絡(luò)，通過(guò)標(biāo)注信息結(jié)合特征生成注意力圖，以根據(jù)輸入圖像的整體情況校正特征圖的響應(yīng)。長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)被用來(lái)從連續(xù)的疵點(diǎn)中提取上下文信息。在做出判斷時(shí)，與逐個(gè)像素獨(dú)立做出的判斷相比，考慮順序信息可以減少意外誤判的數(shù)量。

基于上述其它深度學(xué)習(xí)模型的織物疵點(diǎn)檢測(cè)方法的數(shù)據(jù)集與檢測(cè)性能如表4所示。這些方法在利用卷積神經(jīng)網(wǎng)絡(luò)優(yōu)勢(shì)的同時(shí)發(fā)掘了其它方法與之結(jié)合的可能性，提供了一條探索疵點(diǎn)檢測(cè)的新思路，與單獨(dú)使用卷積神經(jīng)網(wǎng)絡(luò)相比，加入先驗(yàn)信息后，精度得到了提高，然而檢測(cè)速度仍是需要提高的方向。

表4 基于其它深度學(xué)習(xí)模型的織物疵點(diǎn)檢測(cè)方法性能

4 結(jié)束語(yǔ)

本文總結(jié)了近年來(lái)基于深度學(xué)習(xí)的織物疵點(diǎn)檢測(cè)方法，對(duì)于不同模型在不同目標(biāo)下能夠獲得的效果進(jìn)行了對(duì)比，分析了模型的優(yōu)缺點(diǎn)和適用范圍，并對(duì)引入深度學(xué)習(xí)模型的織物疵點(diǎn)檢測(cè)方法的未來(lái)發(fā)展做出了展望。目前通過(guò)引入深度學(xué)習(xí)模型可以更好地提高檢測(cè)效率，但是仍存在不足。為更好地優(yōu)化織物圖像疵點(diǎn)檢測(cè)的準(zhǔn)確度，未來(lái)應(yīng)從以下幾個(gè)方面進(jìn)行突破。

1)更加完善的數(shù)據(jù)集。目前，有關(guān)織物疵點(diǎn)檢測(cè)方法的研究都認(rèn)為可以通過(guò)在織物生產(chǎn)過(guò)程中獲取或者實(shí)地采集拍攝從而創(chuàng)建自己的織物數(shù)據(jù)庫(kù)，而多數(shù)數(shù)據(jù)庫(kù)需要付費(fèi)或者并沒(méi)有收集到足夠多的信息。為更好地評(píng)估一個(gè)模型的有效性和通用性，應(yīng)該考慮創(chuàng)建一個(gè)公共免費(fèi)的大型數(shù)據(jù)庫(kù)。

2)更加明確的評(píng)判準(zhǔn)則。實(shí)際生產(chǎn)過(guò)程中，生產(chǎn)環(huán)境復(fù)雜，容易受光照、粉塵等因素影響，在不同生產(chǎn)環(huán)境和設(shè)備上采集的織物圖像會(huì)略有差異，因此如何在各樣的生產(chǎn)環(huán)境中克服環(huán)境因素是需要考慮的問(wèn)題。因?yàn)閷?shí)際生產(chǎn)數(shù)據(jù)中，人工標(biāo)注的標(biāo)簽不一定準(zhǔn)確，不同標(biāo)準(zhǔn)下一個(gè)標(biāo)簽可能時(shí)好時(shí)壞，所以一個(gè)統(tǒng)一的疵點(diǎn)檢測(cè)標(biāo)準(zhǔn)是必不可少的。

3)更好的適用性。隨著紡織技術(shù)的發(fā)展，織物的紋理結(jié)構(gòu)變得越發(fā)復(fù)雜和精細(xì)，使得細(xì)小疵點(diǎn)被檢測(cè)識(shí)別的難度加大。不同的處理方法在不同尺度上檢測(cè)效果不同，單一的處理方法往往具有一定的局限性，采用混合方法在處理織物結(jié)構(gòu)和疵點(diǎn)類型的變化方面具有更好的適用性。