摘 ?要：花色布匹在生產(chǎn)的過程中，其相比于單色布匹的生產(chǎn)需要引入更多的加工工序，比如印花、后整理等工序，經(jīng)常導(dǎo)致花色布匹產(chǎn)生更多的瑕疵類別。為了實現(xiàn)花色布匹瑕疵的智能識別與檢測，文章給出一種基于Cascade R-CNN改進的花色布匹瑕疵智能識別與檢測方法，實驗結(jié)果表明，相比同類算法，文章提出的方法在花色布匹瑕疵數(shù)據(jù)集上識別的準確率提升了2.39%，mAP評估指標提高了3.83%的顯著效果。

關(guān)鍵詞：花色布匹瑕疵;目標識別;缺陷檢測;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP391.41;TS107 ? ? ?文獻標識碼：A 文章編號：2096-4706（2020）23-0020-05

Improved Intelligent Recognition Method of Pattern and Color Fabric Defects

Based on Cascade R-CNN

LU Guijia

（Guangdong University of Technology，Guangzhou ?510006，China）

Abstract：In the process of patterned and color fabric production，it needs to introduce more processing procedures than the production of monochrome fabric，such as printing and finishing，etc，which often leads to more defect categories in the pattern and color fabric. In order to realize the intelligent recognition and detection of the defects of the pattern and color fabric，this paper presents an improved method of intelligent recognition and detection of the pattern and color fabric defects based on Cascade R-CNN. The experimental results show that compared with similar algorithms，the method proposed in this paper improves the accuracy of recognition on the pattern and color fabric defect data set by 2.39%，and the mAP evaluation index is improved by 3.83%.

Keywords：pattern and color fabric defect;target recognition;defect detection;deep learning;convolutional neural network

0 ?引 ?言

眾所周知，工業(yè)產(chǎn)品的表面缺陷問題嚴重地影響著其美觀和質(zhì)量，對于紡織工業(yè)的布匹產(chǎn)品，其表面的缺陷一般被人們稱為布匹瑕疵，其可能會產(chǎn)生于布匹生產(chǎn)工藝流程上各個環(huán)節(jié)，布匹產(chǎn)品的瑕疵問題會導(dǎo)致布匹產(chǎn)品滯銷和經(jīng)濟損失[1]。目前在我國的紡織企業(yè)中布匹瑕疵識別絕大多數(shù)還是依靠人工檢測，人工檢測有效率低，成本高，會導(dǎo)致誤檢和漏檢等問題，且人工檢測布匹瑕疵檢出率約為70%[2]，對于追求高質(zhì)量紡織品和提高生產(chǎn)效率的布匹生產(chǎn)企業(yè)，這無疑是個比較嚴重的阻礙。

近年來，隨著人工智能技術(shù)的快速發(fā)展與應(yīng)用，基于深度學(xué)習(xí)的方法使得布匹瑕疵智能識別與檢測的效果又邁進了一大步。吳志洋等[3]為了解決單色布匹瑕疵的快速檢測，基于AlexNet[4]提出了一種雙網(wǎng)絡(luò)并行的OurNet方法，在單色布匹瑕疵識別準確率和速度上有顯著的提升，該模型均衡了檢測速度和性能，但是對于分辨率高，瑕疵區(qū)域小的布匹圖像，卻難以檢測。車翔玖等[5]針對高分辨率，瑕疵區(qū)域小的布匹圖像不易于檢測的問題，基于FastRCNN[6]改進提出一種多分類任務(wù)概率合成的方法，能夠有效識別高分辨率，小目標瑕疵的布匹圖像的瑕疵，不過在識別和檢測速度上并不夠理想。

上述方法均是基于深度學(xué)習(xí)算法對布匹瑕疵檢測進行相關(guān)研究，不過研究的對象都是易于檢測的單色布匹和紋理布匹瑕疵種類，而對于花色布匹，其瑕疵種類更為繁多，背景紋理圖案復(fù)雜，瑕疵形狀與背景花紋相似的布匹圖像條件下卻難以發(fā)揮出其相應(yīng)的性能，同時花色布匹瑕疵識別在國內(nèi)外卻鮮有研究。基于此，本文在布匹瑕疵檢測相關(guān)研究的基礎(chǔ)上，引入花色布匹模板圖像，提出了基于花色布匹圖像模板的花色布匹瑕疵智能識別與檢測方法。該方法首先使用圖像處理技術(shù)對采集到的花色布匹瑕疵圖像進行預(yù)處理，進一步將圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進行特征提取;其次，引入花色布匹模板圖像的特征層，基于特征金字塔網(wǎng)絡(luò)（FPN）搭建一種新的特征融合網(wǎng)絡(luò)（TeFPN）來進行有效特征融合;最后，提出一種基于花色布匹圖像模板的回歸框抑制方法（Te-NDS）來提高最終的花色布匹瑕疵識別效果。

1 ?花色布匹瑕疵問題描述

通過對花色布匹瑕疵進行觀察，發(fā)現(xiàn)有一些花色布匹的瑕疵特征與花色背景紋理十分相似，還有一些瑕疵類別之間的特征也十分相似，部分各類花色布匹瑕疵如圖1所示，若依靠人工去檢查很難通過人眼去觀察并把它們尋找出來，而且人工檢測花色布匹瑕疵是十分困難且低效率的，所以本文擬采用一種基于深度學(xué)習(xí)的智能方法來研究花色布匹瑕疵的識別與檢測。

通過對花色布匹數(shù)據(jù)庫進行分類統(tǒng)計，可以發(fā)現(xiàn)花色布匹瑕疵各個類別在分布上具有顯著的不平衡特性。其中，最多的是玷污類瑕疵，總共有5 233個，占瑕疵總體的34.7%，瑕疵數(shù)目最少的類別是破洞類，有368個，約占總體的2.5%，這樣的數(shù)據(jù)分布顯然不利于用學(xué)習(xí)的方法進行模型訓(xùn)練并推理預(yù)測。同時，本文還對各類瑕疵的形狀尺寸進行統(tǒng)計分析，發(fā)現(xiàn)各類瑕疵存在類內(nèi)瑕疵尺寸差異較大，類間瑕疵尺寸差異顯著的特點。

2 ?花色布匹瑕疵檢測模型構(gòu)建

2.1 ?基于Cascade R-CNN改進的花色布匹瑕疵識別方法

為了更能適應(yīng)對于花色布匹瑕疵的檢測與分類，本文采用Cascade R-CNN[7]網(wǎng)絡(luò)結(jié)構(gòu)作為花色布匹瑕疵識別的基本模型，并且在此模型結(jié)構(gòu)上做了部分有效的改進，網(wǎng)絡(luò)框架結(jié)構(gòu)如圖2所示。首先，本文基于特征金字塔網(wǎng)絡(luò)[8]，引入正?；ㄉ计D像作為模板進行特征提取，然后和待檢測花色布匹圖像提取的特征層進行有效的融合。其次，本文采用K-means聚類分析方法，針對花色布匹瑕疵尺寸進行聚類分析，然后在網(wǎng)絡(luò)模型結(jié)構(gòu)中的區(qū)域候選網(wǎng)絡(luò)中對anchor的比例和尺寸大小進行重新設(shè)定。最后，本文在瑕疵分類和定位回歸處理上結(jié)合了花色布匹模板圖像進行非極大值抑制處理，提高了花色布匹瑕疵檢測定位的效果。

2.2 ?基于FPN改進的特征融合網(wǎng)絡(luò)

FPN是通過利用卷積神經(jīng)網(wǎng)絡(luò)提取輸入圖像的特征圖層進行了橫向連接和自頂向下連接的特征融合方式，這種方法能夠有效地融合輸入圖像中各個維度的特征，可以使下層輸出的特征圖層融合上層的語義信息，實驗表明，該特征表達的語義信息更為有效。FPN網(wǎng)絡(luò)結(jié)構(gòu)如圖3（a）所示，其中Fl（l=2，…，6）表示經(jīng)過CNN提取原始圖像的第2～6層金字塔型特征圖層，從第6層特征圖層F6開始，每個特征圖層在水平方向以3×3的卷積核進行卷積運算，再從最頂層P6從頂向下進行2倍的上采樣運算后與對應(yīng)水平卷積運算后的特征圖層逐元素相加，獲得最終特征圖層Pk（k=2，…，5）。

由于花色布匹瑕疵的特點與花色布匹的背景花紋圖案具有相似性，F(xiàn)PN會融合花色布匹圖像的冗余特征信息，難以發(fā)揮其有效的性能?；诖?，本文引入了花色布匹模板圖像的特征層，采取其相應(yīng)的高層次特征層相加，低層次特征層相減，得到特征層差值再與相應(yīng)的瑕疵布匹圖像特征層進行通道疊加的特征融合方式，本文將該方法命名為TeFPN，該方法能減弱花紋和圖案背景的特征信息對瑕疵特征的干擾，TeFPN網(wǎng)絡(luò)結(jié)構(gòu)如圖3（b）所示，其相關(guān)計算方式為：

Pi=Concat（Fdi，（Fdi）+Fti））*Ki，（i=4，5，6） （1）

Pj=Concat（Fdj，（Fdj）-Ftj））*Kj，（j=2，3） ? （2）

其中，Pi，Pj表示經(jīng)過TeFPN輸出的第i和第j層特征圖層，Concat（Fdi，（Fdi+Fti））表示對特征圖層Fdi和特征圖層（Fdi+Fti）進行通道疊加，*表示卷積運算，Ki和Kj均表示1×1卷積核。圖中顏色由淺至深表示特征層由高至低。

2.3 ?基于模板的非瑕疵抑制方法

非極大值抑制[9]是一種抑制不是極大值的元素的局部最大搜索方法。用于目標檢測中，就是提取置信度高的目標檢測框，抑制置信度低的回歸框。受此方法啟發(fā)，本文針對花色布匹的花紋和背景圖案與瑕疵特點具有相似性的特點會造成模型性能降低的問題，提出Te-NDS后處理算法，其算法框圖如圖4所示。圖中IoU為交并比。

3 ?花色布匹瑕疵數(shù)據(jù)處理

3.1 ?花色布匹數(shù)據(jù)庫構(gòu)建

本文在廣東省某布匹企業(yè)采集到了63種花色布匹圖像數(shù)據(jù)4 681張，圖像分辨率大小為1810×4096，其中包括正常樣本1 217張，帶有瑕疵的樣本3 409張，并且對帶有瑕疵的樣本進行了瑕疵信息標注，包括瑕疵在圖片中的像素位置，瑕疵的類別和瑕疵對應(yīng)的圖像文件名稱，對于破洞、水印、玷污等常見的布匹瑕疵類型進行了統(tǒng)計，共統(tǒng)計出9類瑕疵，對于色差、蠟斑和網(wǎng)折等不常見的布匹瑕疵類型歸為其他類，瑕疵類別總計共有10類。對于正常的樣本圖像不做瑕疵信息標注，并且根據(jù)花色選出每一種正常花色布匹圖像作為模板圖像。

3.2 ?花色布匹數(shù)據(jù)處理

根據(jù)上述的類不平衡的問題，本文對于瑕疵類別占比較低的圖像進行由Shorten和Kisantal等[10，11]提出的圖像數(shù)據(jù)增強處理，對于瑕疵類別占比在1%～8%之間的圖像，做水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、分割、隨機仿射變換、椒鹽噪聲和高斯濾波共6種數(shù)據(jù)增強方式，瑕疵類別占比在9%～21%之間的圖像，做了分割、隨機仿射變換、椒鹽噪聲和高斯濾波共4種數(shù)據(jù)增強方式，瑕疵類別占比在22%～29%之間的圖像，僅采用了翻轉(zhuǎn)和分割2種數(shù)據(jù)增強方式，瑕疵類別占比超過30%的布匹圖像，不做圖像增強。這樣得到花色布匹瑕疵類別分布較為平衡的數(shù)據(jù)集，經(jīng)過數(shù)據(jù)增強前后的花色布匹瑕疵類別分布直方圖，如圖5所示。

4 ?實驗結(jié)果與分析

4.1 ?實驗環(huán)境與細節(jié)

本文的實驗環(huán)境是采用配置為Intel（R）Xeon（R）E5-2650 v4 @ 2.20 GHz CPU和NVIDIA GeForce GTX 1080Ti GPU

的服務(wù)器進行實驗，服務(wù)器的操作系統(tǒng)為Ubuntu 16.04，同時基于PyTorch框架進行模型的搭建與改進，用到ImageNet[12]中的預(yù)訓(xùn)練權(quán)重。此外，使用了OHEM采樣方法進行采樣、多尺度訓(xùn)練、隨機翻轉(zhuǎn)等訓(xùn)練技巧和Focal Loss損失函數(shù)，使用隨機梯度下降算法進行優(yōu)化訓(xùn)練過程不會引起梯度爆炸。

4.2 ?評估指標

識別的準確率（Acc）為識別正確的花色布匹圖像數(shù)量與測試集所有樣本數(shù)量的比值，其計算公式見式（3）：

（3）

其中，TP為預(yù)測實際瑕疵為瑕疵，TN為預(yù)測實際正?；ㄉ计檎＃o瑕疵），M為測試集所有樣本數(shù)量。

另外，為了測量模型在10類不同瑕疵中的總體檢測性能，本文采用mAP性能指標進行評估模型的性能，mAP的定義公式為式（4）：

（4）

其中Pn（Rn）表示第n類的PR曲線，N表示實際的總類別數(shù)目。識別的速度以每秒識別幀數(shù)（FPS）來評估，一幀表示一幅花色布匹圖像，F(xiàn)PS值越高表明識別速度越快。

4.3 ?模型的性能實驗結(jié)果

本文實驗用到含有28種花色，926張分辨率為2 048 ×915的花色布匹圖像的測試集進行花色布匹瑕疵智能識別實驗，表1是本文方法和同類方法的實驗結(jié)果比較。Faster RCNN在不同的骨架網(wǎng)絡(luò)上的性能表現(xiàn)相差不大，隨著卷積網(wǎng)絡(luò)層數(shù)的加深，其準確率和mAP都有小幅度提升，準確率提高了0.55%，mAP提升了1.41%，由此可以推斷，卷積網(wǎng)絡(luò)深度的加深可以提取更到更多的特征信息，提升模型的檢測性能。一方面，在相同的骨架網(wǎng)絡(luò)下Cascade R-CNN與Faster RCNN相比，Cascade R-CNN的性能表現(xiàn)更好。另一方面，Cascade R-CNN在同一特征提取骨架網(wǎng)絡(luò)下，特征融合網(wǎng)絡(luò)中TeFPN的準確率相比FPN提高了1.07%，mAP提升了2.07%，因此TeFPN有效地融合瑕疵的特征，過濾掉部分花紋和背景圖案等非瑕疵特征信息。同時，Te-NDS的引入也使得模型的識別準確率再提高了1.32%，mAP又提升了1.76%，驗證了本文提出的Te-NDS方法能有效地抑制模型對背景紋理信息對瑕疵特征的干擾。另外，經(jīng)過參數(shù)整定實驗，當設(shè)定Te-NDS的閾值Nt=0.32時，模型性能在測試集上取得最好的效果。這說明，對比于原始的Cascade R-CNN方法，本文的改進方法在花色布匹瑕疵數(shù)據(jù)集上的準確率和mAP性能指標均有大幅提升，不過在識別的速度上略有減緩。

5 ?結(jié) ?論

本文針對花色布匹具有花紋和復(fù)雜圖案等條件下進行瑕疵分類與檢測，提出了一種基于Cascade R-CNN改進的智能識別方法。該方法通過在特征融合網(wǎng)絡(luò)引入花色布匹圖像的模板特征層與待測花色布匹圖像特征層進行有效融合，同時在模型識別過程中采用了一種基于花色布匹模板的非瑕疵抑制的后處理方法。經(jīng)過實驗驗證，本文提出的方法能夠提升花色布匹瑕疵的識別效果，可應(yīng)用于花色布匹瑕疵的識別與檢測。

參考文獻：

[1] HENRY Y.T. NGAN A，Grantham K.H，etc. Automated fabric defect detection—A review [J].Image and Vision Computing，2011，29 （7）：442-458.

[2] CHAN C H，PANG G K H. Fabric defect detection by Fourier analysis [J].IEEE Transactions on Industry Applications，2000，36（5）：1267.

[3] 吳志洋，卓勇，李軍，等.基于卷積神經(jīng)網(wǎng)絡(luò)的單色布匹瑕疵快速檢測算法 [J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2018，30（12）：2262-2270.

[4] KRIZHEVSKY A，SUTSKEVER I，HINTON G. ImageNet classification with deep convolutional neural networks [J].Communications of the ACM，2017，60（6）：84-90.

[5] 車翔玖，劉華羅，邵慶彬.基于Fast RCNN改進的布匹瑕疵識別算法 [J].吉林大學(xué)學(xué)報 （工學(xué)版），2019，49（6）：2038-2044.

[6] GIRSHICK R. Fast R-CNN [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1440-1448.

[7] CAI Z W，VASCONCELOS N. Cascade R-CNN：Delving Into High Quality Object Detection [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition：IEEE，2018.

[8] LIN T Y，DOLLAR P，HE K，et al. Feature Pyramid Networks for Object Detection [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）：IEEE，2017.

[9] NEUBECK A，GOOL L J V. Efficient Non-Maximum Suppression [C]//International Conference on Pattern Recognition：IEEE，2006.

[10] SHORTEN C，KHOSHGOFTAAR T M. A survey on Image Data Augmentation for Deep Learning [J].Journal of Big Data，2019，6（1）：1-48.

[11] KISANTAL M，WOJNA Z，MURAWSK J，et al. Augmentation for small object detection [C]//9th International Conference on Advances in Computing and Information Technolog：Aircc Publishing Corporation，2019.

[12] DENG J，DONG W，SOCHER R，et al. ImageNet：A large-scale hierarchical image database [C]//IEEE Conference on Computer Vision & Pattern Recognition.Miami：IEEE，2009：248-255.

作者簡介：陸貴家（1996—），男，壯族，廣東廣州人，碩士研究生在讀，主要研究方向：深度學(xué)習(xí)，計算機視覺，目標檢測。