鄭雨婷，王成群，陳亮亮，吳 江，呂文濤

(1.浙江理工大學(xué)信息學(xué)院，杭州 310018；2.浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院應(yīng)用工程系，杭州 310018)

纖維、紗線通過一定的交叉、繞結(jié)或連結(jié)等方式構(gòu)成穩(wěn)定的關(guān)系形成了織物。在紡織工業(yè)生產(chǎn)中，織物不僅作為制作服裝的基礎(chǔ)材料，而且可作為其他裝飾類和工業(yè)類的原材料進(jìn)行再加工。隨著織物圖像數(shù)據(jù)庫(kù)的不斷擴(kuò)大，如何從海量織物圖像數(shù)據(jù)中提取、組織關(guān)鍵特征并快速精準(zhǔn)得到有效信息，正成為紡織領(lǐng)域中倍受關(guān)注的問題。在生產(chǎn)過程中，疵點(diǎn)分類及檢測(cè)、圖像分類、圖像分割技術(shù)分別在質(zhì)量檢測(cè)、工藝加工等環(huán)節(jié)起著至關(guān)重要的作用。采用人工處理的方法具有一定的主觀性，工作環(huán)境、情緒狀態(tài)和資歷經(jīng)驗(yàn)等因素均會(huì)影響技術(shù)的具體實(shí)施效果，同時(shí)還需考慮人力和時(shí)間成本等問題；而以淺層次結(jié)構(gòu)為主的傳統(tǒng)機(jī)器學(xué)習(xí)方法，存在無(wú)法自主學(xué)習(xí)特征的缺點(diǎn)?；谏窠?jīng)網(wǎng)絡(luò)的圖像識(shí)別技術(shù)不僅克服了人工檢測(cè)主觀性強(qiáng)和傳統(tǒng)機(jī)器方法無(wú)法自主學(xué)習(xí)的難題，而且提高了生產(chǎn)效率降低了加工成本。卷積神經(jīng)網(wǎng)絡(luò)(Convolution neural network, CNN)一般由輸入層、卷積層、激活函數(shù)、池化層、全連接層5部分組成，可借助標(biāo)準(zhǔn)數(shù)據(jù)集ImageNet[1]和紡織服裝行業(yè)大量豐富的圖像數(shù)據(jù)進(jìn)行訓(xùn)練，具有處理精度高、適應(yīng)性好、靈活性強(qiáng)等特點(diǎn)。隨著神經(jīng)網(wǎng)絡(luò)的研究不斷深入，圖像識(shí)別技術(shù)的精度和速度得到了極大的提高。其成果一方面得益于數(shù)據(jù)集的擴(kuò)大，另一方面來自算法和網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的織物疵點(diǎn)分類算法

目前，基于神經(jīng)網(wǎng)絡(luò)的織物疵點(diǎn)分類算法，主要包括以下幾種：GG-Very-Deep-16 CNN(VGG16-Stochastic Gradient Descent[2]、VGG16-Visual Saliency[3]、VGG16-Double Low Rank[4]、Fisher Deep Convolutional Neural Network(FDCNN)[5-6]、LZFNet-V1[7])，GoogLeNet(Inception v1[8-10]、Inception v3[2, 11-12])，Deep Residual Network(ResNet-34[13-14]、ResNet-50[15])和其他CNN(CNN-Dense[16]、CNN-Adam[17]、CNN-PASS[18]、EfficientNet-B5[19]、CNN-Regularization[20])。卷積網(wǎng)絡(luò)不同于傳統(tǒng)機(jī)器學(xué)習(xí)方法的手動(dòng)定義特征，它利用卷積層的局部連接和權(quán)值與池化層的平移不變性，達(dá)到自主學(xué)習(xí)特征提取的目的，最后一般利用全連接層實(shí)現(xiàn)分類。

1.1 VGG16

AlexNet模型采用了ReLu激活函數(shù)[1]、Dropout策略和Local Response Normalization(LRN)處理，緩解了網(wǎng)絡(luò)的過擬合問題和梯度彌散問題并增加了網(wǎng)絡(luò)的稀疏性，但面對(duì)復(fù)雜紋理結(jié)構(gòu)需要獲得更大的感受野增強(qiáng)特征提取效率，而且池化層會(huì)造成一些不必要的信息損失。VGG16采用連續(xù)的3×3卷積核代替AlexNet中的較大卷積核，卷積層由5層增加至13層，保證同等感知野的情況下增加了網(wǎng)絡(luò)深度和非線性變換，但是出于計(jì)算時(shí)間的考慮未進(jìn)行LRN處理。

為證明Batch Normalization(BN)層對(duì)坯布缺陷分類的有效性，晏琳[2]在VGG16的池化層和卷積層間增加批歸一化層，而在原始AlexNet用批歸一化層替代局部歸一化層，分別使用Stochastic Gradient Descent(SGD)、momentum和Root Mean Square prop(RMSprop)3種梯度下降法進(jìn)行實(shí)驗(yàn)。經(jīng)比較，SGD作為優(yōu)化算法的改進(jìn)VGG16取得了最高的準(zhǔn)確率，達(dá)到98.26%。在背景復(fù)雜的提花織物圖像中，隨著卷積層數(shù)的增加背景花紋容易被誤檢為疵點(diǎn)，李敏等[3]基于VGG16融合視覺顯著性模型來抑制背景信息，在提花織物疵點(diǎn)數(shù)據(jù)集中測(cè)得平均準(zhǔn)確率97.07%，比原網(wǎng)絡(luò)提高了 19.44%，但無(wú)法區(qū)分疵點(diǎn)類別。江伴等[4]利用疵點(diǎn)圖像顯著性得分高的特點(diǎn)很好地實(shí)現(xiàn)了疵點(diǎn)和背景、噪聲的分離，先是參考VGG16構(gòu)建了淺層卷積網(wǎng)絡(luò)得到圖像的特征矩陣，接著采用雙低秩表示模型實(shí)現(xiàn)疵點(diǎn)區(qū)域和背景區(qū)域的分離，最后利用閾值分割算法定位，準(zhǔn)確率高達(dá)98.58%。Chollet[5]提出的Xception證明了利用深度可分離濾波器可超越Inception v3模型性能，深度可分離卷積可以保證較高分類準(zhǔn)確率的前提下降低網(wǎng)絡(luò)參數(shù)。因此，史甜甜[6]在VGG16的基礎(chǔ)上結(jié)合深度可分離卷積提出FDCNN模型，并在Softmax分類器中加入Fisher準(zhǔn)則約束以增加模型的泛化性，在TILDA和彩色格子數(shù)據(jù)集上分類準(zhǔn)確率分別為98.14%、98.55%，并且網(wǎng)絡(luò)參數(shù)量縮減為1.8 MB、計(jì)算量和運(yùn)行時(shí)間大幅度降低，但還沒有應(yīng)用到自動(dòng)監(jiān)測(cè)系統(tǒng)中。為更有針對(duì)性地調(diào)整VGGNet結(jié)構(gòu)以提高識(shí)別精度，Liu等[7]引入反卷積網(wǎng)絡(luò)并對(duì)VGGNet進(jìn)行深度特征可視化分析，優(yōu)化體系結(jié)構(gòu)構(gòu)造了LZFNet-V1，精度不低于原網(wǎng)絡(luò)的同時(shí)參數(shù)縮減了90%以上，適用于紡織品生產(chǎn)企業(yè)中計(jì)算資源受限條件下的輕量級(jí)織物缺陷識(shí)別系統(tǒng)。

1.2 GoogLeNet

VGGNet中的3個(gè)全連接層需要耗費(fèi)一定的計(jì)算資源，GoogLeNet[8]將全連接層用全局平均池化來取代，雖然減少了過擬合情況的出現(xiàn)，但也導(dǎo)致了模型泛化能力的缺失。GoogLeNet提出了Inception模塊，在卷積層后方銜接1×1的卷積核進(jìn)行特征提取，并且采用多個(gè)模塊組合構(gòu)建整體模型，在增加網(wǎng)絡(luò)寬度與深度的同時(shí)減少了模型參數(shù)。Inception v2用2個(gè)3×3的卷積核代替5×5的大卷積，緊接著Inception v3提出將一個(gè)較大的二維卷積拆分成兩個(gè)較小的一維卷積，減少了參數(shù)量而且加速了運(yùn)算。但隨著網(wǎng)絡(luò)的加深，不可避免會(huì)造成梯度消失等問題。

趙志勇等[9]用Inception-ResNet-v2在復(fù)雜背景和無(wú)規(guī)律紋理的布匹數(shù)據(jù)集中實(shí)驗(yàn)，疵點(diǎn)判決準(zhǔn)確率達(dá)到了99%，其中Inception結(jié)構(gòu)用于自動(dòng)學(xué)習(xí)特征提取，而殘差網(wǎng)絡(luò)用來緩解網(wǎng)絡(luò)加深帶來的一系列問題。從輸出的特征圖譜可看出該網(wǎng)絡(luò)實(shí)現(xiàn)了疵點(diǎn)和背景的隔離，但只能實(shí)現(xiàn)二分類且無(wú)法應(yīng)用于嵌入式平臺(tái)。王理順等[10]去掉了GoogLeNet架構(gòu)中的LRN層與Dropout層，在卷積層和Inception層后均添加一個(gè)BN層作歸一化處理，在保證收斂速度和泛化能力的前提下，降低了模型的復(fù)雜度。在織物驗(yàn)布機(jī)實(shí)時(shí)高清圖平均每張圖的測(cè)試時(shí)間為0.37 ms，比GoogLeNet、ResNet-50分別減少了67%、93%，測(cè)試集上的分類準(zhǔn)確率高達(dá) 99.99%，準(zhǔn)確率與實(shí)時(shí)性均滿足工業(yè)需求。相比于Inception v1結(jié)構(gòu)，Inception v3[11]不僅用多個(gè)小卷積核替代大卷積減少了參數(shù)量，而且利用非對(duì)稱卷積減少了計(jì)算量。晏琳[2]基于遷移學(xué)習(xí)的Inception v3訓(xùn)練迭代僅200次時(shí)，就能夠在坯布缺陷數(shù)據(jù)集取得97.03%的分類準(zhǔn)確率，大大降低了訓(xùn)練時(shí)間，且能被運(yùn)用到傳送帶或驗(yàn)布機(jī)等對(duì)速率要求較高的環(huán)境中。曹振軍等[12]參考Inception v3模塊，添加Dropout層減少過擬合，在破洞、帶紗、雙緯紗和斷頭4類色織物疵點(diǎn)數(shù)據(jù)集訓(xùn)練的平均準(zhǔn)確率達(dá)到了94%，并滿足在嵌入式平臺(tái)工業(yè)在線檢測(cè)的要求。

1.3 ResNet

隨著VGGNet、GoogLeNet深度的增加，網(wǎng)絡(luò)可能會(huì)出現(xiàn)退化現(xiàn)象，ResNet使用了殘差學(xué)習(xí)的結(jié)構(gòu)避免了此等現(xiàn)象的發(fā)生。為研究遷移學(xué)習(xí)給殘差網(wǎng)絡(luò)帶來的影響，羅俊麗等[13]比較了在不同大小的素色織物數(shù)據(jù)集中，遷移學(xué)習(xí)ResNet-34中不同層對(duì)應(yīng)的疵點(diǎn)識(shí)別率。在較大的數(shù)據(jù)集中，由于預(yù)訓(xùn)練數(shù)據(jù)集ImageNet與織物數(shù)據(jù)集特征差別較大，而高層特征描述得較為抽象，故模型識(shí)別率隨著遷移層數(shù)的增加而下降；在較小的數(shù)據(jù)集中，加載遷移層數(shù)2層以內(nèi)，模型識(shí)別率有所提高，繼續(xù)增加層數(shù)反而下降。實(shí)驗(yàn)表明，殘差網(wǎng)絡(luò)在較大數(shù)據(jù)集中識(shí)別率更高，當(dāng)數(shù)據(jù)集較小時(shí)，可以通過遷移學(xué)習(xí)提升模型的識(shí)別率。由于使用阿里云天池大賽織物數(shù)據(jù)集中包括大量正常(無(wú)疵點(diǎn))的織物圖像，蔡鵬等[14]先采用重采樣、垂直和水平方向上的翻轉(zhuǎn)對(duì)有疵點(diǎn)圖像進(jìn)行數(shù)據(jù)增強(qiáng)，得到的訓(xùn)練樣本再和縮小尺寸的原圖分別輸入到2個(gè)ResNet-34模型中訓(xùn)練后融合。對(duì)比得mean Average Precision(mAP)和AreaUnderRoc(AUC)的數(shù)值發(fā)現(xiàn)，訓(xùn)練集擴(kuò)充、測(cè)試集數(shù)據(jù)增強(qiáng)和模型融合都有助于模型預(yù)測(cè)精度的提高。為提取到更細(xì)微的特征信息，羅維平等[15]基于ResNet-50應(yīng)用遷移學(xué)習(xí)方法，并用3個(gè)3×3的堆疊卷積層替換7×7卷積層，降低了計(jì)算參數(shù)量，最后在殘差模塊1×1卷積核下采樣前加入一層2×2的平均池化層整合空間信息。在企業(yè)提供的真實(shí)高清織物數(shù)據(jù)集中訓(xùn)練并測(cè)試，比標(biāo)準(zhǔn)模型速度提升了1倍，計(jì)算量減少10%，泛化能力相比于最深的殘差網(wǎng)絡(luò)ResNet152模型只差了0.63%。

1.4 其他CNN

崔春杰等[16]觀察到平紋、斜紋和鍛紋3類織物數(shù)據(jù)集中疵點(diǎn)具有明顯的方向性，針對(duì)這3類織物設(shè)計(jì)了由卷積層、池化層、flatten層和dense層組成的卷積網(wǎng)絡(luò)，在測(cè)試樣本的平均準(zhǔn)確率為98.6%，且具有較強(qiáng)的魯棒性和泛化能力，但只能實(shí)現(xiàn)二分類。在平紋布這類簡(jiǎn)單背景的織物中，劉艷鋒等[17]設(shè)計(jì)的卷積網(wǎng)絡(luò)包含了連續(xù)三次的卷積、池化操作，并采用Adam作為梯度下降算法。該網(wǎng)絡(luò)在檢測(cè)準(zhǔn)確率達(dá)到98%以上，均高于VGG16和LeNet，但檢測(cè)速度基于兩者之間，且無(wú)法判斷疵點(diǎn)具體類別。針對(duì)數(shù)碼印花PASS道等4類小目標(biāo)缺陷，蘇澤斌等[18]先對(duì)圖像作預(yù)處理和幾何變換的數(shù)據(jù)增強(qiáng)，增加了圖像質(zhì)量和數(shù)量，設(shè)計(jì)了一個(gè)包含2個(gè)卷積層、2個(gè)池化層和2個(gè)全連接層的CNN，分類準(zhǔn)確率高于LeNet-5、AlexNet、VGG16以及GoogLeNet等網(wǎng)絡(luò)模型。張敏等[19]使用ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的初始權(quán)重，采用遷移學(xué)習(xí)在小樣本TILDA數(shù)據(jù)集上進(jìn)行微調(diào)構(gòu)建新的EfficientNet-B5模型，得到高達(dá)99%的分類準(zhǔn)確率。孫羽等[20]在卷積核上引入多層感知機(jī)加深局部感受野深度，進(jìn)一步增強(qiáng)特征表示能力；為防止網(wǎng)絡(luò)深度的增加造成過擬合，在前向傳播的softmax損失函數(shù)中使用L2正則化，加快收斂速度、提高檢出率。在線陣CCD相機(jī)收集的布匹數(shù)據(jù)集中訓(xùn)練，測(cè)試識(shí)別率高達(dá)98.9%，要優(yōu)于未改進(jìn)的傳統(tǒng)CNN方法以及傳統(tǒng)檢測(cè)算法。

綜上，神經(jīng)網(wǎng)絡(luò)技術(shù)在織物疵點(diǎn)分類中起著重要的作用，不僅能自主學(xué)習(xí)織物疵點(diǎn)圖像的特征取得較高的分類精度，也能通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)滿足工業(yè)實(shí)時(shí)性分類的要求。各網(wǎng)絡(luò)分類算法分析見表1。

表1 基于卷積神經(jīng)網(wǎng)絡(luò)的疵點(diǎn)分類算法優(yōu)缺點(diǎn)分析

2 基于卷積神經(jīng)網(wǎng)絡(luò)的瑕疵檢測(cè)算法

織物瑕疵檢測(cè)是紡織品質(zhì)檢過程中的重要環(huán)節(jié)，高檢測(cè)精度和實(shí)時(shí)工業(yè)監(jiān)測(cè)是織物瑕疵檢測(cè)領(lǐng)域的主要挑戰(zhàn)，瑕疵檢測(cè)結(jié)果如圖 1所示。基于卷積神經(jīng)網(wǎng)絡(luò)的織物瑕疵檢測(cè)算法主要分為兩種：一種是基于候選區(qū)域的算法，分開實(shí)現(xiàn)候選區(qū)域的產(chǎn)生和分類與回歸(兩步法)，例如Faster Region Convolution Neural Network(Faster RCNN-Generative Adversarial Networks[21]、Faster RCNN-Soft Non Maximum Suppression[22]、Faster RCNN-ResNet-101[23-25])、Region-based Fully Convolutional Networks(R-FCN)[26]；另一種是僅使用一個(gè)卷積網(wǎng)絡(luò)就對(duì)目標(biāo)直接定位與分類(一步法)，例如You Only Look Once(Tiny-YOLOv3[27-28]、YOLOv3[29]、LW-YOLO[30])、Single Shot MultiBox Detector(MobileNet(V3)-SSD[28]、MobileNet Feature Fusion-SSD(MF-SSD)[31]、Deconvolutional Single Shot Detector(DSSD)[32]、Multi-scale Fusion Deconvolutional Single Shot Detector(MFDSSD)[33])。

圖1 瑕疵檢測(cè)示意

2.1 兩步法

RCNN利用候選區(qū)域與CNN結(jié)合做目標(biāo)定位，接著Fast RCNN的提出實(shí)現(xiàn)了目標(biāo)分類與檢測(cè)框回歸的統(tǒng)一。Faster RCNN則利用Region Proposal Network(RPN)采用自主學(xué)習(xí)的方式生成區(qū)域候選框，再與Fast RCNN檢測(cè)網(wǎng)絡(luò)共享卷積層，并且利用非極大值抑制算法減少候選框的冗余，比傳統(tǒng)滑動(dòng)窗口獲得目標(biāo)候選框精度和速度都更高。

2.1.1 Faster RCNN

李明等[21]在Faster RCNN的基礎(chǔ)上利用Generative Adversarial Networks(GAN)對(duì)織物瑕疵圖像集進(jìn)行擴(kuò)充，緩解了瑕疵樣本有限和類別分布不均的問題。先后在3個(gè)織物缺陷數(shù)據(jù)集中實(shí)驗(yàn)，在保持效率不變的同時(shí)mAP分別提高了 4.32%、3.88%、3.46%，最終準(zhǔn)確率分別為 93.68%、92.45%、93.7%。由于Non Maximum Suppression(NMS)算法會(huì)誤刪位置相近的小瑕疵產(chǎn)生的檢測(cè)框，安萌等[22]在Faster RCNN的基礎(chǔ)上用Soft-NMS算法替代該算法，同時(shí)在Softmax函數(shù)中加入L2范數(shù)約束提高了分類準(zhǔn)確率。在天池布匹瑕疵數(shù)據(jù)集中準(zhǔn)確率高達(dá)94.67%，相比原模型提高了5.09%，但主要研究紋理較為簡(jiǎn)單的數(shù)據(jù)集，并未對(duì)復(fù)雜紋理特征深入研究。為提升多尺度瑕疵和小目標(biāo)瑕疵的檢測(cè)能力，陳康等[23]采用了Faster RCNN與ResNet-101相結(jié)合的方法，增加錨點(diǎn)框的種類至16種，用全局平均池化層替代原網(wǎng)絡(luò)前兩個(gè)全連接層，不僅減少參數(shù)數(shù)量加快了網(wǎng)絡(luò)運(yùn)算，而且還減輕了過擬合的發(fā)生。雖然使用殘差網(wǎng)絡(luò)犧牲了部分檢測(cè)時(shí)間，但在純色布匹瑕疵數(shù)據(jù)集的平均準(zhǔn)確率高達(dá) 95.63%，顯著超越了人工檢測(cè)精度。晏琳等[24]同樣以ResNet-101作為Faster RCNN的特征提取網(wǎng)絡(luò)，在ImageNet數(shù)據(jù)集和坯布缺陷數(shù)據(jù)集多次合理參數(shù)優(yōu)化后，最終檢測(cè)準(zhǔn)確率高達(dá)99.6%，但不適用于對(duì)檢測(cè)速度有要求的生產(chǎn)線。Zhou等[25]將Feature Pyramid Network(FPN)和Distance Intersection Over Union(DIOU)損失函數(shù)技術(shù)融入Faster RCNN中，用Region of Interest Pooling(ROI Pooling)替代Region of Interest Align(ROI Align)，搭建出由ResNet-101作為Backbone的FabricNet模型。在DAGM2007數(shù)據(jù)集上達(dá)到62.07%的mAP和 97.37% 的AP50，平均預(yù)測(cè)速度為每秒16幀。

2.1.2 R-FCN

基于ResNet-101的Faster RCNN只共享了前91層的卷積層，存在平移不變性和位置敏感性的矛盾，極大地限制了算法的訓(xùn)練和計(jì)算速度。R-FCN 是基于此用卷積層替代全連接層，并在ROI pooling前引入位置敏感得分圖，合并了大量獨(dú)立運(yùn)算。廖如天[26]基于R-FCN，并將Soft-NMS算法引入到R-FCN的樣本后處理，提出了全局信息融合的R-FCN模型。為減少特征提取網(wǎng)絡(luò)的浮點(diǎn)數(shù)運(yùn)算，將ResNet-101替換為ResNet-50，同時(shí)去除Conv5層的一次降采樣，并引入空洞卷積替代普通卷積彌補(bǔ)感受野減小問題，使用多尺度交替訓(xùn)練和在線難示例挖掘保證網(wǎng)絡(luò)得到更加充分的訓(xùn)練。應(yīng)用于圓織機(jī)織物瑕疵檢測(cè)的實(shí)驗(yàn)表明，空洞卷積可以在尺寸為640×96的條帶上提升5.4%的平均查全率，且不會(huì)加入額外的計(jì)算開銷。提出的快速R-FCN有與R-FCN相當(dāng)?shù)牟槿屎团cYOLOv2較為接近的檢測(cè)速度，魯棒性強(qiáng)，不受光照等外界條件影響，但只能對(duì)靜態(tài)單幀圖像進(jìn)行檢測(cè)。

2.2 一步法

Faster RCNN雖然準(zhǔn)確率較高，但在速度方面稍有劣勢(shì)。單階段的檢測(cè)算法雖然準(zhǔn)確率稍低，但是在速度方面更有優(yōu)勢(shì)。針對(duì)YOLO可以從兩個(gè)方向加以改進(jìn)，一個(gè)是在降速不多的前提下提高模型的檢測(cè)精度，另一個(gè)則是在不損失精度的情況下繼續(xù)提高檢測(cè)速度。

2.2.1 YOLO

YOLOv3[27]借鑒FPN的思想提取3個(gè)不同尺度的特征分別做預(yù)測(cè)，Tiny-YOLOv3在此基礎(chǔ)上修改部分主干網(wǎng)絡(luò)并去掉一個(gè)獨(dú)立預(yù)測(cè)分支。彭亞楠等[28]提出了基于Tiny-YOLOv3改進(jìn)的織物瑕疵檢測(cè)算法IMP-Tiny-YOLOv3，在原主干網(wǎng)絡(luò)的基礎(chǔ)上增加3個(gè)卷積層，同時(shí)引入1×1卷積核來降低模型計(jì)算復(fù)雜度。該網(wǎng)絡(luò)在廣東智能制造良品檢測(cè)數(shù)據(jù)集實(shí)驗(yàn)得到的mAP和recall較原網(wǎng)絡(luò)模型分別提升了3.1%和2.7%，也滿足工業(yè)實(shí)時(shí)性的要求，但對(duì)小型織物瑕疵檢測(cè)仍有不足。

由于檢測(cè)出尺度小的瑕疵需要高清晰度圖片輸入，這會(huì)導(dǎo)致檢測(cè)速度降低，謝景洋等[29]分別選取輕量化的MobileNets和更細(xì)粒度多尺度特征的Res2Net代替Darknet53作為YOLOv3算法的主干網(wǎng)絡(luò)，模型在COCO數(shù)據(jù)集上預(yù)訓(xùn)練后遷移到阿里云天池?cái)?shù)據(jù)大賽布匹瑕疵數(shù)據(jù)集微調(diào)后測(cè)試, 并采用Grad-CAM對(duì)主干網(wǎng)絡(luò)特征提取能力可視化。結(jié)果發(fā)現(xiàn)MobileNets在保持檢測(cè)精度的同時(shí)速度提高了30%，并且能更專注提取缺陷的特征，而Res2Net雖然殘差連接了多尺度特征但是在布匹瑕疵檢測(cè)中沒有明顯優(yōu)勢(shì)。YOLOv3對(duì)小目標(biāo)檢測(cè)能力較強(qiáng)，崔健[30]參考此網(wǎng)絡(luò)并采用連續(xù)的3×3和1×1卷積層搭建出一個(gè)輕量型卷積神經(jīng)網(wǎng)絡(luò)框架LW-YOLO，在TILDA織物圖像庫(kù)整體檢測(cè)準(zhǔn)確率達(dá)到97.7%，將檢測(cè)速度提高了2.6倍，模型參數(shù)減小了30倍。在此基礎(chǔ)上加入深度可分離卷積和可分離自適應(yīng)再校準(zhǔn)塊(Separated Adjusting Region，SAR)，即在深度卷積與點(diǎn)卷積之間添加了sigmoid激活函數(shù)，此SAR-DefectNet織物缺陷檢測(cè)算法降低了計(jì)算復(fù)雜度，提高了網(wǎng)絡(luò)特征提取的能力，在基本保持與DefectNet模型檢測(cè)速度和模型大小相差不大的同時(shí)，檢測(cè)準(zhǔn)確率提升了1.3%。

2.2.2 SSD

SSD在Faster RCNN的錨框機(jī)制和FPN結(jié)構(gòu)上，為不同尺度的特征圖構(gòu)造不同大小的先驗(yàn)框。不同于YOLO在全連接層進(jìn)行分類回歸，SSD直接利用卷積層對(duì)多個(gè)不同尺度的特征圖進(jìn)行檢測(cè)，在保證良好的實(shí)時(shí)性的同時(shí)具有較好的檢測(cè)準(zhǔn)確率。

彭亞楠[28]選用SSD作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，出于實(shí)時(shí)性考慮利用輕量級(jí)網(wǎng)絡(luò)MobileNetV3-small代替VGG16做特征提取，保留一定的檢測(cè)精度也縮減了網(wǎng)絡(luò)模型的參數(shù)量。該研究結(jié)果表明，VGG-SSD對(duì)小目標(biāo)的檢測(cè)效果最佳但檢測(cè)速度最慢，MobileNet(V3)-SSD對(duì)中小型目標(biāo)的檢測(cè)精度比IMP-Tiny-YOLOv3更高，mAP-75值比MobileNet(V2)-SSD提高了2.6%。黃漢林等[31]提出了改進(jìn)的MF-SSD，基于Mobile-SSD引入深度可分離卷積，同時(shí)在主干網(wǎng)絡(luò)后面增加8個(gè)3×3的卷積層。由于SSD存在深層網(wǎng)絡(luò)丟失語(yǔ)義信息而造成小目標(biāo)漏檢的問題，使用雙線性插值對(duì)特征圖進(jìn)行上采樣并利用Concat相加融合各尺度的特征信息。MF-SSD相比于MobileNet-SSD犧牲了檢測(cè)速度，但增加了檢測(cè)精度，單張圖片檢測(cè)速度從27ms增加到30ms，但模型mAP從84.1%增加到了90.1%，速度也在工業(yè)檢測(cè)要求范圍內(nèi)。由于SSD模型中淺層網(wǎng)絡(luò)和高層特征信息的結(jié)合沒有被充分地利用，影響小目標(biāo)缺陷的定位檢測(cè)；DSSD模型[32]將反卷積應(yīng)用到SSD頂層網(wǎng)絡(luò)，實(shí)現(xiàn)了低層和高層上下相連的語(yǔ)義融合，犧牲部分檢測(cè)速度但提高了小目標(biāo)檢測(cè)精度，無(wú)法滿足工業(yè)實(shí)時(shí)性需求。趙亞男等[33]提出了基于SSD和DSSD網(wǎng)絡(luò)結(jié)構(gòu)的MFDSSD模型，利用3個(gè)用卷積融合模塊的跳躍網(wǎng)絡(luò)增強(qiáng)了小目標(biāo)上下文信息并彌補(bǔ)了淺層網(wǎng)絡(luò)的感受野。在TILDA數(shù)據(jù)庫(kù)中檢測(cè)速度可達(dá)51 fps，檢測(cè)精度超越了原有網(wǎng)絡(luò)結(jié)構(gòu)，改善了SSD的小目標(biāo)漏檢問題，但未在彩色復(fù)雜圖案實(shí)驗(yàn)?；诰矸e神經(jīng)網(wǎng)絡(luò)的瑕疵檢測(cè)算法優(yōu)缺點(diǎn)分析見表2。

表2 瑕疵檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)缺點(diǎn)分析

3 基于卷積神經(jīng)網(wǎng)絡(luò)算法的其他圖像識(shí)別技術(shù)

3.1 基于卷積神經(jīng)網(wǎng)絡(luò)算法的織物圖像分類技術(shù)

不同于疵點(diǎn)分類，紋理結(jié)構(gòu)、纖維特征等信息是紡織領(lǐng)域中圖像分類的主要依據(jù)。鄧宇平等[34]分別設(shè)計(jì)了基于遷移學(xué)習(xí)的改進(jìn)GoogLeNet和非遷移學(xué)習(xí)的殘差網(wǎng)絡(luò)的織物紋理分析模型，前者借助了非對(duì)稱卷積和1×1的網(wǎng)絡(luò)結(jié)構(gòu)減少了計(jì)算量，并用平均池化代替最大池化保留更多的紋理信息，同時(shí)新增兩個(gè)softmax輔助分類器避免梯度消失。兩者在帶有小范圍瑕疵干擾的織物數(shù)據(jù)集中訓(xùn)練測(cè)試，均達(dá)到了預(yù)期紋理分類準(zhǔn)確率98%以上的要求，但沒有針對(duì)大范圍瑕疵進(jìn)行實(shí)驗(yàn)。對(duì)比發(fā)現(xiàn)小樣本中遷移學(xué)習(xí)的收斂速度和泛化性能優(yōu)于非遷移學(xué)習(xí)的殘差網(wǎng)絡(luò)性能，但隨著類型、類型圖片總數(shù)以及網(wǎng)絡(luò)層數(shù)的逐漸增加，GoogLeNet可能會(huì)出現(xiàn)梯度爆炸和梯度消失的問題，殘差網(wǎng)絡(luò)的優(yōu)勢(shì)才會(huì)慢慢體現(xiàn)出來。MobileNets[35]基于一種流線型架構(gòu)，使用深度可分離卷積構(gòu)建輕量級(jí)深層神經(jīng)網(wǎng)絡(luò)。張瑋等[36]參考MobileNet，綜合使用空洞卷積和深度可分離卷積模塊，減少了模型參數(shù)量同時(shí)增大了卷積視野，相比于原輕量化網(wǎng)絡(luò)MobileNet參數(shù)量減少了34.38%，對(duì)5類織物面料主成分分類的準(zhǔn)確率最高為96.53%。利用Grad-CAM算法可視化分析發(fā)現(xiàn)，織物圖像分類主要依據(jù)的是面料纖維特征而不是紋理信息。彭濤等[37]在不考慮織物表面顏色、紋理和光照等信息情況下，基于圖卷積網(wǎng)絡(luò)結(jié)合視頻多幀時(shí)序信息及織物運(yùn)動(dòng)特征，給出一種用圖來描述織物運(yùn)動(dòng)的新方法，突破了傳統(tǒng)分類方法只能對(duì)少數(shù)織物進(jìn)行分類的限制。在麻省理工學(xué)院的公開織物數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果表明，該模型對(duì)比Yang等[38]提出的CNN和Long Short Term Memory(LSTM)模型，準(zhǔn)確率從66.7%提高到 84.45%，但需要自己制作數(shù)據(jù)集訓(xùn)練。

3.2 基于卷積神經(jīng)網(wǎng)絡(luò)算法的織物圖像分割技術(shù)

Ronneberger等[39]提出了結(jié)構(gòu)形如字母“U”的U-Net模型結(jié)構(gòu)，在生物醫(yī)學(xué)應(yīng)用中僅需少量的帶注釋的圖像，就能實(shí)現(xiàn)比較好的性能。汪坤等[40]用去掉全連接層后的VGG16代替U-Net的左側(cè)下采樣部分并加入空洞卷積，加深模型結(jié)構(gòu)的同時(shí)提高卷積核感受野，以便更精確地提取織物印花的特征。在數(shù)據(jù)增強(qiáng)后的1000張織物圖像數(shù)據(jù)集，改進(jìn)的U-Net分割模型將分割準(zhǔn)確率從88.67%提高到了98.33%。阿力木·安外爾等[41]首先對(duì)圖像進(jìn)行伽馬校正增強(qiáng)折皺與背景對(duì)比度，然后利用不同采樣率的空洞卷積有效獲取上下文信息，并采用雙線性插值法上采樣，最終在模擬織物折皺數(shù)據(jù)庫(kù)的訓(xùn)練集和驗(yàn)證集上分割準(zhǔn)確率均達(dá)到95%以上。

綜上，卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到圖像分類和圖像分割中都能得到較高的準(zhǔn)確率。本文列舉了依據(jù)織物紋理、面料纖維和運(yùn)動(dòng)特征3種信息的圖像分類方法，針對(duì)不同的分類依據(jù)需要搭建不同需求的網(wǎng)絡(luò)。圖像分割比較注重不同尺度信息和上下文信息的特征融合，可借助可視化工具證明網(wǎng)絡(luò)的可靠性。其他圖像識(shí)別技術(shù)分析見表3。

表3 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類和分割技術(shù)優(yōu)缺點(diǎn)分析

4 實(shí)驗(yàn)結(jié)果對(duì)比

基于上述文獻(xiàn)，本文選取基于卷積神經(jīng)網(wǎng)絡(luò)的疵點(diǎn)分類和瑕疵檢測(cè)技術(shù)中部分文獻(xiàn)的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，詳見表4?；诰矸e神經(jīng)網(wǎng)絡(luò)的疵點(diǎn)分類技術(shù)在各類數(shù)據(jù)集中得到的準(zhǔn)確率均在90%以上，僅個(gè)別低于95%，主要原因有兩點(diǎn)：一個(gè)是網(wǎng)絡(luò)深度較淺、模型復(fù)雜度不夠，另一個(gè)是數(shù)據(jù)集中的部分疵點(diǎn)特征不明顯導(dǎo)致總體分類效果不佳。

表4 基于卷積神經(jīng)網(wǎng)絡(luò)的疵點(diǎn)處理技術(shù)實(shí)驗(yàn)結(jié)果對(duì)比

基于卷積神經(jīng)網(wǎng)絡(luò)的瑕疵檢測(cè)技術(shù)在實(shí)驗(yàn)中大多利用GPU的并行處理能力加速計(jì)算，其檢測(cè)精度大多超過80%。其中，文獻(xiàn)[29]中所實(shí)驗(yàn)的數(shù)據(jù)集缺陷類別多而雜，存在一定的檢測(cè)難度，故mAP較低。文獻(xiàn)[30]參考YOLOv3將網(wǎng)絡(luò)結(jié)構(gòu)輕量化，并保持較高的檢測(cè)精度，但也需要一定的硬件設(shè)備條件?？傮w上看，一步法中的YOLO的檢測(cè)速度快于兩步法中的RCNN。由于圖像分類和分割技術(shù)所實(shí)驗(yàn)的數(shù)據(jù)集各不相同，較難從同一維度進(jìn)行公平性評(píng)價(jià)。

5 結(jié)論與展望

本文介紹了面向紡織領(lǐng)域基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別技術(shù)，根據(jù)網(wǎng)絡(luò)進(jìn)行分類并分析了其改進(jìn)點(diǎn)及優(yōu)缺點(diǎn)，得出以下結(jié)論：

a)深層網(wǎng)絡(luò)的疵點(diǎn)分類方法會(huì)使背景與疵點(diǎn)不易分開，可利用瑕疵的特性結(jié)合視覺顯著性模型和雙低秩表示模型實(shí)現(xiàn)分離，但大部分只在二分類時(shí)速度較快。隨著網(wǎng)絡(luò)層數(shù)的增加，參數(shù)量與計(jì)算量也會(huì)相對(duì)應(yīng)增加，一般無(wú)法應(yīng)用于嵌入式平臺(tái)，部分滿足工業(yè)實(shí)時(shí)性檢測(cè)但需要一定的硬件支持。

b)基于候選區(qū)域的疵點(diǎn)檢測(cè)算法檢測(cè)精度高，但速度較慢大部分僅適用于簡(jiǎn)單背景織物中，一般增加錨框種類提高多尺度疵點(diǎn)的檢測(cè)精度。基于回歸學(xué)習(xí)的疵點(diǎn)檢測(cè)算法滿足工業(yè)實(shí)時(shí)在線監(jiān)測(cè)，普及到低算力低成本的處理器還需進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，還需通過多尺度特征融合提高中小疵點(diǎn)的檢測(cè)精度。

c)基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別方法，注重對(duì)圖像特征提取的過程，空洞卷積被用來擴(kuò)大感受野和增加上下文語(yǔ)義信息。過多的池化層和降采樣操作雖然能夠采集到更多的語(yǔ)義信息，卻會(huì)丟失一定的細(xì)節(jié)特征造成小疵點(diǎn)的精度損失。

d)網(wǎng)絡(luò)的搭建需要借助可視化工具，根據(jù)具體分類依據(jù)具體問題具體分析。由于紡織工業(yè)追求量產(chǎn)量檢，模型達(dá)到一定的檢測(cè)精度后也需滿足嵌入式平臺(tái)的參數(shù)量和計(jì)算量要求。

根據(jù)本文對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的織物圖像識(shí)別算法的整理、分類和分析，面向紡織領(lǐng)域的圖像識(shí)別技術(shù)可在以下幾個(gè)方面繼續(xù)研究發(fā)展：

a)在疵點(diǎn)分類和檢測(cè)中，織物圖像庫(kù)雖然具有一定的數(shù)據(jù)量，但存在疵點(diǎn)樣本數(shù)少、小疵點(diǎn)數(shù)量多、疵點(diǎn)尺寸變化大的問題?？蓪ocal Loss和Gradient Harmonizing Mechanism函數(shù)用來解決背景樣本和前景樣本不平衡問題，結(jié)合Cascaded R-CNN提高對(duì)密集小目標(biāo)的檢測(cè)精度是未來重要的發(fā)展方向。

b)卷積傾向于捕獲局部信息，可考慮注意力模塊引入上下文信息提取有效特征。結(jié)合反卷積結(jié)構(gòu)多尺度融合不同分辨率和較強(qiáng)語(yǔ)義強(qiáng)度的特征，同時(shí)采集豐富的上下文信息也是可深入研究方向之一。

c)繁多的織物色彩樣式和相似復(fù)雜的織物背景導(dǎo)致較高的類內(nèi)差異度與類間相似度，可通過在目標(biāo)函數(shù)加入正則化約束或dropout策略減緩該問題的發(fā)生。在實(shí)際生產(chǎn)和加工過程中，采集到的織物圖像容易帶有光照等外界噪聲，這與理想狀態(tài)下的圖像特征存在一定的差異，故利用殘差模塊和濾波技術(shù)消除環(huán)境噪聲具有較大意義。

d)利用Grad-CAM對(duì)網(wǎng)絡(luò)各階段特征圖進(jìn)行可視化，通過結(jié)果分析尋找合適的網(wǎng)絡(luò)結(jié)構(gòu)。采用剪枝或量化等手段使網(wǎng)絡(luò)結(jié)構(gòu)輕量化，最后運(yùn)用到嵌入式平臺(tái)和工業(yè)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)中，這在紡織工業(yè)上也愈來愈迫切。