熊昊，石紅瑞

(東華大學，上海 201600)

0 引言

布料缺陷檢測對紡織品質(zhì)量檢測與控制而言相當重要。生成布料瑕疵的物質(zhì)因素很多，面料織造環(huán)節(jié)、紡織技術(shù)因素，以及其他環(huán)境因素都有可能引起布料表面產(chǎn)生瑕疵[1]。在自動化或半自動化生產(chǎn)過程中，必不可少的一個環(huán)節(jié)便是對成品的缺陷檢測，以提高良品率。在紡織行業(yè)，由于出現(xiàn)的故障導致產(chǎn)生量的廢布使得廠家支出更大的成本而苦不堪言。在布料制造過程中，隨著加工層次的增加，發(fā)生缺陷的幾率也就隨之升高，面對種類繁多的缺陷，如何將其高效且準確地檢測出來是一個難題。

傳統(tǒng)的布料檢測方式大致可以分為兩種：第一種檢測方式是在布料織造的同時由工人檢查是否產(chǎn)生了缺陷；第二種檢測方式是由工人將做已經(jīng)做好的布料送至驗布機進行檢測，對缺陷處進行識別和記錄，并將產(chǎn)生的缺陷記錄下來反饋到有關(guān)部門，以便對織機進行調(diào)整。傳統(tǒng)的人工檢測方式容易受到各種因素的影響，從而產(chǎn)生各種缺點與不足。從學習缺陷類別到操作檢測，從生疏到熟練，從新手到熟練工，都需要時間的沉淀。而且即便是進階到了熟練工，也敵不過生理、心理上的疲勞，致使檢測效率大打折扣，人工成本較高的同時往往也無法取得較為理想的檢測結(jié)果。

隨著圖像處理技術(shù)、模式識別技術(shù)和計算機硬件條件的高速發(fā)展，越來越多的企業(yè)選擇用計算機視覺代替人工對產(chǎn)品的尺寸進行測量、產(chǎn)品的質(zhì)量進行檢測。和傳統(tǒng)肉眼檢測相比，通過計算機視覺檢測對產(chǎn)品進行檢測，不僅能夠達到較高的檢測精度，而且具有較快的檢測速度?，F(xiàn)在計算機視覺技術(shù)在產(chǎn)品缺陷檢測方面已經(jīng)得到國內(nèi)外專家、學者的普遍關(guān)注和認可。

1 基于計算機視覺的目標檢測方法分析

在深度學習算法普遍適用之前，視覺算法可以分為五個階段：特征識別、圖像預處理、特征提取、特征過濾、推理預測和識別。傳統(tǒng)的計算機視覺識別方法是單獨設(shè)計特征提取和分類器，然后在應用時結(jié)合。也就是說，對于輸入圖像，需要先執(zhí)行特征表示或特征提取過程，然后將表示或提取的特征放入學習算法中進行分類，如圖1所示。

圖1 傳統(tǒng)計算機視覺算法分類識別過程

上述的傳統(tǒng)檢測算法在一部分特定的應用場景中已經(jīng)取得了不錯的效果，但是依然存在著諸多不足之處，包括：圖像預處理階段步驟繁多，沒有較強的針對性，魯棒性較差、混合多種算法計算量較大，無法較為精確地對表面缺陷的形狀與大小進行檢測。

如今，計算機視覺已經(jīng)成為深度學習技術(shù)的一個重要領(lǐng)域，隨著計算資源的不斷加速和成本的降低以及深度學習研究人員的不斷努力，它已經(jīng)取得了相當顯著的成就。1998年，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)模型[2]被提出。在缺陷檢測算法方面，卷積神經(jīng)網(wǎng)絡(luò)針對傳統(tǒng)算法存在的一部分問題給出了有效的解決方案，該算法具有強大的數(shù)據(jù)表達能力，可用于輸入圖像，其不需要輸入分類特征，而是由圖像數(shù)據(jù)集本身直接驅(qū)動其自身對特征與表達關(guān)系的深度學習，同時又具有訓練參數(shù)少，模型構(gòu)建過程簡單，分類消耗時間短，準確性高等優(yōu)點。

目前經(jīng)典的目標檢測算法網(wǎng)絡(luò)模型大致可分為兩大類：一類是單階段(one-stage)算法，代表算法有YOLO、SSD等算法；另一類是雙階段(two-stage)算法，代表算法有R-CNN、Fast R-CNN、Faster R-CNN等算法。單階段(one-stage)算法雖然在檢測速度上優(yōu)于雙階段(two-stage)算法，但由于不包含區(qū)域建議的模塊，在檢測的準確率方面會處于劣勢。

雖然深度學習的檢測方法在布料缺陷檢測方面的效果有所提升，但是布料圖像的復雜程度、缺陷處尺度較小以及缺陷形狀不規(guī)則等因素都會影響模型檢測的準確率。

2 算法實現(xiàn)

選用性能較為優(yōu)秀的Cascade R-CNN網(wǎng)絡(luò)模型，對布料圖像數(shù)據(jù)集進行深度訓練，調(diào)整檢測網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)，經(jīng)過多輪迭代，檢驗模型的性能，最終得出準確率較高的檢測模型。

2.1 Cascade R-CNN算法簡介

Cascade R-CNN算法[3]是基于Faster R-CNN算法[4]改進的一種目標檢測算法，其為了不斷優(yōu)化預測結(jié)果，級聯(lián)了多個檢測網(wǎng)絡(luò)。Cascade R-CNN的一大亮點在于，其與普通級聯(lián)有所區(qū)別，該算法的幾個檢測網(wǎng)絡(luò)是在根據(jù)不相同的IoU閾值所確定的正負樣本上訓練所得到的。

Faster R-CNN算法在訓練階段，RPN網(wǎng)絡(luò)會提出約兩千個的區(qū)域建議，這些區(qū)域建議被送入到Fast R-CNN結(jié)構(gòu)中，在Fast R-CNN結(jié)構(gòu)中，首先計算每個區(qū)域建議和gt之間的IoU，通過人為的設(shè)定一個IoU閾值(通常為0.5)，把這些區(qū)域建議分為正樣本(前景)和負樣本(背景)，并對這些正負樣本采樣，使得他們之間的比例盡量滿足1 ∶3，之后這些區(qū)域建議被送入到ROI池中，最后進行分類判別和box回歸。

在推理階段，RPN網(wǎng)絡(luò)提出了約三百個區(qū)域建議，這些區(qū)域建議被送入到Fast R-CNN結(jié)構(gòu)中，和訓練階段不同的是，推理階段沒有辦法對這些區(qū)域建議采樣，因此它們直接進入ROI池，之后進行分類判別和box回歸。

為了提高檢測的精確度，換句話說就是要產(chǎn)生更高精度的box，那么我們可以提高產(chǎn)生正樣本的IoU閾值，這樣后面的檢測器接收到了更高精度的建議，自然能產(chǎn)生高精度box。但是這樣就會產(chǎn)生兩個問題：第一，過擬合問題：提高了IoU閾值，滿足這個閾值條件的區(qū)域建議必然比之前少了，容易導致過擬合。第二，更嚴重的mismatch問題：R-CNN結(jié)構(gòu)自身就存在這個問題，IoU閾值再提的更高，這個問題就會更加嚴重。

在訓練與推理兩個階段中，bbox回歸器的輸入分布是不一樣的，訓練階段的輸入建議由于被采樣過，IoU大于所設(shè)閾值，往往質(zhì)量更高，而推理階段的輸入建議由于沒有被采樣過，可能包括很多IoU小于所設(shè)閾值的建議，一般質(zhì)量相對會差一些，這就是上文提到mismatch問題，這個問題是固有存在的，通常閾值取0.5時，mismatch問題還不會很嚴重。因此，IoU閾值越高，mismatch的問題就越凸顯了，更嚴重了。

由于單一閾值訓練出的檢測器效果有限，因此Cascade R-CNN采用multi-stage的結(jié)構(gòu)，每個階段都有一個不同的IoU閾值，其結(jié)構(gòu)如圖2所示。

圖2 Cascade R-CNN結(jié)構(gòu)圖

大多數(shù)RPN所提出的建議質(zhì)量較低，不能直接用于高閾值檢測器，而該算法的重采樣機制使用Cascade回歸，使每個階段的建議IoU閾值都得到提高，允許在前一階段重新采用該建議，以適應更高的閾值。

2.2 FPN特征金字塔

特征圖金字塔網(wǎng)絡(luò)FPN(Feature Pyramid Networks)[5]通過簡單地改變網(wǎng)絡(luò)連接來解決目標檢測中的多尺度問題，其大大提升了小目標檢測的性能，并且原有模型的計算量基本沒有增加。FPN算法的大體結(jié)構(gòu)是：一條自下而上的線路，一條自上而下的線路，橫向連接(lateral connection)。1×1卷積核的主要作用是減少卷積核的數(shù)量，即在不改變特征圖大小的情況下減少特征圖的數(shù)量。FPN網(wǎng)絡(luò)放入?yún)^(qū)域建議網(wǎng)絡(luò)RPN(Region Proposal Network)中用于生成建議，之前生成建議都是在某一個特征圖中生成。如今在FPN中的每一層都可以生成不同尺度的建議。FPN算法同時利用低層特征高分辨率和高層特征的高語義信息，通過融合這些不同層的特征達到預測的效果。并且預測是在每個融合后的特征層上單獨進行的，效果甚佳。

2.3 DCN可變形卷積

目標識別領(lǐng)域一直有一個關(guān)鍵性的挑戰(zhàn)，即在識別過程中如何適應目標尺寸、姿態(tài)和部件變形等幾何變化。而卷積神經(jīng)網(wǎng)絡(luò)模塊固定的幾何結(jié)構(gòu)缺乏處理幾何變換的內(nèi)部機制。可變形卷積DCN(Deformable Convolutional Networks)[6]使用額外的偏移來增強模塊中的空間采樣位置，并在沒有額外監(jiān)督的情況下從目標任務中學習該偏移。它對標準的卷積中的感受野中，增加了2D的offsets，使得采樣的grid變形。這個offset通過增加額外的卷積層，從之前的特征圖中學習到。offsets是通過在特征圖上增加一個卷積層來得到的。這個卷積核的尺寸與可變形卷積的尺寸一致。輸出的offset fields有著與輸入特征圖一樣的尺寸，通道維度2N與N個2D的offsets相關(guān)聯(lián)。新的模塊可以很容易地取代現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)中的對應模塊，并且很容易使用反向傳播端到端訓練來形成新的可變形卷積網(wǎng)絡(luò)。

3 實驗

本文使用加入了FPN與DCN的改進Cascade R-CNN算法，主干網(wǎng)絡(luò)為ResNet-50，編程語言為Python，在單卡NVIDIA Tesla V100(32GB顯存)的設(shè)備上進行模型訓練，batch size設(shè)置為22，迭代60000輪。與原本的Cascade R-CNN模型相比，改進后的模型在預測速度上有了明顯的提升。模型訓練的loss曲線如圖3。

圖3 模型loss曲線

模型的預測效果如圖4。

圖4 模型預測效果

4 結(jié)語

為了提高對于布料表面缺陷的檢測能力，本文以Cascade R-CNN 模型為基礎(chǔ)，提出加入FPN特征金字塔與DCN可變形卷積的改進，大大提高缺陷檢測的精準度，并且提高了檢測速度，模型綜合性能不錯。利用先進的人工智能之深度學習技術(shù)，設(shè)計和實現(xiàn)了一種針對布料表面缺陷檢測的解決方案，可有效提高企業(yè)的生產(chǎn)效率，節(jié)約企業(yè)的用工成本。但是，本文所使用的布料圖像數(shù)據(jù)集背景較為單一，基本均為純色背景，后續(xù)可以使用帶有花紋背景的布料圖像數(shù)據(jù)集進行模型的訓練，提高檢測模型的泛化能力，以便更好地適應工業(yè)應用場景。