吳華運(yùn),任德均,付 磊,郜 明,呂義昭,邱 呂

(四川大學(xué)機(jī)械工程學(xué)院,四川 成都 610065)

0 引 言

隨著現(xiàn)代工業(yè)技術(shù)的快速發(fā)展，注塑空瓶在生產(chǎn)效率上有了巨大的提升，然而效率的提高也帶來許多的產(chǎn)品質(zhì)量問題。注塑空瓶在生產(chǎn)制造過程中會(huì)出現(xiàn)諸如瓶身劃痕、缺料、孔洞、砂眼、污漬等缺陷，如圖1所示。這些缺陷不僅會(huì)影響產(chǎn)品外形包裝的美觀，而且還會(huì)影響產(chǎn)品的銷售和使用。因此，對瓶體表面進(jìn)行缺陷檢測，有著重要的意義。傳統(tǒng)的檢測往往由人工來完成，工作量大、勞動(dòng)強(qiáng)度高，容易受到檢測人員主觀因素的影響，存在檢測效率和檢測精度低等缺點(diǎn)?；跈C(jī)器視覺的檢測技術(shù)由于檢測精度高、速度快等優(yōu)點(diǎn)已經(jīng)被應(yīng)用在瓶體表面缺陷檢測領(lǐng)域。

圖1 空瓶表面不同缺陷類型

在過去的幾年中，傳統(tǒng)的缺陷檢測算法已經(jīng)被廣泛應(yīng)用于工業(yè)產(chǎn)品質(zhì)量檢測。然而，傳統(tǒng)檢測算法多基于手工特征提取的方法，特征提取算子提取的特征通常處于較低水平，在針對復(fù)雜的場景變化，如光照變換、透視失真、遮擋、物體變形等情況下，所提取的特征通常很難用于缺陷分類和識別，因此許多算法在實(shí)際環(huán)境中并不適用。

深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)，其特征提取器和分類器可以從輸入圖片本身進(jìn)行端對端的訓(xùn)練。與傳統(tǒng)表面缺陷檢測算法相比，深度學(xué)習(xí)目標(biāo)檢測算法可以通過卷積神經(jīng)網(wǎng)絡(luò)對瓶體缺陷圖片進(jìn)行學(xué)習(xí)，自動(dòng)地從圖像中提取缺陷的特征，具有學(xué)習(xí)能力強(qiáng)且識別精度高、速度快等眾多優(yōu)點(diǎn)。深度學(xué)習(xí)目標(biāo)檢測算法可以分為2類：1)基于區(qū)域的目標(biāo)檢測算法，如Faster R-CNN[1]、Mask R-CNN[2]等RCNN系列檢測算法，該類算法檢測精度高，但速度較慢，無法滿足實(shí)時(shí)檢測的需求；2)基于回歸的檢測算法，如YOLO[3]、SSD[4]等算法，這類算法檢測精度不如第一類，但檢測速度快，可以滿足實(shí)時(shí)檢測的需求。

本文以基于回歸的SSD算法為基礎(chǔ)，將瓶體圖片中的缺陷作為檢測目標(biāo)，在SSD算法的網(wǎng)絡(luò)模型中引入了注意力機(jī)制模塊，提高特征圖之間的通道依賴性，設(shè)計(jì)尺度特征融合模塊，增加特征魯棒性，擴(kuò)大特征圖的感受野，有效提高了檢測精度。本文研究主要包括：

1)首次將深度學(xué)習(xí)目標(biāo)檢測算法應(yīng)用于注塑空瓶表面缺陷檢測領(lǐng)域，并取得遠(yuǎn)高于傳統(tǒng)機(jī)器視覺算法的精度。

2)設(shè)計(jì)特征融合模塊。實(shí)現(xiàn)將高層語義特征和低層細(xì)節(jié)特征相融合，提高特征魯棒性；引入膨脹卷積操作，有效地?cái)U(kuò)大了特征圖的感受野。

3)在殘差網(wǎng)絡(luò)瓶頸模塊中引入注意力機(jī)制模塊，建立特征圖遠(yuǎn)程依賴關(guān)系，增強(qiáng)特征提取能力，從而提高檢測精度。

1 相關(guān)工作

卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被驗(yàn)證是有效的端對端的解決方案，可以解決各種視覺任務(wù)，例如檢測[5]、分割[6]、目標(biāo)跟蹤[7]、風(fēng)格遷移[8]等。目前，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛地應(yīng)用于各種缺陷檢測算法中。文獻(xiàn)[9]提出了一種基于神經(jīng)網(wǎng)絡(luò)的工件缺陷檢測算法，作者結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，仿照目標(biāo)檢測網(wǎng)絡(luò)YOLOv3[10]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的端到端檢測分類器，并完成連鑄方坯缺陷的識別與分類實(shí)驗(yàn)。文獻(xiàn)[11]提出了對Faster R-CNN網(wǎng)絡(luò)模型進(jìn)行優(yōu)化與改進(jìn)，然后采用優(yōu)化與改進(jìn)后的網(wǎng)絡(luò)模型對鐵軌表面缺陷進(jìn)行檢測研究，最終能夠精確且高效地檢測到鐵軌表面缺陷。文獻(xiàn)[12]提出了一種基于正樣本訓(xùn)練的新型缺陷檢測框架，該框架將GAN[13]和自動(dòng)編碼器結(jié)合起來用于缺陷圖像重建，并使用LBP[14]進(jìn)行圖像局部對比以檢測缺陷。文獻(xiàn)[15]提出了結(jié)合選擇搜索和卷積神經(jīng)網(wǎng)絡(luò)的區(qū)域提出方法的兩階段算法，它可以檢測并識別感興趣區(qū)域，完成對膠囊表面缺陷檢測。這些文獻(xiàn)均使用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)來解決工業(yè)產(chǎn)品表面缺陷檢測任務(wù)，并取得了較好的檢測結(jié)果。針對空瓶檢測領(lǐng)域，本文使用深度學(xué)習(xí)目標(biāo)檢測算法對空瓶表面缺陷進(jìn)行檢測和識別。

2 基于SSD算法檢測原理及優(yōu)化

2.1 基于SSD算法的瓶體表面檢測算法原理

SSD算法是一種基于回歸的端對端的目標(biāo)檢測算法，它在YOLO的基礎(chǔ)上加入了Faster R-CNN的anchor機(jī)制，在檢測性能上高于YOLO的檢測精度和Faster R-CNN的檢測速度。在網(wǎng)絡(luò)結(jié)構(gòu)上SSD使用了VGG16[16]作為網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)，用來對整幅圖片進(jìn)行特征提取，并在VGG16網(wǎng)絡(luò)后加入新的網(wǎng)絡(luò)層。每個(gè)特征層的尺度是不一樣的，以便后續(xù)做多尺度特征提取。

SSD算法網(wǎng)絡(luò)將經(jīng)過預(yù)處理后瓶體缺陷圖片縮放至512×512，然后送入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行推理，根據(jù)網(wǎng)絡(luò)模型的輸出結(jié)果對缺陷進(jìn)行分類和定位。相比于YOLO對原始圖片劃分柵格，SSD依次對特征圖上所有的點(diǎn)做處理，以每個(gè)特征圖上對應(yīng)坐標(biāo)的特征向量為預(yù)測目標(biāo)。針對不同尺度的特征圖，不同尺寸的目標(biāo)，對于每個(gè)特征圖上的點(diǎn)重新設(shè)計(jì)了多重特征提取框。SSD在每個(gè)特征圖上的坐標(biāo)點(diǎn)設(shè)置了6個(gè)不同尺度的默認(rèn)框，然后根據(jù)這些默認(rèn)框來提取特征，并將這些特征用來預(yù)測目標(biāo)的類別和邊界框。SSD使用3×3的卷積核來提取每一個(gè)默認(rèn)框中的特征，每一種特征用到的卷積核為3×3×6×(class+4)，其中，6為特征圖坐標(biāo)點(diǎn)上默認(rèn)框的個(gè)數(shù)；class為檢測目標(biāo)的類別數(shù)，在本文數(shù)據(jù)集中class=4；4為預(yù)測的目標(biāo)邊界框與真實(shí)邊界框之間的偏差。若特征圖尺寸為m×n，每個(gè)坐標(biāo)點(diǎn)有6個(gè)框，將產(chǎn)生m×n×6×(class+4)的輸出結(jié)果，最后將這些結(jié)果放入損失函數(shù)中計(jì)算損失。

模型損失函數(shù)由分類損失函數(shù)和回歸損失函數(shù)組成。分類損失為多類Softmax損失函數(shù)，計(jì)算公式如下：

(1)

回歸損失為smooth L1 loss，計(jì)算公式如下：

(2)

(3)

模型總損失函數(shù)為：

(4)

其中,N為匹配成功的正樣本數(shù)量，如果N=0，則損失為0；α是定位損失和分類損失之間的比重；x是用來判斷默認(rèn)框中是否有對應(yīng)的目標(biāo)。

2.2 SDD網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

為了提高SSD模型對瓶體缺陷的檢測能力，本文對SSD網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，優(yōu)化后的網(wǎng)絡(luò)結(jié)構(gòu)由特征提取網(wǎng)絡(luò)、尺度特征融合模塊、分類和回歸網(wǎng)絡(luò)組成，如圖2所示。缺陷圖片經(jīng)特征提取網(wǎng)絡(luò)提取特征，然后尺度特征融合模塊對特征圖進(jìn)一步融合增強(qiáng)，最后在分類和回歸層進(jìn)行預(yù)測。

優(yōu)化后的網(wǎng)絡(luò)使用Resnet50作為基礎(chǔ)網(wǎng)絡(luò)，相較于原始的VGG16，Resnet50有著更高的分類準(zhǔn)確率和更少的參數(shù)量，為了保持原始算法的多尺度訓(xùn)練和預(yù)測，在基礎(chǔ)網(wǎng)絡(luò)后增加了conv5_1、conv5_2、conv6_1、conv6_2、conv7_1、conv7_2等卷積層。因此，本文算法是在layer2、layer3、layer4、con5_2，conv6_2、conv7_2等6個(gè)不同尺度的特征圖上做預(yù)測。為保證預(yù)測層具有豐富的尺度特征，本文在f_1、f_2、f_3、f_4、f_5、f_6等特征圖上引入了尺度特征融合模塊，從而得到融合后的特征圖ef_1、ef_2、ef_3、ef_4、ef_5、ef_6。

圖2 改進(jìn)SSD算法模型結(jié)構(gòu)圖

改進(jìn)后的模型相較原始SSD算法有了很大的精度提升，但對于較小類缺陷檢測精度提升較小。為此，本文在Resnet[17]網(wǎng)絡(luò)的瓶頸模塊中插入全局上下文模塊(Global Context Block, GCBlock)，用來獲取全局語義特征，GCBlock被插入在conv1×1卷積之后。通過在數(shù)據(jù)集上驗(yàn)證，GCBlock在一定程度上增強(qiáng)了網(wǎng)絡(luò)特征提取能力，提高了空瓶表面缺陷的檢測精度。

除此之外，本文損失函數(shù)采用FocalLoss[18]損失函數(shù)，替代原始多類的Softmax損失函數(shù)。在預(yù)測過程中，通過采用Soft-NMS[19]策略在大量的預(yù)測結(jié)果中篩選出最優(yōu)框，以得到最佳的檢測結(jié)果。

2.3 注意力機(jī)制

在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層建立像素關(guān)系通常處于局部領(lǐng)域，而遠(yuǎn)距離依賴關(guān)系卻需要深度堆疊卷積來實(shí)現(xiàn)，然而這種簡單重復(fù)的堆疊卷積層的方法不僅效率低下，而且造成網(wǎng)絡(luò)難以優(yōu)化。近年來，為了解決這個(gè)問題，眾多的注意力機(jī)制網(wǎng)絡(luò)被提出，如SENet[20]、NLNet[21]、GCNet[22]。本文為了獲取全局語義特征，提高檢測精度，引入GCNet網(wǎng)絡(luò)中的全局上下文模塊。全局上下文模塊由上下文建模模塊、特征變換模塊和特征融合模塊構(gòu)成。上下文建模模塊主要包含一個(gè)1×1的卷積和一個(gè)Softmax函數(shù)，該模塊通過權(quán)重αj的加權(quán)平均將所有位置的特征組合在一起，以獲得全局上下文特征。在特征變換模塊中，首先使用1×1的卷積對特征圖進(jìn)行降維，然后再用1×1的卷積對特征圖進(jìn)行升維。為了降低瓶頸變換帶來的優(yōu)化難度，在瓶頸變換內(nèi)，即在ReLU之前添加了歸一化層，這樣一方面可以簡化模型優(yōu)化，另一方面對模型起正則化的作用。

詳細(xì)的GCBlock結(jié)構(gòu)如圖3所示，公式定義為：

(5)

圖3 全局上下文模塊

2.4 尺度特征融合模塊

SSD算法在檢測上同時(shí)利用低層特征和高層特征在不同特征層進(jìn)行預(yù)測，但這種方式獲得的特征魯棒性不強(qiáng)，都是一些弱特征。受SIFT[23]特征提取的啟發(fā)，本文嘗試使用一種新穎的模塊來提取尺度、形狀和位置不變性的特征。尺度不變特征變換是計(jì)算機(jī)視覺中的特征檢測算法，用于檢測和描述圖像中的局部特征。該算法提出高斯拉普拉斯特征表示方法，可以將尺度空間特征和金字塔多分辨率特征融合在一起。與SIFT中的高斯函數(shù)相似，本文使用不同膨脹因子的膨脹卷積[24]來獲得具有相同比例但感受野不同的特征，提出一種新的特征融合方式尺度特征融合模塊(Scale Feature Fusion Module， SFFM)，如圖4所示，通過將低層細(xì)節(jié)特征和高層語義特征相融合，增加特征的魯棒性；同時(shí)在融合的過程中使用不同膨脹因子的膨脹卷積，用來擴(kuò)大特征圖感受野。

圖4 尺度特征融合模塊詳細(xì)結(jié)構(gòu)

尺度特征融合模塊主要將第i層高層語義特征與第j層細(xì)節(jié)特征相融合，其過程如下：

1)將第i層的特征圖上采樣2倍后與第j層的特征圖相加。

2)將相加后的特征圖使用膨脹因子為3、5、7、9，核尺寸為3×3的卷積核對特征圖做卷積操作。

3)將產(chǎn)生的5個(gè)不同感受野的特征圖堆疊在一起，采用1×1的卷積形成最終融合后的特征圖。

定義ef_i∈RC×H×W表示第i層的特征圖，f_j∈RC×2H×2W表示第j層的特征圖，Z∈RC×2H×2W表示ef_i和f_j相加后的特征圖，ef_j∈RC×2H×2W表示融合后的特征圖，其中特征圖通道數(shù)C=256。則圖4的計(jì)算過程可用公式表示為：

Z=fsum(f_j,fup(ef_i) )

(6)

ef_i=fconcat(fdilation(Z) )

(7)

其中，fup表示上采樣，fsum表示加運(yùn)算，fdilation表示膨脹卷積操作，fconcat表示將融合后的特征圖連接起來。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集由在線采集的注塑空瓶表面帶有缺陷的圖片組成，圖片分辨率大小為1280×960，對采集的圖片缺陷使用LabelImg進(jìn)行標(biāo)注，數(shù)據(jù)標(biāo)注格式為PascalVOC格式，為了防止訓(xùn)練過程中產(chǎn)生過擬合現(xiàn)象，對標(biāo)注的7512幅圖片進(jìn)行旋轉(zhuǎn)、鏡像、顏色通道變化等數(shù)據(jù)增強(qiáng)技術(shù)，最終得到30048幅圖像。對被標(biāo)注后的數(shù)據(jù)集進(jìn)行訓(xùn)練設(shè)置，如表1所示。

表1 訓(xùn)練測試數(shù)據(jù)設(shè)置詳細(xì)

3.1.2 實(shí)驗(yàn)環(huán)境

本文使用深度學(xué)習(xí)框架PyTorch搭建實(shí)驗(yàn)運(yùn)行環(huán)境來對瓶體缺陷圖片進(jìn)行研究，并在GeForce GTX 1080Ti顯卡環(huán)境下進(jìn)行GPU加速運(yùn)算。詳細(xì)軟件和硬件配置如表2所示。

表2 實(shí)驗(yàn)運(yùn)行環(huán)境

3.1.3 性能評價(jià)指標(biāo)

為了評估檢測的效果，本文采用準(zhǔn)確率(Accuracy)、漏檢率、誤檢率和均值平均精度(mAP)等性能評價(jià)指標(biāo)對檢測效果進(jìn)行評估。準(zhǔn)確率計(jì)算方法如式(8)所示，均值平均精度計(jì)算方法如式(9)所示：

(8)

(9)

其中，TP表示被正確預(yù)測為缺陷數(shù)目，F(xiàn)P表示為錯(cuò)誤預(yù)測為背景的數(shù)目，F(xiàn)N表示錯(cuò)誤預(yù)測為缺陷的數(shù)目，TN表示正確預(yù)測為背景的數(shù)目。

3.1.4 訓(xùn)練

本文實(shí)驗(yàn)均使用Xavier初始化方法對網(wǎng)絡(luò)模型進(jìn)行初始化。輸入圖像大小為512×512，訓(xùn)練過程使用隨機(jī)梯度下降算法對網(wǎng)絡(luò)進(jìn)行迭代優(yōu)化，設(shè)置動(dòng)量為momentum=0.9，權(quán)重退化率為weightdecay=0.0005，輸入批次為batchsize=16，初始學(xué)習(xí)率為learningrate=0.001，在迭代次數(shù)為75000次和90000次時(shí)，學(xué)習(xí)率分別為0.0001和0.00001，總迭代次數(shù)為105000次。

3.2 SSD算法優(yōu)化前后結(jié)果對比

為了驗(yàn)證優(yōu)化后的SSD算法對空瓶表面缺陷檢測的有效性，本文分別對原始SSD算法，SSD+GC Block、SSD+SFFM以及本文方法等4種不同網(wǎng)絡(luò)結(jié)構(gòu)的SSD算法在測試集上的檢測效果進(jìn)行對比。同時(shí)為了驗(yàn)證全局上下文模塊和特征融合模塊對模型準(zhǔn)確率的影響，本文通過向SSD算法中分別加入圖3和圖4結(jié)構(gòu)，在空瓶缺陷數(shù)據(jù)集上進(jìn)行訓(xùn)練和驗(yàn)證，得出的檢測結(jié)果如表3所示。對比結(jié)果可知，本文提出的算法較原始SSD算法在漏檢率、誤檢率、準(zhǔn)確率和均值平均精度上都有了較大的提升。在SSD網(wǎng)絡(luò)中加入尺度特征融合模塊和全局上下文模塊均可以提高模型的檢測精度。相較于全局上下文模塊，尺度特征融合模塊可以得到更高的檢測精度，同時(shí)也帶來檢測時(shí)間的消耗。

表3 不同算法在空瓶數(shù)據(jù)集上的檢測結(jié)果 單位：%

圖5展示了SSD算法和本文算法在不同缺陷類型上的檢測效果圖。由圖5可知，本文方法較SSD算法對空瓶缺陷有更好的檢測效果。尤其對于劃痕類缺陷，本文方法有更高的定位精度，更低的誤檢率和漏檢率。

(a) Ground Truths

(b) SSD檢測結(jié)果

(c) 本文算法檢測結(jié)果

4 結(jié)束語

本文采用深度學(xué)習(xí)目標(biāo)檢測SSD算法對空瓶表面缺陷進(jìn)行了檢測。為了滿足工業(yè)檢測所需要達(dá)到的檢測精度，本文在SSD算法的網(wǎng)絡(luò)模型中插入全局上下文模塊，提高特征提取的能力；在預(yù)測層引入尺度特征融合模塊，一方面使得低層特征和高層特征相融合，增強(qiáng)了特征的魯棒性，另一方面擴(kuò)大特征圖的感受野，提高檢測的精度。通過對SSD算法的優(yōu)化，在滿足工業(yè)檢測時(shí)間的條件下，檢測準(zhǔn)確率達(dá)到了98.3%，較原始算法提升了5.6個(gè)百分點(diǎn)，漏檢率降低到0.74%，誤檢率降低到0.96%。相較于人工檢測方法，本文提出的方法有更高的優(yōu)勢。