唐茂俊，黃海松，張松松，范青松

(貴州大學現(xiàn)代制造技術教育部重點實驗室，貴陽 550025)

0 引言

隨著我國工業(yè)化程度的不斷提高，焊接技術[1]廣泛應用于船舶運輸、石油產(chǎn)業(yè)、國防科工和裝備制造等各個關鍵領域。焊縫表面成形是評判焊接質量的重要指標，在焊接時，焊接部件受生產(chǎn)設備和生產(chǎn)工藝的影響可能會出現(xiàn)咬邊、燒穿、弧坑、成型不良等缺陷[2]。為了保證焊接件產(chǎn)品質量，需對焊縫進行高效、精準的缺陷檢測。在焊縫表面缺陷檢測中，最原始的檢測方法是人工檢測，但是由于檢測效率低，難以滿足現(xiàn)代化生產(chǎn)需求。為此人們采用無損檢測技術，實現(xiàn)焊縫表面缺陷的檢測[3]。

在深度學習領域，焦敬品等[4]優(yōu)選出 8 種表征缺陷的參數(shù)，并將BP神經(jīng)網(wǎng)絡應用到焊縫缺陷的自動識別中；谷靜等[5]改進模型生成網(wǎng)絡，優(yōu)化錨點長寬比來改進Faster-RCNN，對于小目標取得較好的檢測精度；李尚仁等[6]通過改進的Grab Cut算法解決了背景分割難題，實現(xiàn)了焊縫下榻缺陷的快速檢測；王婧[7]使用了改進后的徑向基函數(shù)神經(jīng)網(wǎng)絡，實現(xiàn)對直線型與T字型焊縫缺陷類型的識別；顧超越等[8]提出了改進 Faster-RCNN 算法對無人機巡檢架空線路銷釘進行缺陷檢測。但是，采用深度學習方法對焊縫缺陷檢測仍面對精度低下，速度緩慢等問題。

本文針對上述問題提出改進Faster-RCNN檢測模型，利用K-means算法優(yōu)化錨框來提高目標框定位準確性，引入FPN多尺度檢測增加強空間信息與強語義信息，提高精度，引入DCR解耦分類細化結構進行分類細化以提高精度。實驗對比驗證了模型的有效性。

1 圖像采集與處理

為了識別焊縫缺陷，需要得到可用于神經(jīng)網(wǎng)絡訓練的圖像數(shù)據(jù)，以建立圖像數(shù)據(jù)集。本文實驗選用電荷耦合器件CCD相機采集氬弧焊焊接產(chǎn)品上缺陷樣本，共拍攝300幅焊縫圖像。在訓練深度學習模型時，為了提高檢測精度，提高魯棒性，本研究采用圖像增強方法數(shù)據(jù)集進行擴充，選取噪聲處理、圖像裁剪、圖像縮放、圖像旋轉、錯切變換和水平翻轉方式對樣本進行圖像樣本增強[9]。

在深度學習的模型訓練時，利用LabelImg軟件對表面的缺陷用矩形框框出，并在信息欄內(nèi)標注缺陷類別，完成標注的信息會存在Annotations文件中。

2 改進的Faster-RCNN算法與設計

2.1 Faster-RCNN算法

2016年提出了新的Faster-RCNN[10]，在結構上，F(xiàn)aster-RCNN將特征抽取，proposal提取，邊界框回歸(bounding box regression)，分類回歸層(classification)融合在一個網(wǎng)絡中，如圖1所示。Fast-RCNN使用選擇性搜索提出建議RoI，這會導致檢測速度變慢，并且需要與RoI相同的運行時間檢測網(wǎng)絡。Faster-RCNN以新穎的RPN取代了它。RPN(Region Proposal Networks)共享全圖像卷積特征和一組常見的卷積層檢測網(wǎng)絡,加快了生成速度區(qū)域提案的數(shù)量[11]。RPN可以通過反向傳播和隨機梯度下降(SGD)進行端到端的訓練,使得綜合性能有較大提高，在檢測速度方面尤為明顯。

圖1 Faster-RCNN網(wǎng)絡結構

2.2 算法改進策略

2.2.1 多尺度檢測(FPN)

FPN[12]中包括自上而下，橫向連接和自下而上三個部分，如圖2所示。FPN添加帶有橫向連接的自頂向下路徑，以構建不同分辨率的金字塔特征，并在特征金字塔的每一級附加檢測頭，以便進行預測。更精細的特征圖對于檢測小目標更有用，因此使用FPN可以顯著提高小目標的檢測精度。

從下到上過程：可以看出，從下到上提取過程就是傳統(tǒng)的特征提取過程。選擇每個階段的最后一層的輸出作為特征圖的輸入，由于第一層內(nèi)存占用較大，在這不采用第一層。

自上而下過程：從最高層開始進行上采樣，產(chǎn)生了更好的特征圖，為了簡單起見，使用最近鄰2倍上采樣。

橫向連接過程：每個橫向連接融合了相同空間大小的特征圖，具體就是將上采樣的結果和自底向上C2,C3,C4,C5進行1×1卷積生成的相同大小的feature map進行融合。并且輸出通道全部設置為相同的256通道。

圖2 FPN網(wǎng)絡結構圖

2.2.2 解耦分類細化(DCR)

在Faster-RCNN中存在由于分類和定位的目標不匹配，共享特征不能達到最優(yōu)以及小對象的上下文信息冗余等問題。在本網(wǎng)絡中通過一個簡單、有效和廣泛應用的解耦分類細化(DCR)[13]來提高網(wǎng)絡的分類能力，將一個單獨的分類網(wǎng)絡與定位網(wǎng)絡并行放置。并將ROI池化放在分類網(wǎng)絡[14]的早期階段，在DCR中加強了一個自適應的接受域。DCR模塊是一個深度卷積分類器，會對區(qū)域特征進行ROI池化。為了避免分類和定位的特征共享問題，模型使用了一個殘差網(wǎng)絡ResNet作為特征提取器。通過將該網(wǎng)絡置于區(qū)域特征之上，模塊能夠學習不變性特征來對區(qū)域進行分類。為了引入自適應接受域，將模型放置在早期階段。網(wǎng)絡的早期階段可以學習紋理感知特征，這些特征可以在不同的任務中共享，整體結構如圖3所示。

圖3 Faster-RCNN與DCR結構

圖4給出了默認DCR模塊的詳細框圖。引用ResNet的5個階段：conv1(第1個卷積，將輸入分辨率降低4倍),Stage1(第1殘差級包含3個殘差塊，輸出幅值為4),Stage2(第2殘差級包含4個殘差塊，輸出幅值為8),Stage3(第3殘差級包含23個殘差塊，輸出幅值為16)和Stage4(第4殘差級包含3個殘差塊，輸出幅值為32)。模型在Stage4之后附加一個帶有256個輸出通道的3×3卷積。將RPN放置在Stage3之后，并將ROI池以RPN的建議作為輸入在Stage4的末尾。為了構建模型，在Stage1的末尾放置了另一個ROI池，它將Faster-RCNN的檢測結果作為ROI輸入。在ROI池之上，簡單地復制ResNet的Stage2,Stage3和stage4，并添加一個全局平均池和一個線性分類器。

圖4 DCR網(wǎng)絡框結構

2.2.3 錨框優(yōu)化

Faster-RCNN中RPN網(wǎng)絡的提議大大地提高了檢測的效率。但是，RPN網(wǎng)絡中候選框的設置仍然有很多不足。首先，RPN網(wǎng)絡候選框設定為默認的，無法根據(jù)特定圖像中缺陷的大小進行自適應更改。一旦確定了錨框形狀與大小將在訓練過程中固定，在特定領域應用通用對象檢測器時，必須手動調整錨框形狀以提高準確性。由于它忽略了訓練中的增強數(shù)據(jù)分布，神經(jīng)網(wǎng)絡結構的特征以及任務本身，從而導致特定領域的性能下降以及網(wǎng)絡模型收斂過慢。

為解決此問題，本文利用 K-means[15]聚類來代替人工設計，通過對訓練集的bounding box[16]進行聚類，自動生成一組更加適合數(shù)據(jù)集的anchor，可以使網(wǎng)絡的檢測效果更好。傳統(tǒng)的聚類算法主要的度量方式是通過計算向量的歐式距離，余弦距離等，而在目標檢測中，通過計算框之間的IOU作為距離度量，假設有表達式(1)，得表達式如(2)所示：

anchor=(wa,ha),box=(wb,hb)

(1)

(2)

其中，wa為box的寬度，ha為box的高度，顯然，IOU的取值在0～1之間，如果兩個box越相似，則它們的IOU值越大。由于在習慣上，我們希望兩個box越相似則它們的距離應該越近，所以最終的度量表達式為：

d(box,anchor)=1-IOU(box,anchor)

(3)

由式(3)可知，當box與anchor完全重疊，即IOU=1時，它們之間的距離為0。

對box進行K-means的步驟為：

(1)讀取Annotations文件夾中.XML 文件，并將 XML 中所有類別缺陷對應的坐標提取出來，隨機選取K個box作為初始anchor；

(2)使用IOU度量，將每個box分配給與其距離最近的anchor；

(3)計算每個簇中所有box寬和高的均值，更新anchor；

(4)重復(2)、(3)步，直到anchor不再變化，或者達到了最大迭代次數(shù)。

3 實驗結果與分析

3.1 實驗環(huán)境

本文實驗運行環(huán)境如下：CPU使用Intel Core i5-9400,主頻 2.9 GHz，8 G 運行內(nèi)存，GPU使用GeForce RTX 2080Ti，16 G內(nèi)存；采用Windows10操作系統(tǒng)，搭建了Pytorch深度學習框架，采用Python作為編程語言。

3.2 數(shù)據(jù)集與參數(shù)設置

本實驗使用氬弧焊焊縫缺陷圖像作為訓練樣本與測試樣本，共采集圖像300張。由于沒有公開的數(shù)據(jù)集，且訓練樣本有限，為了提高模型的泛化能力，提高模型魯棒性，采用翻轉、旋轉、增加噪聲、縮放、變換圖像增強方法擴充樣本圖像至 968 張，80%用于訓練集圖片，20%用于測試集圖片。

訓練優(yōu)化策略采用隨機梯度下降(SGD)[17]進行，采用ResNet101主干網(wǎng)絡，通過 K-means 聚類優(yōu)化初始錨框參數(shù)，實驗各參數(shù)設置如表1所示。

表1 改進Faster-RCNN參數(shù)設置

3.3 檢測效果分析

為了進一步驗證模型的準確率，將重新采集得到的4種缺陷樣本作為新的輸入，利用訓練后生成的ckpt模型進行測試，檢測結果如圖5與表2所示，從檢查結果圖可知，改進后模型相對原模型能進行多目標缺陷檢測，有效檢測出弧坑與燒穿缺陷以及幾種混合缺陷，并且相對原模型精度有了一定提高。

(a) 凹坑 (b) 燒穿

(c) 咬邊(d) 成型不良圖5 改進后模型對各缺陷圖片檢測結果

表2 缺陷檢測結果

從表2結果可知，基于深度學習的焊縫缺陷檢測模型可有效地對常見的4種缺陷進行識別，整體識別率能達到95%，驗證了模型的有效性。

3.4 不同模型結果對比

為了得到更好的目標檢測模型，在基礎網(wǎng)絡之上分別引入FPN多尺度檢測網(wǎng)絡，DCR解耦分類細化結構以及K-mean算法。將改進后的算法與其他原始主流算法YOLOv3[18]和Faster-RCNN作對比，評價指標包括召回率、精確度、AP值，以及每張圖片檢測時間，采集結果如表3所示。

表3 不同算法檢測效果

可以看出，本文算法相比原始Faster-RCNN算法召回率提高了14.7%，精確度提高了2.4%，AP值提高了0.113，相對原模型雖然引入了DCR結構與FPN結構，但是速度卻并未降低；相比YOLOv3算法，雖然檢測時間相對較長，但也能一定程度實現(xiàn)實時檢測，在召回率和AP值方面更是表現(xiàn)出明顯優(yōu)勢?？傮w來說，本改進算法成功實現(xiàn)精確度提高，實現(xiàn)了端到端檢測。

4 結論

本文分析了基于Faster-RCNN網(wǎng)絡的目標檢測方法，在ResNet101結構的基礎上，引入K-means對錨框進行優(yōu)化，調整后的檢測效果比未調整時精準。引入了FPN多尺度檢測算法，實現(xiàn)網(wǎng)絡多層特制的復用和融合，引入DCR解耦分類細化結構，提高了檢測精度。相比原始Faster-RCNN網(wǎng)絡，精確度提高，召回率提高，實現(xiàn)端到端檢測。改進的Faster-RCNN檢測能夠自動學習待測焊接產(chǎn)品的表面特征，可以滿足產(chǎn)品生產(chǎn)與加工處理中的缺陷提取要求，對于產(chǎn)品中的小目標缺陷，本文模型表現(xiàn)出比傳統(tǒng) Faster RCNN 檢測算法更優(yōu)秀的識別能力。