谷 靜 謝澤群 張心雨

(西安郵電大學(xué) 電子工程學(xué)院，陜西西安 710121)

1 引 言

隨著工業(yè)水平的提高，焊接技術(shù)已被廣泛應(yīng)用于裝備制造、冶金工業(yè)、航空航天等重要領(lǐng)域。但在焊接時，受生產(chǎn)設(shè)備及工藝的影響，焊接件存在裂紋、氣孔、未熔合及未焊透等各種缺陷[1]，傳統(tǒng)無損檢測需要檢測人員在計(jì)算機(jī)輔助下，從大量焊縫缺陷圖像[5]中進(jìn)行識別，長時間、多批次的檢測工作造成人眼視覺疲勞，導(dǎo)致漏檢誤檢，因此，如何利用深度學(xué)習(xí)等新興技術(shù)實(shí)現(xiàn)焊縫缺陷圖像的自動識別成為當(dāng)前研究的熱點(diǎn)[2]。

近幾年，深度學(xué)習(xí)領(lǐng)域隨著計(jì)算機(jī)性能的逐步提升得到了快速發(fā)展。2014年，Girshick等[3]提出區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Regions with Convolutional Neural Network,RCNN)模型，其利用選擇性搜索方法和支持向量機(jī)進(jìn)行候選區(qū)域選擇和目標(biāo)檢測，并采用目標(biāo)區(qū)域池化共享計(jì)算提出快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Fast RCNN)模型，提高了模型的工作效率；Ren等[4]針對Fast RCNN模型提取候選特征區(qū)域時間較慢的問題，引入?yún)^(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)，并將其與檢測網(wǎng)絡(luò)共享圖像的卷積特征，設(shè)計(jì)了Faster RCNN模型。侯春萍等[5]將深度學(xué)習(xí)中亞歷克斯網(wǎng)絡(luò)與Faster RCNN框架訓(xùn)練的檢測器組成級聯(lián)網(wǎng)絡(luò)進(jìn)行電網(wǎng)絕緣子缺陷的自動檢測，為故障檢修提供基礎(chǔ)；王森等[6]針對全卷積網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN)模型易丟失局部信息和精細(xì)化描述能力不足問題，通過深度增加和添加高尺度反卷積層等措施構(gòu)建改進(jìn)FCN模型，并提出基于改進(jìn)FCN模型裂紋缺陷識別方法，算法有效增大裂紋信息選擇和擴(kuò)充局部精細(xì)細(xì)節(jié)，取得較好的檢測精度；Cha等[7]將Faster RCNN模型應(yīng)用于高壓電線缺陷檢測，并通過圖像旋轉(zhuǎn)圖像和加入正態(tài)分布的高斯雪花進(jìn)一步提升檢測效果；張玉燕等[8]提出基于Faster RCNN模型的點(diǎn)陣結(jié)構(gòu)內(nèi)部缺陷檢測方法，結(jié)合工業(yè)CT圖像，通過設(shè)計(jì)特征提取網(wǎng)絡(luò)，實(shí)現(xiàn)對斷層缺陷的快速、智能檢測定位；Takeshi等[9]將Faster RCNN模型應(yīng)用于火花塞缺陷的精確檢測和提取，在利用圖論方法檢測并校正焊縫直線后，通過Faster RCNN模型構(gòu)建判別系統(tǒng)，算法提高了缺陷檢測的效率和準(zhǔn)確率；李宜汀等[10]提出基于Faster RCNN的表面缺陷識別與定位算法，算法在區(qū)域規(guī)劃和K折交叉驗(yàn)證基礎(chǔ)上，將稀疏濾波思想引入模型并提取雙重深度特征輸入，提升了模型的位置檢測和識別的精度。

與人工設(shè)計(jì)的特征比起來，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)提取的特征魯棒性更好，語義信息更豐富，已在人臉識別、語義識別、目標(biāo)檢測等領(lǐng)域取得了巨大成果[11]，為此，根據(jù)已有研究，針對傳統(tǒng)Faster RCNN模型在焊縫缺陷中對較小目標(biāo)檢測不理想問題對提出改進(jìn)Faster RCNN焊縫缺陷算法，改進(jìn)算法將淺層網(wǎng)絡(luò)與高層網(wǎng)絡(luò)提取的特征共同作為后續(xù)環(huán)節(jié)的輸入，以增強(qiáng)特征對缺陷細(xì)節(jié)的描述能力，并優(yōu)化錨點(diǎn)參數(shù)以提高目標(biāo)框定位的準(zhǔn)確性，改進(jìn)RPN結(jié)構(gòu)，增加滑動窗口來提高模型的檢測能力。實(shí)驗(yàn)驗(yàn)證了算法的有效性。

2 改進(jìn)Faster RCNN模型缺陷檢測

卷積神經(jīng)網(wǎng)絡(luò)的淺層網(wǎng)絡(luò)能夠提供更多的細(xì)節(jié)信息，是屬于細(xì)節(jié)化特征，但其所提供的語義信息比較稀疏；相反，深層網(wǎng)絡(luò)提供的特征經(jīng)過多次下采樣，保留了整體信息而忽略細(xì)節(jié)信息，所以語義信息十分豐富，為整體化的特征。

小尺寸缺陷目標(biāo)是指由于待測目標(biāo)自身的實(shí)際物理尺寸過小或者與拍攝設(shè)備距離偏遠(yuǎn)導(dǎo)致其在圖片中占比較小[12]，如圖1所示為焊接過程中常見的小尺寸缺陷目標(biāo)。其中，圖1(a)描述了焊縫缺陷中的氣孔，其實(shí)際的物理尺寸相比較其他類別缺陷而言要小很多，圖1(b)描述了在焊接中常遇到的短裂紋缺陷，圖1(c)描述了焊接未熔合造成的缺陷，圖1(d)為焊接未焊透造成的小缺陷目標(biāo)。

圖1 各類焊縫缺陷X射線影像圖Fig.1 X-ray images of various weld defects

原始Faster RCNN模型通常選取VGG16網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，并其最后一層即CONV5層的輸出特征圖作為RPN的輸入，其較豐富的語義信息，對較大尺寸的缺陷目標(biāo)具有較為理想的檢測效果，但對小尺寸缺陷目標(biāo)的檢測效果不盡如意。為此，提出一種改進(jìn)的多特征Faster RCNN方法，將淺層網(wǎng)絡(luò)提取的特征圖與深層網(wǎng)絡(luò)提取的特征圖共同作為后續(xù)環(huán)節(jié)輸入，在保持原始模型豐富的語義信息的同時，增加模型的細(xì)節(jié)描述能力，改進(jìn)Faster RCNN模型的流程圖如圖2所示。

圖2 改進(jìn)Faster RCNN流程圖Fig.2 Flowchart of the proposed improve Faster RCNN

從圖2可以看出，改進(jìn)算法主要包含4個主要執(zhí)行步驟。

1)特征提?。和ㄟ^VGG16的CONV1層、CONV2層和CONV5層提取待檢測圖片多尺度特征，并將各層提取的特征圖輸送給各層對應(yīng)的RPN網(wǎng)絡(luò)；

2)區(qū)域候選網(wǎng)絡(luò)：RPN網(wǎng)絡(luò)先通過softmax函數(shù)判斷特征圖的錨點(diǎn)的前后景屬性，然后再利用邊界框回歸來修正錨點(diǎn)，以獲得精確候選框，根據(jù)精確候選框，分別在各層的特征圖(feature map)上求取特征映射，得到候選框特征；

3)目標(biāo)區(qū)池化(RoI Pooling)：該層收集CONV1層、CONV2層和CONV5層輸出的特征圖及RPN網(wǎng)絡(luò)輸出的候選目標(biāo)區(qū)域，并對每個區(qū)域進(jìn)行最大池化操作，將候選區(qū)域轉(zhuǎn)換成維度一致的特征向量，然后輸入全連接層判定目標(biāo)的類別；

4)目標(biāo)分類(Classification)：利用目標(biāo)區(qū)域特征圖計(jì)算目標(biāo)區(qū)域的類別，同時再利用邊界框回歸算法重定位檢測框的最終精確位置。

淺層網(wǎng)絡(luò)選用CONV1層和CONV2層的原因是其提取的特征更注重保留圖像的邊緣、紋理等細(xì)節(jié)，有利于小氣孔、短裂紋等微小缺陷目標(biāo)的檢測。

不同層提取的特征圖送往其對應(yīng)的RPN，由于各層神經(jīng)元的感受野不同，因而每個RPN的錨點(diǎn)盒大小參數(shù)需要分別設(shè)置，具體的參數(shù)見表1。

表1 不同RPN的錨點(diǎn)尺寸參數(shù)Tab.1 Anchorscales parameters for different RPNs提取層參 數(shù)CONV1(2 4)CONV2(4 8)CONV5(4 8 16 32)

由于CONV5層的輸出特征圖中含有小缺陷目標(biāo)，因而添加尺寸為4的錨點(diǎn)參數(shù)，以生成多個小面積的錨點(diǎn)盒來檢測小尺寸缺陷目標(biāo)。另一方面，裂紋缺陷通常表現(xiàn)為條形，長寬比變化較為強(qiáng)烈，未焊透和未熔合缺陷比較相似，通常為細(xì)直黑線，部分在焊縫邊緣的未熔合缺陷表現(xiàn)為如圖1(c)中所示的不規(guī)則的黑色區(qū)域。為了能夠更準(zhǔn)確的描述并檢測長條形缺陷目標(biāo)，將CONV5層對應(yīng)的RPN中錨點(diǎn)的長寬比設(shè)為(1∶3，1∶1，3∶1)，同時，在RPN網(wǎng)絡(luò)中原始3×3滑動窗口基礎(chǔ)上，增加1×1和5×5的滑動窗口，三種不同的滑動窗口通過卷積之后再進(jìn)行特征融合，改進(jìn)的RPN結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)模型中RPN結(jié)構(gòu)圖Fig.3 RPN structure diagram in improved model

由于改進(jìn)模型主要通過在模型后續(xù)環(huán)節(jié)引入較低層提取特征和增加滑動窗口來保留圖像的邊緣、紋理等細(xì)節(jié)及優(yōu)化模型錨點(diǎn)的長寬比設(shè)置，來提高對小缺陷目標(biāo)和不同尺寸缺陷目標(biāo)的檢測準(zhǔn)確性，原模型的后續(xù)環(huán)節(jié)保持不變，因而改進(jìn)算法與原網(wǎng)絡(luò)模型相比，其計(jì)算復(fù)雜度和缺陷檢測時間基本保持不變，從而在保持原網(wǎng)絡(luò)模型運(yùn)行效率的同時，提高對微波焊接缺陷目標(biāo)的檢測能力。

3 改進(jìn)Faster RCNN模型的實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集及網(wǎng)絡(luò)訓(xùn)練

數(shù)據(jù)集的大小和質(zhì)量直接影響網(wǎng)絡(luò)學(xué)習(xí)的性能，文中實(shí)驗(yàn)采用智利天主教大學(xué)發(fā)布的無損檢測X射線圖像數(shù)據(jù)集GDXray[13,14]，其焊縫X射線圖片的像素尺寸為500×5000，以500×500對圖片進(jìn)行裁剪、旋轉(zhuǎn)和翻轉(zhuǎn)，并與實(shí)驗(yàn)室收集圖片混合組成2340張圖片的實(shí)驗(yàn)數(shù)據(jù)集，按照8:2的比例分為訓(xùn)練集和測試集，訓(xùn)練圖片的批量大小設(shè)置為64。

模型的前向傳播的公式為

Y=sn(…(s2(s1(Xω1+b1)ω2+b2)…)ωn+bn)

(1)

式中：i=1,2,…,n，X、Y——網(wǎng)絡(luò)的輸入與輸出矩陣；ωi——權(quán)值矩陣；bi——偏置矩陣，si——各神經(jīng)元激活函數(shù)，其在最后一層選用Softmax函數(shù)進(jìn)行分類計(jì)算，其他層選用Relu函數(shù)，因?yàn)镽elu函數(shù)在激活狀態(tài)下的梯度值較大且保持一致，可以有效減少訓(xùn)練過程中的梯度消失或梯度爆炸等問題。

實(shí)驗(yàn)完成一次前向傳播后，計(jì)算損失函數(shù)值，并更新算法權(quán)值，然后重新進(jìn)行前向傳播，直至損失函數(shù)取最小值，損失函數(shù)交叉熵，其表達(dá)式為

(2)

式中：yij——期望輸出值；k——樣本的總類別數(shù)；N——訓(xùn)練樣本總數(shù)；pi(x)——softmax函數(shù)。

3.2 實(shí)驗(yàn)評估指標(biāo)

交并比(Intersection over Union，IoU)指標(biāo)可用于衡量同一圖像上不同區(qū)域的重合度，其表示為預(yù)測區(qū)域與真實(shí)標(biāo)記區(qū)域之間的交集與并集的比值，表達(dá)式為

(3)

式中：D——模型預(yù)測區(qū)域；G——真實(shí)標(biāo)記區(qū)域。

真正例、假正例和假反例是常用的基礎(chǔ)指標(biāo)，通常情況，如果fIoU>0.5則認(rèn)為該缺陷檢測結(jié)果為真正例，反之，如果fIoU≤0.5則認(rèn)為該缺陷檢測結(jié)果為假正例，假反例表示有真實(shí)框但無檢測結(jié)果。在此基礎(chǔ)上，檢測精準(zhǔn)率fpre和召回率frec的定義為

(4)

(5)

式中：fTP——檢測真正例指標(biāo)；fFP——檢測的假正例指標(biāo)；fFN——檢測的假反例指標(biāo)。

平均精度(Average Precision，AP)是將某類目標(biāo)的檢測結(jié)果按照置信度排序，然后按閾值得到精準(zhǔn)率fpre和召回率frec的積分并計(jì)算其平均值，可以得到平均精度，其計(jì)算表達(dá)式為

(6)

3.3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)在tensorflow框架下運(yùn)行，將最大迭代次數(shù)設(shè)為4000次。實(shí)驗(yàn)過程采用變量控制方法。RPN的錨點(diǎn)長寬比由(1∶2，1∶1，2∶1)優(yōu)化為(1∶3，1∶1，3∶1),并加入anchor scales為4的參數(shù)，參數(shù)優(yōu)化前后的實(shí)驗(yàn)結(jié)果對比見表2，表2中數(shù)據(jù)為多次實(shí)驗(yàn)結(jié)果的平均值。

表2 長寬比變化對算法識別率影響(單位:%)Tab.2 Effect of aspect ratio changes(Unit:%)識別率裂紋未焊透未熔合氣孔fAP原始參數(shù)57.157.559.164.359.5更改參數(shù)60.858.960.364.661.2提高比例3.71.41.20.31.7

從表2實(shí)驗(yàn)結(jié)果可以看出，錨點(diǎn)長寬比優(yōu)化后，裂紋缺陷的識別率提高了3.7%，對長條形未焊透和未熔合缺陷的定位及識別率分別提高了1.4%和1.2%，氣孔的識別率只提高了0.3%，主要因?yàn)闅饪椎拿娣e相對較小，且長寬比基本沒有變化。參數(shù)優(yōu)化后，模型的總體識別準(zhǔn)確率提高了1.7%。

文中改進(jìn)Faster RCNN模型，在傳統(tǒng)特征提取方法基礎(chǔ)上，將淺層網(wǎng)絡(luò)提取的特征與高層網(wǎng)絡(luò)提取的特征聯(lián)合作為后續(xù)環(huán)節(jié)的輸入，并根據(jù)各類缺陷的特點(diǎn)，設(shè)置相應(yīng)的錨點(diǎn)參數(shù)以提高目標(biāo)框定位準(zhǔn)確性，測試數(shù)據(jù)的實(shí)驗(yàn)檢測結(jié)果見表3，表3中數(shù)據(jù)為多次實(shí)驗(yàn)結(jié)果的平均值。

表3 模型改進(jìn)前后的識別率實(shí)驗(yàn)結(jié)果(單位:%)Tab.3 Results before and after model improvement(Unit:%)識別率裂紋未焊透未熔合氣孔fAP原始模型60.858.960.364.661.2改進(jìn)模型67.461.363.679.868.0提高比例6.62.43.315.26.8

從表3實(shí)驗(yàn)比較結(jié)果可以看出，傳統(tǒng)Faster RCNN模型中增加淺層網(wǎng)絡(luò)特征圖后，未焊透缺陷和熔合缺陷的識別率分別提高了2.4%和3.3%，而氣孔缺陷和裂紋缺陷的識別率分別提高了15.2%和6.6%，有了明顯的識別準(zhǔn)確率提高，主要因?yàn)楦倪M(jìn)模型增加了更多淺層特征圖的細(xì)節(jié)信息，有利于氣孔和短裂紋等微小缺陷的識別。改進(jìn)模型的平均準(zhǔn)確率提高了6.8%。

圖4 部分缺陷檢測實(shí)驗(yàn)結(jié)果圖Fig.4 Partial defect detection experiment results

部分檢測結(jié)果如圖4所示，其中圖4(a)為原始網(wǎng)絡(luò)模型缺陷檢測結(jié)果，圖4(b)為文中改進(jìn)Faster RCNN模型的缺陷檢測結(jié)果。從圖4實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)Faster RCNN模型成功識別出了原始模型未識別出的小氣孔缺陷和特征較弱的短裂紋缺陷，同時對于長寬變化劇烈的裂紋等缺陷目標(biāo)的檢測和定位更加準(zhǔn)確。

為進(jìn)一步驗(yàn)證文中改進(jìn)Faster RCNN模型的缺陷檢測性能，將其與已有文獻(xiàn)中的SPP-Net[13]和改進(jìn)SSD網(wǎng)絡(luò)模型[15]進(jìn)行檢測性能比較，多次實(shí)驗(yàn)結(jié)果平均值見表4。

表4 不同網(wǎng)絡(luò)模型缺陷檢測結(jié)果比較Tab.4 Comparison of defect detection for different models實(shí)驗(yàn)比較模型平均檢測精度(%)SPP-Net49.3SSD網(wǎng)絡(luò)模型55.7文中改進(jìn)模型68.0

從表4可以看出，改進(jìn)Faster RCNN模型對焊縫缺陷識別的準(zhǔn)確率明顯高于SPP-Net和SSD網(wǎng)絡(luò)，具有更好的實(shí)用性。

綜合分析實(shí)驗(yàn)仿真結(jié)果可知，文中改進(jìn)Faster RCNN模型取得最優(yōu)的缺陷檢測結(jié)果，對于微小缺陷目標(biāo)仍取得較好的檢測精度，主要因?yàn)楦倪M(jìn)模型能夠充分利用低層特征豐富的細(xì)節(jié)信息，同時，不同尺度的特征圖所提取的不同特征共用同樣的分類和邊框回歸網(wǎng)絡(luò)，相當(dāng)于廣義上的多任務(wù)聯(lián)合，可有效的避免數(shù)據(jù)量偏小造成的過擬合現(xiàn)象。

4 結(jié)束語

針對傳統(tǒng)Faster RCNN模型在進(jìn)行焊縫缺陷檢測時對微小缺陷檢測效果不理想問題，設(shè)計(jì)了改進(jìn)Faster RCNN模型，通過多層特征網(wǎng)絡(luò)提取不同尺度特征圖并共同作用于模型后續(xù)環(huán)節(jié)，從而增加模型輸入的細(xì)節(jié)信息，提高對較小缺陷的檢測效果；改進(jìn)RPN結(jié)構(gòu)，加入多種滑動窗口，從而優(yōu)化了模型錨點(diǎn)的長寬比設(shè)置，提高檢測能力，實(shí)驗(yàn)驗(yàn)證了算法的有效性。