于子金，李樂榕，阮龍

（上海寶山鋼鐵股份有限公司設(shè)備部，上海 201900）

0 引言

由于原材料、焊接工藝、焊接過程控制等因素的影響，寶鋼UOE焊管區(qū)域在鋼管焊接過程中會(huì)產(chǎn)生諸如搭焊、夾珠、未融合、夾渣、氣孔、咬邊、焊瘤、燒穿、密氣、焊偏等一系列缺陷,這些缺陷不僅影響鋼管的外觀，還會(huì)損害成品,管的質(zhì)量和機(jī)械性能。因此，有效的檢測(cè)出鋼管焊縫位置缺陷對(duì)提高鋼管產(chǎn)品質(zhì)量具有重要意義。然而，有很多因素使得基于射線探傷圖像的鋼管焊縫缺陷實(shí)時(shí)檢測(cè)特別困難，如射線探傷圖像噪音大、圖像存在拖影現(xiàn)象、缺陷種類多、位置隨機(jī)不固定、高速生產(chǎn)節(jié)奏等。

1 研究背景

現(xiàn)有的基于射線探傷圖像的鋼管焊縫缺陷檢測(cè)方法主要采用經(jīng)典的機(jī)器學(xué)習(xí)算法，大致分為三個(gè)主要階段:圖像預(yù)處理、特征提取和分類。然而，這些算法需要手工設(shè)計(jì)特征提取模型，然而手工制作的特征嚴(yán)重依賴現(xiàn)場(chǎng)工藝專家的知識(shí)，需要消耗大量的人力。文獻(xiàn)[1]提出了一種自適應(yīng)分割算法，根據(jù)射線探傷圖像的灰度特征，自適應(yīng)分割缺陷區(qū)域，但無法區(qū)分缺陷類型。文獻(xiàn)[2]提出了在提取表面缺陷在不同尺度和方向上的特征后，采用支持向量機(jī)分類器對(duì)不同類型的表面缺陷進(jìn)行分類。然而，在測(cè)試過程中，從單一缺陷圖像中提取特征的時(shí)間為1.1044秒，太長(zhǎng)，無法滿足實(shí)時(shí)檢測(cè)的要求。

多層次的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)能夠提取的信息量更全面，相比于手工制作的特征更有效，所有的特征都是通過使用自適應(yīng)回歸算法，從訓(xùn)練數(shù)據(jù)中自動(dòng)提取的多層次卷積網(wǎng)絡(luò)，提供了從原始缺陷圖像到預(yù)測(cè)結(jié)果的端到端的解決方案，從而減輕了手動(dòng)提取特征的需求。此外，通過卷積檢測(cè)網(wǎng)絡(luò)可以在毫秒內(nèi)檢測(cè)到目標(biāo)，并獲得目標(biāo)的種類、準(zhǔn)確位置以及大小等信息。

2 基于增強(qiáng)型yolo的網(wǎng)絡(luò)模型

2.1 檢測(cè)原理

YOLO的CNN網(wǎng)絡(luò)將輸入圖片分割成S×S網(wǎng)格，通過設(shè)計(jì)的卷積層來提取缺陷特征。對(duì)于每個(gè)網(wǎng)格，模型判斷是否有缺陷的中心點(diǎn)落在了格子內(nèi)，并根據(jù)提取的缺陷特征識(shí)別缺陷類別，如圖1所示，可以看到搭焊這個(gè)缺陷的中心落在了單元格內(nèi)，那么這個(gè)單元格負(fù)責(zé)預(yù)測(cè)這個(gè)搭焊缺陷。

圖1 YOLO網(wǎng)絡(luò)檢測(cè)流程圖

YOLO檢測(cè)網(wǎng)絡(luò)模型可以被分解為回歸和分類兩部分，回歸用于確定目標(biāo)對(duì)象的位置和尺寸，分類用于確定目標(biāo)所屬類別。YOLO網(wǎng)絡(luò)中的每個(gè)單元格將預(yù)測(cè)B個(gè)邊界框（bounding box）和每個(gè)邊界框的置信度（confidence）。邊界框的準(zhǔn)確度可以用預(yù)測(cè)框與實(shí)際框（ground truth）的IOU（intersection over union，交并比）來表征，記為IOU，IOU表示預(yù)測(cè)框與真實(shí)框的重疊率，采用非極大值抑制NMS（Non-Maximum Suppression）方法去除冗余邊界框。網(wǎng)絡(luò)為每個(gè)邊界框預(yù)測(cè)5個(gè)值：（x,y,w,h,c）。（x,y）坐標(biāo)表示缺陷中心，（w,h）表示每個(gè)框的高度和寬度,c表示置信度。在測(cè)試時(shí)，改進(jìn)了置信度的計(jì)算方式，我們將類別置信度與邊界框置信度相乘，具體如定公式（1）所示，為每個(gè)框提供類別特有的置信值。

2.2 增強(qiáng)型的yolo網(wǎng)絡(luò)

我們構(gòu)建了一個(gè)包含29個(gè)卷積層的全卷積YOLO網(wǎng)絡(luò)。前27個(gè)卷積層用于提取焊縫缺陷特征，后2個(gè)卷積層用于預(yù)測(cè)缺陷類別和尺寸。我們的網(wǎng)絡(luò)使用連續(xù)的3×3卷積層，然后是1×1池化層。連續(xù)的3×3卷積層從輸入圖像中提取缺陷特征，使用1×1核來減少前一個(gè)特征映射的特征空間。在幾個(gè)圖像識(shí)別基準(zhǔn)上，最大池化層可以被步幅為2的卷積層取代，而不會(huì)損失精度。此外，卷積層允許網(wǎng)絡(luò)學(xué)習(xí)自己的空間下采樣，而不是確定性的空間下采樣。在本文中，我們用3×3（stride=2）卷積函數(shù)替換了原網(wǎng)絡(luò)的max-pooling函數(shù)，精度略有提高0.6%。

2.3 鋼管焊縫缺陷圖像收集

本課題共收集了近2萬張X射線探傷圖像，從中篩選出有缺陷的圖像2000多張作為分析對(duì)象，將缺陷分為16類，缺陷如下圖所示，對(duì)焊縫圖片有無缺陷以及缺陷類型進(jìn)行標(biāo)識(shí)。數(shù)據(jù)集共計(jì)打標(biāo)了5067個(gè)缺陷，根據(jù)缺陷數(shù)量越多，越不重要的原則，為每個(gè)缺陷類型分配權(quán)重，后續(xù)將缺陷類型權(quán)重和數(shù)據(jù)集劃分以及模型Loss計(jì)算相結(jié)合。

圖2 UOE鋼管焊縫缺陷圖

2.4 模型訓(xùn)練

為了便于優(yōu)化，YOLO檢測(cè)網(wǎng)絡(luò)在損耗函數(shù)中使用了和平方誤差。然而，和平誤差將定位誤差和分類誤差同等權(quán)重，并不能完全符合平均精度最大化的目標(biāo)。在每個(gè)圖像中，許多網(wǎng)格單元不包含任何缺陷。這使得無缺陷單元格的置信度分?jǐn)?shù)接近于零，通常會(huì)壓倒那些有缺陷網(wǎng)格單元的梯度，這會(huì)導(dǎo)致模型不穩(wěn)定。為了彌補(bǔ)這一點(diǎn)，YOLO網(wǎng)絡(luò)增加了邊界框坐標(biāo)預(yù)測(cè)的損失，并減少了無缺陷框的置信度預(yù)測(cè)的損失。為了提高對(duì)小尺度缺陷的檢測(cè)效果，YOLO網(wǎng)絡(luò)通過增加損失函數(shù)中bounding box寬度和高度的方差信息，來增加小尺度缺陷bounding box中誤差的比例。優(yōu)化后的損失函數(shù)如下：

表示是否有任意一種缺陷出現(xiàn)在i中， 表示第j個(gè)預(yù)測(cè)框。

為了提高缺陷檢測(cè)的準(zhǔn)確性和速度，在訓(xùn)練過程中采用了一些訓(xùn)練策略。

多尺度的輸入：在低分辨率圖像上訓(xùn)練的網(wǎng)絡(luò)測(cè)試速度快但精度低，而在高分辨率圖像上訓(xùn)練的網(wǎng)絡(luò)測(cè)試精度高但速度不滿足要求。在訓(xùn)練我們的網(wǎng)絡(luò)時(shí)，我們將固定的416 × 416輸入分辨率改為可變的輸入分辨率。我們?cè)O(shè)置了一組可選擇的輸入分辨率{224,256 416, 448}，網(wǎng)絡(luò)每10次迭代改變輸入大小。

數(shù)據(jù)增強(qiáng)：當(dāng)訓(xùn)練數(shù)據(jù)不夠充分時(shí)，數(shù)據(jù)增強(qiáng)可以擴(kuò)展數(shù)據(jù)集，增加訓(xùn)練數(shù)據(jù)的多樣性。數(shù)據(jù)增強(qiáng)也可以減少過擬合。在對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，我們對(duì)部分缺陷圖像進(jìn)行了銳度增強(qiáng)和對(duì)比度增強(qiáng)。在訓(xùn)練過程中，我們隨機(jī)縮放和裁剪缺陷圖像。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

我們?cè)?6種類型的缺陷圖像上訓(xùn)練改進(jìn)的YOLO網(wǎng)絡(luò)，迭代次數(shù)設(shè)為50000。在整個(gè)訓(xùn)練過程中，我們使用批大小為16、動(dòng)量為0.9、衰減為0.0005的隨機(jī)梯度下降法。初始學(xué)習(xí)率為0.01,每重復(fù)12000次，學(xué)習(xí)率下降10倍，設(shè)置有EarlyStop條件。在1個(gè)NVIDIA GTX 1080Ti gpu上訓(xùn)練花費(fèi)了40多小時(shí)。

3.2 結(jié)果及分析

對(duì)訓(xùn)練過程數(shù)據(jù)進(jìn)行處理，得到損失衰減曲線和召回曲線，如圖3和圖4所示。

圖3 損失函數(shù)曲線

圖4 recal衰減曲線

利用訓(xùn)練好的網(wǎng)絡(luò)對(duì)測(cè)試缺陷圖像進(jìn)行檢測(cè)，在26秒內(nèi)完成2000幅圖像的檢測(cè)，達(dá)到97.55%的mAP和95.86%的召回率。檢測(cè)結(jié)果見圖5。傳統(tǒng)算法主要集中在缺陷分類問題上，通常不能解決缺陷定位和預(yù)測(cè)缺陷大小的問題。改進(jìn)后的YOLO檢測(cè)網(wǎng)絡(luò)不僅能對(duì)缺陷圖像進(jìn)行分類，還能準(zhǔn)確獲取缺陷的位置和大小信息。

圖5 6種射線探傷圖像中焊縫缺陷檢測(cè)結(jié)果

在只需要檢測(cè)缺陷而不進(jìn)行類別分類的情況下，我們的網(wǎng)絡(luò)達(dá)到99%的檢測(cè)率，僅遺漏1%的缺陷。同時(shí)，根據(jù)在線實(shí)驗(yàn)測(cè)試，我們的網(wǎng)絡(luò)可以檢測(cè)出1毫米大小的缺陷。

深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)方法，數(shù)據(jù)集的數(shù)量直接影響學(xué)習(xí)結(jié)果[3]。如果有更多數(shù)量和種類的缺陷圖像來訓(xùn)練網(wǎng)絡(luò)，該網(wǎng)絡(luò)將有更好的性能和更高的精度。同時(shí)，對(duì)缺陷的位置和尺寸的識(shí)別也會(huì)更加準(zhǔn)確。

4 結(jié)語

文中建立了包含16種焊管射線探傷圖像中焊縫缺陷數(shù)據(jù)庫(kù)。我們通過構(gòu)建全卷積YOLO檢測(cè)網(wǎng)絡(luò)來檢測(cè)焊縫缺陷。結(jié)果表明，該網(wǎng)絡(luò)的mAP達(dá)到97.55%，召回率達(dá)到95.86%，檢出率達(dá)到99%。該網(wǎng)絡(luò)提供了端到端的焊管射線探傷圖像中焊縫缺陷檢測(cè)解決方案，并實(shí)現(xiàn)了76FPS的檢測(cè)速度，使在線鋼管焊縫射線探傷缺陷圖像的實(shí)時(shí)檢測(cè)更加有效。