陳英紅，杜明坤

(1.廣東省特種設(shè)備檢測(cè)研究院珠海檢測(cè)院，廣東 珠海 519000; 2.珠海市安粵科技有限公司，廣東 珠海 519000)

0 引 言

焊縫三維形態(tài)直接決定焊接位置處應(yīng)力集中程度，焊縫外觀尺寸檢測(cè)正確性是焊后檢測(cè)的一項(xiàng)關(guān)鍵內(nèi)容[1]。傳統(tǒng)焊后檢測(cè)方法主要由人工使用放大鏡、焊縫檢驗(yàn)尺、棱角度尺等工具完成，存在精度低、檢測(cè)周期長(zhǎng)、無法連續(xù)性檢測(cè)的現(xiàn)象，難以滿足大批量、不同尺寸設(shè)備焊縫外觀參數(shù)快速檢測(cè)的需要[2]。目前國(guó)內(nèi)外關(guān)于焊縫外觀參數(shù)檢測(cè)主要有基于機(jī)器視覺、基于線結(jié)構(gòu)激光的檢測(cè)方法[3-4]。TA Davis等[5]提出基于機(jī)器視覺改進(jìn)背景差分法提取焊縫缺陷特征，對(duì)焊縫缺陷進(jìn)行識(shí)別與歸類；美國(guó)路易斯安那州立大學(xué)研究基于核改進(jìn)的模糊K均值法提取焊縫特征信息，實(shí)現(xiàn)焊縫寬度、咬邊檢測(cè)[6]；文獻(xiàn)[7]采用線激光掃描技術(shù)，通過單輪廓擬合、多輪廓組合方法計(jì)算出焊縫咬邊等缺陷參數(shù)；Doyoung Chang等[8]提出使用差分檢測(cè)與高斯濾波相結(jié)合算法檢測(cè)焊縫特征點(diǎn)；文獻(xiàn)[9]研究基于結(jié)構(gòu)光的焊縫形貌檢測(cè)方法，采用高斯濾波以及重心法在灰度圖像上提取激光條紋中心線，并在中心線上提取焊道特征點(diǎn)，實(shí)現(xiàn)焊縫余高、寬度檢測(cè)；文獻(xiàn)[10]采用閾值分割、形態(tài)學(xué)方法，在二值圖像上完成激光條紋中心線提取。上述焊縫檢測(cè)方法側(cè)重于焊縫部分參數(shù)檢測(cè)，還未有焊縫三維形態(tài)全部參數(shù)(包括焊縫寬度、余高、錯(cuò)邊量、咬邊、棱角度)檢測(cè)方法研究。

本文結(jié)合機(jī)器視覺、線結(jié)構(gòu)激光兩種焊縫外觀參數(shù)檢測(cè)方法，在機(jī)器視覺方面創(chuàng)新性地應(yīng)用Fast-RCNN網(wǎng)絡(luò)實(shí)現(xiàn)焊縫邊緣特征提取，檢測(cè)出焊縫寬度參數(shù)；在結(jié)構(gòu)光方面，應(yīng)用形態(tài)學(xué)處理方法提取激光條紋中心線，檢測(cè)出焊縫余高、錯(cuò)邊量、咬邊、棱角度參數(shù)，從而實(shí)現(xiàn)焊縫三維形態(tài)全部5個(gè)參數(shù)檢測(cè)。

1 基于Fast-RCNN與結(jié)構(gòu)光的縱焊縫三維形態(tài)參數(shù)檢測(cè)機(jī)理

根據(jù)GB150-2011《壓力容器》[11]的焊縫寬度、余高、錯(cuò)邊量、咬邊與棱角度參數(shù)檢測(cè)標(biāo)準(zhǔn)以及綜合測(cè)量要求，設(shè)計(jì)如圖1所示的縱焊縫三維形態(tài)檢測(cè)模型。

CMOS工業(yè)相機(jī)與一字線激光器通過專用夾具固定，相機(jī)軸線與水平面垂直，一字線激光器出射激光面與水平線夾角為。焊縫形態(tài)參數(shù)為焊縫三維立體參數(shù)，其焊縫余高、錯(cuò)邊量與棱角度與焊縫圖像焊縫參數(shù)的三維平面參數(shù)、夾角有關(guān)。

圖1 縱焊縫三維形態(tài)檢測(cè)模型

圖2 基于Fast-RCNN與結(jié)構(gòu)光的縱焊縫三維形態(tài)參數(shù)檢測(cè)流程

圖2為基于Fast-RCNN與結(jié)構(gòu)光的縱焊縫三維形態(tài)參數(shù)檢測(cè)流程。工業(yè)相機(jī)分別在激光器關(guān)閉、打開情況下，拍攝兩張焊縫圖像，其中不包含激光線焊縫圖像采用Fast-RCNN算法檢測(cè)焊縫邊緣特征，再經(jīng)過濾波算法獲取焊趾邊界線，提取焊縫寬度特征點(diǎn)，即可得到焊縫寬度l；包含激光線的焊縫圖像經(jīng)過濾波處理，得到只存在激光條紋線灰度值圖像，條紋中心線提取后，條紋中心線上極值點(diǎn)與焊縫寬度特征點(diǎn)進(jìn)行比對(duì)，確定焊縫余高、咬邊深度特征點(diǎn)信息，獲得焊縫余高h(yuǎn)、咬邊深度d；根據(jù)被檢圓筒半徑擬合出圓弧，在條紋中心線上選取熱影響區(qū)附近特征點(diǎn)，計(jì)算特征點(diǎn)到圓弧間的相對(duì)距離，即可得到焊縫錯(cuò)邊量、棱角度e。

2 基于Fast-RCNN與結(jié)構(gòu)光的焊縫三維形態(tài)參數(shù)檢測(cè)方法

2.1 基于Fast-RCNN的焊縫寬度檢測(cè)方法

圖3為Fast-RCNN網(wǎng)絡(luò)模型[12]，網(wǎng)絡(luò)將整張圖像、若干組對(duì)象框作為輸入，網(wǎng)絡(luò)首先使用卷積層(Conv)和最大池化層處理整個(gè)圖像，以產(chǎn)生卷積特征圖；然后對(duì)每個(gè)對(duì)象框以及特征區(qū)域(ROI)池層，從特征圖中提取固定長(zhǎng)度的特征向量；每個(gè)特征向量被輸送到分支成兩個(gè)同級(jí)輸出層的全連接(FC)層序列中：其中一層進(jìn)行分類，輸出每一個(gè)ROI的概率分布；另一層輸出K個(gè)對(duì)象中每一個(gè)類的精確邊界(bbox)位置。

圖3 Fast-RCNN網(wǎng)絡(luò)模型圖

圖4為Fast-RCNN訓(xùn)練流程圖。在工業(yè)相機(jī)拍攝的被檢圓筒圖像庫(包含焊縫特征圖像、不包含焊縫特征圖像)上使用預(yù)訓(xùn)練網(wǎng)絡(luò)VGG16完成對(duì)有無焊縫特征圖像的分類；將訓(xùn)練好的VGG16網(wǎng)絡(luò)的最后三層修改為Fast-RCNN網(wǎng)絡(luò)結(jié)構(gòu)，并將網(wǎng)絡(luò)輸入修改為圖像以及圖像中ROI區(qū)域兩個(gè)數(shù)據(jù)輸入。Fast-RCNN網(wǎng)絡(luò)輸入為帶有焊縫特征框圖像，與圖3網(wǎng)絡(luò)模型輸入一致。

圖4 Fast-RCNN訓(xùn)練流程圖

圖5為焊縫寬度流程與圖像處理結(jié)果圖。其中圖5(a)為流程圖，將待檢測(cè)焊縫圖像輸入到Fast-RCNN網(wǎng)絡(luò)，得到焊縫精確邊界(bbox)信息；對(duì)bbox區(qū)域內(nèi)進(jìn)行高斯濾波處理，使用Canny邊緣檢測(cè)算法保留圖像中焊縫兩側(cè)焊趾線、內(nèi)部特征。由于兩側(cè)焊趾線并不連續(xù)，可采用圖形形態(tài)學(xué)處理中的閉運(yùn)算使焊趾線變得平滑，并修復(fù)焊趾線間斷區(qū)域，焊縫寬度特征點(diǎn)為經(jīng)過一系列圖像處理后得到焊縫焊趾線上的每個(gè)像素點(diǎn)。圖5(b)為每一步圖像處理結(jié)果，焊縫寬度特征反映為焊縫圖像上、下兩焊縫寬度特征點(diǎn)圖像中Y軸線距離，即寬度l。

2.2 基于線結(jié)構(gòu)光的焊縫余高和咬邊檢測(cè)

焊縫余高、咬邊參數(shù)通過激光條紋線反映，準(zhǔn)確地提取高質(zhì)量、清晰的激光條紋中心線是后續(xù)焊縫參數(shù)指標(biāo)計(jì)算的關(guān)鍵。傳統(tǒng)的基于灰度圖像中心線提取方法(如重心法[13]、輪廓平均值法[14])對(duì)圖像濾波要求較高、適用性差。本文采用基于二值化圖像的形態(tài)學(xué)骨骼化、細(xì)化的中心線提取方法，并依據(jù)單像素點(diǎn)的中心線確定焊縫參數(shù)特征點(diǎn)。形態(tài)學(xué)處理中常見處理方法有膨脹、腐蝕處理，其本質(zhì)是使用特定結(jié)構(gòu)元B，對(duì)二值化圖像A進(jìn)行單像素處理，具體處理方法為：

圖5 焊縫寬度流程與圖像處理結(jié)果

圖6為焊縫余高、咬邊檢測(cè)流程與圖像處理結(jié)果圖。由于激光具有較好單色性，可提取激光線圖像RGB三通道中的單一通道圖像作為激光線的灰度圖像，若選用綠光激光器，即選用G通道圖像；從灰度圖像中，看出激光線區(qū)域與其他區(qū)域區(qū)別明顯，采用閾值法即可得到條紋特征完整的二值化圖像：

I(x,y)——灰度圖像目標(biāo)位置灰度值；

k——灰度閾值。

上述步驟得到激光條紋存在邊緣毛刺、條紋線內(nèi)部孔洞，可用形態(tài)學(xué)中開運(yùn)算修整，再圖像骨骼化，即得到激光條紋中心線。

圖7為激光條紋中心線中焊縫余高、咬邊參數(shù)特征點(diǎn)提取結(jié)果。根據(jù)GB150-2011中規(guī)定的焊縫余高為焊縫表面兩焊趾連線上金屬高度，反映在激光線條紋上特征為激光條紋線在焊縫寬度特征區(qū)域(圖7中P4點(diǎn)、P5點(diǎn)之間的區(qū)域)內(nèi)的橫坐標(biāo)極大值點(diǎn)(圖7中P1點(diǎn))，其中P4點(diǎn)、P5點(diǎn)選取規(guī)則如下：

圖6 焊縫余高、咬邊檢測(cè)流程與圖像處理結(jié)果圖

圖7 寬度、咬邊特征點(diǎn)提取

(xl,yl)——激光條紋中心線坐標(biāo)；

(xlP,ylP)——P4點(diǎn)與P5點(diǎn)坐標(biāo)。

可得到焊縫余高特征為條紋中心線上焊縫特征極值點(diǎn)P1與焊縫寬度特征點(diǎn)P4在圖像中像素坐標(biāo)距離hL，P1、P5在圖像中像素坐標(biāo)距離hR。若存在錯(cuò)邊焊縫的余高，取兩側(cè)測(cè)量余高平均值，得余高為激光線與水平面夾角。

GB150-2011中規(guī)定，焊縫咬邊為沿焊趾母材部位產(chǎn)生的溝槽或凹陷，其在中心線圖像中特征點(diǎn)反映為條紋中心上點(diǎn)P2與P4在圖像中X軸向距離dL（上咬邊深度）；P5附近的橫坐標(biāo)極小值焊縫寬度特征點(diǎn)P3、P5在圖像中X軸向距離dR（下咬邊深度），即可得咬邊為激光線與水平面夾角。

2.3 基于線結(jié)構(gòu)光的焊縫錯(cuò)邊量、棱角度檢測(cè)

GB150-2011中規(guī)定焊縫錯(cuò)邊量為焊接時(shí)由于焊接部位變形、焊接偏差等因素造成錯(cuò)位、不平現(xiàn)象，錯(cuò)邊尺寸、幅度即為焊縫錯(cuò)邊量。規(guī)定焊縫棱角度為鋼板卷制的筒體在縱向焊縫處與筒體圓弧相比凸起的量值，棱角度檢測(cè)應(yīng)用弦長(zhǎng)等于為被檢測(cè)圓筒容器直徑，且不小于300 mm樣板與直尺配合檢測(cè)。傳統(tǒng)圓筒容器的棱角度檢測(cè)應(yīng)用到不同尺寸的圓筒容器時(shí)需要分別制作指定的圓弧樣板，耗時(shí)長(zhǎng)，適用性差。

參考文獻(xiàn)[15]中焊縫錯(cuò)邊量、棱角度檢測(cè)方法，研究基于機(jī)器視覺的焊縫錯(cuò)邊量、棱角度新型檢測(cè)方法，圖8為檢測(cè)方法的模型。其思路為分別選取焊縫兩邊熱影響區(qū)外離焊趾線最近點(diǎn)作為特征點(diǎn)，根據(jù)被檢圓筒容器的直徑擬合出理論圓弧，檢測(cè)出實(shí)際圓筒圓弧上的特征點(diǎn)與理論圓弧值之間的距離進(jìn)而得到：

圖8 焊縫錯(cuò)邊量、棱角度檢測(cè)模型

圖9為焊縫圖像錯(cuò)邊量與棱角度檢測(cè)示意圖。點(diǎn)P6、P7為焊縫上下熱影響區(qū)外離焊趾線最近的特征點(diǎn)。若直接檢測(cè)難度較大，可用間接測(cè)量方法得到以點(diǎn)P6為例，特征點(diǎn)到激光線邊界水平距離DL2，弦長(zhǎng)上點(diǎn)P6縱坐標(biāo)位置處距離理論圓弧的水平距離DL1，圖像中實(shí)際錯(cuò)邊量實(shí)際棱角度

圖9 焊縫圖像錯(cuò)邊量與棱角度檢測(cè)示意圖

3 實(shí)驗(yàn)研究

使用SKT-MM500C-12A彩色工業(yè)相機(jī)(分辨率 2 592×1 944、感光元件 1/2.5″、像素 2.2 μm)以及焦距130 mm、最小線寬1 mm綠色一字線激光器，構(gòu)造基于Fast-RCNN與結(jié)構(gòu)光的縱焊縫三維形態(tài)參數(shù)檢測(cè)系統(tǒng)。

圖10為圓筒縱焊縫樣品與原始圖像。其中焊縫樣品為圖10(a)直徑=570 mm輸油管道縱焊縫；圖10(b)、圖(c)為激光器在關(guān)閉、打開情況下工業(yè)相機(jī)成像效果。由于測(cè)量模型中工業(yè)相機(jī)的主要成像平面為焊縫表面，可采用在焊縫檢測(cè)位置處放置標(biāo)準(zhǔn)鋼尺，計(jì)算圖像中鋼尺10 mm長(zhǎng)度下相機(jī)拍攝圖像中像素個(gè)數(shù)的方法完成相機(jī)標(biāo)定工作。經(jīng)過若干次標(biāo)定實(shí)驗(yàn)，取標(biāo)定結(jié)果的平均值作為標(biāo)定結(jié)果，圖像中單位像素間距在實(shí)際中的尺寸為0.018 mm。

圖10 圓筒縱焊縫樣品與原始圖像

參照上面提出的焊縫5參數(shù)檢測(cè)方法，應(yīng)用Matlab軟件完成焊縫5參數(shù)檢測(cè)程序設(shè)計(jì)，表1為本文方法與使用焊縫檢驗(yàn)尺檢測(cè)結(jié)果對(duì)比表。表2為焊縫三維外觀參數(shù)多次測(cè)量結(jié)果，其中焊縫寬度、余高的測(cè)量不確定度分別為0.019 mm、0.026 mm，與JJG704-2005《焊接檢驗(yàn)尺》說明的焊縫檢驗(yàn)尺的寬度、余高的測(cè)量不確定度0.173 mm相比，分別降低了89%、85%。

表1 焊縫5參數(shù)檢測(cè)結(jié)果 mm

表2 焊縫三維外觀參數(shù)檢測(cè)結(jié)果 mm

4 結(jié)束語

1) 提出基于Fast-RCNN與結(jié)構(gòu)光的縱焊縫三維形態(tài)參數(shù)檢測(cè)方法，首先應(yīng)用Fast-RCNN卷積神經(jīng)網(wǎng)絡(luò)從視覺圖像中檢測(cè)并定位焊縫區(qū)域、測(cè)量焊縫寬度；其次基于結(jié)構(gòu)光單色性好特點(diǎn)，采用顏色閾值分割、形態(tài)學(xué)處理相結(jié)合方法提取激光中心線，從激光中心線沿焊縫方向的極大、極小值點(diǎn)計(jì)算焊縫余高、咬邊深度，提取激光中心線處于焊縫熱影響區(qū)部分，通過擬合標(biāo)準(zhǔn)圓弧，檢測(cè)焊縫錯(cuò)邊量與棱角度。

2) 采用工業(yè)相機(jī)與520 nm線激光器搭建縱焊縫檢測(cè)平臺(tái)。對(duì)直徑為570 mm的輸油管道的縱焊縫進(jìn)行檢測(cè)，能準(zhǔn)確測(cè)量焊縫寬度、余高、咬邊、錯(cuò)邊量、棱角度等5個(gè)關(guān)鍵三維形態(tài)參數(shù)，焊縫寬度、余高的測(cè)量不確定度分別為0.019 mm、0.026 mm，較JJG704-2005規(guī)定的焊縫檢驗(yàn)尺分別降低了89%、85%。

3) 應(yīng)用人工智能、深度學(xué)習(xí)與機(jī)器視覺技術(shù)，建立焊縫寬度、余高、咬邊、錯(cuò)邊量、棱角度5個(gè)三維形態(tài)參數(shù)的測(cè)量模型，實(shí)現(xiàn)在各種光照條件下的焊縫定位、三維形態(tài)參數(shù)檢測(cè)，有效地提升裝置適用性。

下一步將研究裝置誤差補(bǔ)償技術(shù)、動(dòng)態(tài)測(cè)量技術(shù)，并嘗試應(yīng)用人工智能實(shí)現(xiàn)環(huán)焊縫、內(nèi)部焊縫的三維形態(tài)參數(shù)檢測(cè)，實(shí)現(xiàn)一站式全類型焊縫的視覺檢測(cè)。