摘 要：管道接頭法蘭焊縫位于管道內(nèi)部，無法直接檢測。為此提出基于機器視覺及卷積神經(jīng)網(wǎng)絡(luò)的識別方法。通過機器視覺傳感器采集影像，采用張氏標(biāo)定法和最小二乘積法去除鏡頭畸變，獲得管道接頭法蘭圖像?；诰矸e神經(jīng)網(wǎng)絡(luò)訓(xùn)練管道接頭法蘭的特征，引入非線性激活函數(shù)令輸出結(jié)果非線性化，通過池化運算降低特征復(fù)雜度和避免多度擬合情況發(fā)生，憑借Softmax將特征結(jié)果轉(zhuǎn)化為分類概率，實現(xiàn)管道接頭法蘭環(huán)焊縫識別。實驗證明，所提方法識別性能好，精度高，迭代周期短，誤差均沒有超過2 mm，僅用100迭代就達到了最小識別誤差值。

關(guān)鍵詞：機器視覺；卷積神經(jīng)網(wǎng)絡(luò)；焊縫識別；管道焊接；法蘭環(huán)焊縫

中圖分類號：TG409；TG498.2 文獻標(biāo)志碼：A 文章編號：1001-5922（2024）10-0020-04

Research on quality detection method of flange girth weld of pipe joint based on sensing technology

LI Yi1，LIU Jie1，LIU Changsha1，YU Hanwen1，JIANG Hongkui2

（1. China State Construction Engineering Corporation，China Construction Industrial amp; EnergyEngineering Group Co.，Ltd.，Nanjing 210023，China；2. Shandong Jianzhu University，School of Mechanical and Electrical Engineering，Jinan 250014，China）

Abstract：The flange weld is located inside the pipe，which cannot be directly detected. Therefore，a recognitionmethod based on machine vision and convolutional neural network was proposed. The image was collected by ma?chine vision sensor，and the lens distortion was removed by Zhang’s calibration method and least square productmethod，and the image of pipe joint flange was obtained. Based on the feature of convolutional neural networktrained the pipe joint flange，the nonlinear activation function was introduced to make the output result nonlinear，the feature complexity was reduced and the multi-degree fitting was avoided by pooling operation，and the feature re?sult was converted into classification probability with the help of Softmax to realize the identification of pipe jointflange girth weld. The experimental results showed that the proposed method had good recognition performance，high precision，short iteration period，and the error was less than 2 mm，and the minimum recognition error wasreached with only 100 iterations.

Key words：machine vision；convolutional neural network；weld seam identification；pipeline welding；flange girth weld assembly

管道接頭的連接處常常使用法蘭實現(xiàn)密封和固定，而法蘭焊縫不合格或存在缺陷會導(dǎo)致管道的破損、泄漏和事故發(fā)生[1]。焊縫的準(zhǔn)確識別和監(jiān)測有助于及早發(fā)現(xiàn)異常情況，提高管道的安全性和可靠性。因此，對管道接頭法蘭環(huán)焊縫準(zhǔn)確定位和識別研究非常重要。為此，研究者們不斷探索新的檢測技術(shù)，以提高焊縫識別的精度和效率。采用直線擬合焊縫和激光條紋，通過平移兩線的交點，實現(xiàn)焊縫識別[2]；將最大化投影距離和最小化重構(gòu)誤差引入到目標(biāo)函數(shù)中，用于提取圖像的結(jié)構(gòu)信息，完成焊縫以及焊縫表面缺陷識別任務(wù)[3]。

基于此，提出一種基于機器視覺及卷積神經(jīng)網(wǎng)絡(luò)的管道接頭法蘭環(huán)焊縫識別方法。經(jīng)過實驗證明，經(jīng)過鏡頭畸變校正和卷積神經(jīng)網(wǎng)絡(luò)可獲得更精準(zhǔn)的環(huán)焊縫識別結(jié)果。

1圖像采集與校正

由于法蘭環(huán)焊縫通常位于管道內(nèi)部，受管道直徑和曲率的限制，無法直接利用圖像采集設(shè)備進行拍攝。視覺傳感器是一種非接觸性的獲取圖像的設(shè)備，可以通過傳感器技術(shù)獲取管道接頭內(nèi)部的圖像，能夠覆蓋較大面積的管道接頭表面，避免了對管道的損傷，也提高了工作的安全性。因此，采用視覺傳感器采集管道接頭內(nèi)圖像，以獲取到法蘭焊縫以及法蘭焊縫周圍的相關(guān)信息。

視覺傳感器結(jié)構(gòu)主要由激光傳感器、CCD工業(yè)相機和濾光片組成，工作時相機距離工件140～180 mm。在運行過程中，激光傳感器會投射出一字線激光，照射在管道接頭表面，形成特定形狀的激光光帶條紋。CCD相機根據(jù)驅(qū)動信號的頻率采集帶有激光條紋的法蘭焊縫圖像，獲取管道接頭法蘭焊縫特征點坐標(biāo)信息，通過傳輸控制協(xié)議（TCP）為焊縫識別提供有效的數(shù)據(jù)基礎(chǔ)[4]。由于管道接頭法蘭環(huán)焊縫形狀的異構(gòu)性，在獲取圖像時面臨視角受限的問題，且受到光線條件與鏡頭的畸變影響，導(dǎo)致焊縫在圖像中的尺寸和角度的失真。為此，構(gòu)建成像線性模型，并在其中添加畸變參數(shù)，用于去除圖像畸變，以提高測量圖像中焊縫長度、邊緣角度等參數(shù)的準(zhǔn)確性，從而增強焊縫識別的準(zhǔn)確性。

畸變包括徑向畸變和主光軸不對稱的切向畸變[5]?？紤]到光學(xué)成像系統(tǒng)主光軸往往是中心對稱的，設(shè)機器視覺成像系統(tǒng)的光軸中心位置不存在畸變，只考慮徑向畸變。當(dāng)CCD鏡頭慢慢向邊緣靠近，根據(jù)零畸變的光軸中心主點的泰勒級數(shù)[6]，構(gòu)建采集到的管道接頭法蘭環(huán)焊縫畸變模型（xα yα）：

式中：（xy）表示無畸變的圖像坐標(biāo)；k1、k2、k3分別表示為徑向畸變?nèi)A糾正函數(shù)；r表示（xy）與圖像中心的距離。

通過張氏標(biāo)定法校正管道接頭法蘭環(huán)焊縫圖像的畸變，求導(dǎo)出去除畸變的外參數(shù)解值。構(gòu)建管道接頭內(nèi)三維坐標(biāo)標(biāo)記點N= （XYZ）T，對應(yīng)采集得到圖像中的坐標(biāo)為n= （uv）T，變換的齊次坐標(biāo)表示為N?= （X Y Z 1）T和n?= （u v 1）T，2個坐標(biāo)的映射關(guān)系描述為：

式中：H表示單應(yīng)性矩陣；R和T表示CCD相機的旋轉(zhuǎn)平移參數(shù)；Q表示CCD內(nèi)部參數(shù)。其中，根據(jù)坐標(biāo)映射關(guān)系，單應(yīng)性矩陣H可表示為：

式中：λ表示尺度因子。

利用畸變模型以及有無畸變圖像和像素間關(guān)系[7]，獲取有畸變像素坐標(biāo)，通過獲取有畸變像素坐標(biāo)并進行畸變校正，可以消除這些畸變，使得焊縫在校正后的圖像中呈現(xiàn)出準(zhǔn)確的形態(tài)和尺寸。有畸變像素坐標(biāo)表示為：

式中：（uv）表示無畸變像素坐標(biāo)；（u0，v0）表示為圖像的主點坐標(biāo)；（uαvα）描述為有畸變像素坐標(biāo)。

設(shè)定利用機器視覺采集到的第G張管道接頭法蘭環(huán)焊縫圖像內(nèi)存在g個點，通過提取這些點的畸變坐標(biāo)和對應(yīng)的真實坐標(biāo)，并建立二維仿射變換模型來實現(xiàn)校正處理。但由于過程較為復(fù)雜，增加了焊縫識別的難度，因此，通過以矩陣形式表達變換方程，實現(xiàn)一次性的校正，提高校正處理的效率和速度，避免對每張圖像都進行獨立的畸變校正處理。有畸變像素坐標(biāo)轉(zhuǎn)換為矩陣的表達式為：

式中：D表示對稱矩陣；d表示對稱約束。

考慮到畸變模型的復(fù)雜性和實際情況的不確定性，采用最小二乘法計算徑向畸變參數(shù)矩陣，在校正過程中可以有效地擬合點之間的誤差，提高擬合效果。通過最小二乘積法[8]計算徑向畸變參數(shù)矩陣K，可得到：

根據(jù)以上獲取的有畸變像素坐標(biāo)矩陣，實現(xiàn)畸變?nèi)コＵ?，從而獲得理想的第G張圖像的理想采集結(jié)果，計算公式為：

2管道接頭法蘭焊縫識別

對管道接頭法蘭圖像畸變校正處理，使得管道接頭法蘭環(huán)焊縫在圖像上呈現(xiàn)出更加精確和準(zhǔn)確的形態(tài)，從而可以清晰地顯示焊縫的輪廓與幾何形狀。卷積神經(jīng)網(wǎng)絡(luò)能夠有效地學(xué)習(xí)到圖像中的特征和模式，并進行高級抽象和表示[9-10]。因此，將管道接頭法蘭圖像輸入至卷積神經(jīng)網(wǎng)絡(luò)中，通過多層卷積和池化操作，自動有效地提取圖像中管道接頭法蘭環(huán)焊縫的形狀等特征，從而實現(xiàn)對焊縫的識別。利用卷積神經(jīng)網(wǎng)絡(luò)識別管道接頭法蘭焊縫的步驟如下：

2. 1卷積層

卷積神經(jīng)網(wǎng)絡(luò)（CNN）的卷積層是將校正后的管道接頭法蘭圖像數(shù)據(jù)和濾波矩陣進行內(nèi)積，以獲取環(huán)焊縫的邊緣和輪廓等特征信息。濾波矩陣是固定的權(quán)重矩陣，每個神經(jīng)元對應(yīng)一組權(quán)重，主要用于對輸入的校正后的管道接頭法蘭圖像濾波[11-12]。利用卷積層獲取環(huán)焊縫特征計算如下：

式中：Pjl-1為輸入網(wǎng)絡(luò)第l-1層中得到第i個環(huán)焊縫特征；qjl為輸入第l層的環(huán)焊縫特征；f（×）為非線性激活函數(shù)；el為偏置量；cl為特征圖i和特征圖 j之j ij間的卷積核矩陣參數(shù)；Mj為第l層特征集合。

2. 2激活層

激活層可以對利用卷積層獲取的法蘭環(huán)焊縫特征非線性變換[13]。由于焊縫在圖像中的形狀、紋理等特征往往具有非線性的關(guān)系，而卷積神經(jīng)網(wǎng)絡(luò)中單一對輸入數(shù)據(jù)進行線性變換，無法執(zhí)行復(fù)雜的法蘭環(huán)焊縫圖像識別任務(wù)。因此，引入非線性激活函數(shù)，將輸出的法蘭環(huán)焊縫特征非線性化，可以使網(wǎng)絡(luò)更好地建模這些復(fù)雜特征，提高對焊縫的識別能力。

2. 3池化層

池化層可進行下采樣，能將待識別的法蘭環(huán)焊縫圖像降維處理[14]，方便將一個法蘭環(huán)焊縫圖像區(qū)域的有用特征融合處理，同時不斷降低數(shù)據(jù)的復(fù)雜程度，以實現(xiàn)環(huán)焊縫地準(zhǔn)確識別[15-16]。池化過程中法蘭環(huán)焊縫特征融合的結(jié)果為：

式中：c表示卷積核大小；s描述為滑動步長；ε描述為特征圖邊緣填充值。

在總層數(shù)為l層的網(wǎng)絡(luò)中圖像卷積訓(xùn)練后進入第l+1層的池化層，經(jīng)過池化后的法蘭環(huán)焊縫特征[17-18]輸出結(jié)果為：

式中：Pl+1j描述為池化輸出；Pl描述為卷積層輸出j 也是池化層的輸入；Cl+1描述為第l+1層的可訓(xùn)參數(shù)；Pool描述為池化計算；El+1描述池化層偏置參數(shù)。

2. 4 Softmax識別層

使用Softmax將法蘭環(huán)焊縫特征輸出結(jié)果轉(zhuǎn)化為分類概率，以實現(xiàn)法蘭環(huán)焊縫分類識別。識別公式為：

式中：θj表示不同層的Softmax參數(shù)；Gjl+1是對識別概率分布的歸一化處理。

3焊縫法蘭組件識別方法性能測試

為驗證所提基于機器視覺及卷積神經(jīng)網(wǎng)絡(luò)的管道接頭法蘭環(huán)焊縫識別方法的有效性，展開實驗測試。所有數(shù)據(jù)來源于真實管道接頭內(nèi)，用于實驗測試的數(shù)據(jù)集中共有4 000張機器視覺采集樣本，其中法蘭環(huán)焊縫圖像樣本2 000個，非目標(biāo)樣本2 000個。從法蘭焊縫圖像樣本中隨機抽取4張，識別結(jié)果如圖1所示。

由圖1可知，所有管道接頭法蘭環(huán)焊縫區(qū)域都被所提方法的默認(rèn)框標(biāo)記識別，仔細(xì)觀察不存在誤識別或是未識別區(qū)域，能夠證明所提方法可應(yīng)用在管道接頭法蘭環(huán)焊縫識別任務(wù)中，方法具有良好的識別性能。

隨機抽取的80個焊縫特征點，對比識別出焊縫位置和實際位置之間的差異，其中線表示為實際位置，點表示識別出焊縫位置，將法蘭環(huán)焊縫的位置誤差識別結(jié)果繪制成曲線，如圖2所示。

從圖2中能夠看出，x、y、z軸上的誤差均沒有超過2 mm，二者可以說是幾乎重合，完全滿足后續(xù)的焊接工作需求。

從樣本集合中挑選焊縫法蘭組件圖像和非目標(biāo)樣本圖像各1 000張作為訓(xùn)練樣本，其余作為測試樣本，進行迭代訓(xùn)練。并與文獻[2]的卡爾曼濾波識別法和文獻[3]的二維主成分分析識別法對比，對比識別誤差結(jié)果如圖3所示。

從圖3能夠看出，所提方法僅用100次迭代就達到了最小識別誤差值，證明方法識別精度高，效率快。而其他方法都經(jīng)歷長時間的迭代才獲得穩(wěn)定的識別誤差值，并且都高于所提方法。因為所提方法在卷積神經(jīng)網(wǎng)絡(luò)中引入了激活函數(shù)，可應(yīng)對不同的焊縫特征計算需求，并且池化層降低了樣本復(fù)雜度和過度擬合情況發(fā)成，所以才能在最短時間內(nèi)得到最優(yōu)識別結(jié)果。

4結(jié)語

提出一種基于機器視覺及卷積神經(jīng)網(wǎng)絡(luò)的識別方法，使用由激光傳感器、CCD工業(yè)相機和濾光片組成的機器視覺，將所得的特征點坐標(biāo)通過TCP通信傳輸給焊縫法蘭組件識別算法。通過張氏標(biāo)定法進行畸變校正，求導(dǎo)出去除畸變的圖像外參數(shù)解值。將提取好的特征圖像信息輸入到卷積神經(jīng)網(wǎng)絡(luò)中，實現(xiàn)法蘭環(huán)焊縫識別。經(jīng)過實驗證明，所提方法可以實現(xiàn)對管道接頭法蘭環(huán)焊縫的高效、準(zhǔn)確和自動化識別，為管道接頭的檢測、修復(fù)和更換等工作提供幫助和便利。

【參考文獻】

[1]余志程，陳富安.基于雙目視覺的焊縫隱性損傷跟蹤定位方法[J].計算機仿真，2021，38（2）：458-462.

[2]徐子恒，夏仁波，趙吉賓，等.基于RANSAC和卡爾曼濾波的窄焊縫識別[J].組合機床與自動化加工技術(shù)，2022（2）：50-53.

[3]方建雄，王肖鋒，王成林.基于F范數(shù)的二維主成分分析算法及焊縫表面缺陷識別研究[J].光電子·激光，2023，34（8）：872-881.

[4]楊衛(wèi)東.基于智能技術(shù)的機器人小管徑內(nèi)壁防腐噴涂與焊縫檢測技術(shù)實現(xiàn)[J].粘接，2023，50（6）：79-81.

[5]張義亮，張柔，賀夢悅，等.基于焊縫特征導(dǎo)波的攪拌摩擦焊損傷定量識別[J].廈門大學(xué)學(xué)報（自然科學(xué)版），2023，62（4）：544-553.

[6]鄧賢東，劉春華，陳曉輝，等.基于深度學(xué)習(xí)的焊縫視覺跟蹤方法研究[J].現(xiàn)代制造工程，2023（6）：124-131.

[7]段岳飛，馬嵩華，胡天亮.基于全卷積神經(jīng)網(wǎng)絡(luò)的焊縫識別方法[J].制造技術(shù)與機床，2023（4）：44-49.

[8]成佳明，靳慧，鄭子健，等.基于機器視覺的施工現(xiàn)場鋼結(jié)構(gòu)焊縫坡口識別[J].東南大學(xué)學(xué)報（自然科學(xué)版），2023，53（1）：86-93.

[9]余澤禹，袁洪強，衛(wèi)小龍，等.基于深度學(xué)習(xí)的管道焊縫超聲檢測缺陷識別方法[J].科學(xué)技術(shù)與工程，2022，22（30）：13288-13292.

[10] STEPHEN D，LALU P P . Development of radiographicimage classification system for weld defect identifica-tion using deep learning technique[J]. International Jour-nal of Scientific and Engineering Research，2021，12（5）：390-394.

[11]李忠虎，呂鑫，薛婉婷，等.風(fēng)電塔筒焊縫全聚焦成像優(yōu)化及缺陷識別方法[J].河南科技大學(xué)學(xué)報（自然科學(xué)版），2022，43（5）：21-27.

[12]劉霞，金忠慶.基于改進卷積神經(jīng)網(wǎng)絡(luò)的飛機桁架焊縫缺陷識別與測試[J].航空制造技術(shù)，2021，64（Z2）：34-38.

[13]楊中雨，李鵬.一種基于卷積神經(jīng)網(wǎng)絡(luò)的管道焊縫圖像識別算法[J].激光雜志，2021，42（4）：64-67.

[14]支澤林，姜洪權(quán)，楊得焱，等.圖譜數(shù)據(jù)深度學(xué)習(xí)融合模型及焊縫缺陷識別方法[J].西安交通大學(xué)學(xué)報，2021，55（5）：73-82.

[15]何銀水，李岱澤，趙梓宇，等.基于亮度突變性與密度特征檢測的厚板T形接頭焊縫輪廓識別[J].上海交通大學(xué)學(xué)報，2021，55（6）：757-763.

[16]潘海鴻，李松莛，陳琳，等.基于改進DG-MobileNet模型的焊縫缺陷識別方法[J].組合機床與自動化加工技術(shù)，2023（8）：127-130.

[17]劉瑩，劉維，高進強.棱形管與法蘭角焊縫圖像處理及特征提取[J].焊接，2022（11）：59-64.

[18] 程凱.基于卷積神經(jīng)網(wǎng)絡(luò)的化工旋轉(zhuǎn)機械故障識別[J].粘接，2022，49（4）：88-92.