周躍龍，陳新度，吳智恒，羅良傳，陳啟愉 ，李平

(1.廣東工業(yè)大學機電工程學院，廣東廣州 510006；2.廣東工業(yè)大學，省屬共建精密電子制造技術與裝備國家重點實驗室，廣東廣州 510006；3.廣東省科學院智能制造研究所，廣東廣州 510070)

0 前言

近年來隨著計算機信息化技術和智能機器人技術的發(fā)展，示教型機器人廣泛應用于汽車制造領域。薄板連續(xù)焊接技術作為汽車制造中的核心工藝技術之一，對汽車制造過程中的制造費用、制造質(zhì)量和制造周期有相當大的影響。在實際焊接過程中，由于薄板構(gòu)件受熱不均勻發(fā)生熱變形，導致焊縫與實際示教軌跡產(chǎn)生偏移，而示教型機器人不能自適應實時糾正焊接軌跡，造成焊接不滿足質(zhì)量和精度要求。因此，針對薄板件連續(xù)焊接實現(xiàn)焊接機器人自動軌跡糾偏十分重要?；趥鹘y(tǒng)圖像處理的焊縫跟蹤方法在焊接時強烈弧光干擾下，對環(huán)境變化和弧光等干擾的適應性差，容易丟失跟蹤目標；而基于深度學習的目標檢測算法也難以兼顧焊接精度和速度。因此，針對汽車薄板件連續(xù)焊接，搭建機器人激光視覺焊縫跟蹤與檢測系統(tǒng)，提出基于目標估計準則的焊縫跟蹤算法。首先，通過傳統(tǒng)圖像處理算法提取焊縫激光條紋特征點；然后，基于改進的孿生神經(jīng)網(wǎng)絡實現(xiàn)對焊縫激光條紋的特征提取與跟蹤，提高焊接的質(zhì)量和精度，滿足實際焊接需求。

1 焊縫跟蹤系統(tǒng)構(gòu)成及測量原理

1.1 系統(tǒng)構(gòu)成

焊縫跟蹤系統(tǒng)一般分為主動視覺和被動視覺兩種，區(qū)別在于人為打光或是利用焊接時的弧光。實驗中采用主動視覺系統(tǒng)，如圖1所示，系統(tǒng)主要包括線激光視覺傳感器、六軸焊接機器人、工控機等。線激光視覺傳感器結(jié)構(gòu)如圖2所示，安裝于焊槍前方引導焊槍運動，激光模組投射激光條紋于工件表面，工業(yè)相機采集圖像傳輸至工控機，濾光片可以過濾部分弧光，偏振片可減弱金屬表面反光的影響，通過標定求解出焊縫特征點在機器人基坐標下的三維坐標，經(jīng)過以太網(wǎng)傳輸至機器人控制柜，從而實現(xiàn)對焊接軌跡的實時糾偏。

圖1 焊縫跟蹤系統(tǒng)

圖2 線激光視覺傳感器結(jié)構(gòu)原理

1.2 測量原理

線激光視覺傳感器透射投影模型如圖3所示，建立世界坐標系、相機坐標系、成像坐標系和像素坐標系。激光平面與標定平面相交產(chǎn)生激光條紋的點世界坐標為(,,),對應像素坐標為′(,),轉(zhuǎn)換關系如式(1)所示，其中：、為相機在軸和軸的焦距;(,)為主點坐標;為3×3旋轉(zhuǎn)矩陣;為3×1平移向量。

圖3 相機透射投影模型

(1)

由于鏡頭存在畸變，造成實際成像點跟理想成像點存在偏差，應用LENZ畸變模型進行矯正,如式(2)所示，其中為畸變因子。

(2)

通過標定求解相機內(nèi)參(，，，，)和外參(，)。根據(jù)激光三角法原理，對激光平面進行基于棋盤格的標定，提取相機坐標系下不同姿態(tài)的棋盤格平面上的激光條紋離散點的三維坐標，平面擬合后計算出激光平面參數(shù)，最終建立焊縫特征點在像素坐標與世界坐標的轉(zhuǎn)換關系。

為驗證標定的精度，將棋盤格固定于可微調(diào)裝置，提取激光條紋與棋盤格的交點，計算對應空間坐標，然后調(diào)整微調(diào)裝置一定距離，通過反復計算不同位置的坐標，計算相應點的位移并與實際移動進行比較，得到平均標定誤差為0.12 mm，滿足標定精度要求。

2 基于目標估計準則的焊縫跟蹤算法

針對在弧光、煙霧和熱變形等干擾下的實時準確的焊縫跟蹤，提出基于目標估計準則的端到端跟蹤算法。利用孿生子網(wǎng)絡實現(xiàn)對模板圖像和待檢測圖像的特征提取，經(jīng)過互相關運算后再設計分類分支和回歸分支，前者用于分類，后者實現(xiàn)對目標邊框位置的優(yōu)化。網(wǎng)絡框架如圖4所示。其中，★為互相關運算，?為分類分支與質(zhì)量評估分支對應元素相乘，∧為argmax函數(shù)，為分類分支特征。

圖4 焊縫跟蹤示意

2.1 孿生子網(wǎng)絡

圖5 孿生神經(jīng)網(wǎng)絡原理

孿生子網(wǎng)絡采用沒有填充操作的Alexnet構(gòu)建模板分支和檢測分支，兩個分支之間共享權值，模板分支輸入初始幀目標區(qū)域圖像，檢測分支輸入后續(xù)幀的圖像，將提取的特征輸入分類和回歸分支,進行如式(3)所示的互相關運算，其中∈{cls,reg}。

(,)=[()]·[()]

(3)

2.2 目標狀態(tài)估計準則

(4)

回歸頭將作為輸入，采用IoU損失函數(shù)，直接回歸分類中心位置到真實邊框上、下、左、右四邊的偏移量=(,,,)，對于位置(,)的回歸可以形式化為式(5)，完成優(yōu)化邊框位置的預測，最后分類回歸分支采用argmax函數(shù)結(jié)合。

(5)

2.3 網(wǎng)絡訓練

(6)

先使用ImageNet進行預訓練，然后把實驗采集的40個焊接視頻制作的數(shù)據(jù)集作為訓練集對焊縫跟蹤神經(jīng)網(wǎng)絡進行端到端離線訓練，采用0.01標準偏差的零中心高斯分布，選擇隨機梯度下降作為優(yōu)化器， 執(zhí)行50次訓練，學習率從10線性增至10。

3 實驗過程

焊縫視覺跟蹤過程中在弧光、煙塵和熱變形等強干擾下對焊縫特征點的實時準確檢測與定位，是實現(xiàn)復雜構(gòu)件焊接機器人軌跡糾偏的關鍵一環(huán)。以直線角搭接焊縫為對象，首先在初始幀提取焊縫特征點，結(jié)合基于目標估計準則的孿生神經(jīng)網(wǎng)絡，通過端到端離線訓練實現(xiàn)對焊縫特征點的實時穩(wěn)健跟蹤。

為驗證焊縫跟蹤算法的可靠性，確定系統(tǒng)能否精確實時糾偏，采用直線角搭焊接焊縫進行實驗。通過示教器完成示教編程，讀取個采樣點的焊槍末端三維坐標，采用最小二乘法擬合直線作為理論軌跡，利用焊接過程跟蹤算法對焊縫特征點進行識別定位，根據(jù)系統(tǒng)標定結(jié)果轉(zhuǎn)換像素坐標為機器人基坐標下的三維坐標，計算理論軌跡和跟蹤軌跡個采樣點間的平均誤差作為評估文中跟蹤算法精度的指標。

3.1 實驗選材及參數(shù)設置

實驗采用Q235碳鋼進行研究，尺寸為200 mm×150 mm×2 mm，直線角搭接，采用川崎3BA006NAC01焊接機器人，保護氣體為CO,其余焊接參數(shù)如表1所示。

表1 焊接參數(shù)

3.2 圖像采集與初始幀焊縫特征點提取

將激光視覺傳感器固定于焊槍前端，調(diào)試至相機視野內(nèi)結(jié)構(gòu)光條紋清晰，然后啟動運動控制模塊和圖像采集模塊。圖像采集模塊基于OpenCV進行程序開發(fā)，控制工業(yè)相機實時采集焊接圖像，焊縫初始幀圖像如圖6(a)所示。

初始幀處于未起弧階段，容易提取焊縫特征點并確定跟蹤區(qū)域。圖像濾波是為了去除圖像噪聲，采用中值濾波能在有效去除噪聲的同時保留圖像邊緣信息，效果如圖6(b)所示。采用大津法對激光條紋二值化處理，凸顯激光條紋輪廓，效果如圖6(c)所示。為處理激光條紋邊緣和末端可能出現(xiàn)的毛刺或裂紋，采用形態(tài)學閉運算去除毛刺和彌合裂痕，效果如圖6(d)所示。由于激光條紋具有一定的寬度，為進一步提高焊縫特征點的準確度，需要進行骨架提取，將激光條紋的多像素寬度減少為單位像素寬度。采用基于Hessian矩陣的方法實現(xiàn)激光條紋的亞像素級骨架提取，效果如圖6(e)所示。最后基于霍夫變換直線檢測求得焊縫特征點坐標值，如圖6(f)所示。

圖6 初始幀焊縫特征點提取

3.3 實驗結(jié)果分析

選取三線激光的中間激光條紋作為跟蹤對象，與傳統(tǒng)圖像處理方法和基于核相關濾波(KCF)的方法對比，得到如圖7所示的跟蹤效果。通過觀察，在弧光和煙霧等強烈干擾下，傳統(tǒng)圖像處理方法會導致邊界框漂移甚至跟蹤失敗，跟蹤效果最差，平均幀率僅為20幀/s，無法滿足焊接精度要求。采用KCF的方法以前一幀的檢測結(jié)果作為模板，通過訓練循環(huán)矩陣采集的正負樣本和利用高斯核函數(shù)映射在線更新模型，在噪聲干擾較小的情況下能夠穩(wěn)定且較精確地跟蹤焊縫特征，但是在噪聲干擾明顯時會出現(xiàn)較大的跟蹤偏差和跟蹤目標丟失的情況，平均幀率為45幀/s，無法實現(xiàn)魯棒、準確的焊縫跟蹤。而基于目標估計準則的焊縫跟蹤算法跟蹤效果最佳，該算法僅以初始幀為模板，通過離線訓練神經(jīng)網(wǎng)絡，無需在線更新模型，所以能在強烈的干擾下依據(jù)初始模板找回目標，跟蹤的平均幀率達到90幀/s，既能保持跟蹤的精度與穩(wěn)定性，又能滿足焊接實時性要求。

圖7 焊縫跟蹤效果

為驗證提出的焊縫跟蹤算法的有效性，進行薄板角搭接焊縫的視覺跟蹤實驗。首先通過示教器控制機器人焊槍末端沿焊縫移動完成示教編程，記錄機器人示教器上個采樣點的焊槍末端三維坐標(,,)(=1,2,3,…,)，通過最小二乘法將這些點擬合為直線作為理論軌跡。焊接過程中，激光視覺傳感器捕獲焊接圖像，根據(jù)跟蹤算法對焊縫特征點進行識別定位，并通過坐標轉(zhuǎn)換計算機器人基坐標下的三維坐標′(,,)(=1,2,3，…,)。最后，計算理論軌跡與跟蹤軌跡之間的平均誤差作為算法精度評估指標，焊槍末端在平面的理論軌跡和跟蹤軌跡如圖8所示。薄板角搭接焊縫跟蹤的理論軌跡和跟蹤軌跡在軸方向上的坐標誤差如圖9所示。在軸的最大誤差為0.92 mm，平均誤差為0.48 mm，最終得到的薄板角搭接焊縫如圖10所示，焊接質(zhì)量較為理想,滿足焊接作業(yè)要求。

圖8 焊接軌跡

圖9 焊縫跟蹤在X軸方向誤差

圖10 焊接效果

利用傳統(tǒng)圖像處理方法和KCF算法進行實驗，得到傳統(tǒng)圖像處理方法的平均跟蹤誤差為4.2 mm，而KCF算法的平均誤差為1.2 mm，都無法滿足焊接精度要求。

4 結(jié)束語

通過搭建基于激光視覺的薄板焊縫檢測與跟蹤系統(tǒng)，提出基于目標估計準則的端到端焊縫跟蹤算法，實現(xiàn)對由于熱變形等引起的焊縫位置變化的自動糾偏。經(jīng)過系統(tǒng)標定后進行圖像采集，采用傳統(tǒng)圖像處理方法提取初始幀焊縫特征點，建立目標模板與待檢測圖像作為后續(xù)網(wǎng)絡分支的輸入，進行特征提取與跟蹤，并通過焊接實驗對比驗證所提算法的可行性。結(jié)果表明：平均跟蹤誤差為0.48 mm，平均幀率為90幀/s，相較于基于傳統(tǒng)圖像處理和基于核相關濾波的跟蹤算法，提高了跟蹤精度和速度。