梁志敏，高旭，任政，武子琴，王立偉，汪殿龍

(1.河北科技大學(xué),材料科學(xué)與工程學(xué)院,石家莊,050000；2.河北省材料近凈成形技術(shù)重點(diǎn)實(shí)驗(yàn)室,石家莊,050000)

0 序言

GMAW生產(chǎn)效率高、成本低、易于實(shí)現(xiàn)自動(dòng)化，可實(shí)現(xiàn)高效高質(zhì)精密的焊接加工.焊接過程具有動(dòng)態(tài)、多因素交互干擾等特性，尤其是高溫、高壓等特殊條件下服役的焊接結(jié)構(gòu)，需要對(duì)焊接過程實(shí)施有效的監(jiān)測和控制.建立更加全面的熔池三維幾何特征與焊接成形及焊接質(zhì)量關(guān)系的模型，是實(shí)現(xiàn)焊接過程精確監(jiān)測和控制的重要途徑[1].同時(shí)熔池表面三維幾何信息的監(jiān)測和控制也是新型智能焊接系統(tǒng)的重要功能[2].

焊工觀察熔池頂部表面的幾何形來態(tài)判斷和控制焊接質(zhì)量.熔透狀態(tài)監(jiān)測和控制是自動(dòng)化焊接中具有挑戰(zhàn)性的課題[1-2].工件背面雖然可以最直觀的反映焊縫的熔透狀態(tài)，但是既難以直接觀察又難以加裝傳感設(shè)備.利用熔池頂部傳感是焊縫熔透監(jiān)測的常規(guī)方法.

Jiao等人[3]和Nomura等人[4]通過對(duì)熔池頂部表面的同軸傳感獲取熔池圖像，利用CNN模型實(shí)現(xiàn)熔透狀態(tài)分類和焊漏預(yù)測；該視覺傳感方法僅利用了熔池圖像的二維信息，卻沒有利用與熔透狀態(tài)相關(guān)性更強(qiáng)的三維信息.為實(shí)現(xiàn)熔池表面信息的三維傳感，Song等人[5-6]開發(fā)了主動(dòng)式結(jié)構(gòu)激光機(jī)器視覺系統(tǒng)，采用點(diǎn)陣激光投射至GTAW熔池表面，捕獲反射至成像板的激光圖案實(shí)現(xiàn)了GTAW熔池表面的三維重建.Huang等人[7]建立了點(diǎn)陣結(jié)構(gòu)激光入射、反射成像屏幕和熔池表面相關(guān)聯(lián)的數(shù)學(xué)模型，提取并分析了熔池表面三維數(shù)據(jù).相對(duì)GTAW而言，GMAW過程中更嚴(yán)重的高溫、飛濺及電弧干擾，提高了GMAW熔池表面的精確三維測量的難度.Mnich等人[8]利用立體視覺系統(tǒng)捕獲了基值電流GMAW熔池圖像實(shí)現(xiàn)了立體匹配，該系統(tǒng)包括2臺(tái)高速攝像機(jī).Neil等人[9]對(duì)熔池立體匹配算法進(jìn)行了評(píng)估.為簡化結(jié)構(gòu)、降低成本可利用平面鏡反射和雙棱鏡折射效應(yīng)，使用單臺(tái)攝像機(jī)實(shí)現(xiàn)了熔池表面的三維重建[10-12].Gu等人[13]和Liang等人[14]采用基于角點(diǎn)檢測的立體匹配算法獲得了熔池表面稀疏的視差.

然而目前，并未提出可靠的立體匹配算法，來實(shí)現(xiàn)完整熔池表面及其弱紋理區(qū)域準(zhǔn)確有效的匹配.為此，該研究引入了全局優(yōu)化的變分立體匹配算法，通過將空間連續(xù)性約束引入能量方程，彌補(bǔ)了熔池圖像紋理不足造成的立體匹配困難的缺陷，實(shí)現(xiàn)了完整熔池表面的立體匹配.

1 試驗(yàn)方法

1.1 雙棱鏡單攝像機(jī)立體視覺系統(tǒng)設(shè)計(jì)

單攝像機(jī)雙棱鏡立體視覺系統(tǒng)原理圖如圖1所示.試驗(yàn)裝置和雙棱鏡如圖2所示，雙棱鏡置于中心波長為850 nm的窄帶濾光片前端.采用焦距為50 mm的鏡頭，相機(jī)以60幀/秒的采集頻率從熔池背面采集圖像，分辨率為1 024 × 512.通過Matrox圖像采集卡進(jìn)行數(shù)據(jù)的傳輸和保存.采用專業(yè)的相機(jī)校準(zhǔn)工具包計(jì)算立體匹視覺系統(tǒng)內(nèi)外參數(shù)矩陣.

圖1 試驗(yàn)系統(tǒng)原理圖Fig.1 Schematic diagram of experimental system

圖2 雙棱鏡單攝像機(jī)立體視覺系統(tǒng)Fig.2 Biprism single camera stere vision system.(a)vision system;(b) biprism

1.2 試驗(yàn)方案

工件被固定在1個(gè)由步進(jìn)電機(jī)控制的單軸移動(dòng)工作平臺(tái)上.母材為Q235低碳鋼板，尺寸為250 mm × 100 mm × 6 mm.采用直徑1.2 mm的H08Mn2Si焊絲，焊槍垂直于工件，保護(hù)氣為80%Ar+20%CO2，保護(hù)氣流量為15 L/min.焊接過程中焊槍和相機(jī)保持靜止，工件在運(yùn)動(dòng)平臺(tái)上以預(yù)置的焊接速度移動(dòng).采用CMT工藝進(jìn)行單道堆焊，采用GMAW-P工藝對(duì)間隙和鈍邊分別為1.2 mm和1 mm的60°的V形坡口母材進(jìn)行對(duì)接.如圖1所示，采集了平板堆焊和3種不同熔透狀態(tài)下V形坡口接頭的熔池立體圖像對(duì).平板堆焊和3種熔透狀態(tài)下接頭結(jié)構(gòu)示意圖如圖3所示.焊接參數(shù)如表1所示.

表1 焊接工藝參數(shù)Table 1 Welding parameters

圖3 接頭結(jié)構(gòu)示意圖Fig.3 Joint structure diagram.(a) bead on plate welding;(b) partial penetration;(c) full penetration;(d) over penetration

1.3 變分立體匹配算法

基于雙棱鏡的單攝像機(jī)立體視覺系統(tǒng)的三維重建算法是通過對(duì)攝像機(jī)的標(biāo)定求解左右虛擬相機(jī)的內(nèi)外參數(shù)及位置關(guān)系.利用其“自校正”的特性，使左右對(duì)應(yīng)像素點(diǎn)位于相同的水平線上，加速了立體匹配的進(jìn)程.采用立體匹配算法求取采集立體圖像對(duì)的視差，最后基于三角測量法計(jì)算空間三維坐標(biāo).

1.3.1 基于變分原理的立體匹配

立體匹配是建立相同空間點(diǎn)在左右圖像中像素的對(duì)應(yīng)關(guān)系，是立體視覺中最關(guān)鍵最困難的步驟.立體匹配問題可描述為，對(duì)于左右兩幅圖像I1和I2，估計(jì)左圖中每個(gè)像素在右圖中的位置.定義(x,y)為左圖中的像素坐標(biāo)，u(x,y)為視差，則(x+u(x,y),y)為在右圖中的對(duì)應(yīng)匹配像素的坐標(biāo).依照代價(jià)函數(shù)的約束范圍差別，立體匹配算法可分為局部立體匹配算法、半全局立體匹配算法和全局立體匹配算法.全局立體匹配算法通過對(duì)全局能量函數(shù)的最小化，在遮擋、弱紋理等不可靠區(qū)域可以獲得良好的匹配效果.全局優(yōu)化的變分立體匹配方法能量方程[15]為

式中：Data_item(x,y,u(x,y)) 為數(shù)據(jù)項(xiàng)；Smooth_item(?d) 為平滑項(xiàng)；α為平滑因子.

數(shù)據(jù)項(xiàng)中的d為描述視差的函數(shù)，平滑項(xiàng)作為場景中的先驗(yàn)假設(shè)通過懲罰較大的視差梯度來施加平滑性限制.進(jìn)而在適當(dāng)?shù)募s束下通過求解全局能量函數(shù)的最小值求取最優(yōu)視差.變分立體匹配算法即通過求解能量方程E(u(x,y))的歐拉—拉格朗日方程(Euler-Lagrange)獲得能量最小化條件下的解u(x,y).由于只有當(dāng)式(1)是嚴(yán)格的凸函數(shù)時(shí)，才能獲得唯一的滿足其歐拉—拉格朗日方程能量最小化的解.現(xiàn)令式(1)中數(shù)據(jù)項(xiàng)與平滑項(xiàng)之和為

通過變分原理獲得能量方程E(u(x,y))的歐拉—拉格朗日方程為

式中：Sd表示能量方程關(guān)于視差函數(shù)E(u(x,y))的導(dǎo)數(shù)；dx表示視差函數(shù)關(guān)于x的導(dǎo)數(shù)；dy視差函數(shù)關(guān)于y的導(dǎo)數(shù)；Sdx表 示能量方程關(guān)于函數(shù)dx的導(dǎo)數(shù)；Sdy表示能量方程關(guān)于函數(shù)dy的導(dǎo)數(shù).

對(duì)式(2)進(jìn)行離散化處理后即可得到1個(gè)線性方程組，通過對(duì)方程組的求解計(jì)算即可獲得視差函數(shù)的解.在該研究中為解決焊接熔池表面紋理缺乏造成的匹配困難的問題，在平滑項(xiàng)中添加空間連續(xù)性約束項(xiàng)，在不丟失準(zhǔn)確視差特征的前提下獲得平滑連續(xù)準(zhǔn)確的熔池視差，采用變分的方法對(duì)能量函數(shù)的歐拉—拉格朗日方程進(jìn)行極小值的求解獲取全局最優(yōu)的視差值.

1.3.2 變分立體匹配算法能量方程構(gòu)造

根據(jù)1.3.1小節(jié)可知，能量方程由數(shù)據(jù)項(xiàng)和平滑項(xiàng)構(gòu)成，數(shù)據(jù)項(xiàng)與平滑項(xiàng)分別具有不同的內(nèi)容.數(shù)據(jù)項(xiàng)的構(gòu)造是基于圖像屬性特征的位移不變性，平滑項(xiàng)的構(gòu)成基于真實(shí)世界的平滑曲面.在立體匹配任務(wù)中，基于變分原理的數(shù)據(jù)項(xiàng)的設(shè)定是根據(jù)圖像像素—灰度這個(gè)數(shù)據(jù)進(jìn)行恒定假設(shè)，可以表示為

在焊接任務(wù)中，采集的熔池圖像由于液態(tài)熔池的流動(dòng)造成熔池表面反射光強(qiáng)度不一致，且存在有大量弱紋理區(qū)域，這就易造成數(shù)據(jù)項(xiàng)求解錯(cuò)誤的極值.為解決這個(gè)問題，通過構(gòu)建數(shù)據(jù)項(xiàng)的規(guī)范互相關(guān)泛函來增強(qiáng)數(shù)據(jù)項(xiàng)的魯棒性.已知規(guī)范互相關(guān)泛函的極大值點(diǎn)為數(shù)據(jù)項(xiàng)的解，取負(fù)規(guī)范互相關(guān)函數(shù)作為數(shù)據(jù)項(xiàng)并引入到變分框架之中，此時(shí)數(shù)據(jù)項(xiàng)即可表示為

式中：τud=d(x-n(x,y)-u(x,y),y)；n(x,y)表示視差；表示以x0點(diǎn)為中心的內(nèi)積；表示x0點(diǎn)為中心的范數(shù).

在真實(shí)的世界中，除了不連續(xù)區(qū)域以外，空間位置相鄰的區(qū)域在多數(shù)情況下對(duì)應(yīng)的視差應(yīng)是相近的.因此，平滑項(xiàng)可以起到重新分配視差以及消除視差局部錯(cuò)誤的作用.在焊接過程中，對(duì)于熔池表面高亮及無紋理區(qū)域造成的視差計(jì)算不可靠的問題，平滑項(xiàng)可以根據(jù)相鄰域的視差值填充不可靠區(qū)域，以提升整體熔池表面視差計(jì)算的精度.平滑項(xiàng)可以分為圖像驅(qū)動(dòng)的平滑性及視差驅(qū)動(dòng)的平滑項(xiàng).兩類平滑項(xiàng)可以分別起到抑制圖像邊界視差場，提升邊界擬合的效果，以及提高視差鄰域傳播的可靠性，減少過分割問題的發(fā)生，變分立體匹配算法構(gòu)建的復(fù)合平滑項(xiàng)為

式中：Θ為平衡參數(shù)；g為正定的遞減函數(shù)；Ψ 為可微的遞增函數(shù).Θ設(shè)置為1個(gè)二值函數(shù)可以由下式表示為

構(gòu)造的復(fù)合平滑項(xiàng)可以根據(jù)目標(biāo)紋理的強(qiáng)弱實(shí)現(xiàn)自適應(yīng)的平滑項(xiàng)選擇，在強(qiáng)紋理區(qū)域選擇視差驅(qū)動(dòng)平滑項(xiàng)，在弱紋理區(qū)域選擇圖像驅(qū)動(dòng)平滑項(xiàng).

1.3.3 誤差估計(jì)

為評(píng)估試驗(yàn)系統(tǒng)重建誤差，通常采用幾何形狀和尺寸已知的物體進(jìn)行驗(yàn)證.通過比較重建尺寸與實(shí)際尺寸誤差來檢測立體匹配算法精度.為最大程度模擬焊接熔池結(jié)構(gòu)，采用非標(biāo)準(zhǔn)的凹面，在凹面表面粘貼黑白棋盤格，采用雙棱鏡立體視覺系統(tǒng)獲取凹面立體圖像對(duì)，如圖4所示.

Fig.4 Three-dimensional reconstruction.(a) graph taken by camera;(b) surface three-dimensional topography

基于三維重建算法計(jì)算凹面表面三維點(diǎn)云并三角化進(jìn)行曲面擬合.凹面表面三維形貌寬度和深度最大值和實(shí)際測量值如表2所示，寬度和深度相對(duì)誤差分別為3.16%和4.82%.

表2 重建結(jié)果與實(shí)際測量值Table 2 Reconstruction results and actual measurements

2 結(jié)果與討論

2.1 變分立體匹配算法結(jié)果分析

試驗(yàn)中圖像從熔池正后方采集，熔池尾部距離相機(jī)較近，熔池前端距離相機(jī)較遠(yuǎn).圖5分別為平板堆焊熔池及其對(duì)應(yīng)視差圖.

圖5 平板堆焊熔池及其視差圖Fig.5 Bead on plate welding pool and the disparity map

焊接過程中熔滴和電弧作用造成液態(tài)熔池表面的凹陷，熔池尾部相鄰的已經(jīng)凝固的焊道.根據(jù)雙目相機(jī)深度與視差關(guān)系，距離攝像機(jī)成像面越近視差越大，距離越遠(yuǎn)視差值越小.在右側(cè)視差圖中熔池前部像素灰度較小，熔池尾部像素灰度較大，視差圖中像素值分布與熔池實(shí)際幾何規(guī)律一致.視差圖中還可以觀察到焊絲，以及焊接過程中產(chǎn)生的飛濺等細(xì)節(jié)信息.

2.2 GMAW熔池形貌三維重建

2.2.1 立體圖像對(duì)和視差圖

平板堆焊和不同熔透的熔池立體圖像對(duì)及其對(duì)應(yīng)的稠密的視差圖如圖6所示.可以看出熔池的邊界和表面區(qū)域均得到了有效的匹配，未出現(xiàn)因熔池表面紋理缺乏造成的匹配困難，實(shí)現(xiàn)了包含豐富細(xì)節(jié)信息的完整熔池表面全局立體匹配.對(duì)于圖6(b)到圖6(d)中GMAW-P的3種不同熔透狀態(tài)的熔池表面視差圖結(jié)果進(jìn)行分析，發(fā)現(xiàn)伴隨焊接熔深的增加視差圖中熔池表面前部區(qū)域灰度減小，根據(jù)視差與深度成反比的關(guān)系，說明凹陷程度增加.因此，可以通過連續(xù)稠密的視差圖獲取焊接過程中熔池表面三維形態(tài)變化的信息.其不足之處在于，對(duì)于弧光干擾造成的高亮區(qū)仍存在一定的誤匹配問題.

圖6 熔池圖像對(duì)和視差圖Fig.6 Weld pool image pair and disparity map.(a) bead on plate welding;(b) partial penetration;(c) full penetration;(d) over penetration

2.2.2 立體匹配算法結(jié)果對(duì)比

為評(píng)估全局優(yōu)化變分立體匹配算法相較于其他經(jīng)典立體匹配算法對(duì)于熔池?cái)?shù)據(jù)立體匹配的輸出結(jié)果.采用局部立體匹配算法和半全局立體匹配算法對(duì)圖6(a)中堆焊熔池視差圖進(jìn)行了計(jì)算，結(jié)果如圖7所示.局部立體匹配算法通過構(gòu)造類似卷積核的局部窗口在圖像上滑動(dòng)，尋找設(shè)定最大視差范圍內(nèi)代價(jià)最小的窗口，進(jìn)而確定最佳匹配像素塊計(jì)算視差.圖7(a)中可以看到該算法具有很好的保邊特性，能夠顯示出熔池和焊絲的輪廓，但視差不連續(xù)且存在大量孔洞需要后處理插值填充.半全局立體匹配算法采用多路徑約束聚合的方法，通過能量函數(shù)最小化對(duì)視差進(jìn)行約束.圖7(b)相較于圖7(a)熔池中孔洞缺失減少，但是存在大量誤匹配點(diǎn)，熔池輪廓不清晰且觀察不到熔池內(nèi)部紋理細(xì)節(jié)，結(jié)果均不理想.基于全局優(yōu)化的變分立體匹配算法，既具有很好的保邊特性又能顯示熔池內(nèi)部紋理細(xì)節(jié)，熔池?zé)o紋理區(qū)域也得到了有效匹配，但是存在計(jì)算成本較高的問題，伴隨該算法優(yōu)化以及等高性能處理器CUDA的使用，這個(gè)問題可以得到很好的解決.

圖7 其他匹配算法的視差圖結(jié)果Fig.7 Disparity map results of other matching algorithm.(a) local stereo matching algorithm;(b)semi-global stereo matching algorithm

2.2.3 三維重建結(jié)果

利用雙棱鏡立體視覺系統(tǒng)標(biāo)定后的參數(shù)，采用三角測量法計(jì)算空間點(diǎn)的三維坐標(biāo)生成點(diǎn)云，通過將點(diǎn)云中每3個(gè)彼此最鄰近的點(diǎn)進(jìn)行連接，采用三角剖分的方法擬合得到曲面如圖8所示.

圖8 熔池表面形貌三維重建Fig.8 Three-dimensional reconstruction of weld pool surface morphology.(a) bead on plate welding;(b) partial penetration;(c) full penetration;(d)over penetration

如圖8(a)所示，對(duì)于CMT平板堆焊，焊絲下方液態(tài)熔池表面下凹，尾部凝固焊道隆起，熔池重建幾何形貌與實(shí)際成形規(guī)律一致，計(jì)算了采集的圖6(a)凝固焊道寬度及高度，分別為9.59 mm和4.10 mm.在GMAW-P對(duì)接試驗(yàn)中，圖8(b)到圖8(d)伴隨熔透狀態(tài)從未熔透向熔透、過熔透狀態(tài)轉(zhuǎn)變，液態(tài)金屬向母材背面流動(dòng)，熔池表面凹陷程度增加，熔池底部曲率半徑減小.對(duì)選取的圖6(a)，圖6(b)和圖6(c)的3種典熔透狀態(tài)的圖像的計(jì)算中，當(dāng)熔透狀態(tài)從未熔透變?yōu)槿弁笗r(shí)，熔池的表面變長變寬，熔池寬度由10.83 mm增加至11.98 mm，熔池深度由2.89 mm增加至4.07 mm.過熔透發(fā)生時(shí)，焊槍下方偏后位置熔池深度增加顯著達(dá)到5.03 mm，熔池寬度為12.69 mm.不同熔透狀態(tài)的熔池表面三維重建結(jié)果與不同熔透狀態(tài)發(fā)生時(shí)熔池表面幾何形狀演變規(guī)律一致.

3 結(jié)論

(1) 設(shè)計(jì)并搭建了基于雙棱鏡的單攝像機(jī)被動(dòng)立體視覺系統(tǒng)，減少了傳感器的數(shù)量和尺寸，簡化了傳感系統(tǒng)的結(jié)構(gòu)；利用雙棱鏡系統(tǒng)的自校正功能，使得左右圖像對(duì)中對(duì)應(yīng)的像素自動(dòng)位于同一基線上，加速了立體匹配的進(jìn)程.

(2) 變分立體匹配算法實(shí)現(xiàn)了對(duì)熔池表面欠紋理區(qū)域的有效匹配，但在高亮區(qū)域仍存在誤匹配.重建的非標(biāo)準(zhǔn)凹面寬度誤差為3.16%，深度誤差為4.82%；該算法相較于局部立體匹配算法SAD和半全局立體匹配算法SGM具有較好的保邊特性，并且可以實(shí)現(xiàn)對(duì)熔池內(nèi)部細(xì)節(jié)紋理的視差計(jì)算，但計(jì)算過程的時(shí)間成本較大.

(3) 對(duì)于GMAW堆焊和不同熔透狀態(tài)下的V形坡口對(duì)焊熔池表面，采用變分立體匹配算法可獲得稠密精確的熔池視差圖，可分析熔池表面三維重建結(jié)果，提取焊道及熔池幾何尺寸.不同熔透狀態(tài)下熔池表面尺寸，形狀及凹陷程度等典型特征均可以有效地通過重建的熔池表面顯示.