范明洋, 嵇保健, 洪磊

(1．南京工業(yè)大學(xué) 電氣工程與控制科學(xué)學(xué)院, 南京 211816；2.南京工程學(xué)院 汽車與軌道交通學(xué)院, 南京 211167)

基于線結(jié)構(gòu)光的曲線焊縫焊接技術(shù)*

范明洋1, 嵇保健1, 洪磊2

(1．南京工業(yè)大學(xué) 電氣工程與控制科學(xué)學(xué)院, 南京 211816；2.南京工程學(xué)院 汽車與軌道交通學(xué)院, 南京 211167)

在實(shí)際焊接過程中，曲線焊接是工業(yè)生產(chǎn)中的一項(xiàng)重要內(nèi)容，其焊接方法目前以示教焊接以及建立數(shù)學(xué)模型為主，這些方法的過程過于機(jī)械和繁雜。文中提出一種新的基于線結(jié)構(gòu)光的曲線焊縫焊接技術(shù)。在實(shí)驗(yàn)中，首先對采集的圖像進(jìn)行降噪等圖像處理，通過焊縫的特征點(diǎn)提取算法，得到焊縫的特征點(diǎn)坐標(biāo)，最后，利用B樣條曲線插值算法，將各特征點(diǎn)坐標(biāo)進(jìn)行曲線擬合。在此基礎(chǔ)上使用一種新的算法能夠?qū)崟r的根據(jù)工件側(cè)面的角度自動調(diào)節(jié)焊槍的角度，極大地提高了焊接工藝。經(jīng)實(shí)驗(yàn)表明其實(shí)際誤差約為0. 1mm，具有良好的檢測精度，能夠滿足實(shí)際焊接的精度和需求。

曲線焊縫；線結(jié)構(gòu)光；圖像處理；斜交管

0 引言

隨著工業(yè)自動化的不斷發(fā)展，自動化焊接已經(jīng)成為汽車、船舶等生產(chǎn)企業(yè)的發(fā)展主流。然而，在實(shí)際焊接中，經(jīng)常會遇到斜交圓管插接時的相貫線焊接情況。對于管管相貫焊接而言[1]，其模型即為典型的空間曲線。與此同時，為了滿足焊接工藝需要時刻改變焊槍的位置和姿態(tài)[2]。

目前，國內(nèi)基于線結(jié)構(gòu)光的焊接機(jī)器人的應(yīng)用對象是以V型口的直線焊接為主，而就曲線焊縫檢測領(lǐng)域而言，焊縫的特征點(diǎn)提取往往采用離散示教的方法獲得,該種方法在實(shí)際焊接中較為繁瑣，不能滿足自動化焊接生產(chǎn)的發(fā)展需求。趙潔等[3]建立了較為簡便的球管相貫數(shù)學(xué)模型，但是并沒有對焊槍的位姿進(jìn)行深入分析，這樣使得焊槍不能實(shí)時的根據(jù)焊縫曲線模型改變自己的姿態(tài)。此后，汪蘇、等人提出了一種基于弗萊納-雪列的軌跡規(guī)劃[4-5]方法，該方法雖然有效的解決了復(fù)雜空間曲線位置和姿態(tài)的控制，但求解過程復(fù)雜且計(jì)算量大，實(shí)際應(yīng)用效率較低。

通過簡單的位姿插補(bǔ)軌跡規(guī)劃算法已經(jīng)不能滿足當(dāng)前的焊接要求。為此，本文提出一種基于線結(jié)構(gòu)光的面向于斜交管的曲線焊縫焊接技術(shù)，該方法把機(jī)器視覺和機(jī)器人運(yùn)動學(xué)很好的結(jié)合了起來，解決了曲線焊縫特征點(diǎn)獲取過程機(jī)械且曲線軌跡模型建立困難的問題。該種方法不論是對理論研究還是生產(chǎn)實(shí)踐都有著一定的指導(dǎo)意義。

1 曲線焊縫圖像處理

圖像處理[6]模塊過程包括圖像預(yù)處理、圖像處理和圖像識別。圖像預(yù)處理操作包括中值濾波、ROI區(qū)域提取、圖像二值化、圖像腐蝕和圖像細(xì)化等。圖像處理過程主要為曲線擬合。焊縫識別主要包括特征點(diǎn)提取。焊縫原始圖像如圖1所示。

圖1 焊縫原始圖像

1.1 中值濾波

中值濾波對椒鹽、灰塵以及飛濺等噪聲具有良好的濾除作用。為此，對原始圖像進(jìn)行中值濾波，為兼顧處理質(zhì)量和效率，實(shí)驗(yàn)采用5×5的濾波窗口，該窗口沿圖像順次掃描，使得與周邊像素灰度差較大的像素接近周邊像素值，從而在較大程度上消除噪聲。

1.2 ROI區(qū)域提取與二值化

在圖像處理的過程中，常常會在非感興趣區(qū)域出現(xiàn)大量的噪聲干擾，如曝光點(diǎn)等，會給圖像處理工作帶來極大的困難和干擾，而ROI區(qū)域的提取便會使非感興趣區(qū)域帶來的干擾得以消除，降低了數(shù)據(jù)運(yùn)算規(guī)模，提高了圖像處理的運(yùn)算效率。ROI區(qū)域提取算法如下：

(1)讀取一幅灰度圖像，并將該幅圖像上所有像素點(diǎn)的灰度值存儲在一個已經(jīng)定義的二維數(shù)組當(dāng)中；

(2)確定ROI區(qū)域剪切圖像中的各項(xiàng)參數(shù)值。

Xmin(剪切圖像的起點(diǎn)的X軸坐標(biāo))：設(shè)置為“1”；

Ymin:(剪切圖像的起點(diǎn)的Y軸坐標(biāo))：通過Y軸方向的灰度值掃描，找到某一列豎直方向灰度值最大的像素點(diǎn)位置，根據(jù)工件尺寸，以此點(diǎn)為參考向該點(diǎn)的Y軸負(fù)方向平移20～30個像素點(diǎn)的位置，并把此點(diǎn)在Y軸方向的位置數(shù)值設(shè)置為“Ymin”；

Weight:選取原圖像的寬度作為“Weight”值；

Height:根據(jù)工件尺寸，將“Height”數(shù)值設(shè)置為40～50；ROI區(qū)域提取圖像如圖2所示。

圖2 ROI區(qū)域以及二值化

假設(shè)第n列灰度值最大的像素點(diǎn)的位置為Y，所以得到以下表達(dá)式：

在提取ROI區(qū)域之后，利用條紋與背景的灰度差，采用動態(tài)二值化方法[7]，以最大限度的減小誤差并保留條紋區(qū)域。

1.3 焊縫特征點(diǎn)提取

經(jīng)過上述圖像處理只能得到結(jié)構(gòu)光條紋的所在區(qū)域，通常來說，條紋寬度一般遠(yuǎn)大于1個像素，這會影響測量的精度，因此，實(shí)際應(yīng)用必須對獲取結(jié)構(gòu)光條紋進(jìn)行細(xì)化處理。本文采用的圖像細(xì)化算法如下：首先通過水平和豎直方向掃描，找出所有像素值為1的點(diǎn)，找出光帶在每一列上下邊界的縱坐標(biāo)，分別記為y1i和y2i。光帶的寬度記為△yi，中心線的縱坐標(biāo)記為ymidi，所以中心點(diǎn)坐標(biāo)為(xi,ymidi)。

本文的算法直接在細(xì)化圖像上進(jìn)行斜率計(jì)算，通過斜率法[8]以斜率直觀的反應(yīng)曲線的走向，最后確定特征點(diǎn)。算法的步驟為：

(1)首先從左向右不斷計(jì)算以n個像素點(diǎn)為長度單位的線段的斜率，將整個線段的斜率以曲線的類型表示。

(2)從斜率變化曲線可以清楚的知道線段的斜率變化，通過分析得知斜率最大值所對應(yīng)的點(diǎn)便是曲線上所需求取的焊縫特征點(diǎn)的位置，如圖3所示。

圖3 焊縫特征點(diǎn)提取效果圖

1.4 三維重建

首先對結(jié)構(gòu)光視覺傳感器進(jìn)行精確標(biāo)定，獲取攝像機(jī)內(nèi)參數(shù)及結(jié)構(gòu)光平面參數(shù)，詳細(xì)算法參見文獻(xiàn)[7，9]；由標(biāo)定得到的攝像機(jī)內(nèi)參數(shù)矩陣M、光平面方程分別為：

假設(shè)在圖像坐標(biāo)系下的坐標(biāo)(u1,v1)，可以計(jì)算出P點(diǎn)在攝像機(jī)的焦距歸一化成像平面的成像點(diǎn)P1c1的坐標(biāo):

由于空間點(diǎn)P1c1在攝像機(jī)的光軸中心點(diǎn)與成像點(diǎn)構(gòu)成的直線上，即可知：

利用該直線的方程與結(jié)構(gòu)光平面方程，即可得到特征點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)Pc=(x,y,z)。綜合上述公式可得:

其中a=-0.00037;b=0.03079;c=-0.00423

通過標(biāo)定可知攝像機(jī)到腕部的轉(zhuǎn)換矩陣T。機(jī)器人的六自由度關(guān)節(jié)角可以從示教器上得知，經(jīng)過機(jī)器人的正解可以得知機(jī)器人末端相對于機(jī)器人基座的位姿矩陣B。最后，通過式pb=B·T·pc,可求得pc點(diǎn)在基坐標(biāo)系下的坐標(biāo)pb。

2 焊槍位姿的確定與離散

要想控制曲線自動焊縫焊接中焊槍的運(yùn)動軌跡,首先要確定空間曲線焊縫的數(shù)學(xué)描述。在焊接加工中我們首先根據(jù)前期的圖像處理算法以及三維重建,獲取到曲線焊縫各個特征點(diǎn)的三維坐標(biāo)，也就是型值點(diǎn)坐標(biāo),然后計(jì)算控制頂點(diǎn)。我們根據(jù)給定的型值點(diǎn)序列Pi(i=1,2,…,n)計(jì)算控制頂點(diǎn)vj(j=1,2,…，n+1,n+2)，使其定義的三次B樣條曲線通過點(diǎn)列Pi(i=1,2…，n)并以Pi為曲線段的結(jié)點(diǎn)。

在曲線擬合中一般需要n個型值點(diǎn)，在本實(shí)驗(yàn)中通過前期獲取的6個型值點(diǎn)為例，把曲線段數(shù)分為5段，詳細(xì)算法參照文獻(xiàn)[10]。最終就可以求出所有的控制頂點(diǎn)。結(jié)果如圖4所示。

圖4 曲線焊縫控制頂點(diǎn)效果圖

2.1 焊槍姿態(tài)的確定

由于在焊接的過程中，需要時刻根據(jù)每個焊縫特征點(diǎn)的位置和斜交管的角度來確定焊槍的姿態(tài)。在本文中，在直線和曲線上各選取一個參考點(diǎn)C和B，其中B點(diǎn)在曲線焊縫特征點(diǎn)起點(diǎn)的切線延長線上，如圖5所示。

圖5 焊縫參考點(diǎn)示意圖

角BAC近似表示為斜交管的側(cè)面張角。根據(jù)焊接工藝及要求，焊槍所在的位置應(yīng)為斜交管側(cè)面張角角平分線的位置。根據(jù)B樣條曲線插值得到焊縫曲線表達(dá)式U，通過對U求導(dǎo)，從而得到沿曲線切線方向的方向向量Xx。把向量AB和AC單位化：

初步計(jì)算焊槍尖點(diǎn)Z軸的方向向量：

Xz′ =AB+AC

進(jìn)一步求取特征點(diǎn)Y軸方向的方向向量：

Xy=Xz′×Xx

顯然可以得出，Xx和Xy是相互垂直的，而Xx和Xz′不能保證垂直，所以需要對Xz′的方向向量進(jìn)行方向修正：

Xz=Xx×X

根據(jù)該特征點(diǎn)三個方向向量的確定進(jìn)而可以得到該特征點(diǎn)所對應(yīng)焊槍位置的姿態(tài)矩陣：

最后經(jīng)過機(jī)器人逆運(yùn)動學(xué)分析[11]驗(yàn)證得到的六自由度關(guān)節(jié)角和機(jī)器人示教器上的關(guān)節(jié)角大小完全吻合。

2.2 焊槍姿態(tài)的離散

根據(jù)2.1中得到的各特征點(diǎn)的姿態(tài)矩陣，進(jìn)而求解每兩個特征點(diǎn)之間各離散點(diǎn)的姿態(tài)。假設(shè)第一和第二特征點(diǎn)的姿態(tài)矩陣分別為R1和R2，R1和R2之間需要離散N個點(diǎn)。在這里我們可以得到：R1到R2的姿態(tài)變換矩陣Rot1=R1R2；利用機(jī)器人運(yùn)動學(xué)求解得到R1和R2之間每個離散點(diǎn)之間的歐拉角梯度E1，進(jìn)而得到每兩個離散點(diǎn)之間的姿態(tài)梯度R01;最終得到第一個離散點(diǎn)的姿態(tài)矩陣R11=R1·R01;同理可以得到第二個離散點(diǎn)的姿態(tài)矩陣為R12=R1·R01·R01，以此類推求取接下來各離散點(diǎn)的姿態(tài)矩陣。

根據(jù)焊縫特征點(diǎn)以及離散點(diǎn)各姿態(tài)矩陣的確定，通過機(jī)器人運(yùn)動學(xué)求解，最終得到焊縫特征點(diǎn)位置的四元數(shù)數(shù)值。最后把這些離散得到的焊縫特征點(diǎn)的四元數(shù)數(shù)值傳輸給機(jī)器人，以此來實(shí)現(xiàn)曲線焊縫各特征點(diǎn)位置和姿態(tài)的傳輸與控制。如圖6所示。

圖6 焊槍在各個焊縫特征點(diǎn)的姿態(tài)

3 實(shí)驗(yàn)平臺與數(shù)據(jù)分析

整個焊接實(shí)驗(yàn)平臺包括焊接執(zhí)行與控制系統(tǒng)與視覺檢測系統(tǒng)，焊接執(zhí)行系統(tǒng)由6自動度工業(yè)機(jī)器人本體及其控制器、焊機(jī)系統(tǒng)、焊槍機(jī)構(gòu)、主控機(jī)及各通信線纜組成。其中工業(yè)機(jī)器人及其控制器采用ABB1410型工業(yè)機(jī)器人和IRC5控制器、焊機(jī)及焊接電源系統(tǒng)采用松下YM-500GR3HGE500A系統(tǒng)，焊槍可裝配各種尺寸直徑的焊絲。視覺檢測系統(tǒng)由CCD 攝像機(jī)、線結(jié)構(gòu)光傳感器和圖像采集卡構(gòu)成。其中線結(jié)構(gòu)光傳感器系統(tǒng)以及CCD攝像機(jī)固定安裝在工業(yè)機(jī)器人的末端執(zhí)行器上，構(gòu)成機(jī)器人手眼系統(tǒng)，用于焊縫識別和位置檢測。如圖7所示。

經(jīng)過圖像處理和三維重建，得到曲線焊縫各特征點(diǎn)坐標(biāo)數(shù)據(jù)如表1所示。由表1可見，曲線焊縫各特征點(diǎn)的檢測坐標(biāo)與實(shí)際示教坐標(biāo)相比，其誤差為0.1mm，焊接精度較高。

圖7 焊接實(shí)驗(yàn)平臺

表1特征提取后特征點(diǎn)的坐標(biāo)參數(shù)

4 結(jié)束語

為實(shí)現(xiàn)曲線焊縫的自動化焊接，本文提出了一種基于線結(jié)構(gòu)光的視覺檢測算法以及焊槍軌跡規(guī)劃技術(shù)。

在焊接過程中，該種算法不僅檢測效率高而且可以根據(jù)工件的夾角實(shí)時的改變焊槍的姿態(tài)，以達(dá)到最佳的焊接效果。相比較于之前通過示教獲取焊縫特征點(diǎn)以及單一的焊接姿態(tài)有了很大的提高。當(dāng)然，在實(shí)際檢測的過程中，由于在機(jī)器人的焊槍標(biāo)定、攝像機(jī)內(nèi)外參數(shù)標(biāo)定以及機(jī)器人手眼標(biāo)定的過程中可能存在誤差，造成實(shí)際檢測和實(shí)際示教的結(jié)果存在誤差。在后來的實(shí)驗(yàn)過程中，應(yīng)多次標(biāo)定求取平均值以減小標(biāo)定帶來的誤差。經(jīng)實(shí)際檢測表面,其誤差大約為0.1mm,誤差較小，能滿足工業(yè)現(xiàn)場的實(shí)際需求，該種算法對于進(jìn)一步實(shí)現(xiàn)自動化加工與生產(chǎn)具有十分重要的參考價值。

[1] 黃世游，徐雷，任清川，等.管管相貫開孔及焊接裝配模型與BP仿真[J].焊接學(xué)報(bào)，2014,35(6)：53-56.

[2] 汪蘇，焦茂強(qiáng)，李曉光，等.大型相貫線埋弧焊接工藝研究及焊槍姿態(tài)建模[J].焊接技術(shù)，2009,38(10)：42-47.

[3] 趙潔，胡繩蓀，丁煒，等.基于Matlab的球管相貫空間曲線焊縫的數(shù)學(xué)模型[J].焊接學(xué)報(bào)，2010,32(8)：89-91.

[4] 曾翠華，張繼忠，楊軍.基于弗萊納-雪列空間矢量的焊接離線編程規(guī)劃[J].焊接技術(shù),2011,40(7):44-48.

[5] Liu H, Huang s, Gai Y. Robot continuous Trajectory Planning Based on Frenet-Serret Formulas[C]//International Conference on Computer,2010:47-51.

[6] 催明,顧啟民,黃震. 基于機(jī)器視覺的軸承滾動體缺陷檢測算法研究 [J].組合機(jī)床與自動化加工技術(shù)，2015(11):74-78.

[7] 王帥，徐方，陳亮，等. 視覺技術(shù)在機(jī)器人零部件裝配中的應(yīng)用研究.[J].組合機(jī)床與自動化加工技術(shù)，2015(8):107-110.

[8] 劉國平，張華，王洪亮，等. V形焊縫特征點(diǎn)提取的算法研究[J]. 焊接,2006(2):36-38.

[9] 洪磊, 田啟良, 嵇保健. 基于單應(yīng)性矩陣的線結(jié)構(gòu)光參量標(biāo)定法[J]. 光子學(xué)報(bào), 2015,44(12):1212003-1-6.

[10] 徐紹華.空間相貫曲線自動化焊接中的軌跡規(guī)劃[D].濟(jì)南:山東大學(xué)，2008.

[11] 苗建偉，楊鐵寶，曾林森.一種六自由度機(jī)械手的智能軌跡規(guī)劃 [J].組合機(jī)床與自動化加工技術(shù)，2014(9):73-76.

(編輯李秀敏)

CurveWeldingTechnologyBasedOnLineStructuredLight

FAN Ming-yang1, JI Bao-jian1, HONG Lei2

(1.College of Electrical Engineering and Control Science, Nanjing TECH University, Nanjing 211816, China;2.School of Automotive and Rail Transit, Nanjing Institute of Technology, Nanjing 211167,China)

In the actual welding process, curve welding is an important part of industrial production. At present, the welding method is mainly through the manual teaching of welding and the establishment of mathematical model method, but the process of these methods is too mechanical and complex. In this paper, a new method of curve welding based on line structured light is proposed. In this experiment, the first work is to image noise reduction, Based on the feature point extraction algorithm, the coordinates of the characteristic points of the corresponding position of the weld are obtained. Finally, the B spline curve interpolation algorithm is used to fit the coordinates of each feature point. Based on this，A new algorithm is proposed that can automatically adjust the position and posture of welding torch, it’s improve the welding process. Experiments show that the actual detection error is about 0. 1mm, It has good detection accuracy and can meet the requirement and demand of the actual welding.

curve weld; structured-light vision; image processing; skewed tube

TH122；TG40

：A

1001-2265(2017)09-0142-04

10.13462/j.cnki.mmtamt.2017.09.037

2016-12-08；

：2017-01-11

江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金-前瞻性聯(lián)合研究項(xiàng)目(BY2014005-09)；南京工程學(xué)院產(chǎn)學(xué)研項(xiàng)目(281210926216083)

范明洋(1991—)，男，安徽滁州人，南京工業(yè)大學(xué)碩士研究生，研究方向?yàn)闄C(jī)器視覺與機(jī)器人軌跡規(guī)劃技術(shù)，(E-mail)1435643790@qq.com。