岳建鋒，杜博宇，王天琪，李亮玉

（天津工業(yè)大學天津市現(xiàn)代機電裝備技術重點實驗室，天津300387）

基于激光單目視覺系統(tǒng)的焊縫提取

岳建鋒，杜博宇，王天琪，李亮玉

（天津工業(yè)大學天津市現(xiàn)代機電裝備技術重點實驗室，天津300387）

將激光單目視覺傳感器固定在ABB機器人上組成視覺系統(tǒng)，用Matlab標定工具箱實現(xiàn)了對攝像機參數(shù)的高精度標定，與機器人示教器結合對機器人進行了手眼標定；利用視覺系統(tǒng)采集焊縫圖像，對獲得的圖像進行圖像處理和特征分析，并提取計算機圖像平面上焊縫特征點的圖像坐標.根據(jù)攝像機內外參數(shù)、機器人的手眼關系以及焊縫的特點提出一種簡便的方法將二維平面坐標轉化為三維坐標，用Solidworks還原出焊縫的三維模型，提取焊縫中心線信息進行焊接實驗，結果表明焊接精度滿足實際要求.

激光視覺；單目視覺；圖像處理；視覺標定；焊縫提取

隨著工業(yè)自動化技術的不斷發(fā)展，目前機器人在焊接領域得到越來越廣泛的應用.在惡劣的工作條件下，機器人可以替代人進行焊接操作，大大降低了勞動成本，提高了勞動生產率.目前的工業(yè)機器人雖然裝備了一些傳感器用來感知周圍環(huán)境以提高其適應性，但是在工業(yè)生產中，工作方式主要還是人工示教再現(xiàn).操作者需要預先通過示教方式來規(guī)劃機器人的路徑和位姿.對于復雜的焊接工件，示教點較多，需要進行較長時間的示教工作.對于單件或混合產品的批量生產過程，需要進行反復的示教工作，且機器人的運動精度，基本上取決于編程人員在示教時的耐心程度和目測精度，不能滿足柔性化焊接需求.因而研究焊縫結構和參數(shù)自動識別的焊接自動化技術是十分必要的[1-2].

目前，在焊接自動化方面所采用的傳感方法有機械式、電弧式、電磁式、超聲波式和視覺式等.其中，視覺式傳感具有信息量大、靈敏度和測量精度高、抗電磁場干擾能力強、非接觸等優(yōu)點而廣泛使用[3].本文采用條形激光和CCD組成視覺系統(tǒng)，以此系統(tǒng)為基礎提取焊縫坡口參數(shù)的特征并進行焊接實驗.

1 系統(tǒng)構成和原理

本系統(tǒng)由CCD攝像機、鏡頭、激光二極管和ABB機器人等組成.其中攝像機和激光二極管以一定角度安裝在ABB機器人機器臂上.激光二極管發(fā)出條形光投射到焊接工件上，發(fā)生相應的變形并產生漫反射. CCD接收從工件上反射的條形光，通過圖像處理等環(huán)節(jié)，可得工件各特征點的相平面坐標.對視覺系統(tǒng)進行標定，可將坡口各特征點的相平面坐標轉換得到世界坐標，得到坡口的三維信息.將三維信息轉化為焊槍的位置和姿態(tài)參數(shù)，傳輸給機器人進行焊接.其中ABB機器人重復定位精度為±0.11 mm.激光視覺傳感器結構示意圖如圖1所示.

圖1 系統(tǒng)結構示意圖Fig.1 Structural diagrams of system

2 視覺系統(tǒng)標定

2.1 攝像機標定

在計算機視覺中，為了從二維圖像中得到三維信息，攝像機標定是必不可少的一步[4].攝像機標定是獲得相機內部參數(shù)和外部參數(shù)、建立圖像中像素坐標與空間位置之間關系的過程[5].針孔模型中，只考慮攝像機的一階畸變，內參的模型如式（1）：

式中：（Xf，Yf）為景物點在圖像平面上的坐標；（fcx，fcy）為攝像機有效焦距；（cx，cy）為攝像機光心在圖像平面上坐標；kc（1）為攝像機一階畸變系數(shù)；r為點至成像平面原點距離，r2=（Xu/f）2+（Yu/f）2；（X，Y，Z）為點在攝像機坐標系下的坐標.外參模型如式（2）：

式（2）反映了攝像機坐標系下的空間點（X，Y，Z）與世界坐標系下的空間點（Xw，Yw，Zw）之間的關系；R為3×3的旋轉矩陣；T為3×1的平移矩陣.

本文采用基于平面模板的改進兩步標定法[6]，采用10×10的黑白棋盤作為平面標定模板，讀入9幅圖像，以Matlab軟件作為平臺計算攝像機的內部參數(shù)，標定結果如表1所示.外參數(shù)隨著攝像機與標定板位置關系不同而改變，9幅標定圖片對應9組不同的外參數(shù).

表1 攝像機內部參數(shù)Tab.1 Camera′s intrinsic parameter

2.2 機器人手眼關系

要獲得計算機圖像平面上的點在世界坐標系中的坐標，必須獲得攝像機與機器人坐標系間的關系，稱為手眼標定[7].各坐標系間關系如圖2所示.

圖2 坐標系間關系Fig.2 Relationship between coordinate systems

圖2中，Base為機器人基坐標系，TCP為機器人末端坐標系，W為標定板世界坐標系，E為攝像機坐標系.T6為Base和TCP間的變換，Tm為TCP和E間的變換，Tc為E和W間的變換，Tg為Base和W之間變換.T6、Tm、Tc、Tg構成一個封閉解，由坐標系間的關系，可得到式（3）：

采用ABB機器人，在機器人末端安裝焊槍后用五點法對工具坐標系標定，標定完成后，機器人示教盒可以顯示出TCP在Base坐標系下位姿，即T6.用三點法對其進行工件坐標系標定，根據(jù)三點成面公式可以得到W和Base間的關系，即Tg.標定攝像機的外部參數(shù)，得到攝像機坐標系與標靶坐標系間的關系Tc，在攝像機標定實驗中共取得外參9組.選取任意一組參數(shù)，代入式（3）可求得攝像機相對于機器人末端的參數(shù)Tm.經計算，本系統(tǒng)中的手眼關系為[8]：

3 焊縫圖像的處理

為了準確獲得焊縫特征信息，必須要對CCD采集到的焊縫圖像進行處理，去除干擾信息提取激光條紋中心線，進而提取焊縫特征點.以60°V型坡口焊件為例，采集焊縫圖像，圖像處理的基本流程如圖3所示，圖像處理結果如圖4所示.

圖3 圖像處理流程Fig.3 Image processing

圖4 圖像處理結果Fig.4 Result of image processing

濾波是減少圖像中噪聲的有用工具.中值濾波法是一種非線性平滑技術，它將每一像素點的灰度值設置為該點某領域窗口內的所有像素點灰度值的中值.考慮到濾波效果和運算速度等因素，選用3×3矩形中值濾波器，用快速排序法搜索9個像素的灰度中值來替代當前像素的灰度值.中值濾波效果圖如圖4（b）所示.經過中值濾波的圖像包含不同級別的灰度值，閾值變換可以將一幅灰度圖像轉換成黑白二值圖像.在編程中必須根據(jù)圖像的統(tǒng)計分布性質來選擇合適的閾值.目前有多種閾值選取方案，如微分直方圖法、雙峰法等.由于CCD采集到的原始圖像中激光帶的亮度很高，其灰度值接近于255，為了獲得更好的二值化圖像，可以適當加大設定的閾值，將激光帶和背景很好的分離開，保留了激光帶的特征.二值化效果如圖4（c）所示.

經過一系列處理得到的二值化圖像，對其進行特征值提取仍比較困難，需要先對激光帶的中心線進行提取.目前主要方法有2種：一種是對目標圖像進行邊緣檢測[9]，采用上下輪廓取平均法；另一種是采用中軸變化法直接進行骨架提取[10].采用中軸變化法提取出的激光條紋中心線如圖4（d）所示.

對于焊縫中心線圖像，計算特征點方法如下：圖像上每一個點都是像素點，設激光條紋中心線點集為p{（xi，yi），i=1，2，...，n}，起點為（x0，y0），從起點開始搜索，對于第i列上的點，計算第i+M列上的中心點行坐標與第i列上中心點行坐標的差值，若這個差值大于給定閾值，則認為到達了激光條紋的轉折點[11].為了便于觀察特征點，對激光條紋中心線進行了反色處理.經實驗發(fā)現(xiàn)，左右兩個拐點檢測效果較好，但是一些無關點也被檢測出.選取其中一次檢測結果如圖5所示，檢測出點坐標如表2所示.

圖5 提取的數(shù)據(jù)點Fig.5 Data points

表2 數(shù)據(jù)點坐標Tab.2 Data points′coordinates

用最小二乘法分別對檢測出的數(shù)據(jù)點做線性擬合，得到兩條段直線方程，求出兩直線交點即可得到特征b點坐標，如圖6所示，a、b、c為3個拐點.

將特征點在計算機圖像中的坐標和攝像機內部參數(shù)分別代入式（1），可以得到過攝像機光心和特征點的直線在攝像機坐標系下的方程，即：

此外，還需求得激光平面的方程才可解得特征點在攝像機下的坐標（X，Y，Z）[12].由于激光平面方程求解較為復雜，在此提出一種簡單的求取特征點坐標的方法.

圖6 特征點圖像坐標Fig.6 Feature points′image coordinates

在獲取圖像過程中，操縱機器人使得攝像機Z坐標軸與焊縫垂直且與工件距離不變，通過機器人示教盒讀取在TCP坐標系下的坐標，轉換為在攝像機坐標系下的坐標Z，代入直線方程（5），可求得特征點在攝像機坐標系下的坐標.至此，圖像坐標點與機器人基坐標系空間點映射完成.

4 實驗驗證

將V型坡口焊件水平固定在工作臺上，操縱機器人末端沿著焊縫方向行走，每隔一定時間采集焊縫圖像，共采集3次.對每次采集的圖像進行處理，得到V型坡口3個特征點的圖像坐標，通過上述算法計算得到對應特征點的世界坐標值并通過示教得到特征點的實際坐標，如表3所示.繪制出的特征點實際坐標和計算坐標如圖7所示.經計算，特征點實際坐標和計算坐標在各坐標軸上的誤差在±1.5 mm內.

表3 特征點坐標的求取結果Tab.3 Feature points′coordinates

圖7 特征點的計算坐標和實際坐標Fig.7 Feature points′calculated coordinates and actual coordinates

根據(jù)坐標點b數(shù)據(jù)，擬合焊縫中心線信息后進行焊接實驗，用三維逆向軟件Image ware進行線性擬合并分析誤差.計算得到的焊縫與實際焊縫直線偏差在1 mm內，如圖8、圖9所示，焊接精度滿足要求.

圖8 兩條擬合線段誤差Fig.8 Error between two fitting lines

圖9 基于焊縫三維數(shù)據(jù)的焊接實驗Fig.9 Welding experiments based on 3D data of welding seam

5 結語

本文基于激光單目視覺系統(tǒng)，對以下幾方面的內容進行了研究：

（1）對攝像機進行標定實驗，確定攝像機內外參數(shù)，提出一種簡單方法對機器人進行手眼標定.

（2）提取CCD獲取的激光條紋圖像的特征點.在消除圖像噪聲、閾值處理、輪廓提取等方法的基礎上，結合焊縫的特征對圖像進行處理，獲取特征點的圖像坐標.

（3）由特征點圖像坐標計算獲得特征點在世界坐標系下的三維坐標，并用三維繪圖軟件繪制出焊縫三維圖像并進行了焊接實驗，滿足精度要求.

[1]SUN Yu，CAI Yong-tian.Market analysis galva-nized sheet and current situation of the technology development[J].AISC Techniques，2001（4）：12-18.

[2]TIAN J S，LIN Wu.A general algorithm of rotating/tilting positioner inverse kinematics for robotic arc welding off-line programming[J].J of Materials Science Technology，2001，17（1）：161-162.

[3]何方殿.用于電弧焊接的跟蹤傳感（上）[J].電焊機，1990（2）：4-9.

[4]何方殿.用于電弧焊接的跟蹤傳感（下）[J].電焊接，1990（3）：3-7.

[5]劉蘇宜，王國榮，石永華.激光視覺機器人焊接中攝像機和手眼的同時標定[J].華南理工大學學報：自然科學版，2008，36（2）：74-77.

[6]BISHOP Bradley E，SPONG Mark W.Adaptive calibration and control of 2D monocular visual servo systems[J].Control Engineering Practice，1999（7）：423-430.

[7]毛劍飛，鄒細勇，諸靜.改進的平面模板兩步法標定攝像機[J].中國圖象圖形學報，2004，9（7）：846-852.

[8]楊廣林，孔令富，王潔.一種新的機器人手眼關系標定方法[J].機器人，2006，28（4）：400-405.

[9]王卿，岳建鋒，楊方興，等.鍛壓線機器人的視覺標定[J].天津工業(yè)大學學報，2014，33（2）：66-69.

[10]LIAO T Warren，LI Damin，LI Yueming.Extraction of welds from radiographic images using fuzzy classifiers[J].Information sciences，2000（126）：21-40.

[11]趙相賓，李亮玉，夏長亮，等.激光視覺焊縫跟蹤系統(tǒng)圖像處理[J].焊接學報，2006，27（12）：42-48.

[12]謝春暉.基于結構光的焊縫視覺檢測技術研究[D].武漢：華中科技大學，2006.

[13]秦濤.基于結構光視覺傳感器的焊縫實時跟蹤控制[D].上海：上海交通大學，2012.

Extraction of welding seam based on monocular vision of laser

YUE Jian-feng，DU Bo-yu，WANG Tian-qi，LI Liang-yu
（Tianjin City Key Laboratory of Modern Mechatronics Equipment Technology，Tianjin Polytechnic University，Tianjin 300387，China）

The vision system consists of monocular vision sensor of laser and ABB industrial robot.The camera is calibrated by calibration toolbox of Matlab with high precision.And robot hand-eye calibration is also finished.The welding seam images is captured by vision system，and the captured images are processed and analyzed.Subsequently，the feature points′image coordinate of welding seam are extracted.Then the feature points′world coordinate are also calculated by a simple arithmetic based on camera parameters，relationship of the eye-in-hand and characteristics of welding seam.According to the data，3D model of the welding seam is reconstructed and basing on the data of weld center line，welding experiments is done.The result shows that this method can meet the precision requirement.

laser vision；monocular vision；image processing；visual calibration；weld seam extraction

TQ409；TP391.41

A

1671－024X（2015）06－0084－05

10.3969/j.issn.1671-024x.2015.06.018

2015-09-29

國家自然科學基金資助項目（U1333128）；天津市科技計劃項目（14ZCDZGX00802）；天津市科技特派員項目（15JCTPJC58400）

岳建鋒（1973—），男，博士，副教授，碩士生導師，主要研究方向為焊接自動化.E-mail：billyue7303@sina.com