（華南理工大學機械與汽車工程學院，廣州 510640）

在航空制造領域中，焊接、噴涂、搬運、裝配和檢測是工業(yè)機器人的主要任務，而航空零件部往往結構復雜、性能精度指標要求高，因此對工業(yè)機器人的作業(yè)難度和精度提出了更高的要求。對于焊接這類高強度、低效率卻要求高精度的傳統(tǒng)工藝，實現高智能高精度的自動化改造已經成為一大趨勢。近年來，機器視覺與工業(yè)機器人集成技術飛速發(fā)展，開始進入航空領域并推動了自動化焊接技術的發(fā)展，相應焊接工藝過程的視覺檢測技術也不斷有研究成果出現。

目前，針對集成機器視覺的自動化焊接這一領域已有不少研究成果。盧泉奇等[1]基于Halcon軟件處理平臺，給出了一種實現工業(yè)機器人視覺系統(tǒng)定位的方法，實現了機器人對目標物體的定位抓取；周軍等[2]針對于PCB焊接工藝中的關鍵技術——PCB焊點定位，給出了亞像素焊點輪廓檢測算法和運動臺四軸聯動的組合方法，提高了定位精度；許琳等[3]基于結構光技術，設計了小型集裝箱專用焊接機器人系統(tǒng)，并準確地檢測了初始焊點的位置。

針對銀網焊點定位這道特殊工序，運用鏡頭畸變校正和標定板手眼標定實現圖像坐標與機器人坐標的精確轉換，并利用Blob分析消除圖像形態(tài)缺陷，提取符合要求的ROI，再采用基于形狀的模板匹配與最值提取算法精確獲取中心圓環(huán)內均勻分布的4個焊點位置，可以有效克服光照因素、樣品變形造成的定位困難，符合生產要求。

系統(tǒng)方案設計

本系統(tǒng)基于機器人視覺，在工業(yè)相機采集到傳送帶送來的銀網樣品圖像后，針對銀網焊接工藝要求，工控機采用精確可靠的圖像處理識別定位焊點位置，并通過對相機內外參數的標定，返回給機器人世界坐標系下的位置，以實現機器人精確識別定位焊接的目的。圖1和圖2分別展示了系統(tǒng)組成和工作流程。

圖1 系統(tǒng)組成Fig.1 System composition

圖2 系統(tǒng)工作流程Fig.2 Working process of the system

相機鏡頭畸變校正

對工業(yè)相機鏡頭的畸變進行校正，本質就是對相機進行內參數標定?；冃Ｕ蟮南鄼C的內參數，主要包括焦距f、圖像坐標系下像的放大系數h及圖像坐標系在像素坐標系的位置坐標信息?；冃ＵǔＰ枰捎脜狄?guī)范化的標定板，其外觀如圖3所示。

在視覺軟件建立數據模型并載入標定板規(guī)格信息及相機初始內參數后，利用黑色圓點圖像中心坐標mi和通過投影計算得到的圓點中心坐標Ti（Mi，c）之間距離的最小化，可確定出內參數的唯一校正解。聯合求解式如下：

式中，l為載入圖像數目，r為一幅圖像中的黑色圓點數目。

圖3 標定板外觀Fig.3 Appearance of the calibration plate

機器人動態(tài)視覺手眼標定

1 標定思路

攝像機標定時，雖然也可以獲得攝像機的外參數，但這只是標定用的靶標（標定板）坐標系相對于攝像機坐標系之間的關系[4]。在本應用中，還需要進行機器人手眼（eye-inhand）標定[5]，即求取的是相機坐標系相對于運動軸的關系，進一步得出圖像像素坐標系與世界坐標系的轉換關系，實現機器人視覺系統(tǒng)的精確定位，這也是實現銀網焊點定位的關鍵步驟之一。

2 標定流程

如圖4所示，機器人手眼視覺系統(tǒng)中，各坐標系之間有如下關系：

其中，機器人基坐標系與末端運動軸位置關系矩陣baseHtool可由機器人內部封裝算法直接獲取。標定所求取的坐標系關系矩陣即為baseHtool，即相機坐標系與運動軸J2之間的位置關系。手眼標定流程如下：

（1）準備標定板，放入相機視野內，將其固定。即標靶坐標系[6]OgXgYgZg固定。

（2）機器人示教法將靶標坐標系設置為機器人用戶坐標系[7]，確定camHcal矩陣。

（3）改變運動軸J2位姿，采集多張標定板圖像，如圖5所示。通過機器視覺軟件內部封裝好的標定算法提取出各黑色圓點像素坐標信息，由之前標定好的內參數模型可獲取相機坐標系下位姿：

機器人基坐標系與靶標坐標系均為固定坐標系，二者之間的轉換矩陣baseHcal可由機器人示教確定。而由標定板數據模型可確定OgXgYgZg坐標系下各黑色圓點坐標，與OcXcYcZc坐標系下坐標聯立，即得各拍照位姿下相機外參數camHcal：

（4）聯立各外參數camHcal對應的機器人運動軸J2位姿baseHtool，代入式（2），可得最終標定結果：

圖4 機器人手眼視覺系統(tǒng)Fig.4 Robot eye-in-hand vision system

圖5 不同拍照位姿下的標定板圖像Fig.5 Images of calibration plate in different camera pose

像素坐標提取完成后，利用內外參數標定結果，機器人即可根據不同的采圖位姿，動態(tài)地計算出從圖像像素坐標系到機器人坐標的轉換坐標。機器人讀取坐標信息后，可精確定位到焊點位置。轉換矩陣由下式求?。?/p>

焊點定位算法設計與試驗

針對實際工程中對焊接點位置的要求，利用焊點定位算法采用Blob分析[8]粗定位與形狀模板匹配[9]精定位提取焊點坐標的方式，可以達到理想的提取結果。待處理銀網隨傳送帶輸送至工位后，將觸發(fā)光電傳感器，并外觸發(fā)相機拍照采圖，樣品如圖6所示。之后進入算法處理階段，其主要算法處理如下。

1 Blob分析粗定位

由于要求焊點分布于圓環(huán)中心附近的帶狀區(qū)域內，因此需要將定位范圍限定在此區(qū)域內，減少外在環(huán)境因素對特征提取結果的影響。

（1）圖像分割與形態(tài)學處理。

灰度閾值分割[10]輸出區(qū)域為低灰度區(qū)域，但是由于背景圖像和光照因素影響，會出現孔洞、凹陷和毛刺，使得區(qū)域特征出現一定程度的偏差。對目標區(qū)域采用先閉運算后開運算操作，可濾去寬度小的銀網區(qū)域，輸出圓度較大的圓形內孔結構區(qū)域。算法采用圓形結構元素，且半徑關系滿足：

其中，ln為銀絲寬度，R為結構元素半徑。算法處理結果如圖7所示。

（2）提取 ROI。

ROI提取算法主要由圓特征提取擬合、圖像分割兩部分組成。以圓度和面積作為雙重特征約束條件，可以提取出中心圓孔區(qū)域，為防止圓孔區(qū)域圓度易受干擾，可采用圓擬合算法獲得圓度為1的標準圓，并可由此獲得較精確的中心點像素坐標（r0，c0）。再以（r0，c0）為圓心劃分圓環(huán)形ROI，使得ROI大致位于銀網的中心圓附近，且ROI的寬度D滿足：

保證ROI在徑向必能提取到匹配點。其中，dn為銀網交點間距離，lt為模板長軸長度。提取ROI區(qū)域的算法處理結果如圖8所示。

2 模板匹配精定位

精定位即以提取的ROI為基礎，進一步精確提取滿足生產要求的焊點坐標。精定位算法需消除光照、瑕疵等各類干擾對焊點位置識別的影響，主要算法設計與處理如下：

（1）模板創(chuàng)建。

采集的模板文件處于生產實際中最理想的條件下，滿足光照正常、無遮擋、形狀尺寸標準等條件。本文選擇中心位于銀網交叉點中心的橢圓形ROI作為模板，如圖9所示。

（2）模板匹配。

由于生產實際中的銀網存在一定程度的變形、旋轉、易反光等因素，影響識別定位的準確性和精度，因此精定位考慮采用基于形狀的可變形、可旋轉的模板匹配定位算法實現。算法的相似度度量s基于模板范圍內所有像素的梯度向量，令一一對應的梯度向量之積最小，由此確定最佳匹配坐標點。設模板圖像為點集p=(ri，ci)T，經過 sobel濾波算子[11]處理后，可得模板的梯度向量集為di=(ti，ui)T，其中i=1，...，n。同理，對應的待匹配圖像點q=(r，c)的梯度向量為e=(vr,c，wr,c)T，歸一化算法公式如下：

圖6 銀網樣品Fig.6 Sample of silver net

圖7 閉、開運算Fig.7 Close-open operation

當s=1時，圖像與模板點集一一對應，而當匹配圖像被遮擋一半時，s將不大于0.5。建立模板時將銀網交叉點作為模板中心點，匹配完成后，算法輸出的像素坐標點即為銀網所求點坐標?；谛螤畹哪０迤ヅ淇蛇m用于旋轉、一定程度的變形、非線性光照影響及部分遮擋的情況，適當選擇最低匹配分數、最大變形等參數，即可匹配到銀網所有交叉點（紅色標記點）。匹配結果如圖10所示。

（3）篩選提取定位。

Blob分析后所得的中心圓環(huán)ROI與模板匹配點求交集，即可獲得分布于中心圓環(huán)內的一系列像素點集（Rows[k]，Columns[k]），k=1，...，n，其中n為圓環(huán)ROI內焊點數目。

提取像素點數組最值，可得4個對稱焊點：y1=min(Rows[k])=Rows[i]，x1=Columns[i]；y2=max(Rows[k])=Rows[j]，x2=Columns[j]；y3=Rows[m]，x3=min(Columns[k])=Columns[m]；y4=Rows[n]，x4=max(Columns[k])=Columns[n]。焊點提取結果（紅色標記）如圖11所示。

圖8 ROI提取Fig.8 ROI extraction

圖9 模板創(chuàng)建Fig.9 Creating template

圖10 變形、非線性光照變化下的匹配結果Fig.10 Matching results of deformation and nonlinear illumination changes

表1 部分焊點定位提取結果

圖11 焊點定位與提取Fig.11 Welding spot location and extraction

試驗采用機器人固定標定針方式進行標定并定位坐標，隨機取6塊銀網，對每塊銀網每個焊點中心坐標進行5次反復定位，測量5次針尖與焊點中心的水平距離，取平均值作為偏移誤差,其計算公式如下：

式中，ΔDnk為第n塊銀網的第k個焊點的偏移誤差，di為第i次測量的距離。

部分焊點定位試驗結果整理如表1所示。

統(tǒng)計多組定位偏移誤差數據結果，可由下式計算得出焊點定位精度δ=0.11mm。

結論

本文針對銀網焊接工藝設計了一套基于機器人視覺的激光焊接系統(tǒng)，并針對其中的焊點識別定位技術進行了深入的研究。通過試驗證明，運用鏡頭畸變校正和標定板手眼標定，結合采用Blob粗定位和模板匹配精定位算法，可以達到理想的焊點識別與定位效果，有效克服光照因素、樣品變形造成的定位障礙，定位精度可達δ=0.11mm，符合生產要求。

參 考 文 獻

[1]盧泉奇,苗同升,汪地,等.基于HALCON的機械手視覺抓取應用研究[J].光學儀器,2014,36(6):493-498.

LU Quanqi,MIAO Tongsheng,WANG Di,et al.Application research of vision crawling robot based on HALCON software[J].Optical Instruments,2014,36(6):493-498.

[2]周軍,許爍,屠大維.PCB焊點的機器視覺精密定位系統(tǒng)[J].機械制造與自動化,2016,45(3):172-175.

ZHOU Jun,XU Shuo,TU Dawei.Machine vision system based on precise positioning for PCB solder joints[J].Machine Building &Automation,2016,45(3):172-175.

[3]許琳.基于結構光技術的焊接機器人焊點定位系統(tǒng)研究[D].濟南: 山東科技大學,2008.

XU Lin.The robot welding position locating system based on structured-light[D].Ji’nan:Shandong University of Science and Technology,2008.

[4]徐德,譚民,李原.機器人視覺測量與控制[M].北京: 國防工業(yè)出版社,2011.

XU De,TAN Min,LI Yuan.Visual measurement and control for robots[M].Beijing:National Defense Industry Press,2011.

[5]吳林,陳善本.智能化焊接技術[M].北京: 國防工業(yè)出版社,2000:192-247.

WU Lin,CHEN Shanben.Intelligent technologies for welding[M].Beijing: National Defense Industry Press,2000:192-247.

[6]馮華山,秦現生,王潤孝.航空航天制造領域工業(yè)機器人發(fā)展趨勢[J].航空制造技術,2013(19):32-37.

FENG Huashan,QIN Xiansheng,WANG Runxiao.Developing trend of industrial robot in aerospace manufacturing industry[J].Aeronautical Manufacturing Technology,2013(19):32-37.

[7]SONG W,WANG G,XIAO J.Research on multi-robot open architecture of an intelligent CNC system based on parameterdriven technology[J].Robotics and Computer-Integrated Manufacturing,2012,28(3):326-333.

[8]張楊,高明輝,周萬勇,等.自動鉆鉚系統(tǒng)中工業(yè)機器人協(xié)同控制技術研究[J].航空制造技術,2013(20):87-90.

ZHANG Yang,GAO Minghui,ZHOU Wanyong,et al.Research on industrial robot cooperative control technology for automatic drilling and riveting system[J].Aeronautical Manufacturing Technology,2013(20):87-90.

[9]HAGER G D.A modular system for robust positioning using feedback from stereo vision[J].IEEE Transactions on Robot and Automation,1997,13(4):582-585.

[10]SHIRAI Y,INOUE H.Guiding a robot by visual feedback in assembling tasks[J].Pattern Recognition,1973,1(5):99-108.

[11]YOSHIMI B H,ALLEN P K.Alignment using an uncalibrated camera system[J].IEEE Transantions on Robotics and Automation,1995,11(4):516-521.