俞 雋，李瀧杲，李 根，主 逵

（1.南京航空航天大學機電學院，南京210016；2.深圳市勁拓自動化設備有限公司，深圳 5181021）

工業(yè)機器人以其效率高、環(huán)境適應性強以及具有較高穩(wěn)定性等特點，配合各種末端執(zhí)行器被廣泛應用在裝配定位、自動鉆鉚、檢測探傷、噴涂等飛機裝配作業(yè)中[1]。對于機器人的多數(shù)應用場景而言，需要確定目標對象的位姿才能完成相關作業(yè)，傳統(tǒng)的工業(yè)機器人定位方法是通過離線編程或示教實現(xiàn)，這種方法嚴格限定了目標工件的起始和終止位姿，只能機械地重復提前規(guī)劃好的路徑，無法滿足柔性智能裝配系統(tǒng)的要求[2]。特別地，在飛機裝配領域中，部分曲面復合材料膠結(jié)件具有弱紋理且無明顯定位特征點等特征都需要新的技術手段引導機器人進行定位工作。

機器視覺技術通過非接觸測量手段，獲取目標特征信息并對其進行處理，能夠?qū)崟r地對目標或環(huán)境的變化做出響應，將其與機器人相集成，提高了機器人的環(huán)境感知能力和靈活性，減少了機器人離線編程所占用時間，成為工業(yè)機器人智能化發(fā)展中被廣泛研究和應用的技術手段[3]。翟敬梅等[4]在工件上方安置相機，采用二維視覺引導系統(tǒng)的方式實現(xiàn)工業(yè)機器人的定位抓取，但只能進行水平傳送定位，無法應用于三維定位場景；Ulrich[5]采用單目攝像機對三維目標進行識別定位和姿態(tài)識別，該方法沒有選用灰度和物體表面紋理作為特征，因此只適合工業(yè)環(huán)境中特定的金屬工件識別；Ishibashi[6]利用雙目視覺系統(tǒng)進行機器人定位操作，可以實現(xiàn)目標對象的快速、非接觸三維定位，但雙目視覺對應點難以匹配，僅能應用于具有顯著特征的目標對象；Li 等[7]提出了一種基于視覺的抓取系統(tǒng)，該系統(tǒng)使用一個攝像機從9 個方向拍攝目標信息，實現(xiàn)了目標檢測和姿態(tài)估計；馮志剛等[8]采用多目相機構(gòu)成Eye–in–Hand 工業(yè)機器人視覺系統(tǒng)，控制機器人完成精確定位的作業(yè)任務，但是需要提前在工件上粘貼視覺靶標點。

為解決上述問題，本文提出一種基于多線結(jié)構(gòu)光視覺引導的工業(yè)機器人定位方法。以工業(yè)相機為主要測量設備，增加多線結(jié)構(gòu)光光源，構(gòu)成“Eye–in–Hand”手眼視覺系統(tǒng)。通過將多條規(guī)則的結(jié)構(gòu)光束投射到弱紋理和無明顯定位特征點的工件表面，輔助創(chuàng)造出可提取的定位特征點，結(jié)合理論模型數(shù)據(jù)，獲取待定位工件在相機坐標系下的三維位姿，再根據(jù)機器人手眼標定與末端標定參數(shù)，構(gòu)建基于位姿反饋的閉環(huán)定位調(diào)姿系統(tǒng)，實現(xiàn)機器人對目標對象的定位。

1 定位系統(tǒng)組成與基本原理

1.1 系統(tǒng)硬件組成

如圖1 所示，定位系統(tǒng)主要由控制中心、工業(yè)機器人、末端執(zhí)行器、工業(yè)相機、多線結(jié)構(gòu)光發(fā)射器和待定位工件組成?？刂浦行哪軌颢@取測量設備的測量數(shù)據(jù)，進行相關處理計算并將結(jié)果反饋到執(zhí)行設備中。工業(yè)相機和激光器構(gòu)成末端測量裝置，采集作業(yè)工件上的特征信息并解算相關位姿信息。執(zhí)行設備有工業(yè)機器人和末端執(zhí)行器，由工業(yè)機器人搭載的末端執(zhí)行器根據(jù)測量系統(tǒng)的反饋，調(diào)整到一定位姿，完成對工件的抓取、裝配等操作。

1.2 基本定位原理

針對弱紋理和無明顯定位特征點的工件，利用多線結(jié)構(gòu)光的輔助作用，建立圖2 所示的閉環(huán)反饋定位調(diào)姿系統(tǒng)，實現(xiàn)機器人的定位運動。視覺測量過程是由相機采集結(jié)構(gòu)光投射圖像后，對定位特征點進行提取，利用立體視覺原理[9]進行三維重建，獲取定位特征點在相機坐標系下的三維信息。再結(jié)合工件坐標系下的理論模型離散點集與機器人手眼標定和末端標定參數(shù)[10]解算得到機器人工具末端和待定位工件之間的實際位姿參數(shù)。通過實時位姿反饋，建立由視覺系統(tǒng)測量得到的實際位姿與理論位姿的偏差關系，將其傳遞給機器人控制器進行補償。由于存在系統(tǒng)誤差，機器人很難一次完成定位，故需進行數(shù)次迭代調(diào)姿以完成定位運動。

其中，視覺測量部分所需提取的定位特征點為多線結(jié)構(gòu)光投射在待定位工件上表面的光條與4 條邊界的交點，得到定位特征點在相機坐標系下的三維坐標后，將其與工件坐標系下的理論邊界離散點集進行配準，即可得到工件相對于相機的位姿關系。理論邊界點集是通過CATIA 三維軟件在工件理論模型上建立坐標系，提取出工件上表面邊界，并將其離散得到，如圖3 所示。同時，由建立的工件坐標系可以確定機器人末端定位時的理論位姿。

圖1 系統(tǒng)硬件組成Fig.1 System hardware composition

圖2 機器人閉環(huán)反饋定位系統(tǒng)Fig.2 Robot closed loop feedback positioning system

圖3 理論邊界離散點集Fig.3 Discrete point set of theoretical boundary

2 定位特征點提取與三維重建

2.1 定位特征點提取

由于待定位工件為曲面模擬件，以及多相機拍攝視角不同的原因，采集到的光條與邊界交點形式有兩種類型（圖4，其中紅色標記點為待提取的定位特征點）。圖4（a）中的定位特征點為上表面光條在邊界處形成的斷點，圖4（b）中定位特征點為上表面光條與工件側(cè)面上光條形成的交點。為此，本文設計了針對多線結(jié)構(gòu)光邊界定位特征點的提取算法，主要步驟包括特征點的粗提取，誤判點的剔除和特征點位置修正。

2.1.1 特征點粗提取

由于采集到的圖像中待提取特征點構(gòu)成形式不唯一，以及在曲面工件上投射的光條不為直線等原因，難以通過直接細化光條求交點和端點的方法提取，故提出基于角點檢測的定位特征點提取算法。在圖像處理中，如果某一點在任意方向的一個微小變動都會引起灰度很大的變化，那么我們就把它稱之為角點[11]。由角點定義可知，待提取的定位特征點屬于角點范疇，所以本文設計的特征點粗提取算法基于角點提取，通過創(chuàng)建滑動搜索窗口和輔助線，對角點進行分類篩選，實現(xiàn)特征點的粗提取。具體流程為：

（1）圖像邊緣提?。菏紫葘D像進行降噪處理，再使用Canny 邊緣檢測[12]，提取圖像邊緣，為角點檢測提供質(zhì)量穩(wěn)定的邊界信息。

（2）角點提?。罕疚牟捎肧hi-Tomasi 角點檢測[13]，如圖5 所示經(jīng)過角點檢測后提取到包含待提取特征點的一系列角點，但是仍存在較多雜點，需要進一步篩選和剔除。

（3）光條與邊界的估計斜率獲取：利用Hough 變換[14]檢測出圖像中所有的線段，并求每條線段的斜率，得到所有的斜率集合{k1，k2，…，kn}，遍歷全部斜率，當其中兩個斜率接近時，即：

判定兩個斜率值屬于同一集合，歸入集合Ki={ki，kj，…，kp，kq}，本文中tol 取0.05。統(tǒng)計判定后各個集合K中元素個數(shù)，以元素個數(shù)最多集合中的斜率均值作為光條初始估計斜率kl：

其中，m為元素最多集合中的元素個數(shù)。

通過離線編程驅(qū)動機器人運動至工件上方，在該初始工作位下，激光器發(fā)射出的光條與邊界大致垂直，所以邊界初始估計斜率kb為：

（4）角點分類篩選：根據(jù)圖像畫幅大小，創(chuàng)建兩條距離為d的平行線作為搜索窗口在圖像上進行滑動搜索（本文d取50 像素大?。鐖D6 所示。為提高搜索效率和篩選的準確性，以邊界估計斜率創(chuàng)建平行線窗口，但由于無法保證邊界與光條精確垂直，故以kb為中值，Δk為范圍創(chuàng)建搜索窗口，Δk為上一步中所有光條斜率與kl差值中最大值的絕對值，本文Δk取值0.5。所以初始平行線窗口斜率kw為：

圖4 待提取的定位特征點Fig.4 Positioning feature points to be extracted

圖5 角點檢測結(jié)果Fig.5 Corner detection result

在平行線滑動過程中，兩條平行線方程分別為：

對于任意角點（xi，yi），如果：

則表示此角點在L2直線左側(cè)，同理可判斷角點是否在直線L1右側(cè)，若同時滿足兩個條件，則表示當前角點位于平行窗口中。遍歷所有角點，找出位于當前滑動窗口內(nèi)的角點，再利用窗口內(nèi)的角點使用最小二乘法擬合出輔助線用以分類篩選，輔助線方程為：

對當前平行線內(nèi)點按到輔助線距離遠近分類，利用式（8）

式中，（xi，yi）為平行線內(nèi)的角點坐標。根據(jù)理論模型離散的邊界點集設置距離閾值δ，本文中δ取值3，按點到輔助線的距離將點分為InLineP和OutLineP：

如果當前窗口內(nèi)的InLineP的個數(shù)多于OutLineP的個數(shù)，則保存此窗口下的擬合直線以及與其對應的InLineP。為了防止邊界特征點的提取出現(xiàn)遺漏，當前斜率的搜索窗口在圖像上全幅滑動結(jié)束后，以0.1 為間隔增加斜率創(chuàng)建新的搜索窗口，重復以上步驟，直到斜率kw=kb+Δk為止。

（5）特征點粗提取：由于搜索窗口在滑動時會有重疊，所以需要對上一步搜索得到的輔助線與對應的InLineP進行去重和再篩選。對于兩條近似相等的輔助線，保留InLineP點個數(shù)多的直線與對應點。若InLineP點個數(shù)相同，計算InLineP中各點到輔助線距離的平均值，保留距離均值較小的輔助線與對應點。

最后篩選出InLineP點個數(shù)最多的輔助線及對應的InLineP點。為防止遺漏，將與此條直線斜率近似相等的輔助線及其對應特征點一并提出，如圖7 所示。

圖6 平行線窗口滑動搜索Fig.6 Parallel line window sliding search

圖7（b）中由于有兩條邊界斜率近似，導致邊界特征點提取出現(xiàn)誤判。為此，提取工件上表面固有特征以確定上邊界，本文以吸盤為固定參照物，采取對圖像進行橢圓檢測[15]的方法，提取黑色吸盤中心點位置。距離橢圓中心點較近的輔助線對應的InLineP點即為本文需要的邊界點，如圖8 所示。

2.1.2 誤判點的剔除

由于投射在背景上的光條也會在圖像的工件邊界上產(chǎn)生交點，所以經(jīng)過上一步粗提取后的角點中會有誤判點存在，故需對其進行剔除。

利用在特征點粗提取中得到了光條的估計斜率kw和吸盤橢圓圓心相對輔助線的位置，以每個已提取的特征點為頂點，根據(jù)圖像畫幅尺寸大小與相鄰光條間距離，按比例創(chuàng)建對角線為a個像素長度的矩形，如圖9 所示。獲取矩形內(nèi)每個像素點的灰度值，統(tǒng)計矩形內(nèi)灰度值大于m的像素點個數(shù)，m由圖像預處理時獲得的灰度閾值確定。若當前角點所在矩形內(nèi)灰度值大于m的像素個數(shù)小于閾值n的即判定為誤判點，并予以剔除，個數(shù)閾值n為矩形判斷框內(nèi)總像素個數(shù)的1/6。本文中參數(shù)分別設置為a=10，m=150，n=15。

2.1.3 特征點的位置修正

為了提高定位特征點的提取精度，需要通過位置修正確保提取出的特征點位于光條中心處。本文采用Hessian 矩陣法，在得到圖像的Hessian 二階矩陣后，利用Hessian 矩陣的最大特征值求出特征向量即為當前特征定位點處光條的法線方向。基于光條橫截面的能量分布規(guī)則，利用高斯曲線擬合法[16]擬合光條法向上的像素點集合，記錄曲線峰值點位置即為位置修正后的定位特征點坐標。定位特征點的位置修正效果如圖10所示。

圖7 輔助線與對應特征點的提取結(jié)果Fig.7 Extraction result of auxiliary line and corresponding feature points

圖8 橢圓中心提取與輔助線篩選結(jié)果Fig.8 Ellipse center extraction and screening results of auxiliary lines

2.2 定位特征點的三維重建

本系統(tǒng)中利用4 個相機構(gòu)成4 個雙目立體視覺系統(tǒng)，在雙目系統(tǒng)中首先需要對兩個相機采集到的特征點進行匹配，本文利用極線幾何約束匹配法[17]來確定特征點在兩幅圖像中的對應關系。在完成特征點匹配后通過三角測量法來解算特征點的空間坐標。

如圖11 所示，兩相機的相對位姿變換矩陣為T=（R，T）。重建特征點為Pi，在兩相機坐標系下坐標分別為pc1（x1，y1，z1）和pc2（x2，y2，z2），在左圖中有特征點pl（u1，v1），對應的右圖中有特征點pr（u2，v2），設兩相機內(nèi)參為K1、K2。

按相機成像幾何關系，設和為兩特征點的歸一化坐標：

則它們滿足：

圖9 誤判點的剔除Fig.9 Rejecting misjudgment points

圖10 特征點的位置修正Fig.10 Position correction of feature points

其右側(cè)可以看成z2的一個方程，可以據(jù)此直接求得z2。將z2代入式中，z1也可求出。求得深度后，特征點在相機坐標系下的空間坐標便可求出：

通過4 個相機之間的相對位姿關系，將各雙目系統(tǒng)下特征點的空間三維坐標統(tǒng)一到同一個相機下。

3 相對位姿解算與定位調(diào)姿

3.1 相對位姿解算

為了獲取目標工件與相機之間的位姿關系，在工件理論模型上建立工件坐標系，提取工件上表面4 條邊界并將其離散，得到邊界在待定位工件坐標系下的點集，將上一步中得到的相機坐標系下的定位特征源點集P與邊界離散目標點集Q進行配準。本文采用迭代最近點算法[18]（ICP）對兩點集進行配準，如圖12 所示。在進行ICP 配準時，隨著視覺系統(tǒng)測量得到的源點集數(shù)量越多，配準結(jié)果趨于穩(wěn)定，但測量點個數(shù)受限于多線激光器發(fā)射出的光條個數(shù)這一固有屬性，而測量點過少可能導致配準精度過低，從而影響最終定位位姿精度。綜合考慮，本文選用的多線激光器單個可投射不少于15條光線，視覺系統(tǒng)由于測量視場等限制共采集到的測量點不少于45 個。

圖11 立體視覺三維重構(gòu)原理Fig.11 Stereoscopic reconstruction principle

圖12 點集配準結(jié)果Fig.12 Point set registration result

使用ICP 算法將源點集和目標點集配準后即可得到目標在相機坐標系下的位姿再結(jié)合機器人手眼標定獲得的相機與機器人末端位置關系末端標定獲得的執(zhí)行器工具末端與機器人末端法蘭的位置關系，即可解算出目標工件相對于機器人工具末端的位姿

3.2 定位調(diào)姿

機器人工具末端到達目標位置的理論位姿是前期預設的參數(shù)，記為結(jié)合上面所解算出的機器人工具末端的實際位姿便可建立機器人末端的理論位姿與實際位姿之間的關系，進一步可求出機器人需要補償?shù)倪\動偏差ΔT：

在得到上述偏差矩陣后，將其轉(zhuǎn)換為六參數(shù)矩陣Δx，傳遞給機器人控制器進行補償。因為系統(tǒng)誤差的存在，機器人無法一次完成定位，故采用迭代調(diào)姿的方法。如圖13 所示，末端初始位姿為T0，通過末端視覺測量裝置獲取相對位姿，迭代調(diào)姿2～3 次后末端位姿為T2，偏差值在設定閾值之內(nèi)，完成定位運動。

4 試驗結(jié)果與分析

搭建圖14 所示的試驗平臺，機器人采用KUKA KR90R3100 extra 工業(yè)機器人系統(tǒng)；工業(yè)相機采用4 個像素為2452×2056 的AVT Stingray F–504 相機，搭配8mm 的定焦鏡頭；結(jié)構(gòu)光發(fā)射器采用4 個Osela 3D 專用多線型激光器，輸出波長為650nm；待定位工件為曲面模擬件，加工精度為0.02mm。

圖13 末端定位調(diào)姿Fig.13 End positioning and posture adjustment

試驗中引入激光跟蹤儀作為測量基準，本文使用Lecia AT901–MR 型號的激光跟蹤儀最遠測量距離50m，測量精度為15μm+6μm/m，本次試驗的工作距離為2m。分別在目標工件和執(zhí)行器末端上設置激光跟蹤儀測量靶標，靶標在各自零件自身坐標系下的坐標預先標定，利用激光跟蹤儀分別測量目標工件上的靶標點和執(zhí)行器工具端的靶標點，可獲得兩者分別相對于激光跟蹤儀測量坐標系的相對位姿，聯(lián)立求解即可得到目標工件相對于末端執(zhí)行器的相對位姿參數(shù)。試驗具體步驟如下：

（1）機器人運動至待定位工件上方，使得工件處于相機視場中；

（2）利用本文的結(jié)構(gòu)光視覺定位系統(tǒng)，控制機器人進行調(diào)姿，直到視覺測量位姿與理論位姿偏差小于閾值時停止運動；

（3）利用激光跟蹤儀測量當前末端與工件的位姿關系，并與理論位姿進行比較；

（4）使機器人末端處于不同初始姿態(tài)，重復10 次上述操作，統(tǒng)計每次的定位誤差如表1 所示。

從圖15、16 中可以看出單方向的位置誤差分布在–0.2～0.2mm 之間，單方向的姿態(tài)誤差分布在–0.07°～0.07°之間。就整體而言其平均位置誤差為0.184mm，平均姿態(tài)誤差為0.038°。

5 結(jié)論

本文針對工業(yè)機器人對弱紋理且無明顯定位特征點的目標定位問題，研究了基于多線結(jié)構(gòu)光視覺引導的工業(yè)機器人定位方法，主要貢獻如下：

圖14 試驗平臺Fig.14 Experiment platform

表1 定位誤差測量值Table 1 Measurement of positioning error

圖15 機器人定位位置誤差Fig.15 Robot positioning position error

圖16 機器人定位姿態(tài)誤差Fig.16 Robot positioning posture error

（1）設計了基于多線結(jié)構(gòu)光的工業(yè)機器人視覺定位系統(tǒng)，建立了位姿反饋型的機器人閉環(huán)調(diào)姿模型。

（2）提出了基于角點檢測的多線結(jié)構(gòu)光定位特征點提取算法，解決了需要在工件表面粘貼視覺靶標點的問題；通過特征點提取與立體視覺重建，得到其在相機坐標系下的精確三維信息；利用迭代最近點算法，將相對位姿解算轉(zhuǎn)化為點集的配準問題，為閉環(huán)調(diào)姿提供參數(shù)。

（3）搭建試驗平臺，此機器人定位系統(tǒng)的平均位置誤差為0.18mm，姿態(tài)誤差為0.038°，定位精度滿足抓取、裝配等作業(yè)要求，對提高工業(yè)生產(chǎn)效率和自動化水平有重要意義。