饒成龍，宋屹峰，趙娟平，王俊彭

(1.沈陽(yáng)化工大學(xué)信息工程學(xué)院，遼寧沈陽(yáng) 110142；2.中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，遼寧沈陽(yáng) 110016；3.中國(guó)科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，遼寧沈陽(yáng) 110169)

0 前言

隨著社會(huì)的快速發(fā)展，電力能源的使用愈加頻繁，配電網(wǎng)線路快速增長(zhǎng)。以端側(cè)線路為例，架空裸導(dǎo)線是發(fā)電端到達(dá)用戶端的通道，其應(yīng)用與居民生活緊密相關(guān)。架空裸導(dǎo)線沒(méi)有絕緣外皮保護(hù)，極易出現(xiàn)氧化腐蝕現(xiàn)象，在人群密集區(qū)域容易發(fā)生電力安全事故，缺乏對(duì)突發(fā)事件的防御能力，對(duì)人民群眾的人身安全具有較大危害[1-5]。因此，對(duì)裸導(dǎo)線進(jìn)行絕緣化處理具有極大的現(xiàn)實(shí)意義[6-7]。

較早裸導(dǎo)線絕緣化技術(shù)是直接通過(guò)人工配備防護(hù)工具來(lái)進(jìn)行不停電作業(yè)，這種作業(yè)方式危險(xiǎn)性極大，直接影響到作業(yè)人員的生命安全。同時(shí)，人工作業(yè)人力成本高、勞動(dòng)強(qiáng)度大、工作效率低以及面臨高空高壓的危險(xiǎn)環(huán)境[8-10]，難以實(shí)現(xiàn)電力設(shè)備絕緣化大面積普及。

故此，架空裸導(dǎo)線絕緣化作業(yè)任務(wù)機(jī)器人應(yīng)運(yùn)而生，代替人工完成裸導(dǎo)線絕緣化的工作。華北電力大學(xué)研制了一款10 kV架空線絕緣修復(fù)機(jī)器人[11-12]，能對(duì)絕緣導(dǎo)線破損處包裹新的絕緣皮，完成線路修復(fù)。西南交通大學(xué)設(shè)計(jì)了用于架空裸露導(dǎo)線的自動(dòng)絕緣包裹機(jī)器人[13]，能有效地對(duì)架空裸露導(dǎo)線包裹，實(shí)現(xiàn)自動(dòng)化運(yùn)行與帶電操作。

目前利用電力機(jī)器人對(duì)裸導(dǎo)線絕緣化作業(yè)存在著涂覆不均勻現(xiàn)象，在質(zhì)量上難以管控。而當(dāng)下，視覺(jué)已經(jīng)被廣泛應(yīng)用于電力機(jī)器人的研究[14-18]，具體包括視覺(jué)引導(dǎo)[19]、越障[20]、障礙物識(shí)別定位[21]。

美國(guó)伊利諾伊大學(xué)提出了一種智能檢測(cè)框架，基于安裝雙目視覺(jué)傳感器的塔監(jiān)測(cè)圖像數(shù)據(jù)，檢測(cè)柔性線路植被侵占情況，有效避免了植被與電力線路的接觸[22]。上海交通大學(xué)利用一種實(shí)時(shí)在線維護(hù)操作機(jī)器人，實(shí)現(xiàn)戶外柔性電纜的識(shí)別與定位，自動(dòng)完成電纜的剝皮、切割與電氣檢查等任務(wù)[23]。沈陽(yáng)自動(dòng)化研究所使用了一種基于視覺(jué)的電力線路機(jī)器人斷線檢測(cè)方法，可有效識(shí)別柔性導(dǎo)線上的線路斷股和障礙物，完成故障線路的檢測(cè)[24]。

以上研究都是將柔性線路當(dāng)作了剛性環(huán)境處理，而忽略了其本身所具有的柔性特性。由于機(jī)器人在作業(yè)過(guò)程中會(huì)引起線路變形，從而導(dǎo)致機(jī)器人運(yùn)動(dòng)路徑發(fā)生偏差，影響了機(jī)器人工作狀態(tài)。

針對(duì)以上問(wèn)題，本文作者提出一種面向柔性導(dǎo)線涂覆作業(yè)的機(jī)器人視覺(jué)檢測(cè)與定位方法，在考慮配電網(wǎng)線路因柔性變形的影響下，實(shí)現(xiàn)觀察臂對(duì)涂覆機(jī)器人的實(shí)時(shí)跟蹤與定位，從而觀察涂覆機(jī)器人的運(yùn)動(dòng)狀態(tài)以及柔性導(dǎo)線的涂覆情況。根據(jù)涂覆機(jī)器人位置的改變實(shí)時(shí)調(diào)整觀察臂位姿狀態(tài)，有效觀察涂覆機(jī)器人涂覆導(dǎo)線的狀態(tài)，以調(diào)整自身位姿，從而具備外部環(huán)境的適應(yīng)能力。

1 涂覆機(jī)器人模型及運(yùn)動(dòng)原理

1.1 涂覆機(jī)器人系統(tǒng)

如圖1所示，帶電作業(yè)涂覆機(jī)器人系統(tǒng)主要由涂覆機(jī)器人、觀察臂以及單目攝像機(jī)組成。涂覆機(jī)器人對(duì)電纜進(jìn)行涂覆，完成裸導(dǎo)線絕緣化工作；觀察臂具有6個(gè)自由度，協(xié)助涂覆機(jī)器人掛線以及實(shí)現(xiàn)自動(dòng)跟隨涂覆機(jī)器人運(yùn)動(dòng)；觀察臂自身攜帶的單目攝像機(jī)可精準(zhǔn)定位涂覆機(jī)器人，對(duì)涂覆機(jī)器人的涂覆狀態(tài)進(jìn)行有效的評(píng)估。

1.2 機(jī)器人上線流程

為了讓涂覆機(jī)器人能夠安全到達(dá)柔性配電線進(jìn)行涂覆作業(yè)，需要完成以下操作來(lái)實(shí)現(xiàn)涂覆機(jī)器人的安全掛線：

(1)首先將觀察臂與涂覆機(jī)器人放在絕緣斗臂車的工作平臺(tái)上，然后利用絕緣斗臂車的升降機(jī)構(gòu)把涂覆機(jī)器人與觀察臂放到柔性配電線的水平安全距離。

(2)利用觀察臂自身所攜帶的夾爪將涂覆機(jī)器人的升降機(jī)構(gòu)(掛鉤)掛在配電線上，利用升降機(jī)構(gòu)的電機(jī)將涂覆機(jī)器人上升到配電線，實(shí)現(xiàn)自動(dòng)掛線。

(3)找準(zhǔn)限位孔，將配電線卡在涂覆機(jī)器人的限位孔中，根據(jù)柔性配電線的直徑，調(diào)整限位孔大小，完成進(jìn)線過(guò)程。

涂覆機(jī)器人上線流程如圖2所示。

圖2 涂覆機(jī)器人上線

1.3 涂覆運(yùn)動(dòng)過(guò)程

涂覆機(jī)器人行走會(huì)致使柔性配電線發(fā)生形變，改變?nèi)嵝耘潆娋€在水平位置的位姿，影響涂覆機(jī)器人作業(yè)的涂覆距離以及涂覆的狀態(tài)。因此，采用視覺(jué)定位涂覆位置點(diǎn)和跟隨涂覆機(jī)器人，有效調(diào)整觀察臂的位姿，從而觀測(cè)柔性配電線形變對(duì)涂覆狀態(tài)的影響。如圖3所示，其涂覆運(yùn)動(dòng)具體如下：

圖3 涂覆機(jī)器人涂覆運(yùn)動(dòng)

(1)利用觀察臂對(duì)涂覆機(jī)器人的初始狀態(tài)進(jìn)行標(biāo)定，儲(chǔ)存初始狀態(tài)信息。

(2)涂覆機(jī)器人前進(jìn)過(guò)程中噴涂裝置自動(dòng)出料，為配電線涂覆，實(shí)現(xiàn)裸導(dǎo)線絕緣化。

(3)根據(jù)配電線的涂覆狀態(tài)，利用觀察臂對(duì)涂覆的情況進(jìn)行目標(biāo)定位。

涂覆機(jī)器人在柔性配電線上行走，攝像機(jī)對(duì)獲取的圖像實(shí)時(shí)更新，不斷確定空間中新的位置點(diǎn)，確定配電線涂覆位置點(diǎn)，實(shí)時(shí)監(jiān)控配電網(wǎng)線路的涂覆狀態(tài)。

2 基于柔索環(huán)境下的視覺(jué)定位原理

涂覆機(jī)器人以一定的速度沿柔性配電網(wǎng)線路前進(jìn)，觀察臂識(shí)別涂覆位置點(diǎn)，實(shí)時(shí)定位并跟隨運(yùn)動(dòng)。如圖4所示，整個(gè)視覺(jué)定位系統(tǒng)包括感知子系統(tǒng)與控制子系統(tǒng)兩大部分。感知子系統(tǒng)主要是觀察臂對(duì)涂覆位置點(diǎn)進(jìn)行實(shí)時(shí)定位，通過(guò)相機(jī)標(biāo)定對(duì)涂覆位置點(diǎn)實(shí)時(shí)跟蹤?？刂谱酉到y(tǒng)根據(jù)涂覆位置點(diǎn)的位置信息，與期望的位置信息進(jìn)行比較，通過(guò)PID視覺(jué)伺服控制器快速控制系統(tǒng)穩(wěn)定，利用圖像雅可比將圖像信息差值轉(zhuǎn)化為觀察臂末端的速度。再利用觀察臂雅可比矩陣將末端速度轉(zhuǎn)化為各個(gè)關(guān)節(jié)速度，通過(guò)觀察臂的伺服控制器將各關(guān)節(jié)角度信息傳輸?shù)接^察臂本體，讓觀察臂實(shí)時(shí)跟蹤目標(biāo)。其中，該系統(tǒng)利用了閉環(huán)控制，保證運(yùn)動(dòng)控制的精準(zhǔn)性。

圖4 系統(tǒng)控制框圖

2.1 手眼成像模型

圖5所示為攝像機(jī)與標(biāo)定板的模型，包括攝像機(jī)、目標(biāo)標(biāo)定板以及攝像機(jī)成像平面。a為機(jī)器人未工作時(shí)柔性電纜的初始狀態(tài)，b為機(jī)器人涂覆作業(yè)時(shí)柔性電纜發(fā)生形變的狀態(tài)。其中{OL}為標(biāo)定板與箱體接觸平面的參考坐標(biāo)系，{OC}為攝像機(jī)坐標(biāo)系，{XOY}為圖像物理坐標(biāo)系，{Of}為圖像像素坐標(biāo)系。P為標(biāo)定板在攝像機(jī)坐標(biāo)系上面一點(diǎn)，其在圖像物理坐標(biāo)系和圖像像素坐標(biāo)系中的坐標(biāo)分別為P1(X1,Y1)和Pf1(u1,v1)。根據(jù)中心透視投影關(guān)系模型，可得

圖5 手眼成像模型

(1)

(2)

式中：(u0,v0)是{XOY}坐標(biāo)系原點(diǎn)在{Of}坐標(biāo)系下的中心點(diǎn)；fx、fy、u0、v0為攝像機(jī)的內(nèi)部參數(shù)；R、T為攝像機(jī)的外部參數(shù)。

2.2 柔索環(huán)境下的視覺(jué)定位

2.2.1 特征提取

對(duì)目標(biāo)點(diǎn)位置進(jìn)行有效定位與跟蹤，則有如下的處理過(guò)程：

涂覆機(jī)器人沿著裸導(dǎo)線進(jìn)行作業(yè)，觀察臂所攜帶的攝像機(jī)采集視野中的圖像，計(jì)算每張圖像所對(duì)應(yīng)的攝像機(jī)外部參數(shù)矩陣。同時(shí)，每一次圖像采集并記錄其對(duì)應(yīng)觀察臂末端的位姿矩陣。通過(guò)圖像處理來(lái)計(jì)算目標(biāo)點(diǎn)的位置信息，其處理過(guò)程如下：

(1)首先對(duì)采集的彩色圖像進(jìn)行預(yù)處理，利用圖像灰度化，減弱背景環(huán)境對(duì)標(biāo)定板的影響。

(2)對(duì)標(biāo)定板進(jìn)行角點(diǎn)提取。首先對(duì)標(biāo)定板角點(diǎn)進(jìn)行粗提取，確定角點(diǎn)處于可提取的范圍之內(nèi)；然后對(duì)粗提取的角點(diǎn)進(jìn)行精提取，保證提取的精度；最后，遍歷標(biāo)定板，提取全部角點(diǎn)。

(3)對(duì)提取的角點(diǎn)進(jìn)行標(biāo)定。利用OpenCV的solvePnP函數(shù)對(duì)提取的角點(diǎn)進(jìn)行實(shí)時(shí)標(biāo)定，對(duì)標(biāo)定的參數(shù)進(jìn)行羅德里格斯轉(zhuǎn)換，計(jì)算基于攝像機(jī)坐標(biāo)系下的R與T。

2.2.2 圖像雅可比矩陣

(3)

由公式可知

(4)

對(duì)u求導(dǎo)則有

(5)

將式(3)代入式(5)可得：

(6)

(7)

(8)

其中：Ji為圖像雅可比矩陣：

(9)

因此觀察臂末端速度可為

(10)

其中：e為圖像物理坐標(biāo)系下當(dāng)前位置與期望位置的圖像特征差。

2.2.3 觀察臂雅可比矩陣

由觀察臂末端速度可知觀察臂的運(yùn)動(dòng)狀態(tài)，但所輸入到關(guān)節(jié)的變量為關(guān)節(jié)速度變量，因此需要將物理世界坐標(biāo)系下的末端速度轉(zhuǎn)化為觀察臂的關(guān)節(jié)速度。

(11)

其中：Jr為觀察臂雅可比矩陣。

(12)

利用觀察臂的位置信息來(lái)求解自身的運(yùn)動(dòng)學(xué)逆解，從而獲取各個(gè)關(guān)節(jié)的角度信息。

2.3 基于PID方法的伺服控制器位姿調(diào)整

圖6 攝像機(jī)位姿調(diào)整

(13)

式中：Kp為比例控制參數(shù)；Ki為積分控制參數(shù)；Kd為微分控制參數(shù)。

圖像空間中攝像機(jī)隨著標(biāo)定板的移動(dòng)，其視野中標(biāo)定板位姿偏差可如圖6所示。其中定義標(biāo)定板相對(duì)于攝像機(jī)的縱向中心線偏移角度為θk，標(biāo)定板相對(duì)于攝像機(jī)的橫向中心線偏移角度設(shè)定為λk，標(biāo)定板相對(duì)于攝像機(jī)的橫向中心線偏移距離設(shè)定為γk，[θkλkγk]T定義圖像空間中特征變化，[ε1ε2ε3]T為圖像空間中特征變化的極限值。當(dāng)涂覆機(jī)器人工作時(shí)，觀察臂亦跟隨運(yùn)動(dòng)，不斷調(diào)整自身位姿，使標(biāo)定板處于攝像機(jī)范圍內(nèi)。如圖6(a)所示，首先調(diào)整攝像機(jī)在縱向的偏角θk，當(dāng)θk<ε1時(shí)，如圖6(b)所示，調(diào)整攝像機(jī)在橫向的偏角λk；θk<ε1且λk<ε2時(shí)，如圖6(c)所示，調(diào)整攝像機(jī)在橫向的平移γk；θk<ε1且λk<ε2且γk<ε3時(shí)，如圖6(d)所示，為攝像機(jī)對(duì)準(zhǔn)標(biāo)定板，完成標(biāo)定板的實(shí)時(shí)定位，即與配電線進(jìn)行了實(shí)時(shí)定位。

3 實(shí)驗(yàn)研究

3.1 實(shí)驗(yàn)場(chǎng)景搭建

為驗(yàn)證所設(shè)計(jì)的面向柔性導(dǎo)線涂覆作業(yè)的機(jī)器人視覺(jué)檢測(cè)與定位的準(zhǔn)確性以及有效實(shí)施的可能性，在實(shí)驗(yàn)室搭建配電線的實(shí)驗(yàn)場(chǎng)景，如圖7所示。

圖7 實(shí)驗(yàn)室場(chǎng)景

3.2 實(shí)驗(yàn)測(cè)試

在實(shí)驗(yàn)中讓觀察臂能準(zhǔn)確定位與跟隨到涂覆機(jī)器人，保證攝像機(jī)能夠跟蹤圖像平面中的特征點(diǎn)，從而引導(dǎo)觀察臂末端執(zhí)行器在空間中移動(dòng)，以實(shí)現(xiàn)柔性導(dǎo)線下對(duì)機(jī)器人的定位與跟蹤。觀察臂在檢測(cè)與定位涂覆機(jī)器人的過(guò)程中，會(huì)因?yàn)橥扛矙C(jī)器人的運(yùn)動(dòng)以及攝像機(jī)視野范圍的變化，從而丟失目標(biāo)，故而在實(shí)驗(yàn)環(huán)境中對(duì)觀察臂的工作區(qū)間有所限制，從而確保觀察臂對(duì)機(jī)器人的實(shí)時(shí)跟蹤。其中觀察臂在實(shí)驗(yàn)環(huán)境中所調(diào)整的偏角θk、λk可在[-45°，45°]之間變化，橫向偏移距離γk的變化范圍為[-320，320]pixel。實(shí)驗(yàn)中所允許ε1、ε2的偏角誤差范圍為[-1°，1°]，ε3的偏距誤差范圍為[-20，20]pixel。

圖8展示了涂覆機(jī)器人在實(shí)驗(yàn)室環(huán)境下的運(yùn)動(dòng)狀態(tài)。在運(yùn)行過(guò)程中，觀察臂對(duì)運(yùn)動(dòng)中的涂覆機(jī)器人進(jìn)行了定位與跟蹤。

圖8 涂覆機(jī)器人運(yùn)動(dòng)

觀察臂對(duì)初始位置進(jìn)行初始化標(biāo)定之后，然后跟蹤涂覆機(jī)器人。經(jīng)過(guò)多次實(shí)驗(yàn)反復(fù)驗(yàn)證可知，涂覆機(jī)器人沿柔性裸導(dǎo)線前進(jìn)涂覆，觀察臂對(duì)動(dòng)態(tài)的標(biāo)定板進(jìn)行實(shí)時(shí)檢測(cè)與定位，不斷調(diào)整自身位姿，與涂覆機(jī)器人保持一定的狀態(tài)。當(dāng)觀察臂攜帶的攝像機(jī)正對(duì)標(biāo)定板時(shí)，此時(shí)對(duì)涂覆機(jī)器人的檢測(cè)與跟蹤效果最佳。

3.3 實(shí)驗(yàn)結(jié)果分析

圖9展示了觀察臂實(shí)時(shí)運(yùn)動(dòng)過(guò)程中各個(gè)模塊參數(shù)的變化。圖9(a)為觀察臂所攜帶的攝像機(jī)觀測(cè)到涂覆機(jī)器人的位置誤差，通過(guò)攝像機(jī)前一幀圖像的空間位置與后一幀圖像的空間位置進(jìn)行求差值得到。隨著空間中位置差值的減小，觀察臂逐漸跟蹤到涂覆機(jī)器人并正對(duì)著標(biāo)定板；圖9(b)為觀察臂的各個(gè)關(guān)節(jié)速度，利用觀察臂末端速度經(jīng)觀察臂雅可比矩陣轉(zhuǎn)化為關(guān)節(jié)速度；圖9(c)為觀察臂實(shí)時(shí)運(yùn)行跟蹤涂覆機(jī)器人所產(chǎn)生的軌跡。

圖9 觀察臂實(shí)時(shí)的參數(shù)變化

此實(shí)驗(yàn)主要采用的方法是涂覆機(jī)器人在不同速度下利用觀察臂對(duì)涂覆機(jī)器人的檢測(cè)與定位。同時(shí)考慮到實(shí)驗(yàn)環(huán)境中光照強(qiáng)度會(huì)影響觀察臂對(duì)機(jī)器人涂覆狀態(tài)的觀測(cè)效果，故采用了在光照比較合適的環(huán)境中實(shí)現(xiàn)對(duì)涂覆機(jī)器人的定位與跟蹤。

表1中，針對(duì)涂覆機(jī)器人在不同速度下，利用觀察臂在不同偏距、偏角下調(diào)整觀察臂位姿來(lái)檢測(cè)跟蹤涂覆機(jī)器人。

表1 觀察臂跟蹤時(shí)間

在現(xiàn)場(chǎng)實(shí)驗(yàn)中選取一組觀測(cè)效果較好的數(shù)據(jù)，當(dāng)涂覆機(jī)器人速度處于0.04～0.06 m/s，檢測(cè)與定位狀態(tài)最好，觀察臂能夠快速檢測(cè)并跟蹤涂覆機(jī)器人運(yùn)動(dòng)。此時(shí)偏角與偏距較大時(shí)(|θk|>25°，|λk|>25°，|γk|>200 pixel)，觀察臂需要超過(guò)3.5 s來(lái)調(diào)整自身位置，實(shí)現(xiàn)柔索下機(jī)器人的檢測(cè)與跟隨；當(dāng)偏角與偏距較小時(shí)(|θk|<10°，|λk|<10°，|γk|<80 pixel)，觀察臂只需在2.5 s內(nèi)即可調(diào)整自身位姿，實(shí)現(xiàn)柔索下機(jī)器人的檢測(cè)與跟隨。實(shí)驗(yàn)結(jié)果表明：基于視覺(jué)定位跟蹤的方法是可行的，能夠有效地實(shí)現(xiàn)對(duì)目標(biāo)位置的定位。

4 結(jié)論

針對(duì)柔索環(huán)境下涂覆機(jī)器人運(yùn)動(dòng)導(dǎo)致柔索發(fā)生變形致使目標(biāo)發(fā)生變化，提出一種面向柔性導(dǎo)線涂覆作業(yè)的機(jī)器人視覺(jué)檢測(cè)與定位方法。圖像處理方法簡(jiǎn)潔有效，特征點(diǎn)提取準(zhǔn)確，減少了每次圖像處理的計(jì)算量。綜合考慮了柔性導(dǎo)線位置與姿態(tài)對(duì)涂覆機(jī)器人姿態(tài)影響，利用PID方法對(duì)觀察臂姿態(tài)進(jìn)行穩(wěn)定性控制，實(shí)現(xiàn)觀察臂對(duì)涂覆機(jī)器人的實(shí)時(shí)跟蹤與定位，具有很強(qiáng)的工程可行性。實(shí)驗(yàn)結(jié)果驗(yàn)證了視覺(jué)定位跟蹤的準(zhǔn)確性與可行性。