卞越洋，高曉科，張偉軍

(上海交通大學(xué)機(jī)械與動力工程學(xué)院，上海 200240)

0 引言

在電力作業(yè)中，一個(gè)重要內(nèi)容就是將電流從高壓線引流到各工廠、小區(qū)等用電場所。為了保證生產(chǎn)生活的不中斷，需要在帶電情況下完成作業(yè)，這對操作的精確性和安全性帶來了很大考驗(yàn)。當(dāng)前，操作員需要乘坐十幾米高的升降平臺，靠近高壓電線，近距離手動完成高壓帶電作業(yè)。在帶電情況下，人工操作十分危險(xiǎn)，已有多起人員傷亡事故。因此，用機(jī)器人遠(yuǎn)程作業(yè)成為一種緊迫的替代方案[1]。

另一方面，隨著經(jīng)濟(jì)發(fā)展和科技進(jìn)步，機(jī)器人作業(yè)應(yīng)用在越來越多的場景中，尤其是在一些危險(xiǎn)環(huán)境中，機(jī)器人技術(shù)的應(yīng)用有效降低了人員傷亡，提高了工作效率[2]。當(dāng)前主流的做法是操作人員通過人眼觀察位置，遠(yuǎn)程操作機(jī)器人，但人眼遠(yuǎn)距離觀察，并不能得到較為精確的目標(biāo)位置[3]。通過機(jī)器視覺技術(shù)，讓機(jī)器人自主定位目標(biāo)，自動化完成作業(yè)，是未來發(fā)展的方向。

在引流作業(yè)場景下，需要將電流從10 kV的高壓電線上引導(dǎo)到跌落式熔斷器上。完成作業(yè)的前提是，精確識別出2個(gè)目標(biāo)物體，即熔斷器和高壓線纜。為解決帶電作業(yè)場景下的熔斷器和線纜的識別問題，可以利用機(jī)器視覺技術(shù)，通過視覺算法，從相機(jī)圖像中識別出目標(biāo)物體。通過相機(jī)參數(shù)的標(biāo)定和坐標(biāo)系之間的轉(zhuǎn)換，得到目標(biāo)物體在空間中的位置，給作業(yè)機(jī)械臂提供定位指導(dǎo)，進(jìn)而完成自動化作業(yè)的目標(biāo)。

本文在形狀匹配算法的基礎(chǔ)上，提出了一種分塊和拼接策略，很大程度上解決了目標(biāo)物體變形、遮擋等問題，提高了算法的準(zhǔn)確率和魯棒性。

1 帶電作業(yè)機(jī)器人系統(tǒng)

本文設(shè)計(jì)的視覺輔助系統(tǒng)將應(yīng)用于高壓帶電作業(yè)機(jī)器人系統(tǒng)。帶電作業(yè)機(jī)器人系統(tǒng)主體是1個(gè)升降平臺，平臺上裝有3個(gè)機(jī)械臂，2個(gè)為作業(yè)機(jī)械臂，1個(gè)為視覺觀察臂，觀察臂上裝有深度相機(jī)。平臺上還裝有作業(yè)工具，包括自動剝線器、驗(yàn)電筆和線夾等。作業(yè)臂負(fù)責(zé)進(jìn)行帶電作業(yè)，其中一個(gè)裝有線夾，負(fù)責(zé)固定住線纜，防止晃動，另一個(gè)作業(yè)臂負(fù)責(zé)從工作臺上取放工具，完成剝線、引線。整體系統(tǒng)如圖1所示。

自主帶電作業(yè)主要分為2步：第1步，根據(jù)深度相機(jī)獲取到的圖像和視覺匹配算法，定位到熔斷器和線纜的精確位置，發(fā)送給作業(yè)機(jī)械臂；第2步，作業(yè)機(jī)械臂按照一定的順序從平臺取工具，并到指定位置完成剝線、引流等預(yù)設(shè)任務(wù)。本文主要研究熔斷器和線纜的定位問題。定位主要流程如圖2所示。

圖2 視覺定位整體流程

2 視覺算法設(shè)計(jì)

視覺算法的目標(biāo)是自主識別出目標(biāo)物體，在本文中為預(yù)設(shè)的熔斷器和線纜，并指明它們在空間中的坐標(biāo)位置。因視覺系統(tǒng)涉及到世界坐標(biāo)系、末端坐標(biāo)系、相機(jī)坐標(biāo)系和像素坐標(biāo)系之間的轉(zhuǎn)換，所以要明確物體的空間位置，需要計(jì)算出坐標(biāo)系之間的位置關(guān)系，可以利用相機(jī)標(biāo)定來確定[4]。針對目標(biāo)物體識別問題，本文基于形狀匹配算法來實(shí)現(xiàn)。

2.1 相機(jī)參數(shù)標(biāo)定

標(biāo)定是通過實(shí)驗(yàn)的方法，計(jì)算出對相機(jī)參數(shù)的估計(jì)。相機(jī)參數(shù)包括內(nèi)參和外參。假設(shè)世界坐標(biāo)系原點(diǎn)位于機(jī)器人的基座上，世界坐標(biāo)系與機(jī)器人末端坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可由機(jī)器人的關(guān)節(jié)參數(shù)求得。利用相機(jī)內(nèi)參，可以求得相機(jī)坐標(biāo)系、像素坐標(biāo)系之間的轉(zhuǎn)換。設(shè)相機(jī)坐標(biāo)中的點(diǎn)P坐標(biāo)為(xc,yc,zc)，對應(yīng)的像素坐標(biāo)為(u,v),轉(zhuǎn)換關(guān)系為

(1)

K稱為內(nèi)參矩陣；fx,fy為相機(jī)焦距；u0,v0為坐標(biāo)原點(diǎn)偏置。內(nèi)參矩陣表征相機(jī)自身的特性，采用張正友標(biāo)定法進(jìn)行標(biāo)定，將黑白棋盤標(biāo)定板固定于1個(gè)平面上，從不同角度拍攝若干張圖像，檢測出棋盤格的角點(diǎn)，得到1組非線性方程組。應(yīng)用最小二乘法求出相機(jī)參數(shù)，并使用極大似然估計(jì)法提高精度。內(nèi)參標(biāo)定只需進(jìn)行1次。

外參矩陣確定了相機(jī)坐標(biāo)系與末端坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，與相機(jī)安裝位置相關(guān)，需根據(jù)不同應(yīng)用場景分別標(biāo)定。本文采用eye in hand標(biāo)定方法[5]，將相機(jī)固定于機(jī)械臂末端，標(biāo)定板固定于基座，如圖3所示。 標(biāo)定過程中，標(biāo)定板位置保持不變，多次移動機(jī)械臂，獲取標(biāo)定板圖像。

圖3 手眼標(biāo)定坐標(biāo)系

本文使用Ensenso N35相機(jī)，采用halcon標(biāo)定板，在機(jī)械臂不同位姿下拍攝15～20張圖片，通過計(jì)算求解出世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣T。該轉(zhuǎn)換矩陣保持不變，因此任意2次標(biāo)定滿足關(guān)系式

(2)

由于相機(jī)與機(jī)械臂末端相對位置固定，即

(3)

因此，可變換得到關(guān)系式為

(4)

AX=XB

(5)

式(5)可通過Tsai-Lenz算法[6]求解X，通過標(biāo)定得到相機(jī)坐標(biāo)系與末端坐標(biāo)系的轉(zhuǎn)換關(guān)系為

(6)

(xc,yc,zc)為相機(jī)坐標(biāo)系中的1點(diǎn)；(xe,ye,ze)為末端坐標(biāo)系中的對應(yīng)點(diǎn)。

2.2 形狀匹配原理

形狀匹配是模板匹配的1種，將梯度方向作為匹配特征，可以在光照強(qiáng)度變化、背景干擾較大的情況下取得較好的匹配效果[7]。首先選取需要識別的目標(biāo)物體，即模板，使用目標(biāo)物體上的1組特征點(diǎn)pi=(xi,yi)和其對應(yīng)的方向di=(cosθi,sinθi)來描述目標(biāo)物體，其中θi為特征點(diǎn)的梯度方向。特征點(diǎn)和方向可由邊緣檢測、線段檢測算子來產(chǎn)生。在匹配時(shí)，將模板作為滑動窗口依次在當(dāng)前圖像中平移，計(jì)算每次比對的相似性，相似性最高的位置即為目標(biāo)物體所在位置。設(shè)(x,y)為圖像中1點(diǎn)的坐標(biāo)，其中相似性計(jì)算公式為

(7)

e(x,y)+pi為待匹配圖像對應(yīng)位置處的梯度方向；n為所有特征點(diǎn)個(gè)數(shù)。相似性即為模板圖像與待匹配圖像對應(yīng)位置方向的余弦值的平均。

實(shí)際匹配過程中，通過打分的方式統(tǒng)計(jì)相似度。設(shè)相似度閾值為μ，對于C(x,y)≥μ，將該位置放入候選集合中，否則跳過。

設(shè)候選集合為S,利用非極大值抑制法(NMS)去除冗余的候選框，得到最終的匹配結(jié)果。

考慮到實(shí)際得到的圖像存在大小和角度的變化，創(chuàng)建模板時(shí)，還需要將模板分別進(jìn)行旋轉(zhuǎn)和縮放處理。將模板以1°為步長，旋轉(zhuǎn)360°，形成360張模板，再將每個(gè)模板以0.1為步長，從0.8～1.2縮放，總共形成360×5=1 800張模板，對每張模板進(jìn)行特征點(diǎn)梯度方向記錄。這樣，在實(shí)際匹配時(shí)，能滿足各個(gè)角度和一定范圍內(nèi)的縮放情況，達(dá)到較好的匹配效果。在匹配時(shí)，為了加快匹配速度，以達(dá)到實(shí)時(shí)性要求，采用了均勻選取特征點(diǎn)、圖像金字塔和梯度方向量化等加速方法[8]，在這里不展開討論。經(jīng)過加速過程，可以達(dá)到實(shí)時(shí)性的要求。經(jīng)測試，在100萬像素下，2 000個(gè)模板的提取特征過程耗時(shí)為60 ms，匹配過程耗時(shí)僅為15 ms。

3 定位優(yōu)化策略

形狀匹配算法在目標(biāo)物體識別上取得了較好的效果。在實(shí)際匹配時(shí)，熔斷器和線纜都可能與訓(xùn)練時(shí)的形狀不完全相同。例如，拍攝時(shí)的視角變化導(dǎo)致成像變形，熔斷器各組件之間存在相對位移，線纜可能存在彎曲等。本文針對這類問題，提出了一種基于分塊和拼接的匹配算法，該算法通過“化整為零”的思想，將目標(biāo)物體的識別轉(zhuǎn)化為特征塊的識別，再通過特征塊之間的相對位置進(jìn)行拼接。這種算法在很大程度上避免了物體形變的問題，大大提高了算法的魯棒性和識別的準(zhǔn)確率。

另一方面，形狀匹配算法在匹配時(shí)考慮旋轉(zhuǎn)和縮放因素，其角度和大小的采樣是離散的，因此帶來了一定的匹配誤差。本文采用最小二乘法進(jìn)行優(yōu)化，在匹配結(jié)果附近，搜索最接近的實(shí)際邊緣點(diǎn)，可以將姿態(tài)估計(jì)的精度提高到亞像素級，提高了定位精度。

3.1 分塊與拼接策略

分塊與拼接匹配算法分為3個(gè)步驟:第1步，選取輪廓形狀特征明顯的特征塊，記錄形狀特征數(shù)據(jù)；第2步，基于形狀匹配原理，在待匹配圖像上定位出特征塊；第3步，將多個(gè)特征塊拼接，識別出完整的目標(biāo)物體位置。

針對特征豐富、體積較大的物體，如本文中的熔斷器，選取多個(gè)特征塊。匹配時(shí)，在獲取到的圖像中分別匹配每個(gè)特征塊。

拼接時(shí)，考慮各特征塊之間的相對位置關(guān)系，如圖4所示。最接近原有位置關(guān)系的特征塊組合更可能是目標(biāo)物體。

圖4 特征塊位置關(guān)系

假設(shè)有k個(gè)特征塊，每個(gè)特征塊都有1個(gè)候選集合Φ。取任意2個(gè)特征塊i,j,設(shè)圖像中i和j的中心距離為dij，相應(yīng)地，模板圖像中i和j的中心距離為di,j(s)。定義距離的平均變化率為

(8)

在每個(gè)特征塊的候選集合中選出1個(gè)特征塊，組成1種組合,式(8)表示該組合的平均距離變化率。

設(shè)每個(gè)特征塊的候選個(gè)數(shù)為φ1,φ2,…,φk,則共有φ1·φ2…φk種組合。對每種組合，計(jì)算平均變化率。平均變化率最小的組合作為匹配結(jié)果。

設(shè)定平均變化率閾值μ=0.2，若最小的變化率仍大于0.2，表示未識別到目標(biāo)物體。

針對特征點(diǎn)較少，由單一特征塊組合而成的目標(biāo)物體，如高壓線纜，選取重復(fù)部分作為特征塊，這里選取一小段線纜。拼接時(shí)，首尾相連的若干個(gè)小段線纜更可能來自1條長線纜，如圖5所示。

圖5 特征線纜拼接

匹配線纜之前，對深度圖像預(yù)處理，通過中值濾波和聚類的方式，去除環(huán)境噪聲。制作小段特征線纜時(shí)，根據(jù)所采用的線纜尺寸，設(shè)定50 mm寬度、250 mm長度的矩形作為特征，并記錄各個(gè)角度和不同尺寸下的模板數(shù)據(jù)。

設(shè)線纜直徑為D，任意小段線纜為A和B，方向向量為ρa(bǔ)和ρb，A與B之間距離為dab，判定規(guī)則為

(9)

滿足判定規(guī)則的任意2條小段線纜可看成是同一條線纜。由此對于識別到的所有小段線纜c1,c2，…，cn,可構(gòu)成1個(gè)鄰接矩陣A，即

(10)

利用圖理論知識，使用深度優(yōu)先搜索(DFS)，可得到若干條路徑，其中的最長路徑認(rèn)為是識別到的線纜。

3.2 精度提高策略

在訓(xùn)練特征時(shí)，對模板特征進(jìn)行了旋轉(zhuǎn)和縮放，記錄了不同角度和尺寸下的特征數(shù)據(jù)。由于角度和尺寸是離散取樣的，所以可能與實(shí)際情況有輕微偏差，造成誤差。為了提高精度，在特征匹配完成后，采用最小二乘法對特征點(diǎn)的位置進(jìn)行優(yōu)化。通過邊緣檢測算子，提取到實(shí)際圖像中的邊緣點(diǎn)。對匹配得到的特征點(diǎn)，搜索距離其最近的邊緣點(diǎn)。由匹配到的1組點(diǎn)和實(shí)際的1組點(diǎn)的關(guān)系，求得變換矩陣。

設(shè)形狀匹配算法描述的目標(biāo)物體為1組特征點(diǎn)pi=(xi,yi)，對應(yīng)方向?yàn)閐i=(cosθi,sinθi)，并設(shè)實(shí)際圖像中的對應(yīng)組特征點(diǎn)為qi，pi到qi的轉(zhuǎn)換矩陣為

(11)

x0,y0為平移量；θ0為旋轉(zhuǎn)量。

則最小二乘法的目標(biāo)函數(shù)χ2可表示為

(12)

由最優(yōu)化理論可知，目標(biāo)函數(shù)的最小值為

Tmin=-H-1χ2(T)

(13)

Tmin為目標(biāo)函數(shù)取得最小值時(shí)T的取值；H為Hessian矩陣；χ2(T)為目標(biāo)函數(shù)的梯度。通過數(shù)值迭代法可得到T的最優(yōu)解。此時(shí)，在T的變換下，能更加準(zhǔn)確地找到實(shí)際特征點(diǎn)的位置，從而提高目標(biāo)物體的位置精度。

4 實(shí)驗(yàn)驗(yàn)證與性能分析

本次實(shí)驗(yàn)的機(jī)器人選用UR10，相機(jī)選用Ensenso N35雙目相機(jī)。

首先依據(jù)分塊匹配策略，熔斷器選擇3個(gè)特征塊分塊匹配，線纜截取小段線纜作為特征匹配，特征如圖6所示。

圖6 實(shí)驗(yàn)選取的特征塊

訓(xùn)練完成后，開始進(jìn)行實(shí)時(shí)匹配。相機(jī)將拍攝到的實(shí)時(shí)圖片傳回，算法程序?qū)崟r(shí)匹配，并將結(jié)果顯示在當(dāng)前的程序上。從實(shí)驗(yàn)結(jié)果可以看出，盡管每個(gè)特征塊都匹配到若干個(gè)候選圖形，但經(jīng)過分塊組合的策略，最終都能確定出目標(biāo)物體的位置。圖7顯示的是實(shí)時(shí)匹配結(jié)果。

圖7 實(shí)時(shí)匹配結(jié)果

總體實(shí)驗(yàn)結(jié)果表明，總體匹配成功率達(dá)99%以上，識別成功率高，且實(shí)時(shí)性好。因此在帶電作業(yè)機(jī)器人的實(shí)際應(yīng)用時(shí)，可以滿足工業(yè)需求。

為了衡量算法的重復(fù)匹配誤差，記錄了多次匹配的結(jié)果，以檢驗(yàn)誤差的范圍。對線纜，記錄了5次實(shí)驗(yàn)的結(jié)果，如圖8所示。其中，每次匹配得到的線纜由1組點(diǎn)集表示，點(diǎn)集中的每個(gè)點(diǎn)pi=(xi,yi,zi)表示小段線纜的中心位置。5次匹配得到的線纜如圖8a所示。取線纜相同位置作為衡量標(biāo)準(zhǔn)，5次實(shí)驗(yàn)的方差為7.82 mm，誤差不超過6.00 mm。

圖8 多次匹配結(jié)果比較

對熔斷器，記錄了15次匹配結(jié)果，以幾何中心代表物體位置，如圖8b所示,方差為2.17 mm，匹配得到的誤差不超過7.00 mm。匹配精度在mm級別，達(dá)到了工程上的精度要求。

經(jīng)過實(shí)驗(yàn)驗(yàn)證，將視覺匹配算法得到的目標(biāo)物體位置發(fā)送給作業(yè)機(jī)械臂，能夠精確地到達(dá)指定位置，并完成作業(yè)。

5 結(jié)束語

本文著眼于帶電作業(yè)機(jī)器人的視覺識別與定位問題，分析了相機(jī)標(biāo)定原理，完成機(jī)器人內(nèi)參標(biāo)定和手眼標(biāo)定，實(shí)現(xiàn)在機(jī)器視覺中各坐標(biāo)系之間的轉(zhuǎn)換?；谛螤钇ヅ渌惴?，提出了分塊與拼接匹配策略，使視覺識別具有快速、準(zhǔn)確和適應(yīng)性好的優(yōu)勢。通過最小二乘法和最優(yōu)化理論，減小了識別誤差，提高位置精度。針對帶電作業(yè)環(huán)境，以跌落式熔斷器和高壓線纜為目標(biāo)物體，應(yīng)用本文算法，通過實(shí)驗(yàn)驗(yàn)證了該算法的可行性和優(yōu)越性。