陳盛慧，葉良，徐光年，陳寒鈺

(浙江華云信息科技有限公司，浙江 杭州 310000)

0 引言

電力工業(yè)是國(guó)民經(jīng)濟(jì)持續(xù)快速發(fā)展的基礎(chǔ)。隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展，人民生產(chǎn)生活對(duì)于電力的需求越來(lái)越高。配電網(wǎng)處于電力系統(tǒng)末端，是保證電力持續(xù)供給的關(guān)鍵環(huán)節(jié)，其可靠性在整個(gè)供電系統(tǒng)中占有非常重要的位置。配電線路進(jìn)行不停電檢修是近年來(lái)電力設(shè)備檢修的趨勢(shì)[1]。帶電進(jìn)行電力設(shè)備檢修是對(duì)其升級(jí)改造、實(shí)現(xiàn)不間斷供電的重要方法。目前，配電網(wǎng)線路帶電進(jìn)行斷接引流線作業(yè)大多采用人工作業(yè)[2-3]。

我國(guó)從20世紀(jì)末開(kāi)展配電網(wǎng)帶電檢修以來(lái)，主要采用傳統(tǒng)方法，即作業(yè)人員穿戴絕緣屏蔽服，使用絕緣手套直接接觸高壓線或使用電力金具等設(shè)備進(jìn)行帶電接火。21世紀(jì)初有部分地區(qū)開(kāi)展過(guò)采用絕緣操作桿進(jìn)行配電網(wǎng)帶電斷接引流線作業(yè)。但是配電網(wǎng)線路通常十分緊湊，線路相間距離小，作業(yè)人員帶電接火時(shí)易造成短路從而引發(fā)人身傷亡等事故。

為滿足工業(yè)生產(chǎn)及人民對(duì)電力持續(xù)供應(yīng)的條件，由機(jī)械手接火代替人工接火具有極其廣闊的應(yīng)用前景，而視覺(jué)輔助機(jī)械手協(xié)同控制是實(shí)現(xiàn)機(jī)械手代替人工的關(guān)鍵技術(shù)?；谏鲜鲂枨?，本文依據(jù)圖像分割、目標(biāo)檢測(cè)、多視幾何等計(jì)算機(jī)視覺(jué)技術(shù)，解決導(dǎo)線與背景的分割、導(dǎo)線位姿的估計(jì)、線夾穿線位置的定位等自動(dòng)化帶電接火難題。為實(shí)現(xiàn)自動(dòng)化、智能化的帶電接火模式提供有力的技術(shù)保障。

1 帶電接火智能化視覺(jué)系統(tǒng)設(shè)計(jì)

整個(gè)系統(tǒng)主要由2個(gè)機(jī)械手以及若干作業(yè)工具組成，每個(gè)機(jī)械手?jǐn)y帶1個(gè)單目相機(jī)，控制臺(tái)搭載1個(gè)云臺(tái)相機(jī)。

帶電接火任務(wù)主要完成導(dǎo)線剝皮、引流線穿入緊固線夾、緊固線夾螺栓等任務(wù)，視覺(jué)系統(tǒng)在其中起到了“人眼”的功能：

1)通過(guò)計(jì)算機(jī)圖像分割技術(shù)將導(dǎo)線從復(fù)雜背景中分離，計(jì)算導(dǎo)線相對(duì)于相機(jī)的姿態(tài)。

2)通過(guò)YOLOv4目標(biāo)檢測(cè)技術(shù)，實(shí)現(xiàn)引流線穿線位置的檢測(cè)以及位姿的調(diào)節(jié)。

2 導(dǎo)線檢測(cè)與姿態(tài)估計(jì)

2.1 目標(biāo)導(dǎo)線分割與導(dǎo)線擬合

對(duì)灰度圖像進(jìn)行二值化的基本思想是確定一個(gè)閾值，然后把每個(gè)像素點(diǎn)的灰度值和閾值比較，根據(jù)比較的結(jié)果把該像素劃分為兩類：目標(biāo)和背景[4-5]。

設(shè)原始圖像為f(x，y)，二值化分割圖像的方法為：

(1)

式中：f(x，y)表示圖像中坐標(biāo)(x，y)處的像素值；g(x，y)表示二值化處理后的圖像中坐標(biāo)(x，y)處的像素值；T是二值化分割閾值。

算法根據(jù)以像素點(diǎn)為中心內(nèi)的鄰域內(nèi)的均值與方差共同決定該中心像素的二值化分割閾值。以(i，j)為中心、大小是k×k的窗口為例，這個(gè)窗口內(nèi)各個(gè)像素灰度值的高斯加權(quán)均值為m，方差為s，該點(diǎn)的閾值T為：

T=(1-r)×m+t×s

(2)

式中：t為調(diào)整量，取t=-0.2；r為均值加權(quán)系數(shù)，取r=0.9。

在相機(jī)觀測(cè)的范圍內(nèi)導(dǎo)線可以近似成直線處理。由導(dǎo)線目標(biāo)分割的結(jié)果得到導(dǎo)線的像素坐標(biāo)集合為

{(x1y1)，(x2y2)…(xnyn)}|(xiyi)∈L

(3)

采用最小二乘方法[6]實(shí)現(xiàn)直線的擬合，假定待擬合直線方程為φ(x)=ax+b，則偏差記為ei=yi-φ(xi)，因此可以得到待優(yōu)化的目標(biāo)為

(4)

分別對(duì)參數(shù)a、b求偏導(dǎo)可以得到：

(5)

(6)

轉(zhuǎn)化為矩陣，表示為：

(7)

通過(guò)矩陣運(yùn)算可以得到待剝皮導(dǎo)線的直線方程φ(x)=ax+b。

2.2 導(dǎo)線位姿計(jì)算

根據(jù)剛體坐標(biāo)變換理論，估計(jì)導(dǎo)線姿態(tài)相對(duì)A相機(jī)坐標(biāo)系的關(guān)系(圖1)，等效于導(dǎo)線坐標(biāo)系相對(duì)于A相機(jī)坐標(biāo)系發(fā)生了一次旋轉(zhuǎn)和一次平移[7-8]。

X=RX′+TP

(8)

其中：R為旋轉(zhuǎn)矩陣；TP為平移向量；X′為變換前空間坐標(biāo)；X為變換后空間坐標(biāo)。

圖1 導(dǎo)線坐標(biāo)系與相機(jī)坐標(biāo)系A(chǔ)和B的姿態(tài)關(guān)系

相機(jī)A負(fù)責(zé)計(jì)算導(dǎo)線相對(duì)于A相機(jī)坐標(biāo)系轉(zhuǎn)化到導(dǎo)線坐標(biāo)系時(shí)z軸的歐拉角，相機(jī)B負(fù)責(zé)計(jì)算導(dǎo)線相對(duì)于A相機(jī)坐標(biāo)系轉(zhuǎn)化到導(dǎo)線坐標(biāo)系時(shí)x軸的歐拉角。

逆時(shí)針旋轉(zhuǎn)的角度為正(與右手系旋轉(zhuǎn)方向相同為旋轉(zhuǎn)正方向)，繞不同軸的旋轉(zhuǎn)結(jié)果：

(9)

(10)

(11)

式中：α、β、γ分別為導(dǎo)線坐標(biāo)系變換到A相機(jī)坐標(biāo)系時(shí)的z-y-x歐拉角。導(dǎo)線坐標(biāo)系變換到A相機(jī)坐標(biāo)系時(shí)變換矩陣R=Rx·Ry·Rz。如控制機(jī)械手運(yùn)動(dòng)變換矩陣R，此時(shí)可以保證相機(jī)坐標(biāo)系與剝皮導(dǎo)線坐標(biāo)系姿態(tài)一致。

2.3 雙目測(cè)距

雙目測(cè)距是基于小孔成像原理建立世界坐標(biāo)與像素坐標(biāo)之間的關(guān)系[9]。根據(jù)張正友標(biāo)定方法[10-11]可以簡(jiǎn)單、有效地得到相機(jī)的內(nèi)參，包括焦距f，光心的像素坐標(biāo)u、v。雙目測(cè)距的示意圖如圖2所示。

圖2 雙目測(cè)距示意圖

圖2中P是導(dǎo)線上的一點(diǎn)，OR與OL分別是兩個(gè)相機(jī)的光心，點(diǎn)P在兩個(gè)相機(jī)虛成像平面(虛成像平面是成像平面相對(duì)于光心翻轉(zhuǎn))上分別為P1和P2，f為相機(jī)焦距，B為相機(jī)中心距，Z為深度信息，像點(diǎn)P1和P2的距離為雙目的視差。

dis=B-(XR-XL)

(12)

根據(jù)相似三角形原理得到：

(13)

(14)

公式中焦距f和攝像頭中心距B可通過(guò)標(biāo)定得到，因此，只要計(jì)算XR-XL(視差)的值以及P點(diǎn)的像素相對(duì)于光心(u，v)的偏移坐標(biāo)位置(x，y)，根據(jù)相機(jī)標(biāo)定得到的焦距以及式(15)即可計(jì)算得到點(diǎn)P的空間坐標(biāo)(X，Y，Z)。

(15)

機(jī)械手A在初始狀態(tài)拍攝照片M0，隨后沿相機(jī)坐標(biāo)系的x軸方向，保持相機(jī)姿態(tài)不變，以直線運(yùn)動(dòng)Δxcm拍攝照片M1。則M0和M1構(gòu)成了光心距離為Δxcm的雙目系統(tǒng)，根據(jù)兩次圖像的視差可以計(jì)算導(dǎo)線上任意一點(diǎn)的空間坐標(biāo)(X，Y，Z)。

3 線夾穿線位置檢測(cè)

3.1 YOLOv4目標(biāo)檢測(cè)

緊固線夾穿線位置識(shí)別屬于目標(biāo)檢測(cè)范疇，傳統(tǒng)的方式是基于邊緣、形狀分割的方法，容易受到光線及復(fù)雜背景影響，識(shí)別魯棒性差。深度卷積神經(jīng)網(wǎng)絡(luò)由于能夠自主完成對(duì)目標(biāo)特征的學(xué)習(xí)，提取關(guān)鍵信息，因而具有較強(qiáng)的魯棒性。近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法主要依托兩種思路，一種是基于目標(biāo)候選框思想的 two-stage，另一種是基于回歸思想的 one-stage。two-stage 先提取目標(biāo)候選框，再在其基礎(chǔ)上訓(xùn)練檢測(cè)模型，如 Fast R-CNN、Faster R-CNN 等[12-13]。而 one-stage 則沒(méi)有了目標(biāo)候選框提取操作，直接利用檢測(cè)網(wǎng)絡(luò)產(chǎn)生目標(biāo)的類別和位置信息，擁有更高的檢測(cè)速度，如SSD、YOLOv3、YOLOv4等[14-15]。

YOLOv4的主干網(wǎng)絡(luò)CSPDarknet53是算法的核心，用來(lái)提取目標(biāo)特征。YOLOv4在Darknet53的每個(gè)大殘差塊上加上CSP，將基礎(chǔ)層的特征映射劃分為兩部分，再通過(guò)跨階段結(jié)構(gòu)合并。YOLOv4通過(guò)一系列模型架構(gòu)設(shè)計(jì)以及模型訓(xùn)練技巧的配合下，在減少計(jì)算量的同時(shí)保證了模型推理的準(zhǔn)確率。

本文基于YOLOv4，推理預(yù)測(cè)圖像中是否存在緊固線夾，如果存在，則預(yù)測(cè)引流線穿線位置的中心以及中心與輪廓邊緣的距離，故本文YOLOv4中每個(gè)Cell預(yù)測(cè):

[x，y，w1，w2，h1，h2，confidence]。

其中x、y為引流線穿線位置的中心；w1、w2分別為中心坐標(biāo)與左邊緣和右邊緣距離；h1、h2分別為中心坐標(biāo)與上邊緣和下邊緣距離；confidence為邊框的置信度分?jǐn)?shù)。

3.2 數(shù)據(jù)收集與處理

本文訓(xùn)練和測(cè)試數(shù)據(jù)通過(guò)單目相機(jī)在實(shí)驗(yàn)場(chǎng)地拍攝采集，共組成4000張圖片。為了獲得更好的訓(xùn)練效果，采用Mosaic數(shù)據(jù)增強(qiáng)的方式，對(duì)數(shù)據(jù)集隨機(jī)選取4張圖片，隨機(jī)縮放，再隨機(jī)分布進(jìn)行拼接。這樣不僅大大擴(kuò)充了原始采集的數(shù)據(jù)集，而且還豐富了圖片的背景，因而平衡了原始數(shù)據(jù)集目標(biāo)尺度問(wèn)題，提高了訓(xùn)練網(wǎng)絡(luò)的魯棒性。

4 視覺(jué)引導(dǎo)實(shí)驗(yàn)

4.1 視覺(jué)引導(dǎo)導(dǎo)線剝皮作業(yè)

通過(guò)機(jī)械手A上的單目相機(jī)，采集到當(dāng)前時(shí)刻待剝皮導(dǎo)線的圖像數(shù)據(jù)(圖3)，經(jīng)過(guò)圖像的自適應(yīng)二值化，聯(lián)通區(qū)域篩選等操作，得到直線的二值化圖像(圖4)。通過(guò)最小二乘直線擬合計(jì)算得到當(dāng)前時(shí)刻導(dǎo)線的傾斜角分別為14.48°與62.68°(圖5)，即繞x軸旋轉(zhuǎn)了14.48°，繞z軸旋轉(zhuǎn)了62.68°。

圖3 原始圖像

圖4 二值化圖像

圖5 最小二乘直線擬合結(jié)果

根據(jù)公式R=Rx×Ry×Rz可以計(jì)算得到旋轉(zhuǎn)矩陣R為

通過(guò)機(jī)械手A的控制柜，運(yùn)動(dòng)變換矩陣R，此時(shí)保證相機(jī)平面y軸與導(dǎo)線平行，相機(jī)平面x軸與導(dǎo)線垂直?？刂茩C(jī)械手沿著x軸方向(垂直導(dǎo)線方向)分別運(yùn)動(dòng)10cm和20cm，采集相應(yīng)的圖像數(shù)據(jù)(圖6)。

圖6 沿相機(jī)x方向機(jī)械手平移10cm和20cm的原始圖像

同樣對(duì)圖像進(jìn)行二值化(圖7)、最小二乘擬合等操作，得到任意兩幅圖像間的視差后，根據(jù)雙目視覺(jué)原理估計(jì)導(dǎo)線相對(duì)于相機(jī)的位置信息(表1)。實(shí)際測(cè)得導(dǎo)線與相機(jī)平面距離為68.5cm，導(dǎo)線與相機(jī)x軸平均距離為8.6cm。

圖7 沿相機(jī)x方向機(jī)械手平移10cm和20cm的二值圖像

表1 平移10cm和20cm雙目測(cè)距結(jié)果

根據(jù)估計(jì)得到導(dǎo)線與相機(jī)平面距離和導(dǎo)線與相機(jī)x軸距離以及機(jī)械手與相機(jī)的裝配位置，進(jìn)一步計(jì)算出導(dǎo)線相對(duì)于末端作業(yè)工具的位置。將計(jì)算結(jié)果(平移變換向量T)傳入機(jī)械手控制柜完成相應(yīng)運(yùn)動(dòng)，待機(jī)械手運(yùn)動(dòng)到指定置位，配合作業(yè)工具完成導(dǎo)線剝皮工作，并且記錄當(dāng)前導(dǎo)線剝皮的坐標(biāo)(X，Y，Z)，即是線夾待安裝的位置。

4.2 視覺(jué)引導(dǎo)引流線穿入線夾作業(yè)

通過(guò)機(jī)械手B上的單目相機(jī)，采集到當(dāng)前時(shí)刻線夾作業(yè)工具的圖像數(shù)據(jù)，通過(guò)YOLOv4模型推理預(yù)測(cè)結(jié)果。矩形區(qū)域(機(jī)械結(jié)構(gòu)的喇叭口位置)為模型推理預(yù)測(cè)結(jié)果(圖8)。控制機(jī)械手B根據(jù)w1和w2、h1和h2的大小關(guān)系，調(diào)節(jié)機(jī)械手使得w1=w2，h1=h2；然后控制機(jī)械手B將引流線穿入線夾內(nèi)，完成引流線穿線工作；最終機(jī)械手A將裝有線夾的作業(yè)工具運(yùn)動(dòng)到導(dǎo)線剝皮步驟記錄的坐標(biāo)(X，Y，Z)處，完成線夾安裝與緊固工作。

圖8 采集到的原始圖像及YOLOv4推理結(jié)果

5 結(jié)語(yǔ)

文中根據(jù)配電網(wǎng)帶電接火工作環(huán)節(jié)的要求，立足于實(shí)現(xiàn)視覺(jué)引導(dǎo)的帶電接火智能化流程，設(shè)計(jì)了一整套視覺(jué)識(shí)別與檢測(cè)方法。通過(guò)視覺(jué)引導(dǎo)機(jī)械手完成導(dǎo)線剝皮和視覺(jué)引導(dǎo)機(jī)械手完成引流線穿線及線夾緊固實(shí)驗(yàn)，驗(yàn)證了本文設(shè)計(jì)的單目視覺(jué)引導(dǎo)機(jī)械手智能化作業(yè)方法的有效性以及可靠性，也進(jìn)一步論證了智能化視覺(jué)系統(tǒng)在配電網(wǎng)帶電接火上的實(shí)用價(jià)值。