馬心全，鐘羽中，佃松宜

(四川大學(xué)電氣工程學(xué)院，四川成都 610065)

0 引言

GIS設(shè)備是高壓輸電線路必不可少的部件，其內(nèi)部的異物在高壓狀態(tài)下會(huì)產(chǎn)生放電燒蝕現(xiàn)象，進(jìn)而導(dǎo)致設(shè)備停擺，出現(xiàn)大面積停電事故，因此，開展GIS設(shè)備異物清理及檢修工作具有十分重要的意義[1]。作為無接觸檢測和測量的技術(shù)手段，雙目視覺已被廣泛應(yīng)用到目標(biāo)檢測[2-3]和定位[4]任務(wù)中。

常規(guī)GIS異物檢測定位采用局部放電的形式，如超聲波局放[5]、X射線數(shù)字成像[6]、圖像處理[7]等。該類方法比較依賴高端外部設(shè)備，且未從量化的角度給出異物的具體位置，不具備機(jī)械臂定點(diǎn)清理功能。

GIS內(nèi)存在空洞、支撐絕緣子等凹陷、突出的結(jié)構(gòu)，其內(nèi)部紋理整體偏弱，并存在一些白亮的寬條斑、細(xì)劃痕狀條紋以及小斑點(diǎn)等干擾情況，傳統(tǒng)的圖像處理算法在異物的識(shí)別上魯棒性較差；傳統(tǒng)的雙目立體算法雖然速度較快，但由于匹配特征簡單，在GIS這種弱紋理、高反光的環(huán)境下無法實(shí)現(xiàn)特征的精確匹配，不能很好地完成定位任務(wù)。

近年來，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)在目標(biāo)檢測分割[8]、定位[9]中發(fā)揮了極大的作用，展現(xiàn)出較強(qiáng)的特征提取能力。

融合傳統(tǒng)立體匹配算法的快速性和CNN特征的豐富性，采用U-Net網(wǎng)絡(luò)，本文提出了基于雙目視覺的GIS異物分割定位方法。通過共用1個(gè)U-Net分割模型，同時(shí)完成分割和立體匹配2個(gè)任務(wù)。完成了1個(gè)模型，2個(gè)算法任務(wù)的應(yīng)用創(chuàng)新。

1 GIS異物分割及定位系統(tǒng)硬件整體設(shè)計(jì)

系統(tǒng)主要包括機(jī)器人視覺采集平臺(tái)和上位機(jī)顯示平臺(tái)2部分。機(jī)器人視覺平臺(tái)負(fù)責(zé)采集、傳輸視頻圖像及接收異物坐標(biāo)數(shù)據(jù)，執(zhí)行抓取任務(wù)；上位機(jī)平臺(tái)負(fù)責(zé)接收、處理(識(shí)別和定位)、顯示圖像，并將圖像處理的異物坐標(biāo)回傳給機(jī)器人。兩者通過無線局域網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)通信，如圖1所示。

圖1 系統(tǒng)通信方式

雙目視覺系統(tǒng)由2個(gè)單目相機(jī)組成，相機(jī)型號(hào)為索尼HBV-HPLCC，800萬像素。首先完成雙目標(biāo)定，雙目相機(jī)將采集的圖像通過無線網(wǎng)絡(luò)傳輸?shù)缴衔粰C(jī)圖像處理平臺(tái)，上位機(jī)接收?qǐng)D像后，采用U-Net網(wǎng)絡(luò)完成異物的分割，并將處理的結(jié)果以圖像的形式顯示出來，同時(shí)將異物的坐標(biāo)回傳到機(jī)器人；機(jī)器人在收到異物坐標(biāo)后，由電機(jī)驅(qū)動(dòng)柔性臂完成異物抓取。實(shí)驗(yàn)設(shè)備和系統(tǒng)結(jié)構(gòu)流程如圖2和圖3所示。

圖2 實(shí)驗(yàn)設(shè)備

圖3 系統(tǒng)結(jié)構(gòu)流程圖

2 雙目標(biāo)定和雙目定位原理

系統(tǒng)依據(jù)雙目平行視覺[10-11]原理，首先對(duì)雙目圖像進(jìn)行校正，使之滿足雙目立體匹配算法對(duì)圖像的要求，而后根據(jù)雙目定位原理，解算出異物的三維坐標(biāo)，完成異物定位任務(wù)。

2.1 雙目標(biāo)定

受生產(chǎn)和安裝精度的影響，實(shí)際相機(jī)的成像存在畸變和位置傾斜問題，通過雙目標(biāo)定，可以求解單個(gè)相機(jī)成像模型的畸變參數(shù)，同時(shí)求解左右相機(jī)位置之間的旋轉(zhuǎn)矩陣和平移矩陣參數(shù)。根據(jù)相機(jī)針孔成像模型，采集20組不同方位拍攝的雙目圖像對(duì)，采用張正友教授提出的棋盤格標(biāo)定法[12]在Matlab軟件中完成雙目圖像標(biāo)定任務(wù)。標(biāo)定后結(jié)果如圖4所示。

(a)標(biāo)定前

標(biāo)定后，雙目左右圖像同名點(diǎn)在圖像中處于同一水平線上，滿足極線約束條件。雙目標(biāo)定誤差結(jié)果如圖5所示。其中，標(biāo)定反投影平均誤差約0.10像素，最大誤差約0.11像素，低于雙目標(biāo)定反投影誤差數(shù)據(jù)0.3像素，說明本次標(biāo)定精度較高，滿足應(yīng)用要求。圖6為雙目相機(jī)與標(biāo)定圖像對(duì)之間的相對(duì)位置關(guān)系。

圖5 雙目標(biāo)定誤差

圖6 標(biāo)定圖像與相機(jī)之間的相對(duì)位置關(guān)系

2.2 雙目定位原理

雙目定位是基于左右圖像中同名點(diǎn)的視差實(shí)現(xiàn)的。在標(biāo)定后的雙目圖像中，采用立體匹配算法，依據(jù)同一目標(biāo)點(diǎn)在左右圖像中的視差值，結(jié)合平面三角形相似原理，可以解算出目標(biāo)點(diǎn)相對(duì)于左相機(jī)的三維空間坐標(biāo)，雙目立體視覺幾何模型如圖7所示。

圖7 雙目立體視覺幾何模型

目標(biāo)點(diǎn)空間坐標(biāo)為P(X，Y，Z)，根據(jù)立體匹配結(jié)果得到目標(biāo)點(diǎn)在左、右雙目圖像中的像素坐標(biāo)分別為P1(ul,vl)和Pr(ur,vr)，其對(duì)應(yīng)圖像坐標(biāo)系下的物理坐標(biāo)分別為Pl(xl,yl)和Pr(xr,yr)，則視差d=|xl-xr|。圖中f為相機(jī)物理焦距，b為左右相機(jī)基線距離，即左右相機(jī)光心之間的距離，dx和dy為每個(gè)像素點(diǎn)在相機(jī)CCD成像器件水平和豎直(分別用u、v表示)方向上的物理尺寸參數(shù)，ul、ur為Pl(X,Y,Z)、Pr(X,Y,Z)在雙目圖像中的以像素為單位的列坐標(biāo)表示,u0、v0為左右相機(jī)光心Ol、Or的坐標(biāo)表示。依據(jù)圖7，根據(jù)三角形相似測量原理有：

(1)

獲得目標(biāo)點(diǎn)深度值后，可通過攝像頭坐標(biāo)系和圖像坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換關(guān)系求得目標(biāo)點(diǎn)的X值和Y值，也即得到了目標(biāo)點(diǎn)的三維空間坐標(biāo)，結(jié)果如式(2)和式(3)所示。

(2)

(3)

3 基于雙目視覺的GIS異物分割與定位系統(tǒng)

本文雙目圖像GIS異物分割與定位系統(tǒng)采用1個(gè)分割模型，可同時(shí)解決異物分割識(shí)別和立體匹配2個(gè)支路的任務(wù)，最終實(shí)現(xiàn)異物的定位，其具體流程如圖8所示。

圖8 系統(tǒng)算法整體示意圖

通過訓(xùn)練獲取異物分割模型，并以模型為干路支點(diǎn)，拓展延伸出異物分割和立體匹配2個(gè)支路的任務(wù)：

(1)左圖像采用U-Net分割網(wǎng)絡(luò)模型進(jìn)行異物預(yù)測，獲取異物分割區(qū)域及其質(zhì)心坐標(biāo)。

(2)左、右圖像均采用分割模型獲取卷積特征圖，構(gòu)建卷積特征描述子，采用本文所提算法，完成立體匹配，獲取左圖像視差圖。

(3)結(jié)合左圖像異物的質(zhì)心坐標(biāo)和視差圖，通過雙目定位原理，解算出異物的三維坐標(biāo)，完成GIS異物的分割識(shí)別與定位任務(wù)。

3.1 異物分割U-Net網(wǎng)絡(luò)簡介

U-Net是基于全卷積的目標(biāo)分割神經(jīng)網(wǎng)絡(luò)，主要包括左側(cè)的編碼網(wǎng)絡(luò)(Encoder)和右側(cè)的解碼網(wǎng)絡(luò)(Decoder)及跳步連接(Skip)結(jié)構(gòu)，也稱為Encoder-Decoder結(jié)構(gòu)。圖8(a)為其網(wǎng)絡(luò)結(jié)構(gòu)簡圖(黑色虛線上方)。

U-Net網(wǎng)絡(luò)的左側(cè)Encoder部分，主要負(fù)責(zé)特征提取，主要由5個(gè)卷積模塊通過不斷下采樣組成。每個(gè)卷積模塊的卷積通道數(shù)c和數(shù)量n設(shè)置為[(64,2),(128,2),(256,2),(512,2),(1 024,2)]。2個(gè)卷積層用于提取圖像特征信息，其后緊跟一個(gè)Softmax非線性擬合函數(shù)，最后緊接一個(gè)下采樣層縮小圖像尺寸，完成網(wǎng)絡(luò)由淺層向深層的特征提取。

Decoder網(wǎng)絡(luò)部分和Encoder網(wǎng)絡(luò)部分關(guān)于直線對(duì)稱，區(qū)別之處在于Decoder網(wǎng)絡(luò)由于要恢復(fù)圖像尺寸，將下采樣層替換為上采樣層，網(wǎng)絡(luò)的最后一層通過Softmax逐像素輸出分割概率值，完成分割結(jié)果的輸出。

跳步連接是U-Net網(wǎng)絡(luò)的創(chuàng)新，將左側(cè)Encoder網(wǎng)絡(luò)的部分卷積層拼接到右側(cè)Decoder網(wǎng)絡(luò)中，而后再融合到Decoder網(wǎng)絡(luò)中的辦法，實(shí)現(xiàn)了多尺度語義信息的利用，提高了模型整體的分割性能。

3.2 基于Feature Map的卷積特征描述子立體匹配算法

局部立體匹配算法通常采用灰度值、色彩、梯度等手動(dòng)設(shè)計(jì)的特征作為常用的匹配特征。由于特征信息單一，匹配計(jì)算簡單，該類算法視差圖效果較差，但運(yùn)算速度很快。相反，CNN具有較強(qiáng)的圖像特征表達(dá)能力，其卷積特征比較適合用于進(jìn)行立體匹配。

結(jié)合局部立體匹配算法的快速性和深度學(xué)習(xí)立體匹配卷積特征信息的豐富性，本文提出一種基于Feature Map的卷積特征描述子立體匹配方法。通過分割網(wǎng)絡(luò)模型獲取雙目圖像的特征圖，進(jìn)而構(gòu)建卷積特征描述子，完成立體匹配，獲取視差。其計(jì)算流程如圖9所示。

圖9 卷積特征描述子立體匹配流程

U-Net網(wǎng)絡(luò)初始卷積層的維度為64，將同一像素的64維卷積特征圖對(duì)應(yīng)位置的卷積結(jié)果按照順序排列成一個(gè)向量，就得到了該像素點(diǎn)的64維卷積特征描述子。卷積特征描述子的形成如圖10所示。

圖10 卷積特征描述子的形成

得到卷積特征描述子以后，采用局部立體匹配算法的相似性度量函數(shù)，就可以實(shí)現(xiàn)雙目圖像的立體匹配，進(jìn)而獲取視差值。卷積特征描述子的立體匹配過程如圖11所示。

圖11 卷積特征描述子的匹配過程

得到圖像的卷積特征描述子后，通過局部立體匹配算法SAD(sum of absolute difference)計(jì)算代價(jià)值，Il(u,v)、Ir(u,v)為左右圖像中的像素，則其代價(jià)計(jì)算如式(4)所示，并采用WTA[13](winner takes all)策略篩選最佳匹配點(diǎn)，最后通過視差后處理完成視差結(jié)果的優(yōu)化。

SAD(u,v)=Sum{|Il(u,v)-Ir(u,v)|}

(4)

4 實(shí)驗(yàn)結(jié)果與分析

遙控機(jī)器人在GIS內(nèi)巡檢，采集800張圖像，利用Labelme標(biāo)注工具制作異物分割標(biāo)簽，并隨機(jī)選擇其中600張作為訓(xùn)練集，100張作為驗(yàn)證集，100張作為測試集。采用隨機(jī)反轉(zhuǎn)、旋轉(zhuǎn)、裁剪、亮度和飽和度隨機(jī)調(diào)整等數(shù)據(jù)增強(qiáng)方法對(duì)圖像數(shù)據(jù)集進(jìn)行擴(kuò)充。

實(shí)驗(yàn)環(huán)境為Windows10系統(tǒng)，Intel(R)Core(TM)i7-8700k CPU @ 3.70 Hz處理器，GPU為NVIDIA GeForce GTX 1080Ti，顯存為8 GB；軟件訓(xùn)練環(huán)境為Python3.6、Tensorflow1.14、Keras2.2.4。

4.1 GIS異物分割結(jié)果

對(duì)GIS中典型的3種異物(螺釘、扎帶、螺母)進(jìn)行分割測試，分割結(jié)果如圖12所示。

圖12 異物分割結(jié)果

由圖12的分割結(jié)果可知，U-Net可以完成多種類型異物的分割，且分割效果良好，滿足GIS異物識(shí)別的任務(wù)要求。

4.2 立體匹配實(shí)驗(yàn)結(jié)果與分析

為適應(yīng)采集視頻的圖像尺寸，將U-Net網(wǎng)絡(luò)輸入尺寸修改為352像素×640像素。在KITTI立體視覺公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證所提算法的有效性。首先，訓(xùn)練KITTI數(shù)據(jù)集分割網(wǎng)絡(luò)模型，而后，構(gòu)建卷積特征描述子進(jìn)行立體匹配，獲取視差圖。采用Good0.0、Good1.0、Good2.0、AvgGood評(píng)價(jià)指標(biāo)對(duì)視差結(jié)果進(jìn)行比較。其中：Good0.0代表視差值完全相同的準(zhǔn)確率，Good1.0代表誤差在1像素內(nèi)的準(zhǔn)確率，Good2.0代表誤差在2像素內(nèi)的準(zhǔn)確率，AvgGood代表前3項(xiàng)的平均值。

采用傳統(tǒng)局部立體匹配算法BM和全局立體匹配算法SGM進(jìn)行對(duì)比試驗(yàn)，實(shí)驗(yàn)結(jié)果如圖13、表1、圖14、表2所示。

圖13 KITTI編號(hào)000000_10的視差圖

表1 000000_10視差圖的準(zhǔn)確率 %

圖14 KITTI編號(hào)000167_10的視差圖

表2 000167_10視差圖的準(zhǔn)確率 %

從圖13(d)和圖14(d)的視差結(jié)果可以看到，局部立體匹配BM算法視差圖存在明顯的黑色誤匹配區(qū)域，效果較差。從圖13(f)和圖14(f)可知，本文算法具有較高的視差匹配度，視差圖結(jié)果比較稠密且連續(xù)性更好。SGBM視差圖結(jié)果較本文算法稠密，但匹配準(zhǔn)確率卻低于本文算法，原因在于SGBM算法視差圖過于平滑，其視差值在區(qū)域范圍內(nèi)基本相同，缺乏視差連續(xù)性，導(dǎo)致與真值存在誤差。從表1和表2的準(zhǔn)確率數(shù)據(jù)可以發(fā)現(xiàn)，基于卷積特征描述子的本文算法在評(píng)價(jià)指標(biāo)上均高于BM和SGBM算法，具有較高的視差匹配準(zhǔn)確度。

由此，可以得出結(jié)論，本文提出的基于卷積特征描述子的立體匹配算法比傳統(tǒng)的局部立體匹配算法可以更好地表達(dá)圖像特征，得到稠密的、連續(xù)性更好的視差圖。

4.3 系統(tǒng)整體實(shí)驗(yàn)結(jié)果及分析

通過GIS智能車采集標(biāo)定后的多組雙目圖像，并記錄圖像中異物在相機(jī)坐標(biāo)系下的距離值。使用本文算法獲取異物的質(zhì)心坐標(biāo)和視差圖，解算出左相機(jī)坐標(biāo)系下的三維坐標(biāo)，并與記錄的距離值進(jìn)行對(duì)比。結(jié)果如圖15所示。

圖15 GIS異物定位結(jié)果圖

在GIS中采集圖像進(jìn)行應(yīng)用實(shí)驗(yàn)，驗(yàn)證立體匹配定位的精度，結(jié)果見表3。其中GIS機(jī)器人柔性臂長度為40 cm，測試間隔為5 cm，共計(jì)8個(gè)批次。在柔性臂最大伸展處定位誤差達(dá)到最大值2.42 mm，滿足柔性臂抓取的定位精度要求。

表3 GIS異物定位坐標(biāo)及誤差 mm

除精度之外，運(yùn)行速度也是系統(tǒng)應(yīng)用的重要考慮因素。在本文實(shí)驗(yàn)環(huán)境下，系統(tǒng)運(yùn)行滿足任務(wù)的實(shí)時(shí)應(yīng)用要求。實(shí)時(shí)性分析數(shù)據(jù)見表4。

表4 系統(tǒng)定位性能分析 ms

5 結(jié)束語

針對(duì)GIS環(huán)境異物需要定位清理的任務(wù)，本文采用U-Net目標(biāo)分割神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了異物的分割識(shí)別；通過共享分割模型，本文提出了基于Feature Map的卷積特征描述子立體匹配方法，較好地解決了局部立體匹配特征簡單而導(dǎo)致的視差誤匹配問題。系統(tǒng)整體應(yīng)用實(shí)驗(yàn)結(jié)果表明：本文提出的基于雙目視覺的異物分割和定位系統(tǒng)可以有效完成GIS環(huán)境異物分割和定位的任務(wù)，具有較好的魯棒性和實(shí)時(shí)性，且完成了1個(gè)模型、2個(gè)算法任務(wù)的系統(tǒng)應(yīng)用創(chuàng)新，具有一定的參考意義。