錢金菊， 潘子宇， 麥曉明， 宇文旋

(1.廣東電網(wǎng)有限責(zé)任公司 電力科學(xué)研究院 人工智能與機(jī)器人研究所，廣東 廣州 510000； 2.中山大學(xué) 數(shù)據(jù)科學(xué)與計算機(jī)學(xué)院，廣東 廣州 510006)

我國電網(wǎng)現(xiàn)行高壓電力線路結(jié)構(gòu)復(fù)雜、規(guī)模龐大，線路通道環(huán)境十分復(fù)雜，異物纏掛、線路下方存在樹木、違規(guī)施工、違章建筑等易導(dǎo)致線路安全距離不足而發(fā)生短路事故。事故一旦發(fā)生，后果嚴(yán)重，巨大的電流可能造成人員嚴(yán)重傷害，故障造成線路設(shè)備損壞、跳閘停運(yùn)、對電網(wǎng)運(yùn)行造成沖擊，同時，故障對城市區(qū)域供電造成影響，擾亂企業(yè)和居民的正常生產(chǎn)生活秩序，帶來重大經(jīng)濟(jì)損失[1-2]。針對不同的電力設(shè)備維護(hù)，遠(yuǎn)程控制機(jī)器人在電纜管道內(nèi)進(jìn)行設(shè)備檢查[3]，對電力運(yùn)輸線的溫度進(jìn)行實(shí)時監(jiān)控[4]，保障電力設(shè)備的安全運(yùn)行。

在智能電網(wǎng)的新時代，用于電力線測量的無人機(jī)技術(shù)越來越受到電力行業(yè)的關(guān)注[5-6]。目前，檢查受到人為因素的影響太多。在一些危險區(qū)域，無人機(jī)可以避免人工檢查造成的人員傷亡和錯誤。目前常用的方式是在電力工人巡線過程中，對線路段進(jìn)行人工目視判斷或全站儀量測，但線路安全距離不足的多發(fā)點(diǎn)通常在人跡難至之地，這種測量方式由于樹木、建筑等遮擋以及視覺透視偏差，難以對疑似超限點(diǎn)做出準(zhǔn)確有效的判斷，不能適應(yīng)現(xiàn)代化電網(wǎng)的發(fā)展和安全運(yùn)行需要，超、特高壓電網(wǎng)急需高效、先進(jìn)、科學(xué)的方式實(shí)現(xiàn)電力線路安全檢測。為了保證輸電網(wǎng)的安全運(yùn)行，迫切需要開發(fā)一種自動、靈活的電力線檢測方法。

有人直升機(jī)[7]及大型無人機(jī)[8-9]攜帶激光掃描系統(tǒng)電力線路通道巡檢技術(shù)[10]，已在我國電網(wǎng)巡檢中逐漸得到應(yīng)用。機(jī)載激光雷達(dá)測量系統(tǒng)可以很好地解決空間定位和測量精度等問題，可直接、快速地采集線路走廊高精度三維激光點(diǎn)云數(shù)據(jù)，進(jìn)而快速獲得高精度三維線路走廊的地形、地貌、地物和線路設(shè)施的空間信息[8]。隨著Light Detection And Ranging(LiDAR)點(diǎn)云數(shù)據(jù)處理技術(shù)的逐漸成熟，目前國內(nèi)大部分無人機(jī)電力巡線系統(tǒng)都配備有LiDAR系統(tǒng)[11]。隨著傳感器技術(shù)的進(jìn)步，激光掃描儀和定位定姿系統(tǒng)都在逐步小型化，LiDAR系統(tǒng)也隨之輕小型化，從而能被多旋翼無人機(jī)所搭載。但激光雷達(dá)只能獲取外部三維信息，無法提供更豐富的外界信息，如色彩信息。

本文提出了一種基于激光雷達(dá)與圖像數(shù)據(jù)融合的無人機(jī)三維場景重建檢測電力線下方地物安全距離的方法，編寫了用于數(shù)據(jù)同步的復(fù)雜可編程邏輯器件(Complex Programmable Logic Device,CPLD)。在GPS/IMU(Global Positioning System/Inertial Measurement Unit)與相機(jī)以及GPS/IMU與激光雷達(dá)配準(zhǔn)過程中，可以利用公式計算GPS/IMU、相機(jī)和激光雷達(dá)之間的剛性位置關(guān)系。將AprilTag[12]固定在長方形紙板上，可以從單個圖像或激光雷達(dá)數(shù)據(jù)中獲取特征的6自由度定位信息。從序列中隨機(jī)抽取1000對標(biāo)定數(shù)據(jù)進(jìn)行隨機(jī)樣本一致性采樣，擬合得到想要的標(biāo)定結(jié)果。將多模態(tài)神經(jīng)網(wǎng)絡(luò)(Multimodal Neural Networks,MNN)算法[13]引入到電力線分割中，它包含了一些改進(jìn)，可以通過其他方式(如深度圖像和單一顏色信息)，利用自己的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)進(jìn)行檢驗(yàn)。利用Voxel Hashing[14]進(jìn)行快速三維語義場景重建，再利用該場景數(shù)據(jù)實(shí)時擬合電力線弧垂方程，得到電力線的三維模型。最后采用鉛垂線方法對下方地物安全距離進(jìn)行實(shí)時檢測。實(shí)現(xiàn)了對電力線下方地物安全距離的實(shí)時檢測。

1 傳感器配準(zhǔn)

在多旋翼無人機(jī)上裝備了一個PointGrey Flea3彩色相機(jī)(15 Hz，分辨率為1328像素×1024像素)、RTK GPS/IMU定位定姿單元、16線Velodyne激光雷達(dá)、數(shù)據(jù)存儲芯片、4G通信模塊和同步控制器。把設(shè)備安裝在無人機(jī)的底部，相機(jī)與激光雷達(dá)的視場合理重疊是數(shù)據(jù)融合和分割的關(guān)鍵。

1.1 傳感器同步采集

在標(biāo)定激光雷達(dá)和相機(jī)的內(nèi)部參數(shù)，修正設(shè)備內(nèi)部因素引起的畸變等，使標(biāo)定后的相機(jī)符合針孔成像模型后，對GPS/IMU、相機(jī)以及雷達(dá)之間的相對位姿進(jìn)行配準(zhǔn)，為數(shù)據(jù)融合做準(zhǔn)備。

傳感器同步用于保證圖像、激光雷達(dá)和位置信息在時間維度上的對齊。如圖1所示，利用復(fù)雜CPLD實(shí)現(xiàn)多傳感器的同步。CPLD可以以高頻率、低延遲的方式并行同步采集數(shù)據(jù)。利用其特性，可以同時觸發(fā)多個傳感器，在存在GPS/DR信號的情況下，PPS將用于產(chǎn)生同步控制器的觸發(fā)信號。采集到的數(shù)據(jù)保存在存儲芯片上，通過4G模塊回傳。

圖1 同步系統(tǒng)設(shè)計

1.2 傳感器標(biāo)定

在機(jī)載測量系統(tǒng)中，GPS/IMU組合導(dǎo)航系統(tǒng)提供了平臺在世界大地測量坐標(biāo)系下的位置。利用AprilTag得到了AprilTag相對于傳感器的6自由度位姿。相機(jī)與激光雷達(dá)、GPS/IMU的相對關(guān)系如圖2所示。

圖2 傳感器標(biāo)定的位置關(guān)系

(1)

機(jī)載測量系統(tǒng)在平臺移動過程中，傳感器高頻率記錄測量數(shù)據(jù)，經(jīng)后處理得到平臺的位置和姿態(tài)信息。在慣導(dǎo)坐標(biāo)系下的任一掃描點(diǎn)可通過式(2)轉(zhuǎn)換到全局坐標(biāo)系：

(2)

(3)

假設(shè)機(jī)載測量對同一標(biāo)志物點(diǎn)P進(jìn)行了兩次測量，多次掃描的AprilTag定位為

(4)

(5)

x=[χ0,γ0,z0,θ0,φ0,ψ0]T

(6)

采用LM(Levenberg-Marquart)[15]非線性優(yōu)化算法解算6個標(biāo)定參數(shù)，該算法通過迭代獲得一組非線性方程的最小平方和：

(7)

(8)

2 電力線巡檢

2.1 融合數(shù)據(jù)語義分割

對于獲取的圖像與激光雷達(dá)數(shù)據(jù)，將多幀激光雷達(dá)數(shù)據(jù)投影到校正后的相機(jī)坐標(biāo)系中，生成深度圖像。然后將最先進(jìn)的語義分割方法MNN引入到電力走廊提取的解決方案中。新穎的多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)架構(gòu)實(shí)現(xiàn)了一種中層融合，允許網(wǎng)絡(luò)利用已經(jīng)在中等功能級別上的跨模態(tài)相互依賴。該體系結(jié)構(gòu)的優(yōu)點(diǎn)在RGB-D圖像理解任務(wù)中得到了體現(xiàn)。

Schneider等[13]提出的體系結(jié)構(gòu)包含了一些改進(jìn)，這些改進(jìn)可以利用除單一顏色信息之外的其他方式，如深度圖像等。網(wǎng)絡(luò)結(jié)構(gòu)主要由深度網(wǎng)絡(luò)、Network in Network(NiN)[16]與RGB網(wǎng)絡(luò)兩個部分組成。其中，深度網(wǎng)絡(luò)主要處理圖像信息的深度；NiN與RGB網(wǎng)絡(luò)是GoogLeNet[17]，對網(wǎng)絡(luò)中RGB圖像的輸入特征進(jìn)行特征提取，并將深度網(wǎng)絡(luò)的特征作為輸入。由于早期融合， RGB和深度輸入可以直接連接起來，從而產(chǎn)生一個新的第一卷積層。然后，將RGB網(wǎng)絡(luò)和深度分支網(wǎng)絡(luò)的得分連接到最后，再使用1×1 卷積層作為分類器。它被稱為后期融合。

對于深度分支，可使用NiN提取深度數(shù)據(jù)。NiN由多個模塊組成，每個模塊都進(jìn)一步由一個卷積層和多個1×1卷積核組成，卷積層的核大小大于捕獲空間信息的核大小。該模塊相當(dāng)于多層感知(MLP)，可以提高劃分模型的表達(dá)能力，并可以在分類層次上對特征圖進(jìn)行全局平均匯聚，這是有意義和可解釋的。對于RGB網(wǎng)絡(luò)，GoogLeNet由卷積層和最大池層組成，這些層可以快速降低空間分辨率。由此推導(dǎo)出獲取目標(biāo)對象的方法，如電力線和電力塔。

2.2 三維電力走廊場景重建

提取出RGBD圖像的語義特征后，通過校正將GPS/IMU定位單元的輸出投影到左側(cè)攝像機(jī)坐標(biāo)系中，重構(gòu)出三維語義場景。該方法名為Voxel Hashing[14]，它能夠有效重建場景，重建細(xì)粒度的細(xì)節(jié)和尺度的環(huán)境。

為了利用稀疏性，Voxel Hashing只圍繞重建的表面幾何形狀分配體素塊。一個高效的Graphics Processing Unit(GPU)加速散列表用于管理體素塊的分配和檢索。體素塊可以使用世界坐標(biāo)(x,y,z)從散列表中進(jìn)行檢索。通過簡單的乘法和四舍五入來求世界空間中三維點(diǎn)的坐標(biāo)。散列表可以用來進(jìn)一步重建和過濾歧義。在實(shí)現(xiàn)中，體素存儲了標(biāo)志字段、顏色、語義信息和權(quán)重。

在重建的過程中，將檢查前后幀在圖像序列中的一致性，并針對語義模糊的體素塊進(jìn)行優(yōu)化。在插入和檢索過程中，散列塊的語義信息和權(quán)重將被更新。如果不同的圖像對相同的體素有不明確的分割，權(quán)重將會被減弱。在完成整個序列的重構(gòu)之后，將更新散列表，并刪除存在語義信息模糊的塊。

2.3 電力線提取及建模

根據(jù)分類得到的電力線激光點(diǎn)云，手動選擇屬于同一直線上的多個點(diǎn)，在獲取同一條電力線多個節(jié)點(diǎn)(3個點(diǎn)以上)的三維絕對坐標(biāo)(lng,lat,h)后，通過弧垂方程擬合得到電力線三維模型。

電力線上任意一點(diǎn)的弧垂是指該點(diǎn)距兩懸點(diǎn)連線的垂直距離。基于電力線多個節(jié)點(diǎn)的三維絕對坐標(biāo)，根據(jù)架空線弧垂公式[18]進(jìn)行電力線擬合。

等高懸點(diǎn)電力線任意一點(diǎn)的弧垂的計算公式為

(9)

不等高懸點(diǎn)電力線任意一點(diǎn)弧垂f計算公式為

(10)

式中，σ0為電力線最低點(diǎn)應(yīng)力，單位為kg/mm2；g為電線比載，單位為kg/(m·mm2)；l為檔距，單位為m；φ為懸點(diǎn)高差角，單位為(°)。

獲得電力線弧垂矢量模型后，同時考慮地球重力場，使用鉛垂線方法，自動計算電力線在鉛垂線上與電力線下方地物密集三維點(diǎn)云的距離?；诰嚯x計算結(jié)果，自定義不同的閾值以統(tǒng)計和顯示不同閾值下的結(jié)果，從而達(dá)到自動進(jìn)行電力線與下方地物安全距離檢測目的。

其中，使用鉛垂線方法的計算公式為

Δh(lng,lat)=hline(lng,lat)-hbottom(lng,lat)

(11)

式中，Δh(lng,lat)為電力線在(lng,lat)點(diǎn)處與地物之間的垂直距離；(lng,lat)為導(dǎo)線上任意點(diǎn)的經(jīng)緯度坐標(biāo)；hline(lng,lat)為點(diǎn)(lng,lat)處電力線的高度；hbottom(lng,lat)為地物點(diǎn)云在以(lng,lat)為中心的圓形區(qū)域中最高點(diǎn)的高度。

3 巡檢實(shí)驗(yàn)

通過設(shè)計無人機(jī)檢測試驗(yàn)平臺，并進(jìn)行大量的線路檢測試驗(yàn)，以驗(yàn)證本文檢測方案的合理性。測試場地為東莞市供電局管轄線路中一段11 kV線路，如圖3所示?？倻y試時間為60 min，分兩架次，每次約18 min。兩架次分別命名為T1-T2檔號段和T3-T4檔號段。

圖3 測試場地為東莞供電局管轄線路中一段11 kV線路

根據(jù)測試區(qū)域，無人機(jī)是按照路線行駛，多個傳感器同時采集數(shù)據(jù)。收集到的數(shù)據(jù)一方面存儲在本地磁盤上，另一方面通過4G網(wǎng)絡(luò)發(fā)送回處理中心。

為了完成特定的語義分割任務(wù)，制作了一個由機(jī)載測量系統(tǒng)捕獲的數(shù)據(jù)集，分辨率為1328像素×1048像素。數(shù)據(jù)集分為兩個部分，分別包含2817張訓(xùn)練圖像和200張測試圖像，所有的圖像都包含人工標(biāo)注的真值，使用LabelMe[19]進(jìn)行標(biāo)記。

語義場景重構(gòu)示例如圖4所示，用不同顏色表達(dá)不同的語義分類。圖5為激光雷達(dá)與相機(jī)數(shù)據(jù)融合的重建鳥瞰圖，圖5(a)為測試路段通過激光雷達(dá)重建的地形模型，將相機(jī)得到的色彩信息融合后得到圖5(b)。圖6為安全距離的分析曲線，紅色虛線是報警距離。圖6(a)和圖6(b)分別為兩個檔號段的距離分布曲線。從圖6(b)可以看出，在T3-T4檔號中存在著超限異常，達(dá)到報警容限的數(shù)據(jù)被記錄在表1中，Δh全站儀是利用全站儀測量對異常點(diǎn)進(jìn)行檢測后得到的距離數(shù)據(jù)，當(dāng)安全距離設(shè)置為5 m時，本方法與全站儀量測出的數(shù)據(jù)基本一致，且可以得出全序列密集曲線分布，可滿足導(dǎo)線安全距離檢測的要求。

圖4 語義場景重建

圖5 激光雷達(dá)與相機(jī)數(shù)據(jù)融合重建圖

圖6 測試場地安全距離分布

表1 T3-T4檔號段巡檢異常數(shù)據(jù)

4 結(jié)束語

提出了一種基于激光雷達(dá)與圖像融合的無人機(jī)輸電線路異常檢測方法。設(shè)計了一種基于CPLD的低成本、低功耗同步采集板，并利用AprilTag實(shí)現(xiàn)了GPS/IMU和傳感器的快速標(biāo)定。提出了一種基于多傳感器融合的電力線異常檢測方法，包括語義分割、場景重建和距離測量。得到電力線的三維模型，采用鉛垂線方法對下方地物安全距離進(jìn)行實(shí)時檢測。用實(shí)驗(yàn)驗(yàn)證了方法的有效性。該檢測解決方案可以充分利用多傳感器不同特性實(shí)現(xiàn)對電力線的高效檢測，促進(jìn)無人機(jī)在線路巡檢中的推廣應(yīng)用。