王干軍,江玉歡,丁宗寶,溫佳靜
(1. 廣東電網(wǎng)有限責(zé)任公司中山供電局,廣東 中山 528400;2. 武漢大學(xué)電氣與自動(dòng)化學(xué)院,湖北 武漢 430072)
隨著無人機(jī)技術(shù)的成熟,無人機(jī)在電力系統(tǒng)中得到了廣泛的應(yīng)用。在輸電線路、配電線路的機(jī)巡中,應(yīng)用圖像識(shí)別技術(shù)以及紅外檢測(cè)技術(shù),基于圖像識(shí)別技術(shù)對(duì)缺陷進(jìn)行預(yù)判已經(jīng)較為成熟,逐步進(jìn)入實(shí)用階段[1]。
由于無人機(jī)續(xù)航能力有限,采用單臺(tái)無人機(jī)開展巡檢工作效率顯然很低,現(xiàn)有電力巡檢要求也開始要求無人機(jī)搭載多種載荷開展巡檢[2,3]。顯然,采用多無人機(jī)開展協(xié)同巡檢,是提高機(jī)巡效率的有效手段。
與輸電線路、配電線路機(jī)巡相比,在變電站中開展機(jī)巡由于空間有限,帶電高壓設(shè)備密集,對(duì)飛行和避障的精度要求顯然更高。通常采用的避障手段是通過雙目識(shí)別或者毫米波雷達(dá)進(jìn)行避障[4-5]。文獻(xiàn)[6]提出了一種基于迭代重組(iterative recombination,IRIS)和人工勢(shì)場(chǎng)(artifical potential field,APF)相結(jié)合的避障方案。文獻(xiàn)[7]對(duì)農(nóng)田環(huán)境中的障礙物進(jìn)行了分類,并提出了作業(yè)視場(chǎng)的避障分區(qū)及各區(qū)避障策略。文獻(xiàn)[8]采用自下而上的建模方法,對(duì)單個(gè)個(gè)體建立變系數(shù)控制器,包括一致性運(yùn)動(dòng)模塊和避障模塊,提出自組織避障的控制策略,實(shí)現(xiàn)了集群自組織避障。
在變電站中開展機(jī)巡工作空間有限,選擇小型無人機(jī)顯然更加合適,因此無人機(jī)的載荷也相對(duì)而言有限。為了避障,單一無人機(jī)搭載多種檢測(cè)裝置顯然不現(xiàn)實(shí),而變電站內(nèi)有大量的監(jiān)控終端數(shù)據(jù),或者是多臺(tái)無人機(jī)協(xié)同飛行的數(shù)據(jù)可以參考。
邊緣計(jì)算適用于具有海量數(shù)據(jù)特征的業(yè)務(wù)動(dòng)態(tài)管理、邊緣化安全隱私防護(hù)等技術(shù)需求[9],其中下行數(shù)據(jù)表示云服務(wù),上行數(shù)據(jù)表示萬物互聯(lián)服務(wù)。有數(shù)據(jù)表明,物聯(lián)網(wǎng)產(chǎn)生數(shù)據(jù)的45%都將在網(wǎng)絡(luò)邊緣處理[10]。文獻(xiàn)[11]提出了提出基于邊緣計(jì)算的主動(dòng)配電網(wǎng)的PTN物理架構(gòu)模型,構(gòu)建了基于邊緣計(jì)算的分層自治協(xié)同的主動(dòng)配電網(wǎng)信息物理系統(tǒng)(CPS)管控模型。
與現(xiàn)有方法相比,本文將多臺(tái)巡檢無人機(jī)以及變電站攝像頭的數(shù)據(jù)整合,并提出一種基于邊緣計(jì)算框架的分析方法,在匹配特征點(diǎn)以及線段后,可以全面分析障礙物的外形以及動(dòng)態(tài)特征,從而可以提前為無人機(jī)避障提供精準(zhǔn)的分析及計(jì)算依據(jù)。
邊緣計(jì)算中涉及三類設(shè)備:邊緣終端,邊緣服務(wù)器以及中心節(jié)點(diǎn)。在變電站中,涉及到機(jī)巡的邊緣終端包括監(jiān)控?cái)z像頭,紅外攝像頭以及無人機(jī)等多種終端;邊緣服務(wù)器主要是架設(shè)在變電站,用于數(shù)據(jù)分析的服務(wù)器;中心節(jié)點(diǎn)則隸屬于區(qū)域中心,例如集控站中的計(jì)算及分析平臺(tái),通?;谠朴?jì)算技術(shù)實(shí)現(xiàn)。
與民用邊緣計(jì)算的應(yīng)用有差異的是,變電站中應(yīng)用邊緣計(jì)算時(shí),邊緣終端的數(shù)量要少,但計(jì)算分析的數(shù)據(jù)量大,實(shí)時(shí)性要求也高。電力系統(tǒng)當(dāng)中的機(jī)巡目前已經(jīng)開始嘗試無人機(jī)的自主飛行。
圖1 變電站機(jī)巡避障邊緣計(jì)算架構(gòu)
采用邊緣計(jì)算通常需要將數(shù)據(jù)通過互聯(lián)網(wǎng)與云平臺(tái)進(jìn)行交互,本應(yīng)用中飛行的基礎(chǔ)三維數(shù)據(jù)相對(duì)固定,而在變電站固定環(huán)境中避障,需要提高計(jì)算效率,因此,不需要與云平臺(tái)互動(dòng)。由此,采用邊緣計(jì)算對(duì)臨時(shí)出現(xiàn)的障礙物進(jìn)行辨識(shí)、避障的架構(gòu)如圖1。
變電站無人機(jī)在巡檢過程中,既要通過可見光、紅外等設(shè)備檢測(cè)設(shè)備的缺陷,也要采集邊緣終端上相應(yīng)的設(shè)備數(shù)據(jù)供缺陷以及故障的診斷。
由于變電站中設(shè)備較為密集,采用毫米波雷達(dá)信號(hào)進(jìn)行避障難度較大,在目前可見光設(shè)備分辨率較高的情況下運(yùn)用該技術(shù)較為合適。當(dāng)前變電站中監(jiān)控的覆蓋率相當(dāng)高,充分利用現(xiàn)有的攝像頭的邊緣終端數(shù)據(jù),基于無人機(jī)機(jī)巡任務(wù),對(duì)障礙以及障礙的性質(zhì)進(jìn)行判斷,從而做出合理的規(guī)避判斷決策。
對(duì)變電站障礙進(jìn)行分析,首先需要對(duì)變電站中的障礙性質(zhì)進(jìn)行判定并進(jìn)行相應(yīng)處理:
1)靜態(tài)障礙:在變電站中永久增加的障礙,如設(shè)備機(jī)柜、端子箱等;包括臨時(shí)增加的施工設(shè)備、現(xiàn)場(chǎng)改換位置的設(shè)備或者是檢修裝備。
這樣一些靜態(tài)障礙在檢測(cè)到后,無人機(jī)通過避障算法修改巡檢路徑,在安全區(qū)域內(nèi)通過。障礙在系統(tǒng)中記錄,如果是永久增加的靜態(tài)障礙,多次巡檢中均可以發(fā)現(xiàn),此時(shí)應(yīng)在后臺(tái)三維模型中對(duì)數(shù)據(jù)進(jìn)行人工確認(rèn)與更新,對(duì)巡檢線路也進(jìn)行相應(yīng)的更新;對(duì)臨時(shí)出現(xiàn)的靜態(tài)障礙,障礙消除后恢復(fù)原始飛行線路,自動(dòng)更改飛行線路后也需要后臺(tái)確認(rèn)。
2)動(dòng)態(tài)障礙:在變電站中移動(dòng)的人或者是檢修車輛、裝備等;在變電站中協(xié)同當(dāng)前無人機(jī)開展巡檢的自動(dòng)化裝備,如其他的無人機(jī)或者機(jī)器人等。
對(duì)于隨機(jī)運(yùn)動(dòng)的人或者設(shè)備、裝備,需要充分預(yù)留相應(yīng)的空間、選擇避障線路或者返航;對(duì)于協(xié)同飛行的設(shè)備或裝備,由于飛行或者運(yùn)行線路都提前經(jīng)過設(shè)計(jì),因此,不需要避障,除非檢測(cè)到設(shè)備運(yùn)行偏離了預(yù)設(shè)的軌跡和路徑。
由此,整個(gè)算法的流程圖如圖2所示。
圖2 機(jī)巡協(xié)同避障算法流程
障礙定時(shí)檢測(cè)可以根據(jù)需要設(shè)置,日常應(yīng)用中可以設(shè)定為30秒。在邊緣計(jì)算的機(jī)巡協(xié)同避障中,障礙物的識(shí)別、分類以及規(guī)避航線的設(shè)計(jì)是本文討論的重點(diǎn)。
單一運(yùn)用BIM信息和毫米波雷達(dá)導(dǎo)航誤差較大,而變電站中設(shè)備密集,毫米波雷達(dá)的應(yīng)用受到一定限制。有研究提出以偽距、偽距率差分信息,慣導(dǎo)航向與磁航向的差值信息,以及慣導(dǎo)高度與氣壓高度的差值信息作為觀測(cè)量,采用多源數(shù)據(jù)融合的方式提高導(dǎo)航精度[12]。
3.2.1 障礙物識(shí)別特征
現(xiàn)有變電站中有大量的監(jiān)控探頭,也有大量的歷史監(jiān)控圖像供比對(duì)。由此,為減少邊緣計(jì)算的計(jì)算量,障礙物特征識(shí)別采用以下步驟分析計(jì)算。
1)對(duì)攝像頭的彩色圖像采用差異圖識(shí)別方法,對(duì)無人機(jī)飛行航線上的圖像進(jìn)行預(yù)處理?,F(xiàn)有圖像分析方法可以基于單幀圖像局部差異特征開展分析[13]。顯然,在絕大多數(shù)情況下,變電站中的障礙物具有一定的體積,通過簡(jiǎn)單對(duì)比即可初步判定。在本應(yīng)用中,為提高分析效率,不需要對(duì)圖像進(jìn)行復(fù)雜的圖像邊緣特征分析[14],如圖3只需要在無人機(jī)飛行航線及鄰近區(qū)域上初步判斷是否存在障礙物即可,采用改進(jìn)后的最為簡(jiǎn)單的比值法進(jìn)行判定。
圖3 航線障礙物比值判定法
圖像首先經(jīng)過預(yù)處理,包括幾何配準(zhǔn)、幾何校正以及圖像去噪,并劃分為9塊。對(duì)于攝像頭采集到的兩幅單幀圖像,進(jìn)行圖3的劃分,其中M×N為航線的飛行包線及鄰近區(qū)域。
由此,對(duì)于圖3中每一塊的航線障礙物比值可以按照式(1)計(jì)算
(1)
其中,H,L分別為圖塊的像素長(zhǎng)和寬,i,j分別為像素點(diǎn)在分塊中的坐標(biāo),l為圖塊的序號(hào)。A1和A2分別為作為對(duì)比標(biāo)準(zhǔn)圖片與飛行前航線上對(duì)應(yīng)拍到的圖片。
則判定航線上沒有障礙物的公式為
?Min(Gdiff(l))〈TGl∈{1,2,3,…,9}且l≠5
(2)
其中,TG為圖塊判定差異過大的閾值,一般定為10%。如果超過閾值,則可以認(rèn)定整個(gè)圖片覆蓋區(qū)域都被障礙物所阻礙。
TR為判斷航線圖塊5中是否存在障礙的閾值,一般設(shè)定為5%。通過該公式,可以用比較粗略的辦法處理圖像噪聲。顯然,在一張照片上,噪聲數(shù)據(jù)相對(duì)比較一致,采用本方法,可以粗略判斷給定區(qū)域是否存在障礙物。
2)無人機(jī)對(duì)障礙物的精確識(shí)別采用雙目識(shí)別算法[15],選擇圖塊5中Gdiff(l)中前10%的像素點(diǎn)開展分析,顯然最有可能優(yōu)先發(fā)現(xiàn)障礙物。該方法可以有效判定障礙點(diǎn)的景深。雙目識(shí)別采用圖4所示的識(shí)別方法,其中Lb是左右相機(jī)之間的固定基線長(zhǎng)度,f為相機(jī)焦距,ul和ur分別為P點(diǎn)在左右相機(jī)上投影坐標(biāo)的橫坐標(biāo),視差d=ul-ur。
圖4 障礙物識(shí)別特征
(3)
(4)
雙目識(shí)別算法較為成熟,但也存在一定的判定誤差。通過變電站其它方位的攝像頭SC1、SC2,可以協(xié)同參與判定障礙物特征點(diǎn)位置是否精確。由此,LC、RC、SC1以及SC2可以自由組合,通過本節(jié)的同構(gòu)相機(jī)算法,或者異構(gòu)相機(jī)算法,對(duì)障礙點(diǎn)的位置進(jìn)行精確判斷。為使用本文提到的雙目識(shí)別,對(duì)于部分沒有攝像頭覆蓋的區(qū)域,可以應(yīng)用多無人機(jī)的巡檢線路合理設(shè)計(jì),為安全飛行提供有力的支撐。
3.2.2 障礙物三維拼接
目前對(duì)于立體視覺的研究多從圖像的邊緣信息、顏色信息、光流場(chǎng)的變化和立體視覺。與地面機(jī)器人巡檢不一樣的是:由于無人機(jī)巡檢在空中,一旦運(yùn)動(dòng)起來慣性較大,要實(shí)現(xiàn)精確避障控制存在較大的難度。還需要指出的是,不停的通過SLAM建模來判別障礙物的形態(tài),對(duì)于無人機(jī)的續(xù)航、計(jì)算資源要求以及巡檢進(jìn)度都會(huì)有較大的影響。
通過多個(gè)攝像頭以及多無人機(jī)攝像頭獲取的圖像拼接為立體圖形,有利于提前規(guī)劃安全的路徑。為此,基于多個(gè)位置的攝像頭數(shù)據(jù),實(shí)現(xiàn)障礙物的靜態(tài)識(shí)別。對(duì)于一個(gè)物理實(shí)體而言,其外邊緣在絕大多數(shù)情況下是由線段或曲線組成,在一張照片中,線段或曲線的特征具有相似性。由此,基于障礙特征點(diǎn)的外延,可以預(yù)先判定障礙物的外輪廓,從而為選擇避障路徑提供依據(jù)。
1)關(guān)鍵點(diǎn)匹配
關(guān)鍵點(diǎn)匹配采用灰度匹配法計(jì)算,一旦兩個(gè)點(diǎn)匹配,則進(jìn)一步判斷是否歸屬于同一條線段。
2)線段關(guān)聯(lián)
定義N(t)是t時(shí)刻已存在的環(huán)境特征,n′(t)為t時(shí)刻變電站攝像頭或者變電站攝像頭與多個(gè)無人機(jī)鏡頭合作采集的圖像,n(t)為對(duì)應(yīng)時(shí)刻無人機(jī)雙目識(shí)別采集的數(shù)據(jù)。由此,根據(jù)式(5)可以準(zhǔn)確判斷在兩個(gè)圖像中基本重合或者部分重合的線段。
(5)
3)輪廓生成
應(yīng)用多無人機(jī)以及變電站中攝像頭采集的數(shù)據(jù),通過寬度優(yōu)先迭代算法,就可以將障礙物的三維輪廓生成。
3.2.3 障礙物動(dòng)態(tài)識(shí)別
通過3.2.2節(jié)的障礙物靜態(tài)識(shí)別算法,可以分析出障礙物的三維輪廓。障礙物的組合可能比較復(fù)雜,包括靜態(tài)和動(dòng)態(tài)的部分,例如:巡檢人員帶著巡檢設(shè)備到現(xiàn)場(chǎng),兩者都會(huì)成為障礙物的組成部分,但是可能只有巡檢人員在現(xiàn)場(chǎng)走動(dòng),是動(dòng)態(tài)障礙物。
為簡(jiǎn)化分析,本文暫時(shí)不考慮運(yùn)動(dòng)速度變化較大的動(dòng)態(tài)障礙物。通過改進(jìn)的尺度不變特征變換SIFT(Scale-Invariant Feature Transform)算法,可以快速判斷障礙物的移動(dòng)方向與速度。
3.2.4 避障過程
圖5給出的是避障算法的流程,其中左下角表示有障礙物以及巡檢人員,巡檢人員可以移動(dòng)。正常情況下,無人機(jī)沿著線路1飛行,如果碰到障礙物,則需要進(jìn)行決策。多無人機(jī)在飛行時(shí),
圖5 避障過程示意圖
無人機(jī)避障的線路,在躲過障礙物后應(yīng)盡快恢復(fù)到原始線路,如圖中線路2,3所示。在變電站中,出于飛行安全考慮,應(yīng)優(yōu)先選擇圖3中的1,2,3,4,6幾個(gè)方位中沒有障礙物的線路飛行。
1)如果是靜態(tài)障礙物,則在繞過障礙物后,恢復(fù)到原始巡檢線路即可,如圖5線路2。
2)如果是動(dòng)態(tài)障礙物,如圖5中的人從位置a向位置b移動(dòng),則根據(jù)動(dòng)態(tài)障礙物的移動(dòng)方向,移動(dòng)速度并充分預(yù)留余量后選擇避障線路,如圖5線路3所示。
3)如果沒有合適的避障線路,則無人機(jī)原地等待10秒后再次檢測(cè)并規(guī)劃避障線路。
4)如果無人機(jī)剩余電量有限,則放棄本次巡檢并返航。
實(shí)驗(yàn)所采用一臺(tái)臺(tái)式服務(wù)器作為邊緣計(jì)算服務(wù)器,配置為:XeonSilver 6130 2.0GHz CPU,128G內(nèi)存,在Windows操作系統(tǒng)下對(duì)中山某變電站進(jìn)行基于邊緣計(jì)算無人機(jī)協(xié)同避障測(cè)試。選用2臺(tái)自主研發(fā)的四旋翼無人機(jī),對(duì)變電站瓷瓶開展巡檢工作,飛行時(shí)間15分鐘,覆蓋巡檢線路的現(xiàn)場(chǎng)有4個(gè)攝像頭。由于變電站中開展機(jī)巡都是精細(xì)巡檢,飛行速度控制在0.5m/s以內(nèi),重點(diǎn)部位需要定點(diǎn)拍照。
現(xiàn)場(chǎng)模擬測(cè)試如圖6所示,其中(a)為正常無障礙的情況,(b)為存在靜態(tài)障礙物的情況,(c)為存在動(dòng)態(tài)障礙物的情況。
圖6 避障選擇測(cè)試
無人機(jī)A主要任務(wù)是巡檢,為全面觀測(cè)瓷瓶的狀態(tài),需要分別從圖6 (a)中標(biāo)注為1,2,3的方位飛行,標(biāo)注為綠色;黃色為優(yōu)先可以選擇的備選路徑;紅色為無人機(jī)最大可以飛行的邊界,即無人機(jī)飛行的電子圍欄。而線路B上的無人機(jī)B主要任務(wù)是為巡檢提供避障參考,即圖6(a)中右上角綠色的部分。無人機(jī)A需要與設(shè)備盡可能的接近以方便檢出故障,對(duì)避障的要求高;而無人機(jī)B不需要貼近設(shè)備,對(duì)避障的要求不高。
經(jīng)過現(xiàn)場(chǎng)5條線路,選擇8:00,10:00,12:00,15:00,17:00五個(gè)時(shí)段進(jìn)行測(cè)試,500架次飛行的結(jié)果可以得到以下主要結(jié)果:
1)對(duì)于靜態(tài)障礙物,無人機(jī)可以在優(yōu)選路徑,或者電子圍欄內(nèi)飛行,如圖6(b)所示;對(duì)于動(dòng)態(tài)障礙物,如人、車,則對(duì)于可選路徑的要求更為嚴(yán)苛,如圖6(c)所示。
2)最早在8.73s即可判定,通過監(jiān)控?cái)z像頭數(shù)據(jù)即可;最短在2.46s可以判定,障礙物較為隱蔽,通過2臺(tái)無人機(jī)協(xié)同分析才能得到結(jié)果。結(jié)合攝像頭數(shù)據(jù)后,對(duì)障礙物外輪廓的判斷可以提高3~5秒。
3)平均避障檢測(cè)時(shí)間為3s,由于變電站中精密巡檢時(shí)速度較低,按照0.5m/s的速度以及飛控的響應(yīng)時(shí)間,1.5s以內(nèi)可以完成檢測(cè)以及線路的重新規(guī)劃。
4)光線過強(qiáng)、光線過暗,都可能影響到障礙物檢測(cè)的準(zhǔn)確性。檢測(cè)率與障礙物的性質(zhì)也有密切關(guān)系,這主要是由光線與障礙物自身顏色的反差決定。
針對(duì)不同尺寸,不同性質(zhì)的典型障礙物,有以下有效避障率數(shù)據(jù)。
表1 有效避障率
從數(shù)據(jù)分析可以看出,體積大的障礙物識(shí)別效率顯然更高。其中,巡檢人員處于運(yùn)動(dòng)狀態(tài),由于在工作區(qū)域佩戴安全帽,可以有效識(shí)別和避障。暗色工具箱在光線不強(qiáng)的情況下避障有困難。以扳手為代表的金屬材質(zhì)工具在強(qiáng)光下,如果角度不理想也存在避障困難,但在實(shí)際工作中,處于影響飛行路徑的情況比較少見。
現(xiàn)場(chǎng)檢修設(shè)備以及遺忘在現(xiàn)場(chǎng)的設(shè)備是對(duì)無人機(jī)飛行安全可能造成影響最為普遍的障礙物。針對(duì)光線對(duì)檢測(cè)率的影響,在不影響檢修裝備性能的前提下,在純色裝備上貼上彩色標(biāo)簽或者涂上顏色,如圖7所示,在暗色或者強(qiáng)光下,可以大幅度提升障礙物識(shí)別的精確度,對(duì)比數(shù)據(jù)見表2。
圖7 檢修設(shè)備改造
表2 改造后有效避障率
實(shí)用過程中,本文提出的協(xié)同避障算法不僅可以確保無人機(jī)飛行安全,也可以檢測(cè)到現(xiàn)場(chǎng)需要清理的遺留工具、設(shè)備或者是垃圾。
無人化巡檢是變電站巡檢未來發(fā)展的趨勢(shì),無人機(jī)是其中重要的組成部分。
提出了協(xié)同利用無人機(jī)及攝像頭數(shù)據(jù)的邊緣計(jì)算框架。基于此架構(gòu),能比單純采用無人機(jī)攝像頭數(shù)據(jù)提前3~5秒完整判斷障礙物形狀。
現(xiàn)場(chǎng)實(shí)驗(yàn)驗(yàn)證表明,現(xiàn)有避障算法可以有效提前完成障礙物檢測(cè)與避障路線的規(guī)劃,驗(yàn)證了算法的可行性和合理性。
光線、障礙物的性質(zhì)與檢測(cè)率有著密切關(guān)系,可為今后現(xiàn)場(chǎng)設(shè)備,人員裝備的設(shè)計(jì)、巡檢方案的選擇提供參考。