戴永東,姚建光,李 勇,毛 鋒,文志科,倪 莎

(1.國(guó)網(wǎng)江蘇省電力有限公司泰州供電分公司, 江蘇 泰州 225300;2.眾芯漢創(chuàng)(北京)科技有限公司, 北京 100193)

0 引言

隨著架空輸電線路的不斷擴(kuò)建和覆蓋范圍的快速增加,架空輸電線路的區(qū)域環(huán)境復(fù)雜多樣,使得架空輸電線路的運(yùn)行維護(hù)更加困難。傳統(tǒng)的輸電線路檢測(cè)方法強(qiáng)度高、周期長(zhǎng)、風(fēng)險(xiǎn)因素高、盲區(qū)多,難以滿足現(xiàn)代電網(wǎng)發(fā)展的需要[1-2]?；诖?無(wú)人機(jī)作為一種科學(xué)、高效的檢測(cè)手段受到了廣泛的關(guān)注。特別是近年來(lái),為了使無(wú)人機(jī)更好地完成搜救[3]、路徑規(guī)劃[4-5]、目標(biāo)跟蹤[6-7]等工作,開(kāi)展了大量的學(xué)術(shù)和工程應(yīng)用研究。為了實(shí)現(xiàn)自主導(dǎo)航和智能避障,開(kāi)發(fā)了多種制導(dǎo)、導(dǎo)航和控制算法,為無(wú)人機(jī)在動(dòng)力巡查檢測(cè)中的應(yīng)用研究奠定了基礎(chǔ)。此外,無(wú)人機(jī)具有機(jī)動(dòng)性強(qiáng)、控制簡(jiǎn)單、形式多樣、效率高、成本低等優(yōu)點(diǎn),被國(guó)內(nèi)外電力公司廣泛應(yīng)用于輸電線路的檢查和偵察中[8-10]。

然而,目前基于無(wú)人機(jī)的架空輸電線路自主檢測(cè)的研究還處于起步階段,主要的學(xué)術(shù)和工程應(yīng)用研究重點(diǎn)是通過(guò)配備激光雷達(dá)、可見(jiàn)光傳感器和紅外攝像機(jī)的無(wú)人機(jī)對(duì)輸電線路進(jìn)行檢測(cè),收集故障數(shù)據(jù),提供導(dǎo)航線路巡邏無(wú)人機(jī)的信息。無(wú)人機(jī)采集數(shù)據(jù)的位置和高度取決于飛行控制人員的視覺(jué)和這些傳感設(shè)備的檢測(cè)結(jié)果,因此無(wú)人機(jī)對(duì)架空輸電線路的檢測(cè)嚴(yán)重依賴于控制人員的飛行控制水平,存在人工控制難度大、定位精度低,影響航拍和狀態(tài)診斷[11-13]。這在很大程度上限制了無(wú)人機(jī)的性能,不能很好地利用無(wú)人機(jī)機(jī)動(dòng)性強(qiáng)、控制靈活、效率高的優(yōu)點(diǎn)。為此,研究無(wú)人機(jī)對(duì)架空高壓輸電線路的自主檢測(cè),以期無(wú)人機(jī)能夠執(zhí)行更先進(jìn)、更優(yōu)化的空中檢測(cè)任務(wù)[14-16]。為了實(shí)現(xiàn)巡檢無(wú)人機(jī)的自主導(dǎo)航,一些研究人員還利用GPS、超聲波傳感器、紫外、紅外、可見(jiàn)光傳感器以及這些傳感器的組合對(duì)巡檢無(wú)人機(jī)進(jìn)行導(dǎo)航研究[17-18]。

通過(guò)分析在Faster R-CNN中使用scratch模型和Pre-trained模型(如InceptionResNet-V2[19]和ResNet-50[20])檢測(cè)障礙物的性能,選擇了精度最好、速度最快的模型,并對(duì)其進(jìn)行改進(jìn),應(yīng)用于無(wú)人機(jī)導(dǎo)航。所提改進(jìn)的Faster R-CNN模型獲得了比ZF-Net模型[21]更高的精度,將極大地?cái)U(kuò)展無(wú)人機(jī)的自主飛行能力。

1 障礙檢測(cè)

1.1 scratch模型研究

受當(dāng)前檢測(cè)方法優(yōu)異性能的啟發(fā),采用Faster R-CNN[22]作為障礙檢測(cè)器。更快的R-CNN融合了2個(gè)模塊:一個(gè)提出區(qū)域的深度全卷積網(wǎng)絡(luò);另一個(gè)使用提出區(qū)域的Fast R-CNN檢測(cè)器[23-25]。深度全卷積網(wǎng)絡(luò)的使用顯著提高了區(qū)域提議的計(jì)算時(shí)間,并實(shí)現(xiàn)了實(shí)時(shí)目標(biāo)檢測(cè)。在本節(jié)中,先構(gòu)建Faster R-CNN網(wǎng)絡(luò),并預(yù)先訓(xùn)練模型。分析并比較了它們?cè)跈z測(cè)精度和速度方面的性能,最后確定了一種用于避障任務(wù)的檢測(cè)器?？偣矂?chuàng)建了4個(gè)不同的檢測(cè)器,以研究訓(xùn)練數(shù)據(jù)的數(shù)量和卷積層的數(shù)量對(duì)檢測(cè)性能的影響。這4種檢測(cè)器分別為檢測(cè)器A、B、C和D,都是按照不同的規(guī)格進(jìn)行訓(xùn)練的。第1個(gè)操縱參數(shù)是訓(xùn)練圖像的數(shù)量。檢測(cè)器A使用4 000多張圖像進(jìn)行訓(xùn)練,而其他3個(gè)檢測(cè)器僅使用1 500張圖像進(jìn)行訓(xùn)練。其他3個(gè)檢測(cè)器的訓(xùn)練數(shù)據(jù)集中的圖像是從檢測(cè)器A的訓(xùn)練數(shù)據(jù)集中提取的,即檢測(cè)器B、C、D的訓(xùn)練數(shù)據(jù)是檢測(cè)器A訓(xùn)練數(shù)據(jù)的子集。表1和圖1給出了探測(cè)器A和B的CNN結(jié)構(gòu)。表2總結(jié)了探測(cè)器之間的差異。

表1 CNN的每一層探測(cè)器A和B

圖1 探測(cè)器A和B的CNN結(jié)構(gòu)

表2 4種探測(cè)器的規(guī)格

定義網(wǎng)絡(luò)結(jié)構(gòu)后,訓(xùn)練Faster R-CNN檢測(cè)器,并更新Region Proposal network (RPN)和CNN中的參數(shù)。訓(xùn)練采用的算法為SGDM優(yōu)化器,學(xué)習(xí)率為0.001。

1.2 Pre-trained模型研究

除了scratch模型,還選擇了2個(gè)已有的預(yù)訓(xùn)練模型進(jìn)行再訓(xùn)練,以進(jìn)行障礙檢測(cè)。這2個(gè)模型之前都是在COCO數(shù)據(jù)集上訓(xùn)練的。

第1個(gè)網(wǎng)絡(luò)是Inception v2,這是圖像分類歷史上第2個(gè)在ILSVRC中超過(guò)人類水平的機(jī)器學(xué)習(xí)模型。Inception模型的獨(dú)特、廣泛的架構(gòu)以相對(duì)較低的計(jì)算成本顯示了出色的性能。

第2個(gè)預(yù)訓(xùn)練模型是ResNet-50。作為Faster R-CNN配置中的CNN基礎(chǔ)模型,ResNet在圖像分類和檢測(cè)方面取得了最先進(jìn)的成果。與訓(xùn)練的scratch模型相似,重構(gòu)的ResNet-50和Inception網(wǎng)絡(luò)采用SGDM優(yōu)化器進(jìn)行微調(diào)。在訓(xùn)練中的學(xué)習(xí)率被設(shè)置為0.000 2,遠(yuǎn)小于scratch模型(0.001)。這是為了在不嚴(yán)重修改權(quán)重的情況下減少丟失先前提取特征的風(fēng)險(xiǎn)。

1.3 飛行數(shù)據(jù)的采集與標(biāo)注

為了訓(xùn)練和驗(yàn)證1個(gè)檢測(cè)模型,需要1個(gè)由目標(biāo)環(huán)境的圖像組成的大數(shù)據(jù)集。在這項(xiàng)研究中,1架Parrot Bebop 2被用作空中平臺(tái),在1個(gè)學(xué)校錄制飛行視頻。收集數(shù)據(jù)集的位置如圖2所示。該數(shù)據(jù)集由無(wú)人機(jī)隨機(jī)飛行的視頻組成,用于訓(xùn)練檢測(cè)器與真實(shí)飛行場(chǎng)景。數(shù)據(jù)收集是在1 d 內(nèi)的3個(gè)不同時(shí)間段(上午、下午、晚上)內(nèi)進(jìn)行的,確保模型在不同光照條件下均能檢測(cè)到障礙物。無(wú)人機(jī)拍攝的視頻原本是1 920×1 080像素。被調(diào)整為426×240像素后再進(jìn)行對(duì)象標(biāo)注,以節(jié)省訓(xùn)練時(shí)的計(jì)算時(shí)間。

圖2 數(shù)據(jù)集所在位置圖

2 避障運(yùn)動(dòng)

2.1 障礙物定位

檢測(cè)結(jié)果可作為無(wú)人機(jī)自主導(dǎo)航運(yùn)動(dòng)的依據(jù)。每個(gè)原始圖像的大小被調(diào)整,以匹配檢測(cè)模型的輸入層大小,然后將其輸入訓(xùn)練模型,以檢測(cè)障礙物及其位置。檢測(cè)模型通過(guò)參考圖像左上角的原點(diǎn)輸出障礙物邊界框的坐標(biāo)。圖像坐標(biāo)系(xi,yi)如圖3所示。邊界框的左上和右下坐標(biāo)定義分別為(xij,min,yij,min)和(xij,max,yij,max)。

圖3 檢測(cè)到障礙物的包圍盒坐標(biāo)為圖像軸(盒1)

2.2 關(guān)鍵障礙物的識(shí)別

得到被檢測(cè)障礙物的坐標(biāo)后,需要識(shí)別無(wú)人機(jī)前進(jìn)路徑上接近的障礙物,它們被稱為關(guān)鍵障礙物。在算法中,邊界框的高度作為深度線索。在控制器中,無(wú)人機(jī)被命令以恒定速度前進(jìn),直到檢測(cè)到關(guān)鍵障礙物時(shí)觸發(fā)停止。

基于上述情景,可以通過(guò)2種情況識(shí)別出關(guān)鍵障礙:條件1,它正在接近無(wú)人機(jī);條件2,它在一個(gè)安全邊界內(nèi),阻礙了飛行路線。

安全邊界設(shè)置為距離無(wú)人機(jī)攝像頭0.5 m,這是為了確保無(wú)人機(jī)在前進(jìn)時(shí)不發(fā)生碰撞。它涵蓋了無(wú)人機(jī)的大小和一些可接受的空間。此外,該算法允許無(wú)人機(jī)探測(cè)到至少1 m以外的障礙物。

如上所述,使用圖像中檢測(cè)到的空間的高度作為深度線索。該參數(shù)會(huì)受到無(wú)人機(jī)高度的影響。雖然無(wú)人機(jī)高度可以使用聲納測(cè)量反饋控制,但是無(wú)人機(jī)很難在真實(shí)飛行中保持在一個(gè)精確的恒定高度。這是由于外部環(huán)境因素,如松軟和不平整的地面,側(cè)風(fēng)或陣風(fēng),都會(huì)影響測(cè)量和無(wú)人機(jī)的穩(wěn)定性。為此,設(shè)定參數(shù)高度比hratio,即圖像中的障礙物高度與圖像高度的比值,障礙物在距離相機(jī)1 m處不同飛行高度Z(單位為m)下的高度比為:

(1)

式中:VFOV為垂直視場(chǎng)的角度;himg為圖像的像素高度;f為通過(guò)相機(jī)標(biāo)定得到的相機(jī)的焦距。

檢查條件1,圖3中的yij,max用來(lái)表示物體在圖像中的高度。當(dāng)yij,max與himg的比值不小于hratio時(shí),檢測(cè)到的障礙物滿足條件2,即障礙物正向無(wú)人機(jī)逼近,有:

yij,max/himg≥hratio

(2)

對(duì)于測(cè)試條件2,利用邊界盒的坐標(biāo)xij計(jì)算圖像幀x軸上障礙物的位置,分析障礙物的位置是否在無(wú)人機(jī)的安全邊界內(nèi)。研究中,機(jī)載攝像機(jī)被假定為針孔攝像機(jī),因?yàn)橥ㄟ^(guò)攝像機(jī)標(biāo)定校正了失真,所以坐標(biāo)xij的安全邊界內(nèi)的障礙物可定義為:

(0.5wimg-wobj)≤(xij,minorxij,maxorxij,c)≤

(0.5wimg+wobj)

(3)

式中:xij,min為最小值;xij,max為最大值;xij,c為邊界x的坐標(biāo)中心。相反的,當(dāng)物體距離物體1 m時(shí),計(jì)算得到攝像機(jī)的抖動(dòng)為:

(4)

式中:HFOV為相機(jī)水平視場(chǎng)的角度;wimg為圖像的寬度。通過(guò)使用式(2)—(3)中所述的這2個(gè)條件,可以識(shí)別出關(guān)鍵障礙。

2.3 預(yù)期航向評(píng)估

在探測(cè)到關(guān)鍵障礙物后,將無(wú)人機(jī)轉(zhuǎn)向預(yù)期的航向角。這種類型的障礙物被稱為警告障礙物。對(duì)于這些障礙,它們的邊界框的高度大于圖像高度的1/3。通過(guò)考慮這些障礙新的預(yù)期航向角可以引導(dǎo)無(wú)人機(jī)到一個(gè)更平滑的路徑。這減少了導(dǎo)航中的過(guò)度轉(zhuǎn)向,使路線比只感知和避免關(guān)鍵障礙的方法更簡(jiǎn)單。

所需要的航向參考是通過(guò)在圖像x軸上找到最大的無(wú)障礙區(qū)域來(lái)確定的。圖4展示了一個(gè)示例,包含了表示檢測(cè)到的障礙物的邊界框。其中,wi表示警告和關(guān)鍵障礙物的邊界框之間以及障礙物和圖像邊界之間的水平距離。下標(biāo)i是沿x軸的圖像上的空閑空間數(shù)。w值最大的區(qū)域i表示最大無(wú)障礙區(qū)域。計(jì)算最大無(wú)障礙區(qū)域x*的中心,以確定所需的航向參考。

當(dāng)w的值最大時(shí),i小于80像素,當(dāng)無(wú)人機(jī)領(lǐng)先1 m時(shí),等效寬度為0.32 m,自由空間太小,無(wú)人機(jī)無(wú)法通過(guò)。

圖4 垂線表示的目標(biāo)參考例

圖4中w1和w4是檢測(cè)到的障礙物與圖像邊界之間的水平距離,而w2和w3是障礙物之間的水平距離(警告和臨界),x*設(shè)置為圖像的右邊界wimg。這是為了引導(dǎo)無(wú)人機(jī)離開(kāi)當(dāng)前的空間環(huán)境,因?yàn)闆](méi)有足夠的空間讓無(wú)人機(jī)安全通過(guò)。

在計(jì)算x*之后,確定轉(zhuǎn)向角度ψ*:

(5)

計(jì)算轉(zhuǎn)向角度在順時(shí)針?lè)较蚴钦?反之亦然。所需的方向參考ψdesigned可以通過(guò)在無(wú)人機(jī)當(dāng)前航向角上加上ψ*得到:

ψdesired=ψheading+ψ*

(6)

2.4 改進(jìn)的Faster R-CNN算法

圖5為Faster R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)。

圖5 Faster R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)

VGG16網(wǎng)絡(luò)作為Faster R-CNN的骨干網(wǎng)絡(luò),進(jìn)行特征提取時(shí),會(huì)出現(xiàn)梯度消失,減少深層網(wǎng)絡(luò)返回的梯度相關(guān)性,增加小缺陷漏檢的概率,降低檢測(cè)精度,因此使用有殘差單元的ResNet-50網(wǎng)絡(luò)提取缺陷圖像特征,既保留了細(xì)節(jié)信息又解決了梯度消失問(wèn)題。圖6為殘差單元。

圖6 殘差單元

由圖7可知,ResNet-50網(wǎng)絡(luò)包含4個(gè)卷積組,這4個(gè)卷積組分別包含3、4、6、3個(gè)殘差單元。通過(guò)全局平均池化固定特征圖,進(jìn)行1 000維的全連接,最后通過(guò)Softmax函數(shù)得到分類結(jié)果。

2.5 無(wú)人機(jī)的運(yùn)動(dòng)控制

研究中,運(yùn)動(dòng)控制的一個(gè)直接方法是實(shí)施到飛行控制器,以驗(yàn)證提出的策略。無(wú)人機(jī)被編程以恒定速度從起始位置向前移動(dòng),直到檢測(cè)模型觸發(fā)無(wú)人機(jī)停止。無(wú)人機(jī)的高度在飛行過(guò)程中利用聲納測(cè)量的反饋調(diào)節(jié)到1.5 m的恒定高度。當(dāng)探測(cè)到一個(gè)關(guān)鍵障礙物時(shí),無(wú)人機(jī)被命令轉(zhuǎn)向所需的航向角。關(guān)于zb軸的角速度ωψ為:

ωψ=Kp(ψheading-ψdesired)

(7)

式中:Kp表示在最短的時(shí)間內(nèi)實(shí)現(xiàn)所需的航向角,取值0.5。zb軸垂直于xb、yb坐標(biāo)平面,指向下方,如圖4所示。

圖7 ResNet-50的網(wǎng)絡(luò)結(jié)構(gòu)

3 障礙物檢測(cè)結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

表3為實(shí)驗(yàn)的相關(guān)設(shè)置。

表3 實(shí)驗(yàn)的相關(guān)設(shè)置

3.2 不同模型的性能

實(shí)驗(yàn)從2個(gè)方面進(jìn)行,首先將4個(gè)模型訓(xùn)練為不同規(guī)格的檢測(cè)器,這是為了研究訓(xùn)練圖像總數(shù)和卷積層數(shù)對(duì)檢測(cè)模型性能的影響。每個(gè)檢測(cè)器的性能測(cè)試使用60幅圖像,這些圖像不包含在所有檢測(cè)器的訓(xùn)練數(shù)據(jù)集中。其次與Faster R-CNN、YOLOv3和YOLOv5這3種算法進(jìn)行對(duì)比。

1) 為了評(píng)價(jià)探測(cè)器的整體性能,圖8制定了每個(gè)探測(cè)器的精度曲線。從結(jié)果來(lái)看,檢測(cè)器A的最大召回值已達(dá)到0.76,是所有探測(cè)器中最高的。也就是說(shuō),檢測(cè)器A可以在測(cè)試圖像中檢測(cè)出更多的實(shí)際障礙物,從而提高了檢測(cè)圖像中關(guān)鍵障礙的成功率。通過(guò)比較檢測(cè)器B、C、D,研究了卷積層數(shù)對(duì)障礙物檢測(cè)的影響。檢測(cè)器B的平均精度最高,檢測(cè)器D次之,檢測(cè)器C的精度最低。因此,選擇一個(gè)性能最好的scratch模型作為下一步的障礙物檢測(cè)器。基于結(jié)果,使用更多的圖像數(shù)據(jù)對(duì)具有兩層卷積的模型進(jìn)行訓(xùn)練,以進(jìn)一步提高其檢測(cè)性能。

2) 為了進(jìn)一步評(píng)價(jià)模型的性能,對(duì)比了Faster R-CNN、YOLOv3和YOLOv5這3種算法。

3.3 scratch模型和Pre-trained模型比較

前文中選擇的scratch模型和2個(gè)預(yù)先訓(xùn)練的模型,即ResNet-50和Inception v2,都使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練。數(shù)據(jù)集由不同光照條件下的圖像組成。訓(xùn)練數(shù)據(jù)集是一個(gè)5 min的飛行視頻,由4 689幅圖像組成。這些圖像共包含23 866個(gè)障礙物注釋。訓(xùn)練結(jié)束后,用一段2 min的飛行視頻對(duì)模型進(jìn)行了測(cè)試,該視頻由514張?jiān)谕粎^(qū)域按順序記錄的圖像組成。將召回率和精確率作為評(píng)價(jià)指標(biāo),具體計(jì)算式為:

(8)

(9)

式中:TP表示分類器預(yù)測(cè)結(jié)果為正樣本,實(shí)際也為正樣本,即正樣本被正確識(shí)別的數(shù)量;FP表示分類器預(yù)測(cè)結(jié)果為正樣本,實(shí)際為負(fù)樣本,即誤報(bào)的負(fù)樣本數(shù)量;TN表示分類器預(yù)測(cè)結(jié)果為負(fù)樣本,實(shí)際為負(fù)樣本,即負(fù)樣本被正確識(shí)別的數(shù)量;FN表示分類器預(yù)測(cè)結(jié)果為負(fù)樣本,實(shí)際為正樣本,即漏報(bào)的正樣本數(shù)量。

圖9為scrath模型和Pre-trained模型的精度曲線。2種Pre-trained模型與scratch模型相比,獲得了更高的最大召回率模型,因此Fast R-CNN與Inception v2被選中為避障中的檢測(cè)器系統(tǒng),因?yàn)槟Ｐ涂梢詼?zhǔn)確、迅速輸出檢測(cè)框。

圖8 測(cè)試精度結(jié)果的召回曲線

圖9 scrath模型和Pre-trained模型的精度曲線

為了進(jìn)一步評(píng)價(jià)模型的精度,所提模型與Faster R-CNN、YOLOv3和YOLOv5這3種模型對(duì)比的結(jié)果如表4所示。由此可知,所提算法的準(zhǔn)確率最高。

表4 不同模型的精確率對(duì)比

為了評(píng)估真實(shí)環(huán)境下模型的時(shí)延,選取了一天中不同時(shí)段來(lái)分析,如表5所示,可以看出1 d中的多個(gè)時(shí)段的時(shí)延都不高,說(shuō)明所提模型可以應(yīng)用在實(shí)際生活中。

表5 不同時(shí)段的時(shí)延

4 結(jié)論

提出了一種新的無(wú)人機(jī)自主導(dǎo)航方法并應(yīng)用在輸電線路檢測(cè)中,消除了對(duì)用于探測(cè)障礙物的傳感器的外部依賴性。該系統(tǒng)利用車載攝像機(jī)獲取正面圖像,預(yù)測(cè)到一幀一幀的障礙物位置。模型輸出了障礙物在坐標(biāo)圖像中的的位置,目的是準(zhǔn)確控制無(wú)人機(jī)。預(yù)先訓(xùn)練的模型,選擇Fast R-CNN與Inception v2,通過(guò)與3種算法的對(duì)比,驗(yàn)證所提算法在無(wú)人機(jī)自主導(dǎo)航系統(tǒng)中的性能。在測(cè)試中,即使在飛行高度變化的情況下,無(wú)人機(jī)也能成功檢測(cè)到所有的障礙物是否對(duì)其導(dǎo)航有危險(xiǎn),并自動(dòng)執(zhí)行避障飛行。