朱佩佩

(中國西南電子技術(shù)研究所,成都 610036)

0 引 言

近年來，隨著技術(shù)的發(fā)展，直升機、無人機在各行各業(yè)發(fā)揮著不可替代的作用[1]。電力線作為一種特殊的直線目標(biāo)，是無人機、直升機等飛行器重點關(guān)注的障礙物目標(biāo)，也是電網(wǎng)巡檢過程中的主要目標(biāo)[2-3]。為了應(yīng)對實際飛行過程中的復(fù)雜惡劣環(huán)境和狀況，保障執(zhí)行任務(wù)的無人機、直升機的安全，需要對電力線目標(biāo)進行準(zhǔn)確檢測與識別，該類目標(biāo)的檢測識別是機器視覺領(lǐng)域的經(jīng)典問題之一[4-7]。總的來說，現(xiàn)有電力線檢測識別算法可以分為傳統(tǒng)方法[8-12]和人工智能算法[13-14]兩大類。

現(xiàn)有的基于深度學(xué)習(xí)的電力線檢測識別算法采用常規(guī)目標(biāo)檢測識別算法，利用正矩形框的坐標(biāo)對其位置進行描述。然而，電力線是一類形狀細(xì)長、特征稀疏、隨著視角的變化容易混在大量背景信息中的特殊障礙物，常規(guī)電力線檢測識別算法得到的目標(biāo)框?qū)﹄娏€所在位置的估計不夠準(zhǔn)確，而電力線位置估計的準(zhǔn)確程度直接影響飛機成功避開障礙物的概率。因此，本文通過估計電力線相對角度，提煉電力線位置范圍來提高電力線的位置準(zhǔn)確度。

電力線的絕對角度估計是一類回歸問題。角度的回歸需要結(jié)合角度標(biāo)簽并設(shè)計相應(yīng)的分支對其進行估計，計算量大，實時性不高，且電力線目標(biāo)長寬比較大，其絕對角度的估計準(zhǔn)確度不高。通過觀察電力線目標(biāo)特征，將其連續(xù)的絕對角度轉(zhuǎn)化為不連續(xù)的相對角度，即可將絕對角度的回歸問題轉(zhuǎn)化為相對角度的分類問題。分類結(jié)果中的類別信息包含了電力線相對角度信息，無需重新設(shè)計網(wǎng)絡(luò)分類分支。將該角度信息提取出來調(diào)整水平矩形框，可以將電力線的大致走向表示出來，提高了電力線位置估計的準(zhǔn)確性。

1 電力線檢測識別方法

為了提高電力線目標(biāo)的檢測識別率，且對該類細(xì)長目標(biāo)的位置信息進行提煉，采用實時目標(biāo)檢測與識別網(wǎng)絡(luò)YOLO[15]對其進行檢測。

1.1 電力線目標(biāo)特征分析

電力線是一類常見的線性目標(biāo)，線性目標(biāo)自身的長寬比較大，且因路面高低差、拍攝視角的差異等因素而在光學(xué)圖像中存在不同的角度信息。對電力線進行檢測與識別時，需制作標(biāo)簽用矩形框?qū)㈦娏€目標(biāo)框出來。觀察人工標(biāo)注的目標(biāo)矩形框真值(Ground Truth,GT)發(fā)現(xiàn)，矩形框囊括電力線頭尾時，因電力線自身直徑較小且長度方向尺寸較長，會帶入大量背景信息，導(dǎo)致飛行器遇到電力線目標(biāo)時警示區(qū)域過大。若直接對電力線進行帶角度的傾斜框標(biāo)注，圖像進行縮放后角度信息需重新變化計算，且算法實時性不高。

因電力線本身是近乎直線的線狀目標(biāo)，矩形標(biāo)注框中的目標(biāo)角度特征可以分為四種情況，即以矩形框左上角和右下角為電力線頭尾，以矩形框右上角和左下角為電力線頭尾，電力線呈90°絕對角度，電力線呈0°絕對角度。對圖像進行尺寸變換，使電力線目標(biāo)框調(diào)整為正方形，則上述四種情況下的電力線角度分別為135°、45°、90°、0°。將這四種角度稱為相對電力線角度，用來表示電力線在標(biāo)注矩形框中相對位置，如圖1所示。因此，為了減少算法復(fù)雜度，減少不必要的計算，將電力線的絕對角度預(yù)測轉(zhuǎn)化為電力線的相對角度預(yù)測，即將一類電力線檢測識別轉(zhuǎn)化為四類電力線檢測識別。類別信息中包含了電力線相對角度信息，進一步將該角度信息提取出來調(diào)整水平矩形框，使其可以表示電力線的走向。

圖1 電力線絕對角度和相對角度的對比

1.2 實時目標(biāo)檢測與識別網(wǎng)絡(luò)

利用飛行器光電傳感器獲得的圖像指導(dǎo)其躲避障礙物時，需要對圖像中的障礙物進行實時檢測與識別。實時目標(biāo)檢測與識別網(wǎng)絡(luò)中，YOLO網(wǎng)絡(luò)系列是一類端到端、可以較好平衡速度和精度的實時目標(biāo)檢測識別模型。本文采用YOLO系列中較新的YOLOv4[15]作為電力線目標(biāo)檢測識別網(wǎng)絡(luò)。YOLOv4系列中主要包含YOLOv4和YOLOv4_tiny兩類模型，因目標(biāo)類型及數(shù)量不多，本文采用YOLOv4_tiny作為障礙物檢測識別網(wǎng)絡(luò)。YOLOv4_tiny網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示[15]，主要包含主干網(wǎng)絡(luò)、檢測頭等部分。

圖2 YOLOv4_tiny結(jié)構(gòu)示意圖

不同于YOLOv3_tiny，YOLOv4_tiny訓(xùn)練時采用的IOU損失函數(shù)為CIoU損失，定義如下：

(1)

(2)

(3)

式中：v是真值框和預(yù)測框長寬比的相似性，c是兩個矩形框最遠(yuǎn)角點的距離，α是權(quán)重參數(shù)，IOU表示預(yù)測框b和真值框bGT之間的交并比。CIoU損失綜合考慮了檢測框預(yù)測值和真值之間的重疊面積以及中心點距離和長寬比，可改善復(fù)雜檢測場景中目標(biāo)框預(yù)測值的準(zhǔn)確度。網(wǎng)絡(luò)訓(xùn)練時，將誤差函數(shù)計算得到的誤差反向傳播至各個節(jié)點，對可調(diào)參數(shù)進行調(diào)節(jié)，利用訓(xùn)練完成的模型實現(xiàn)對電力線目標(biāo)框坐標(biāo)及電力線相對角度的估計。

1.3 目標(biāo)框提煉

將包含在類別信息中的相對角度和目標(biāo)框坐標(biāo)結(jié)合起來，可達到提煉目標(biāo)所在區(qū)域范圍的效果。網(wǎng)絡(luò)輸出的目標(biāo)框坐標(biāo)為不含角度的正矩形框。假設(shè)原始目標(biāo)框的中心點坐標(biāo)為x、y，高為h，寬為w，當(dāng)模型輸出目標(biāo)框的類別后，可以根據(jù)類別獲得電力線相對角度，按照以下規(guī)則計算電力線提煉框四個點的坐標(biāo)。

(1)電力線相對角度為135°

提煉出來的電力線目標(biāo)框坐標(biāo)為

(4)

(5)

(6)

(7)

(2)電力線相對角度為90°

提煉出來的電力線目標(biāo)框坐標(biāo)保持原坐標(biāo)不變，即

(8)

(9)

(10)

(11)

(3)電力線相對角度為45°

提煉出來的電力線目標(biāo)框坐標(biāo)為

(12)

(13)

(14)

(15)

(4)電力線相對角度為0°

提煉出來的電力線目標(biāo)框坐標(biāo)保持原坐標(biāo)：

(16)

(17)

(18)

(19)

當(dāng)提煉后的電力線目標(biāo)框超出圖像邊界時，則丟棄提煉框的超出部分，始終保持提煉框在圖像范圍內(nèi)。

圖3給出了電力線目標(biāo)框提煉示意圖。

圖3 電力線目標(biāo)框提煉示意圖

2 實驗結(jié)果

被檢目標(biāo)的精確率P和召回率R分別為

(20)

(21)

式中：TP為模型正確檢測出來的目標(biāo)個數(shù)，F(xiàn)P為模型誤檢的目標(biāo)個數(shù)，F(xiàn)N為模型漏檢的目標(biāo)個數(shù)。

以精確率P和召回率R為橫縱坐標(biāo)，繪制出PR曲線p(r)，計算PR曲線下的面積，可以得到平均精確率

(22)

多個類別的AP的均值即為mAP(mean Average Precision)：

(23)

將包含電力線電力塔的圖像整理制作成數(shù)據(jù)集，并將其劃分為訓(xùn)練集和驗證集。其中，訓(xùn)練集有796個圖像樣本，驗證集89張。利用Mosaic數(shù)據(jù)增強擴充訓(xùn)練集，擴充后的數(shù)據(jù)集用于網(wǎng)絡(luò)訓(xùn)練。模型訓(xùn)練在具有兩塊P40(12T)GPU的服務(wù)器上進行，訓(xùn)練網(wǎng)絡(luò)大小為512×384，共訓(xùn)練30 000次，批量大小(batch size)設(shè)為64，初始學(xué)習(xí)率為0.001。網(wǎng)絡(luò)訓(xùn)練過程中，記錄的模型誤差和mAP變化如圖4所示。

圖4 訓(xùn)練誤差變化及mAP

經(jīng)過多次訓(xùn)練，模型可以達到的最佳mAP(@0.50)為62.50%。其中，單個類別的AP分別為

AP(power_line_0) =38.04%，AP(power_line_45) =54.90%，AP(66.67%) =66.67%，AP(57.22%) =57.22%，AP(power_tower)=95.68%。

模型檢測結(jié)果如圖5所示。電力線目標(biāo)根據(jù)角度信息又分為了四類，根據(jù)矩形框提煉方法將這四類目標(biāo)的矩形框調(diào)整為范圍更小的旋轉(zhuǎn)框，提煉框效果如圖6所示。對比圖5和圖6可以看出，相比于原始正矩形框(虛線框)，提煉后的目標(biāo)框(實線框)可以明顯減少背景區(qū)域，更加準(zhǔn)確地表示電力線所在位置，且YOLOv4-tiny算法的實時性高，可實現(xiàn)電力線的實時檢測。

圖5 初始電力線檢測識別結(jié)果

將本文中利用深度學(xué)習(xí)和目標(biāo)框提煉的電力線檢測結(jié)果(見圖6)和傳統(tǒng)Hough變換算法得到的電力線檢測結(jié)果(見圖7)進行對比。基于Hough變換的電力線檢測方法首先通過Sobel算子對原圖中進行邊緣檢測，然后通過Hough變換對邊緣檢測結(jié)果進行直線檢測，最后將直線檢測結(jié)果作為電力線檢測結(jié)果。從圖6和圖7的檢測結(jié)果可以看出，本文采用的人工智能的方法能夠準(zhǔn)確地檢測到更多的電力線，且本文的相對角度分類方法對電力線所在范圍進行了進一步確定，對背景區(qū)域進行了抑制；而傳統(tǒng)方法難以區(qū)分背景直線和電力線直線，且直線檢測不完整、不連續(xù)。因此，相比于傳統(tǒng)方法，本文方法在電力線檢測中效果更好。

圖7 基于Hough變換的電力線檢測結(jié)果

3 結(jié)束語

本文針對形狀細(xì)長、特征稀疏的電力線目標(biāo)檢測與識別的位置精度不夠的問題，提出估計電力線相對角度、提煉電力線位置范圍來提高電力線的位置準(zhǔn)確度，進而提高飛機避開障礙物的成功率。首先通過分析電力線特征將其絕對角度的回歸轉(zhuǎn)化為相對角度的分類問題，進而采用實時目標(biāo)檢測與識別模型YOLOv4_tiny對電力線的位置及角度進行估計，估計完成后通過提出的矩形框提煉方法對電力線的準(zhǔn)確位置進行描述。通過實驗結(jié)果可看出，該檢測估計方案可以實時對電力線進行檢測，且明顯縮小了電力線目標(biāo)框的背景區(qū)域，提高了電力線的位置估計準(zhǔn)確度。

如何結(jié)合相對角度估計和高性能模型來提高電力線識別召回率是下一步需要重點研究的內(nèi)容。