劉軍杰 朱建收 盛雨笛 胡永輝 盛從兵

摘 要：將無人機(jī)高精度定位技術(shù)與視覺跟蹤技術(shù)融合，可以實現(xiàn)輸電線路設(shè)備高清影像的精準(zhǔn)采集。因此，有必要建立基于無人機(jī)機(jī)載前端的巡檢圖像智能識別前端系統(tǒng)模型，實現(xiàn)輸電線路設(shè)備缺陷、通道隱患的實時識別。其間可以將人工智能（AI）技術(shù)應(yīng)用到無人機(jī)機(jī)載前端智能識別中，結(jié)合目標(biāo)檢測算法，獲得智能識別結(jié)果?，F(xiàn)場應(yīng)用后，無人機(jī)視角下的微小目標(biāo)檢測符合應(yīng)用要求。本研究成果可在一定程度上提升無人機(jī)巡檢應(yīng)用效果。

關(guān)鍵詞：無人機(jī)巡檢;智能識別;檢測算法;YOLO v3網(wǎng)絡(luò)

中圖分類號：V279;TP391.41文獻(xiàn)標(biāo)識碼：A 文章編號：1003-5168（2021）14-0008-03

Abstract： The integration of UAV high-precision positioning technology and visual tracking technology can achieve accurate collection of high-definition images of transmission line equipment. Therefore， it is necessary to establish? a front-end system model for the intelligent identification of inspection images based on the airborne front-end of the UAV to realize the real-time identification of transmission line equipment defects and channel hidden dangers. In the meantime， artificial intelligence （AI） technology can be applied to the intelligent recognition of the airborne front-end of the UAV， combined with the target detection algorithm， to obtain the intelligent recognition result. After the field application， the detection of small targets under the UAV's perspective meets the application requirements. The research results can improve the application effect of UAV inspection to a certain extent.

Keywords： UAV inspection;intelligent identification;detection algorithm;YOLO v3 network

無人機(jī)高精度定位以網(wǎng)絡(luò)實時差分定位（RTK）為基礎(chǔ)，融合視覺導(dǎo)航跟蹤技術(shù)，可以實現(xiàn)絕緣子串、防振錘、間隔棒、均壓環(huán)和桿塔等關(guān)鍵部位的捕捉和精準(zhǔn)拍攝，而視覺追蹤是其需要解決的主要問題之一[1-2]。本文采用深度學(xué)習(xí)的方法，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測，同時使用深度學(xué)習(xí)框架Darknet，選用YOLO系列網(wǎng)絡(luò)模型，對無人機(jī)視覺拍攝的數(shù)據(jù)集進(jìn)行訓(xùn)練，然后運用所得模型參數(shù)來進(jìn)行前向推理，從而實現(xiàn)無人機(jī)的目標(biāo)檢測。

1 目標(biāo)檢測算法

Darknet是一個用C語言和CUDA運算平臺編寫的開源神經(jīng)網(wǎng)絡(luò)框架，具有以下優(yōu)點：易于安裝，結(jié)構(gòu)明晰，源代碼查看、修改方便，沒有任何依賴項。模型訓(xùn)練采用基于Caffe深度學(xué)習(xí)框架的TensorRT加速的YOLO算法。配置環(huán)境使用cuda8.0.61、cudnn7.0、opencv2.4.8、Python2.7.6、Keras2.1.1、Numpy1.14.2、TensorFlow1.0.0、pip19.0.3、setuptools-40.8.0和cmake3.5.1等工具，使用JetPack3.3軟件將TX2嵌入式開發(fā)板刷機(jī)，即可自動安裝TensorRT加速工具，方便在TX2上部署[3]。

YOLO v3網(wǎng)絡(luò)模型借鑒了殘差網(wǎng)絡(luò)（Residual Network）的做法，在一些層之間設(shè)置了快捷鏈路，采用Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示[4-5]。

YOLO v3網(wǎng)絡(luò)模型使用聚類算法，得到9種不同寬與高的先驗框，前面輸出三種不同尺寸的特征圖，每個特征圖上的一個點只需要預(yù)測三個先驗框。根據(jù)圖中信息，確定9個尺寸的anchors（錨點）值。anchors值取8、13、19、29、45、35、28、65、84、60、51、117、144、110、90、211、208和271。

YOLO v3網(wǎng)絡(luò)模型采用3個不同尺度的特征圖來進(jìn)行對象檢測，由于下采樣倍數(shù)高，這里特征圖的感受野比較大，因此其適合檢測圖像中尺寸比較大的對象。

YOLO v3網(wǎng)絡(luò)模型本來使用Darknet框架，雖然易于部署但是無法應(yīng)用其他加速方法，在用Pytorch軟件改寫后可以使用TensorRT加速。也就是說，先通過運行YOLO v3_to_onnx.py腳本程序?qū)arknet模型轉(zhuǎn)為ONNX格式，再運行onnx_to_tensorrt.py腳本程序?qū)NNX轉(zhuǎn)為TensorRT model，即可用TensrorRT加速CNN（卷積神經(jīng)網(wǎng)絡(luò)）部分。用20類缺陷樣本做測試，在TX2嵌入式開發(fā)板上運行模型，其平均準(zhǔn)確率超過85%，召回率超過90%，每張圖片的處理速度為62 ms。

2 目標(biāo)檢測應(yīng)用

2.1 數(shù)據(jù)集統(tǒng)計

連接金具訓(xùn)練集與測試數(shù)據(jù)集，統(tǒng)計結(jié)果如表1、表2所示。

2.2 模型優(yōu)化

由于連接金具模型需要部署在TX2嵌入式開發(fā)板上進(jìn)行實時目標(biāo)檢測，因此要采用輕量小模型對連接金具進(jìn)行精確識別與定位。在YOLO v3網(wǎng)絡(luò)模型的基礎(chǔ)上對其進(jìn)行輕量處理，去掉一些特征層，保留3個獨立預(yù)測分支，構(gòu)建了一個適合在資源受限環(huán)境下運行的Tiny-YOLO v3檢測模型，該模型的檢測流程如圖2所示。

從圖2可知，在Tiny-YOLO v3檢測模型中，原YOLO v3網(wǎng)絡(luò)模型的主干架構(gòu)DarkNet-53被簡化成一個包含7個網(wǎng)絡(luò)層的CNN，它由一系列的卷積層（Convolutional）及最大池化層（Max Pooling）組成，其中的卷積層用于提取特征，步幅為2的池化層則對卷積層輸出的特征圖進(jìn)行下采樣。

除主干架構(gòu)之外，后續(xù)的多尺度預(yù)測過程也利用CNN最后輸出的大小及第5個卷積層輸出的大小的特征圖來輸出兩組預(yù)測結(jié)果，得到兩個張量。其間只需要進(jìn)行一次上采樣，采樣前只使用少量的卷積層來進(jìn)行維度壓縮。

2.3 模型測試結(jié)果

一是測試硬件，包括嵌入式NVIDIA JETSON TX2和1080TI服務(wù)器。二是測試環(huán)境，服務(wù)器有Cuda10.0、Cudnn7.6、Opencv3.4.0、Python3.6和Darknet。嵌入式使用JetPack3.3對嵌入式TX2進(jìn)行刷機(jī)，即可自動安裝相關(guān)運行環(huán)境，方便在TX2上進(jìn)行部署。

在關(guān)鍵部位目標(biāo)測試結(jié)果中，首先根據(jù)關(guān)鍵部位（如絕緣子串、防振錘、間隔棒、均壓環(huán)和桿塔等）建立樣本庫。目前，針對電力巡線，訓(xùn)練了包含五類目標(biāo)的模型，分別是絕緣子、連接金具、連接掛點、防震錘及鳥巢。其次，由于實時性要求較高，選取YOLO v3網(wǎng)絡(luò)模型作為訓(xùn)練框架。最后，基于YOLO v3目標(biāo)識別算法進(jìn)行各類別模型訓(xùn)練，訓(xùn)練精度如表3所示。

在連接金具測試中，將連接金具分為insulatorlinkline、linelinktower和insulatorlinktower三類，采集實際巡檢環(huán)境圖像并進(jìn)行標(biāo)記，共制作了5萬多張標(biāo)記圖像樣本進(jìn)行訓(xùn)練，同時制作4 364張圖像數(shù)據(jù)進(jìn)行測試，在測試閾值設(shè)置為0.5的情況下，平均檢測精度達(dá)到0.507 014。經(jīng)測試，將該模型部署于無人機(jī)平臺上實際飛行時，輸入視頻分辨率為1 080 Pixel，其檢測速度可達(dá)到30幀/s，檢測效果很好，可滿足實時檢測需求。具體連接金具的檢測結(jié)果如圖3所示。

在導(dǎo)線數(shù)據(jù)測試結(jié)果中，導(dǎo)線檢測類別僅為導(dǎo)線一類目標(biāo)。采集實際飛行環(huán)境中的導(dǎo)線圖像并進(jìn)行標(biāo)記，共制作5 000多張標(biāo)記圖像樣本進(jìn)行訓(xùn)練，同時制作441張圖像數(shù)據(jù)進(jìn)行測試，在測試閾值設(shè)置為0.25的情況下，平均檢測精度達(dá)到0.78。經(jīng)測試，將該模型部署于無人機(jī)平臺上實際飛行時，輸入視頻分辨率為1 080 Pixel，其檢測速度可達(dá)到4幀/s，檢測效果較好，可滿足實時導(dǎo)線檢測和跟蹤需求。此外，將該模型部署于1080TI服務(wù)器上，檢測速度可達(dá)到49幀/s。

3 結(jié)語

在無人機(jī)場景下，本文應(yīng)用目標(biāo)檢測，使用機(jī)載TX2運行YOLO v3網(wǎng)絡(luò)模型，由DAC數(shù)據(jù)集訓(xùn)練獲得網(wǎng)絡(luò)模型權(quán)重。由現(xiàn)場應(yīng)用結(jié)果可以看出，無人機(jī)視角下的微小目標(biāo)檢測基本符合應(yīng)用要求，但依然存在一些問題，比如，過小的物體無法識別，其根本原因在于數(shù)據(jù)集不夠完善，從而出現(xiàn)一些誤檢與漏檢。

參考文獻(xiàn)：

[1]胡志坤，趙超越，王振東，等.基于邊緣計算和無人機(jī)巡檢圖像的輸電桿塔關(guān)鍵部位隱患智能識別[J].浙江電力，2020（10）：21-27.

[2]任海波，王水，黃遲，等.一種智能化巡檢無人機(jī)系統(tǒng)的設(shè)計研究[J].中國新通信，2020（19）：70-71.

[3]孫雙春，張玲艷，楊濤，等.智能識別技術(shù)在無人機(jī)電力巡檢中的應(yīng)用[J].新型工業(yè)化，2020（5）：87-88.

[4]邵瑰瑋，劉壯，付晶，等.架空輸電線路無人機(jī)巡檢技術(shù)研究進(jìn)展[J].高電壓技術(shù)，2020（1）：14-22.

[5]劉文華，劉洋，李寧.智能識別算法在無人機(jī)巡線中的應(yīng)用研究[J].中國管理信息化，2018（11）：128-133.