李晨曦，邵蒙悅，馮 杰

（1.國網(wǎng)浙江溫嶺市供電有限公司，浙江 溫嶺 317500；2.浙江理工大學(xué)，杭州 310018）

0 引言

目前無人機巡檢[1]廣泛應(yīng)用于配電網(wǎng)線路巡檢。然而，隨著作業(yè)量的快速上升，無人機巡檢面臨更高的挑戰(zhàn)。配電網(wǎng)線路巡檢往往以丘陵山地為主，環(huán)境復(fù)雜、地勢起伏，無人機巡檢過程中需要與巡檢線路保持一定的高度和距離，才能確保采集視頻的標(biāo)準(zhǔn)性、規(guī)范性，因此對無人機操控人員提出了較高要求。而且，設(shè)備缺陷識別無法在現(xiàn)場實時開展，需要由無人機將視頻導(dǎo)入電腦，由后臺人員逐幀識別。線路缺陷的識別效率低，耗時久，視頻分析也要求人員具備豐富的巡檢經(jīng)驗。所以基于深度學(xué)習(xí)方法的電桿檢測與瓷瓶缺陷識別具有重要意義。

在過去的研究中，針對類似的目標(biāo)檢測問題，張征凱和齊浪[2]使用以ResNet50 為基礎(chǔ)的Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)對螺紋孔進(jìn)行檢測，使得很小的螺紋孔也可以被有效地檢測出來。陳為和梁晨紅[3]針對航空發(fā)動機檢測的目標(biāo)小、難度大等問題，使用改進(jìn)的SSD（單激發(fā)多盒探測器）模型識別凸臺缺陷，但其沒有解決外部環(huán)境（如光線等）對數(shù)據(jù)集的影響，因此準(zhǔn)確率不高。張勤[4]等使用YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)檢測秧苗列中心線，該模型主干網(wǎng)絡(luò)借鑒ResNet 網(wǎng)絡(luò)結(jié)構(gòu)，并使用自適應(yīng)聚類調(diào)整網(wǎng)絡(luò)得到同列秧苗的檢測框，最后達(dá)到91.47%的準(zhǔn)確率。以上使用的網(wǎng)絡(luò)模型大部分有ResNet 殘差網(wǎng)絡(luò)結(jié)構(gòu)的影子，可見ResNet 結(jié)構(gòu)在目標(biāo)檢測中起到重要作用，且上述模型都是檢測單尺度目標(biāo)。

本文基于普遍采用的ResNet101 網(wǎng)絡(luò)搭建出雙尺度模型對目標(biāo)進(jìn)行檢測，相比以往只檢測一種尺度物體的目標(biāo)檢測算法，本算法不僅可以檢測大物體（比如電線桿），也可以檢測小物體（比如瓷瓶），并且融合缺陷檢測算法，對所標(biāo)記出來的瓷瓶進(jìn)行缺陷檢測。本文提出的缺陷檢測算法，從可見光、紅外圖像、精細(xì)化3 個方面進(jìn)行研究，解決了外部環(huán)境影響數(shù)據(jù)集的問題，大大提高了缺陷檢測的準(zhǔn)確率。

1 研究數(shù)據(jù)集介紹

1.1 數(shù)據(jù)來源

本研究采用的數(shù)據(jù)來源于浙江省某電力公司。在已有素材中選取了視頻圖像數(shù)據(jù)236 GB，將數(shù)據(jù)按照多樣化場景分類后（包括城市、山林、沿海等場景）進(jìn)行算法實現(xiàn)和訓(xùn)練。如此，可使算法魯棒性更強。

1.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理主要包括對圖像數(shù)據(jù)的標(biāo)注、數(shù)據(jù)增廣等工作。

（1）數(shù)據(jù)標(biāo)注。為實現(xiàn)高效利用視頻數(shù)據(jù)，本研究通過該電力公司自研的數(shù)據(jù)協(xié)同標(biāo)注平臺，對每段視頻進(jìn)行圖片截取，并對有效目標(biāo)進(jìn)行標(biāo)注，共生成圖片近1 萬張，其界面如圖1 所示。標(biāo)注目標(biāo)包括鐵塔、水泥桿、鋼管桿等各類電桿，以及針式瓷瓶、絕緣子等桿上設(shè)備?？紤]到實際環(huán)境中，配電線路周邊可能存在0.4 kV 電桿、通信桿等桿塔，因此在標(biāo)注過程中為各類桿塔進(jìn)行單獨標(biāo)注，從而確保模型可以對不同類型的桿塔進(jìn)行區(qū)分，有效剔除無關(guān)桿塔對模型識別的干擾。

該標(biāo)注平臺將標(biāo)注好的數(shù)據(jù)信息轉(zhuǎn)化為coco數(shù)據(jù)集格式，方便后續(xù)的網(wǎng)絡(luò)訓(xùn)練。

此外，如圖2 所示，本研究對飛行過程中發(fā)現(xiàn)的1 萬多張缺陷素材也進(jìn)行標(biāo)注，缺陷種類主要包括：瓷瓶扎線不規(guī)范、瓷瓶缺失、瓷瓶破損、電桿爬藤、設(shè)備發(fā)熱等。其中，檢測的瓷瓶類型分為R12.5 型針式瓷瓶和U70B 型懸式瓷瓶兩類，瓷瓶缺陷統(tǒng)計如表1 所示。

圖1 視頻標(biāo)注界面

圖2 巡檢素材示例

表1 瓷瓶缺陷素材統(tǒng)計

（2）數(shù)據(jù)增廣[5]。為提升檢測和識別準(zhǔn)確度，適應(yīng)各種不同環(huán)境（光照、角度等），對已標(biāo)注數(shù)據(jù)進(jìn)行后續(xù)處理，包括隨機裁剪、隨機色度變化、隨機角度變換等，使訓(xùn)練數(shù)據(jù)圖像從1 萬張左右擴充為10 萬張。數(shù)據(jù)增廣后的圖像如圖3—5 所示。

圖3 隨機裁剪圖像示例

圖4 隨機色度變化圖像示例

2 基于殘差雙尺度檢測器的巡檢目標(biāo)智能檢測算法

飛行過程中，為實現(xiàn)無人機線路通道飛行和精細(xì)化拍攝，需要同時識別水泥桿和瓷瓶等兩大類目標(biāo)（如圖6 所示）。其中，識別出來的桿塔主要用于無人機飛行路線的自主調(diào)整，而瓷瓶等小尺寸目標(biāo)的識別則用于無人機的近景檢測和缺陷識別。

由于識別目標(biāo)尺寸差異比較大，常規(guī)算法（如CNN 神經(jīng)網(wǎng)絡(luò)等）檢測效果相對較差。為了更好地識別不同尺寸的目標(biāo)，在基于深度學(xué)習(xí)目標(biāo)檢測算法的基礎(chǔ)上，采用基于殘差雙尺度檢測器算法模型，以便更加準(zhǔn)確地檢測出不同尺寸的目標(biāo)。提出算法的具體檢測流程如圖7 所示。

圖5 隨機角度變換圖像示例

圖6 標(biāo)記示例

2.1 殘差雙尺度檢測器網(wǎng)絡(luò)模型結(jié)構(gòu)

本模型主要由骨干網(wǎng)絡(luò)、微調(diào)模塊和邊界框橋梁模塊組成，基礎(chǔ)網(wǎng)絡(luò)框架如圖8 所示。

模型前端骨干網(wǎng)絡(luò)部分采用基本的ResNet101殘差網(wǎng)絡(luò)模型[6-7]，并采用金字塔架構(gòu)分別提取出不同尺寸維度的特征（s8，s16，s32，s64）。不同尺寸的特征對應(yīng)不同的檢測器，通過微調(diào)模塊對檢測位置進(jìn)行微調(diào)，最后將2 個檢測器的結(jié)果進(jìn)行融合，通過邊界框橋梁模塊得到最終的雙尺度檢測結(jié)果。

圖7 巡檢目標(biāo)智能檢測算法流程

圖8 殘差雙尺度檢測器模型基礎(chǔ)架構(gòu)

2.2 骨干網(wǎng)絡(luò)結(jié)構(gòu)

骨干網(wǎng)絡(luò)用于提取數(shù)據(jù)集不同尺寸維度的特征。核心是殘差網(wǎng)絡(luò)。

殘差網(wǎng)絡(luò)由一系列的殘差單元組成，每個殘差單元由殘差映射和直接映射兩部分組成，其結(jié)構(gòu)如圖9 所示，每個殘差單元的計算公式為：

式中：x 是輸入；w 是權(quán)重；y 是輸出。直接映射便是x，殘差映射為F（x，w）。F 表示對x 進(jìn)行殘差映射操作。

殘差映射是x 經(jīng)過一層3×3 的卷積層后，使用Relu 激活函數(shù)，見公式（2），最后再經(jīng)過一層3×3 的卷積層。殘差映射得到的結(jié)果與直接映射相加，得到最后的y 值。

圖9 殘差單元結(jié)構(gòu)

2.3 微調(diào)模塊結(jié)構(gòu)

微調(diào)模塊用于對檢測目標(biāo)得到的邊框進(jìn)行微調(diào)。微調(diào)模塊與殘差結(jié)構(gòu)類似，也有直接映射，模塊結(jié)構(gòu)見圖10。

圖10 微調(diào)模塊結(jié)構(gòu)

計算公式為：

直接映射便是x；R（x，w）表示x 經(jīng)過卷積層，反卷積層。最后使用sigmoid 激活函數(shù)，見公式（4）。與殘差網(wǎng)絡(luò)不同的是，R（x，w）得到的結(jié)果與直接映射x 相乘，得到最終結(jié)果y。

2.4 邊界框橋梁模塊結(jié)構(gòu)

邊界框橋梁模塊將2 個微調(diào)模塊得到的結(jié)果融合，得到最終的邊界框信息，在圖片中準(zhǔn)確框出電線桿和瓷瓶的位置。其結(jié)構(gòu)見圖11，計算公式為：

圖11 邊界框橋梁模塊結(jié)構(gòu)

式中：x1表示微調(diào)模塊1 得到的結(jié)果；x2代表微調(diào)模塊2 得到的結(jié)果。B（x，w）是x1經(jīng)過2 個1×1的卷積層，使用Relu 激活函數(shù)，得到的結(jié)果與x2相加，得到最終的輸出。

3 基于多光譜設(shè)備的缺陷檢測算法

無人機可搭載高靈敏度熱成像相機，將熱成像與4K 可見光傳感器結(jié)合，可以從更多維度獲取巡線場景信息，進(jìn)而取得多種設(shè)備缺陷輔助識別能力。目前已實現(xiàn)瓷瓶缺失、扎線綁扎不規(guī)范、設(shè)備異常發(fā)熱、電桿爬藤等缺陷輔助檢測功能。其算法流程如圖12 所示。

圖12 缺陷檢測整體算法流程

3.1 可見光缺陷檢測

該算法使用的是MobileNetV2 模型[8-9]，該模型的結(jié)構(gòu)如表2 所示，其中：t 為瓶頸層內(nèi)部升維的倍數(shù)；c 為特征的維數(shù)；n 為該瓶頸層重復(fù)的次數(shù)；s 為瓶頸層第一個conv 的步幅。

MobileNetV2 模型由conv2d 卷積層、bottleneck 模塊、平均池化層組成。該模型使用的激活函數(shù)為Rule6。

表2 MobileNetV2 模型結(jié)構(gòu)

Bottleneck 模塊由expand 層、Dwise 層和pointwise 層組成。

Expand 為1×1 的卷積層對數(shù)據(jù)進(jìn)行升維處理；Dwise 層由3×3 卷積層、BatchNorm 層（歸一化的作用）組成，使用的激活函數(shù)為Rule6；pointwise層為1×1 的卷積層對數(shù)據(jù)進(jìn)行降維。

除此之外，Bottleneck 模塊還有捷徑分支，與上面殘差結(jié)構(gòu)的直接映射類似，當(dāng)s=1 且輸入維度等于輸出維度時，便有捷徑分支，其他情況都不存在該分支。而輸入和輸出的大小為表2 中，輸入列“×”后面的數(shù)值。

3.2 紅外圖像缺陷檢測

由于紅外圖像分辨率不高并存在一定噪聲，首先進(jìn)行灰度化和去噪濾波，之后根據(jù)亮度值對一定閾值以上的部分（該閾值根據(jù)效果自行調(diào)整）采用膨脹連通域融合等操作，獲取矩形注意力區(qū)域進(jìn)行重點分析，然后采用Densecut 無監(jiān)督區(qū)域分割算法提取出重點溫度提取點，再對這些點的溫度值進(jìn)行加權(quán)平滑處理，最后將超過一定溫度閾值的可疑異常區(qū)域上報。

3.3 精細(xì)化檢測

在檢測到電桿等目標(biāo)后，機載AI 算法自主決策控制飛行姿態(tài)與云臺參數(shù)，當(dāng)無人機接近高壓電桿斜上方45°時懸停，自動調(diào)節(jié)攝像頭焦距，對電桿或塔架上的瓷瓶等關(guān)鍵目標(biāo)進(jìn)行細(xì)節(jié)檢測。同時人工控制無人機繞塔飛行，從不同角度對細(xì)節(jié)進(jìn)行觀測，從而實現(xiàn)精細(xì)化檢測。

在精細(xì)化檢測中，算法將自發(fā)對檢測的瓷瓶等關(guān)鍵目標(biāo)進(jìn)行以下操作：計數(shù)和缺陷分類；對可疑場景進(jìn)行標(biāo)記；回傳給工作人員進(jìn)行確認(rèn)。

經(jīng)研究表明，該操作可以有效提高缺陷排查的工作效率。

4 研究結(jié)果分析

4.1 基于殘差雙尺度檢測器的巡檢目標(biāo)智能檢測算法性能分析

在檢測網(wǎng)絡(luò)部分，主要采用了殘差網(wǎng)絡(luò)結(jié)構(gòu)。檢測主網(wǎng)絡(luò)有101 層，可以充分提取圖像中不同分辨率的細(xì)節(jié)特征，訓(xùn)練采用Adam 算法[10]進(jìn)行優(yōu)化迭代，自適應(yīng)調(diào)整學(xué)習(xí)率，共迭代30 000個epoch 后網(wǎng)絡(luò)達(dá)到穩(wěn)定。本模型采用單階段目標(biāo)檢測方案，相較于傳統(tǒng)的雙階段目標(biāo)檢測方案（例如Faster R-CNN[11-12]等），運行速度更快，更加適合在終端資源受限設(shè)備中運行。通過與其他算法的比對如表3 所示，可以看到在精度和速度方面，本模型都具有非常大的優(yōu)勢，適合本應(yīng)用場景。

表3 不同目標(biāo)檢測算法性能對比

本算法模型目前仍在根據(jù)無人機飛行數(shù)據(jù)反饋不斷更新改進(jìn)，不但能使更多的桿塔被檢測到，也可以動態(tài)調(diào)整桿塔識別置信度閾值，保障桿塔不漏報，對瓷瓶和電線桿的識別準(zhǔn)確率高達(dá)99%。

4.2 基于多光譜設(shè)備的缺陷檢測算法效果

缺陷檢測算法從可見光、紅外線以及精細(xì)化檢測三方面入手，主要使用的是MobileNetV2 網(wǎng)絡(luò)結(jié)構(gòu)。通過實驗發(fā)現(xiàn)，以瓷瓶缺失檢測為例，在分離出瓷瓶、橫擔(dān)等子圖像后，通過MobileNetV2 網(wǎng)絡(luò)對缺陷進(jìn)行分類識別。MobileNetV2網(wǎng)絡(luò)迭代2 000 個周期后得到分類模型。算法對瓷瓶檢測結(jié)果進(jìn)行計數(shù)分析，由于可能存在遮擋情況，所以需要綜合各個角度的檢測結(jié)果進(jìn)行統(tǒng)計，發(fā)現(xiàn)不足一定數(shù)量瓷瓶后將結(jié)果上報，大大提高了瓷瓶缺陷檢測的準(zhǔn)確性。缺陷檢測算法的檢測效果如圖13 所示。

圖13 缺陷檢測

最后對2 321 張圖片（正常1 345 張，缺陷976張）進(jìn)行檢測，檢測報告正常瓷瓶1 232 張，缺陷1 089 張，檢測準(zhǔn)確度達(dá)到95.1%。

5 結(jié)語

針對人工利用無人機巡檢耗時耗力、檢測難度大等問題，提出基于殘差雙尺度檢測器的巡檢目標(biāo)智能檢測算法和基于多光譜設(shè)備的缺陷檢測算法，并應(yīng)用基于殘差雙尺度檢測器的巡檢目標(biāo)智能檢測算法，對電線桿和瓷瓶進(jìn)行定位，使用基于多光譜設(shè)備的缺陷檢測算法對電線桿上的瓷瓶進(jìn)行缺點檢測。研究結(jié)果表明，在對電線桿的目標(biāo)檢測中，本算法可高達(dá)99%的準(zhǔn)確率，而對瓷瓶缺陷的檢測準(zhǔn)確率可達(dá)到95.1%。

本文將兩大算法融合，結(jié)合機載處理器實現(xiàn)高效、快速、安全地作業(yè)，達(dá)到配電網(wǎng)無人機自動作業(yè)的巡檢效果。