張立中 劉 俊 劉思堯 蘇 婷 劉 峰

(國(guó)網(wǎng)寧夏電力有限公司信息通信公司 銀川 750000)

1 引 言

為適應(yīng)電力市場(chǎng)發(fā)展，滿足用戶對(duì)電力的需求，智能電網(wǎng)需要實(shí)現(xiàn)可靠性、安全性、經(jīng)濟(jì)性和高效性。但持續(xù)的機(jī)械張力、材料老化、覆冰和人為因素等原因，使得長(zhǎng)期暴露的傳輸線設(shè)備易斷裂、磨損、損壞和腐蝕，從而給電力系統(tǒng)的安全性和穩(wěn)定性帶來了巨大的隱患。電網(wǎng)檢查是電網(wǎng)傳輸?shù)闹匾ＷC，但我國(guó)的電網(wǎng)傳輸線分布廣泛、地貌復(fù)雜、環(huán)境惡劣、氣候多變，使傳統(tǒng)的人工巡檢工作難度加大、危險(xiǎn)系數(shù)增加、靈活性降低、人工成本提高，導(dǎo)致人工巡檢周期長(zhǎng)、效率低。為滿足大規(guī)模電網(wǎng)及時(shí)巡檢的要求，無人機(jī)電力巡檢[1-2]成為關(guān)注熱點(diǎn)。

近年來，隨著深度學(xué)習(xí)[3-4]技術(shù)的發(fā)展，嵌入式前端算力的提高，圖像處理與計(jì)算機(jī)視覺技術(shù)得到了迅速發(fā)展。在此背景下，基于邊緣計(jì)算[5]的實(shí)時(shí)智能前端檢測(cè)與識(shí)別，成為智能電網(wǎng)未來發(fā)展的主要方向之一。

絕緣子是輸電線路的重要組成部分，其主要作用是電氣絕緣和線路支撐。傘裙是絕緣子的外絕緣部分，其主要作用是保護(hù)芯棒免受氣候影響和電蝕作用，提供所需要的爬電距離。受自然災(zāi)害或人為因素的影響，傘裙可能出現(xiàn)裂紋、破損、污穢等問題，因此，需要定期對(duì)傘裙進(jìn)行檢查和維修，從而確保供電系統(tǒng)安全。

傘裙破損檢測(cè)需要解決兩個(gè)關(guān)鍵問題：從捕獲的圖像中檢測(cè)出傘裙和確定被檢測(cè)的傘裙是否有破損。在過去的幾年里，硬件設(shè)備和深度學(xué)習(xí)理論的發(fā)展，使得目標(biāo)檢測(cè)取得了重大突破，許多具有代表性的深度卷積網(wǎng)絡(luò)，如Faster R-CNN[6-7]、YOLOv3[8-9]、Resnet-101[10]和 SSD[11]等模型，都在公共數(shù)據(jù)集上被提出和驗(yàn)證。在這些前沿研究的推動(dòng)下，如何利用深度學(xué)習(xí)模型對(duì)無人機(jī)巡航圖像中的傘裙進(jìn)行定位和破損檢測(cè)成為相關(guān)學(xué)者研究的熱點(diǎn)。吳濤等[12]通過改進(jìn) YOLOv3 來定位絕緣子，設(shè)計(jì)了一種基于輕量級(jí)網(wǎng)絡(luò)的絕緣子故障定位方法。該方法提高了航空?qǐng)D像中絕緣子故障檢測(cè)的質(zhì)量，但其仍需高清圖像做支撐，無法實(shí)現(xiàn)實(shí)時(shí)應(yīng)用。Tao 等[13]將航拍圖像中絕緣子故障部分粘貼到其他正常絕緣子航拍圖像上，以增強(qiáng)絕緣子斷層數(shù)據(jù)集，但通過模擬得到的絕緣子故障增強(qiáng)數(shù)據(jù)集，容易影響神經(jīng)網(wǎng)絡(luò)的泛化能力。Shelhamer 等[14]利用 FCN像素級(jí)別分割網(wǎng)絡(luò)對(duì)圖片中的傘裙進(jìn)行像素級(jí)別的檢測(cè)，但因?yàn)闃颖静痪庠斐赡Ｐ碗y以訓(xùn)練。此外，大多數(shù)基于人工特征的方法和基于機(jī)器學(xué)習(xí)的方法對(duì)復(fù)雜背景的干擾比較敏感，且運(yùn)行達(dá)不到實(shí)時(shí)性要求[15]。

基于上述研究，本文通過優(yōu)化單激發(fā)多盒探測(cè)器(Single Shot MultiBox Detector，SSD)算法，設(shè)計(jì)了一種適合運(yùn)行于嵌入式設(shè)備的輕量級(jí)卷積網(wǎng)絡(luò)結(jié)構(gòu)，并結(jié)合多通道特征提取，解決了模型提取特征健壯的問題。該結(jié)構(gòu)采用了類似雙層金字塔的結(jié)構(gòu)，可有效提取圖像中高低級(jí)語義特征，從而避免過濾掉有用的特征。與目前經(jīng)典的輕量級(jí)卷積網(wǎng)絡(luò)結(jié)構(gòu) MobilNetV2[16]相比，本文模型具有更高的平均正確率(Average Precious，AP)指標(biāo)。此外，為了便于本文模型在嵌入式設(shè)備上實(shí)時(shí)運(yùn)行，需要在確保檢測(cè)準(zhǔn)確性的同時(shí)，降低模型所需的計(jì)算資源。本文利用深度可分離卷積結(jié)構(gòu)對(duì)雙層金字塔模型進(jìn)行優(yōu)化，在確保準(zhǔn)確率的同時(shí)，進(jìn)一步提升了網(wǎng)絡(luò)模型的實(shí)時(shí)性。

2 基于雙層金字塔結(jié)構(gòu)的輕量級(jí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.1 目標(biāo)檢測(cè)概述

圖 1 為目標(biāo)檢測(cè)任務(wù)中經(jīng)典的主干特征提取算法神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這種結(jié)構(gòu)能夠提取到不同分辨率的特征圖組。原圖中不同大小的目標(biāo)經(jīng)不同分辨率的特征圖檢測(cè)后，提取到的不同分辨率的特征圖組被移送至下一階段，進(jìn)行目標(biāo)檢測(cè)的后續(xù)過程。

圖1 金字塔特征提取主干結(jié)構(gòu)Fig. 1 Backbone structure extraction based on pyramid feature

圖 2 為目標(biāo)檢測(cè)中的預(yù)選框設(shè)置，在目標(biāo)檢測(cè)中，對(duì)于每一個(gè)特征圖組中每一層特征圖上的像素點(diǎn)，系統(tǒng)設(shè)置了多組預(yù)選框作為參考，預(yù)選框中心點(diǎn)的位置是由像素點(diǎn)所處特征圖的相對(duì)位置映射到原圖的位置所確定的；預(yù)選框的寬高則是參考原圖上的坐標(biāo)點(diǎn)設(shè)置的。當(dāng)預(yù)選框被設(shè)置完成后，類似于系統(tǒng)的參考基準(zhǔn)也相應(yīng)被設(shè)置完成。

圖2 目標(biāo)檢測(cè)中的預(yù)選框設(shè)置Fig. 2 Pre-selection box setting in target detection

圖 3 為目標(biāo)檢測(cè)匯總的像素點(diǎn)分類框回歸，系統(tǒng)通過預(yù)選框作為參考，將不同分辨率的特征圖合并成單一的特征點(diǎn)后，對(duì)特征點(diǎn)進(jìn)行回歸以及分類，最終得到每個(gè)特征點(diǎn)預(yù)測(cè)的類別及相對(duì)于原圖的位置，即系統(tǒng)完成了目標(biāo)檢測(cè)過程中的定位。目標(biāo)檢測(cè)的過程，是系統(tǒng)對(duì)現(xiàn)有的主干提取網(wǎng)絡(luò)進(jìn)行優(yōu)化的過程，與現(xiàn)有的模型相比，優(yōu)化過后的模型更加精確，具有更快的預(yù)測(cè)速度。

圖3 目標(biāo)檢測(cè)中像素點(diǎn)的分類框回歸Fig. 3 Classification frame regression of pixels in target detection

2.2 雙層金字塔模塊

如圖 4 所示的網(wǎng)絡(luò)設(shè)計(jì)過程中，本文使用的網(wǎng)絡(luò)模型如下：圖片依次進(jìn)入(Plain Convolution，PC)結(jié)構(gòu)中進(jìn)行采樣，除首個(gè)圖片經(jīng)普通卷積 PC 結(jié)構(gòu)采樣后不利用樣本歸一化(Batch Normalization，BN)結(jié)構(gòu)進(jìn)行歸一化，其他圖片均利用 BN 結(jié)構(gòu)進(jìn)行歸一化。在實(shí)驗(yàn)過程中發(fā)現(xiàn)，BN 層使模型具有更好的收斂性。經(jīng)過上述步驟，模型提取的特征屬性的水平維度分別相對(duì)于原圖片為：1/2、1/4、1/8、1/16、1/32，此時(shí)提取模型類似一層金字塔模型；隨后，系統(tǒng)對(duì)之前提取的特征集進(jìn)行通道合并，然后再進(jìn)行上采樣，最終獲得另外一層金字塔模型；最后將之前提取的不同分辨率的特征當(dāng)作主干特征提取的特征圖組，作為后續(xù)進(jìn)行目標(biāo)檢測(cè)過程中的特征圖組。

圖4 雙層金字塔結(jié)構(gòu)Fig. 4 Double pyramid structure

為增強(qiáng)模型的表達(dá)能力，本文設(shè)計(jì)了如圖 5所示的各種類型子模塊。這些模塊相當(dāng)于注意力機(jī)制的模擬操作，能使網(wǎng)絡(luò)在通道、分辨率等維度上進(jìn)行自適應(yīng)學(xué)習(xí)得到相關(guān)的重要特征，且能夠過濾掉噪聲等影響因素。圖片分別代表 PC、上采樣卷積(Upsample Convolution，UC)、豎直卷積(Higth-resolution Convolution，HC)、水平卷積(Width-resolution Convolution，WC)等 4 個(gè)結(jié)構(gòu)，其中，普通卷積結(jié)構(gòu) PC 與上采樣卷積結(jié)構(gòu)UC 主要作用于主干特征結(jié)構(gòu)提取，而豎直卷積結(jié)構(gòu) HC 與水平卷積結(jié)構(gòu) WC 偏重于提取網(wǎng)絡(luò)中的豎直特征以及水平特征。

圖5 各種類型子模塊Fig. 5 Various types of sub modules

本文結(jié)合上述 3 種模塊，設(shè)計(jì)了如圖 6 所示的多通道特征提取子模塊，利用豎直卷積結(jié)構(gòu)、普通卷積結(jié)構(gòu)和水平卷積結(jié)構(gòu)分別對(duì)原圖進(jìn)行特征提取，然后通過通道合并獲取最終的特征屬性，該結(jié)構(gòu)是雙層金字塔結(jié)構(gòu)綠色模塊的詳細(xì)內(nèi)容。

圖6 多通道特征提取子模塊Fig. 6 Multi-channel feature extraction sub module

2.3 深度可分離卷積

為便于網(wǎng)絡(luò)模塊實(shí)時(shí)運(yùn)行在無人機(jī)嵌入式設(shè)備上，本文使用深度可分離卷積對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，優(yōu)化結(jié)果表明，在損失精度可接受范圍內(nèi)，深度可分離卷積能夠降低計(jì)算量。卷積核優(yōu)化過程如圖 7 所示，深度可分離卷積將普通卷積操作分解成逐通道卷積操作和逐點(diǎn)卷積操作。逐通道卷積運(yùn)算得到的特征圖通道數(shù)和輸入通道數(shù)一致。在逐通道卷積過程中，不同通道間的特征圖是獨(dú)立的，不能利用屬于不同通道的特征間聯(lián)系。因此，本文利用逐點(diǎn)卷積操作來進(jìn)行卷積操作，增強(qiáng)了不同通道之間的特征聯(lián)系，其卷積核一般設(shè)置為 1∶1∶n(n為輸入通道數(shù)量)。本文通過調(diào)節(jié)中間過程的輸出通道數(shù)量及輸出分辨率大小，控制深度可分離卷積的運(yùn)算量，從而平衡檢測(cè)速度與準(zhǔn)確度。

圖7 深度可分離卷積模塊Fig. 7 Deep separable convolution module

3 損失函數(shù)與評(píng)價(jià)指標(biāo)

3.1 損失函數(shù)

假定訓(xùn)練過程中訓(xùn)練每一個(gè)索引為i的預(yù)選框，則訓(xùn)練過程中最小化的多層損失函數(shù)如公式(1)所示。

3.2 評(píng)估指標(biāo) AP

在目標(biāo)檢測(cè)算法中，以兩個(gè)矩形框面積的交集和并集的比值(Intersection Over Union Value，IOU 值)是否大于某個(gè)值(通常使用 0.5)，來界定評(píng)估目標(biāo)是否被檢測(cè)出來，其計(jì)算公式如下：

根據(jù) IOU 可得出準(zhǔn)確率-召回率(Persion-Recall，P-R)曲線圖，曲線平滑處理后，計(jì)算曲線下的面積即可得出最終的 AP 指標(biāo)。

4 結(jié) 果

本節(jié)將介紹訓(xùn)練的數(shù)據(jù)集、實(shí)驗(yàn)環(huán)境、訓(xùn)練參數(shù)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行比較分析。此外，本文還采用多種方式對(duì)樣本進(jìn)行數(shù)據(jù)增強(qiáng)，解決了目標(biāo)樣本較少的問題。

4.1 訓(xùn)練數(shù)據(jù)集

本文采用無人機(jī)巡檢的方式進(jìn)行數(shù)據(jù)采集。首先，直接對(duì)傘裙區(qū)域進(jìn)行裁剪，然后對(duì)傘裙區(qū)域內(nèi)的破損區(qū)域進(jìn)行標(biāo)注。本文訓(xùn)練集為 248 張圖片，測(cè)試集為 24 張圖片。每張傘裙圖片中均有傘裙破損部分，所使用的圖片為 RGB 通道圖片。圖 8 為部分傘裙數(shù)據(jù)。

圖8 部分傘裙數(shù)據(jù)Fig. 8 Samples of insulator skirt data

4.2 實(shí)驗(yàn)環(huán)境

本文訓(xùn)練環(huán)境為 Ubuntu 18.04，利用單卡的Titan XP 和深度學(xué)習(xí)框架 TensorFlow 1.14.0 進(jìn)行訓(xùn)練，訓(xùn)練時(shí)間約為 10 h。測(cè)試時(shí)則利用 CPU(型號(hào)為：i9-9880H，8 核 16 線程)進(jìn)行測(cè)試。

4.3 訓(xùn)練參數(shù)

訓(xùn)練過程中，本文使用 隨機(jī)梯度下降(Stochastic Gradient Descent，SGD) 算法作為優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練參數(shù)如表 1 所示。該模型不斷利用隨機(jī)梯度下降算法進(jìn)行迭代優(yōu)化，如公式(3)所示，并更新權(quán)重等參數(shù)。

表1 訓(xùn)練參數(shù)設(shè)置Table 1 Training parameter setting

4.4 實(shí)驗(yàn)結(jié)果分析

將上述數(shù)據(jù)在不同模型上進(jìn)行訓(xùn)練及測(cè)試。在訓(xùn)練過程中，為解決樣本量過少的問題，本文采用了隨機(jī)裁剪、隨機(jī)亮度、隨機(jī)旋轉(zhuǎn)、尺度變換(Random Scale)及隨機(jī)圖像差值的方式，對(duì)圖像進(jìn)行裁剪、縮放(Random Crop)，以增加樣本數(shù)據(jù)。將 SSD MobileNetV1 和 SSD MobileNetV2作為對(duì)比模型，對(duì)本文模型性能進(jìn)行測(cè)試，測(cè)試結(jié)果如表 2 所示。

表 2 第 2 列為閾值 IOU 在 0.5～0.9 之間 AP值的平均值(間隔為 0.05)。與輕量級(jí)網(wǎng)絡(luò)模型SSD MobileNetV1 和 SSD MobileNetV2 相比，本文模型 1(Pymidnet＋ 多通道模塊)具有更好的AP 指標(biāo)，達(dá)到 88%。在確保準(zhǔn)確率的同時(shí)，模型 1 的圖片檢測(cè)時(shí)間比 MobileNetV1 快，僅比MobileNetV2 多 0.001 s。此外，為進(jìn)一步提高檢測(cè)速度，本文采用雙層金字塔模型及深度可分離卷積優(yōu)化卷積，與 MobileNetV1 和 MobileNetV2相比，該模型在 AP 略有下降的同時(shí)，檢測(cè)速度分別提升了 16% 和 8.7%。當(dāng) IOU 閾值為 0.5時(shí)，經(jīng)過訓(xùn)練的兩種 SSD 模型和本文模型在測(cè)試集上評(píng)估的 AP 值均為 1。通過對(duì)比表 2 的前兩列可知，隨著閾值 IOU 的增加，前兩種模型的AP 值下降明顯，而本文模型的 AP 值相對(duì)穩(wěn)定。表 2 的第 4 列為 IOU 在[0.5,0.95]上所有召回率的平均值 AR，為本文模型 1(Pymidnet＋ 多通道模塊)優(yōu)于 MobileNetV1 和 MobileNetV2 的準(zhǔn)確率提供了佐證。

表2 模型結(jié)果對(duì)比Table 2 Comparison of different model results

在測(cè)試集上對(duì)本文模型進(jìn)行 mAP 評(píng)測(cè)，評(píng)測(cè)結(jié)果如圖 9 所示。當(dāng) IOU＝0.5 時(shí)，傘裙破損區(qū)域檢測(cè)的 AP 指標(biāo)高達(dá) 0.956 6。通過測(cè)試表明，在不同強(qiáng)度光照環(huán)境、破損模糊等特殊條件下，本文算法均能完成傘裙破損檢測(cè)，如圖 10所示。

圖9 mAP 測(cè)試集評(píng)測(cè)指標(biāo)Fig. 9 Test set evaluation index mAP

圖10 傘裙破損檢測(cè)結(jié)果Fig. 10 Inspection results of insulator skirt damage

5 結(jié) 論

本文利用深度學(xué)習(xí)算法對(duì)航拍傘裙圖片進(jìn)行分析，使用正金字塔結(jié)構(gòu)及倒立金字塔結(jié)構(gòu)網(wǎng)絡(luò)，提取傘裙絕緣子圖片中的不同高低級(jí)語義特征，并將提取到的語義特征作為目標(biāo)定位要素，有效提升了傘裙破損檢測(cè)的效果。本文主要的創(chuàng)新點(diǎn)如下：(1) 提出一種雙層金字塔模型提取圖片特征，可有效防止網(wǎng)絡(luò)過深而造成有用信息被過濾掉；(2)使用多通道提取模塊，充分提取圖片的各種特征圖；(3)使用深度可分離卷積優(yōu)化卷積核，減少了模型的計(jì)算量，使得模型能夠?qū)崟r(shí)地運(yùn)行于嵌入式設(shè)備上。