姚聰穎，申靜，湯浩威，姚軍財

（南京工程學(xué)院計算機工程學(xué)院，江蘇南京 211167）

對輸電線路進行定期巡檢是保證電網(wǎng)安全穩(wěn)定運行的重要條件[1]，無人機巡檢因安全性高、不受地理條件限制等優(yōu)勢已經(jīng)成為我國巡檢的主要運維方式[2]。并且，利用深度學(xué)習方法對海量圖像數(shù)據(jù)中的目標缺陷進行檢測，其檢測精度和效率均遠超人工處理的方式，具有重要的實際研究意義。

螺栓作為輸電線路上的緊固部件，因目標小、數(shù)量多、背景復(fù)雜、類間差異小等問題，其檢測難度更大[3]。目前，國內(nèi)外進行了大量研究，文獻[4]使用改進Faster R-CNN 對電力設(shè)備以及桿塔異物進行識別，文獻[5]使用改進YOLOv5s 算法對輸電線路螺栓缺銷故障進行檢測，文獻[6]提出了一種輕量級Mobile Net-SSD 和輕量級Mobile Net V2-Deeplab V3+網(wǎng)絡(luò)相結(jié)合的絕緣子識別與分割方法。但這些算法在精度、復(fù)雜性和泛化性等性能上均存在一定不足[7]，需要進一步改進和提高。

針對螺栓目標較小、特征不明顯、數(shù)據(jù)集背景復(fù)雜、噪聲多的問題，提出了一種基于級聯(lián)網(wǎng)絡(luò)的輸電線路螺栓故障檢測方法。經(jīng)過仿真實驗，結(jié)果表明所提檢測算法是有效的，且精度較高。

1 級聯(lián)檢測網(wǎng)絡(luò)系統(tǒng)

1.1 級聯(lián)檢測網(wǎng)絡(luò)系統(tǒng)整體框架

輸電線路螺栓故障檢測即是小目標檢測，一般以無人機或直升機的巡檢照片為輸入，最終將螺栓的位置及狀態(tài)作為輸出。為此，提出一種級聯(lián)檢測網(wǎng)絡(luò)NanoDet-YOLOv5-GN，其分為兩個部分：一階段網(wǎng)絡(luò)和二階段網(wǎng)絡(luò)。

一階段網(wǎng)絡(luò)的主要任務(wù)是以邊界框的形式盡可能多地定位巡檢圖像中的連接部位，并且要求相應(yīng)地提高檢測速度，以達到實時檢測。一階段網(wǎng)絡(luò)的定位錯誤會增加輸入到二階段網(wǎng)絡(luò)的分割圖像數(shù)量，增加網(wǎng)絡(luò)負擔，影響整體檢測速度；但一階段網(wǎng)絡(luò)的分類錯誤不會影響整體級聯(lián)網(wǎng)絡(luò)的性能，對于網(wǎng)絡(luò)的連接部位分類問題則不做要求。由此第一階段網(wǎng)絡(luò)采用輕量級網(wǎng)絡(luò)NanoDet，在滿足定位要求的前提下提升檢測速度。第二階段網(wǎng)絡(luò)的主要任務(wù)是盡可能準確地定位并檢測分割圖像中的螺栓?；诖?，通過改進YOLOv5 網(wǎng)絡(luò)（記為YOLOv5-GN），在盡量不影響檢測速度的前提下提高檢測精度。級聯(lián)網(wǎng)絡(luò)檢測系統(tǒng)流程如圖1所示。

圖1 級聯(lián)檢測系統(tǒng)流程圖

1.2 基于NanoDet的連接部位定位網(wǎng)絡(luò)

NanoDet 是一種高速輕量級的一階段Anchorfree 目標檢測模型，其具有不亞于YOLO (You Only Live Once)等Anchor-based 模型的檢測性能，且處理速度更快。同時其網(wǎng)絡(luò)結(jié)構(gòu)簡單，模型參數(shù)較少，適合移動端和嵌入式設(shè)備的訓(xùn)練與移植。

1）NanoDet 網(wǎng)絡(luò)結(jié)構(gòu)

NanoDet 網(wǎng)絡(luò)可分為三部分：骨干網(wǎng)絡(luò)Backbone、頸部網(wǎng)絡(luò)Neck 和檢測頭Head。為了保證模型參數(shù)盡可能地少，同時滿足對連接部位的檢測任務(wù)要求，將ShuffleNet V2 移除最后一層作為NanoDet 的骨干網(wǎng)絡(luò)，提取8 倍、16 倍和32 倍的下采樣特征，將其輸入到路徑聚合網(wǎng)絡(luò)PAN（Path Aggregation Network）[8]中，以進行多尺度特征融合。

在Neck 部分，采用與YOLO 系列相似的PAN，優(yōu)化concat 與conv 以實現(xiàn)網(wǎng)絡(luò)輕量化。首先，移除PAN 結(jié)構(gòu)中的所有卷積操作，僅保留從Backbone 完成特征提取后的1×1 卷積，以實現(xiàn)特征通道維度的對齊，上采樣和下采樣均使用插值算法完成。此外，不同于YOLO 的concat 堆疊操作，NanoDet 通過直接相加完成不同尺度特征圖的融合。

Head 部分采用FCOS 系列檢測頭并優(yōu)化，不同于FCOS 系列使用的共享權(quán)重的檢測頭，即對不同尺度的特征圖使用同一組卷積來預(yù)測檢測框，NanoDet使用不同卷積組完成特征提取。同時將FCOS 系列中的組歸一化改為批歸一化。此外，使用深度可分離卷積替代常規(guī)卷積，并減少了卷積數(shù)與通道數(shù)。

2）損失函數(shù)

NanoDet 采用GFL（Generalized Focal Loss）[9]作為損失函數(shù)，其優(yōu)化和說明如下。

FCOS 損失函數(shù)包含三個方面：分類表示、檢測框表示和檢測框質(zhì)量評估。

GFL 將原本的損失函數(shù)Focal Loss 從式（1）轉(zhuǎn)換為QFL（Quality Focal Loss）表示：

其中，當y=1時，pt=p；當y=0時，pt=1-p。

式中，y為質(zhì)量標簽，取值范圍為[0,1]，γ為標簽質(zhì)量得分，σ是通過將預(yù)測的分類表示與檢測框質(zhì)量評估相乘所獲得的分數(shù)，β為比例因子，用于平衡易分類樣本和難分類樣本間的權(quán)重。

通過式（2），GFL 將分類表示與預(yù)測框質(zhì)量評估相結(jié)合，解決了FCOS 訓(xùn)練和推理過程中分類與質(zhì)量評估不一致的問題。

此外，GFL增加了DFL（Distribution Focal Loss）損失函數(shù)，以更快聚焦標注位置附近的數(shù)值，如式（3）所示：

通過將DFL 與QFL 相結(jié)合，最終得到GFL 的計算方法，如式（4）所示：

1.3 基于YOLOv5-GN的螺栓檢測網(wǎng)絡(luò)

YOLO 是一種典型的一階段目標檢測算法，其速度快、泛化能力強[10]，其將邊界框的回歸和目標的分類統(tǒng)一為回歸問題。其算法的流程為：首先將圖像分成S×S個網(wǎng)格，每個網(wǎng)格負責預(yù)測中心落在網(wǎng)格內(nèi)的目標，并生成B個邊界框，共S×S×B個邊界框，每個邊界框要預(yù)測目標的位置信息（x，y，w，h）和預(yù)測目標的置信度，此外，每個網(wǎng)格還要預(yù)測C個類別信息；然后將邊界框置信度與類別概率相乘，得每個邊界框的分數(shù)；最后通過非極大值抑制（NMS）過濾得到最終預(yù)測結(jié)果。

YOLOv5 有四個版本，綜合考慮模型復(fù)雜性和精度，所構(gòu)檢測網(wǎng)絡(luò)選取YOLOv5s 版本作為基礎(chǔ)網(wǎng)絡(luò)框架，針對巡檢圖像中螺栓的定位檢測問題進行改進（所改進的檢測網(wǎng)絡(luò)記為YOLOv5-GN 網(wǎng)絡(luò)），以進一步提高檢測算法的精度，其具體描述如下。

YOLOv5 整體架構(gòu)由五個部分組成：輸入端（Input）、骨干網(wǎng)絡(luò)（Backbone）、頸部網(wǎng)絡(luò)（Neck）、檢測頭（Head）和輸出端（Output），其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

Backbone 部分通過一系列卷積操作從輸入圖片中提取特征信息；Neck 部分將收集到的特征信息進行融合，并生成三種不同比例的特征圖；Head 部分利用三個檢測頭完成對大、中、小尺度目標的檢測。YOLOv5 的Backbone采用CSPDarknet53網(wǎng)絡(luò)，通 過CSP 模塊和Focus 模塊進行特征提取。在Neck 部分，采用特征金字塔網(wǎng)絡(luò)FPN（Feature Pyramid Networks）[11]和路徑聚合網(wǎng)絡(luò)PAN，F(xiàn)PN 模塊是自上而下的，將低級特征圖與經(jīng)過上采樣的高級特征圖融合，實現(xiàn)增強的語義特征；而PAN 模塊是自下而上的，將定位信息由淺層傳輸?shù)缴顚樱瑢崿F(xiàn)增強的空間特征；兩個模塊結(jié)合共同強化了網(wǎng)絡(luò)的語義信息和空間信息。Head 層用于生成邊界框以預(yù)測類別，YOLOv5 采用GIOU_Loss 作為邊界框的損失函數(shù)，相較于傳統(tǒng)的非極大值抑制（NMS）方法更為有效。

1）引入CBAM 注意力機制

由于所定位連接部位的圖像中，螺栓所占比例仍然很小，因此識別困難，影響檢測精度。因此文中所構(gòu)建檢測網(wǎng)絡(luò)中引入CBAM（Convolutional Block Attention Module）注意力機制（如圖3 所示）。注意力機制源于人類視覺系統(tǒng)特性的研究，使用注意力機制可以增加網(wǎng)絡(luò)的表征力，即關(guān)注重要特征，抑制不必要的特征[12]。CBAM 包含兩個獨立的子模塊，分別為通道注意力模塊CAM（Channel Attention Module)和空間注意力模塊SAM（Spatial Attention Module)。相較于只關(guān)注一方面的注意力機制，CBAM 能同時兼顧兩方面，達到更好的效果。

圖3 CBAM結(jié)構(gòu)

在CAM中，通過將輸入的特征圖進行最大池化及平均池化，之后輸入到共享全連接層（Shared MLP）中，再將經(jīng)多層感知機MLP（multilayer perceptron）輸出的特征進行基于element-wise 的加和以及sigmoid激活操作，最終生成Channel Attention 特征圖。通道注意力模塊如圖4 所示。

圖4 通道注意力模塊

在空間注意力模塊中，將CAM 模塊輸出的特征圖作為輸入，首先做基于channel 的最大池化及平均池化，經(jīng)concat 操作后進行卷積操作，最后使用sigmoid 激活生成Spatial Attention 特征圖?？臻g注意力模塊如圖5 所示。

2）引入gnConv 遞歸門控卷積

經(jīng)過第一階段網(wǎng)絡(luò)對連接部位的定位裁剪，螺栓在巡檢圖像中的所占比例有所提升，但所占比例仍然很小，網(wǎng)絡(luò)對于螺栓特征的提取不充分。為此，引入遞歸門控卷積（gnConv）[13]重構(gòu)YOLOv5的Neck 網(wǎng)絡(luò)。

gnConv 模塊通過門控卷積和遞歸設(shè)計實現(xiàn)高階空間交互，使之具有高度靈活性和可定制性，將自注意力中二階交互擴展到任意階，并不會引入大量額外計算，且通過引入高階交互，進一步增強模型容量，具有與自注意力相似的輸入自適應(yīng)空間混合功能。

由于非線性，深度學(xué)習模型兩個空間位置間通常存在著復(fù)雜且高階的交互，而普通的卷積操作并沒有考慮到。而動態(tài)卷積操作通過引入動態(tài)權(quán)重，考慮周邊區(qū)域的信息交互，以提高模型的性能。

gnConv 利用門控卷積與遞歸操作可以實現(xiàn)任意階數(shù)的信息交互，進一步提高了模型的表達能力。其結(jié)構(gòu)如圖6 所示。

圖6 遞歸門控卷積結(jié)構(gòu)示意圖

3）增加檢測層

在卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)過不同卷積層提取的特征圖，其圖像大小和特征信息都不同。通常淺層的特征圖分辨率較高，但語義信息不明顯；而深層的特征圖分辨率較低，語義信息更加豐富[14]。

原始YOLOv5 模型只有三個檢測層，當輸入圖像尺寸為640×640時，經(jīng)Backbone 下采樣后生成的特征圖尺寸分別為80×80、40×40 和20×20，以檢測小目標、中目標和大目標。當檢測目標過小時通常檢測效果不佳[15]，其主要原因是小目標樣本的尺寸過小，而網(wǎng)絡(luò)的下采樣倍數(shù)比較大，較深的特征圖難以學(xué)習到小目標的特征信息[16]。

因此文中加入極小目標檢測層，在原始Backbone 的基礎(chǔ)上加入經(jīng)四倍下采樣輸入頸部網(wǎng)絡(luò)的特征層，使網(wǎng)絡(luò)更加關(guān)注對于小目標的檢測，以提升對于螺栓的檢測精度。

2 實驗結(jié)果與分析

2.1 評價指標

為了評價檢測網(wǎng)絡(luò)的性能，采用準確率（Precision）、召回率（Recall）和mAP 值（mean Average Precision）作為評價指標對其進行評價[17]。

目標檢測算法的預(yù)測結(jié)果通常有四種，即預(yù)測正確的正樣本（True Positive，TP）、預(yù)測錯誤的正樣本（False Negative，F(xiàn)N）、預(yù)測正確的負樣本（True Negative，TN）和預(yù)測錯誤的負樣本（False Positive，F(xiàn)P）。

準確率P（Precision）表示預(yù)測樣本中正樣本數(shù)占所占有的正樣本數(shù)的比例，其計算如式（5）所示：

召回率R（Recall）表示預(yù)測樣本中正樣本占所有預(yù)測樣本的比例，其計算如式（6）所示：

平均精度（Average Precision，AP）的計算如式（7）所示：

mAP（mean Average Precision）的計算如式（8）所示：

2.2 實驗數(shù)據(jù)集

電塔作為電力部門的重要設(shè)施，主要對架空線路起支撐和保護作用。為了避免架空線路通過鐵塔接地短路，導(dǎo)線和鐵塔之間的絕緣主要靠絕緣子串來實現(xiàn)。而輸電線路的螺栓主要存在于絕緣子串與鐵塔和導(dǎo)線連接的部位，其部位分別為以均壓環(huán)為主要特征的絕緣子串和導(dǎo)線連接的部位（Equalizing Ring，ER）、絕緣子串與鐵塔塔身連接的部位（Tower Body，TB）、絕緣子串與鐵塔塔臂連接的部位（Cross Arm，CA）、以屏蔽環(huán)為主要特征的絕緣子串和導(dǎo)線連接的部位（Hang Cable，HC）、絕緣子串和導(dǎo)線連接的部位（Cable Tower，CT）。對于各連接部位的螺栓分為正常螺栓（Normal Bolt，NB）和故障螺栓（Defective Bolt，DB）兩類。其不同連接部位的兩類螺栓樣本示例如圖7 所示。

圖7 輸電線路上不同部位的螺栓

實驗共收集到輸電線路無人機巡檢圖像共873幅，使用LabelImg 對正常螺栓和缺銷螺栓進行標注。螺栓數(shù)據(jù)集通過一階段網(wǎng)絡(luò)的定位切割及額外擴充獲得，共計1 364 幅圖片，正常螺栓樣本為3 023個，故障螺栓樣本為1 126 個。

2.3 實驗環(huán)境和參數(shù)設(shè)置

所提檢測系統(tǒng)使用Python 完成程序編寫，深度學(xué)習模型基于Pytorch1.11.0 搭建。所用GPU 為NVIDIA RTX A4000，CUDA 版本為11.6。

NanoDet 模型訓(xùn)練中輸入的圖片尺寸為416×416，學(xué)習率為0.001，權(quán)重衰減系數(shù)為0.05。共計訓(xùn)練500個Epoch，每次訓(xùn)練的Batchsize 為32。YOLOv5-GN 模型訓(xùn)練中輸入的圖片尺寸為640×640，學(xué)習率為0.01，權(quán)重衰減系數(shù)為0.000 5。共計訓(xùn)練500 個Epoch，每次訓(xùn)練的Batchsize 為32。

2.4 實驗結(jié)果

通過對數(shù)據(jù)集進行80%作為訓(xùn)練集，20%作為測試集，不同部位的螺栓的檢測實驗結(jié)果如圖8 所示。正常螺栓由螺釘、螺母和插銷組成，文中將缺銷螺栓定義為故障螺栓。

圖8 輸電線路螺栓檢測結(jié)果圖示

通過圖8 的實驗結(jié)果可以得出，采用所提級聯(lián)網(wǎng)絡(luò)能夠較為準確地定位和檢測連接部位的螺栓；文中主要針對無插銷的故障螺栓的檢測，圖8 中的結(jié)果表明，所提網(wǎng)絡(luò)可以較好地檢測并區(qū)分故障螺栓和正常螺栓，其識別率高、誤報率低。

2.5 結(jié)果分析

實驗采用準確率P、召回率R以及mAP 值作為所提方法檢測結(jié)果的評價指標，以反映其性能。使用NanoDet 對于各連接部位的檢測結(jié)果及使用YOLOv5-GN 對于各連接部位的檢測結(jié)果如表1所示。

表1 連接部位及螺栓數(shù)據(jù)集測試結(jié)果

表1 的數(shù)據(jù)表明，相較于單一網(wǎng)絡(luò)對于輸電線路小目標螺栓無法檢測的問題，文中所提級聯(lián)網(wǎng)絡(luò)較為理想地完成了對于巡檢圖像螺栓目標的檢測，其效果較好。

另外，利用NanoDet 網(wǎng)絡(luò)檢測連接部位平均每幅圖像耗時17 ms，使用YOLOv5-GN 網(wǎng)絡(luò)檢測螺栓平均耗時22.7 ms，總用時39.7 ms；檢測速度達到平均25.2 幀/秒，檢測速度高于25 幀/秒，即可用于實時檢測，因此，所提檢測系統(tǒng)符合實時檢測的要求。

3 對比與分析

為進一步闡述所提改進模型的有效性，將其與當前典型常用的SSD、YOLOv3 和YOLOv5s 三種目標檢測模型進行對比，其對比結(jié)果如表2 所示。

表2 不同算法間的對比結(jié)果

從表2 的對比結(jié)果可得，與其他方法相比，所提方法在準確率、召回率以及mAP 值上的優(yōu)勢都非常明顯。主要表現(xiàn)為：（1）相較于YOLOv5s，所提改進方法在精度有較大的提升，并且在檢測速度上也有一定提升，表明在保證速度的同時較大提升了檢測精度，能夠較好地滿足線路實時巡檢的要求；（2）根據(jù)前文所提，單一檢測網(wǎng)絡(luò)無法檢測過小目標，若將無人機巡檢圖像輸入各其網(wǎng)絡(luò)，小目標的特征信息會在下采樣的過程中消失，采用級聯(lián)網(wǎng)絡(luò)可以較好地克服這種不利因素，且其檢測精度還得到了提升。

綜合分析結(jié)果表明，所提算法對輸電線路無人機巡檢圖像中小目標的正常螺栓和故障螺栓具有較好的檢測效果，且檢測速度滿足實際要求，具有較好的應(yīng)用價值。

4 結(jié)論

針對輸電線路無人機巡檢圖像中螺栓尺寸小且特征不明顯等特點，提出一種級聯(lián)目標檢測系統(tǒng)。系統(tǒng)采用兩階段檢測流程，第一階段使用NanoDet網(wǎng)絡(luò)對初始巡檢圖像進行處理，定位各連接部位并加以分割處理；再利用改進的YOLOv5-GN 網(wǎng)絡(luò)對螺栓進行進一步檢測。其中，為了達到精度與速度要求，滿足巡檢實時檢測的要求，針對原始YOLOv5s 的Neck 網(wǎng)絡(luò)進行重構(gòu)，并進行多尺度特征融合，引入注意力機制，提高了對于小目標的檢測精度。同時，采用共收集到的800 幅巡檢圖像對其進行測試，結(jié)果表明，所提級聯(lián)檢測系統(tǒng)在螺栓數(shù)據(jù)集上的表現(xiàn)良好，在保證檢測精度的前提下，提高了對于螺栓的檢測精度，其可滿足輸電線路巡檢的實時性要求，具有較好的應(yīng)用價值。