趙杰倫，張興忠，董紅月

太原理工大學 軟件學院，太原 030024

高壓電力線路巡檢是電力安全管理的核心工作，通過一系列精細化巡視，及時消除隱患，為人民的生活和生產用電提供保障[1]。隨著近年來國家電網公司對無人機電力巡檢的推進，基于巡檢現(xiàn)場照片進行關鍵電力部件與巡檢缺陷的檢測已成為目前研究的熱點方向[2]，其中檢測精度是影響技術落地應用的重要指標，本文將解決高壓電力復雜巡檢場景下各類電力部件與巡檢缺陷檢測精度低的問題，最大限度提升檢測精度。

2014年以來基于深度學習的目標檢測技術迅猛發(fā)展，使得眾多研究者將該技術應用于電力巡檢關鍵部件及巡檢缺陷檢測問題。其中，大部分研究者將絕緣子自爆缺陷檢測作為研究的主要方向，文獻[3]使用Faster R-CNN[4]進行絕緣子與絕緣子自爆缺陷的檢測；文獻[5]在YOLO v3[6]的基礎上增加映射層來獲取豐富的特征信息，實現(xiàn)對絕緣子自爆缺陷的實時檢測；文獻[7]在RFCN[8]網絡基礎上引入ASDN（adversarial spatial dropout net）模塊，提升對遮擋絕緣子自爆區(qū)域的檢測能力。少量學者針對鳥巢、多種類關鍵部件及缺的陷檢測進行研究，文獻[9]在解決鳥巢檢測問題上將SSD[10]網絡模型與HSV色彩空間濾波器相結合；文獻[11]與文獻[12]以Faster R-CNN網絡為基礎展開針對鳥巢檢測的研究，均實現(xiàn)了較高的檢測精度。但上述文章只針對少量類別進行檢測，較難滿足實際應用中對多類缺陷檢測的需求。在多類部件及缺陷檢測方面，文獻[13]在全卷積網絡結構基礎上，結合可形變卷積、特征融合與聚類方法對絕緣子、防震錘、均壓環(huán)與懸垂線夾四類對象的缺陷進行檢測，其中11類缺陷的識別精度達到83.3%；Zhao等[14]提出一種多特征融合的網絡結構，對絕緣子、防震錘、懸垂線夾、絕緣子自爆、防震錘故障及鳥巢六類對象進行檢測，實現(xiàn)了83.0%的檢測精度?？偨Y以上文章，針對少類別的檢測方法擁有較高的檢測精度但不貼切于當前電力應用場景，針對多類別的檢測方法則在檢測精度方面難以滿足電力應用場景對檢測精度的需求。此外，在檢測方法層面，上述文章在特征有效提取方面未曾引入注意力機制提升特征的鑒別性，在特征融合方面依舊使用特征圖直接相加的方法，沒有綜合利用不同層次間的語義信息，在特征有效提取與特征融合兩方面有較大改進空間。

本文受上述文獻啟發(fā)，針對高壓電力線路巡檢過程中電力部件及巡檢缺陷檢測精度較低問題，提出一種超越主流檢測器的高壓電力部件與巡檢缺陷檢測方法，主要貢獻如下：（1）將主流目標檢測網絡用于本文數據集，通過對比實驗得出RepPoints v2[15]網絡模型在電力部件與巡檢缺陷檢測問題上檢測精度最高；（2）針對RepPoints v2中FPN[16]（feature pyramid networks）結構不能有效提取跨層次間語義信息及分配角點時忽略FPN各層次特征尺度歸一化的問題，結合尺度均衡金字塔卷積（scale-equalizing pyramid convolution，SEPC）[17]與高效通道注意力模塊（efficient channel attention，ECA）[18]提出了一種尺度不變特征金字塔結構（scale-invariant feature pyramid networks，SI-FPN），大幅度提升RepPoints v2目標檢測算法精度；（3）本文提出的SI-FPN結構可作為一種獨立模塊嵌入至其他檢測網絡，有效改善目標檢測方法性能，具有一定的通用性。實驗證明，本文方法可實現(xiàn)高壓電力線路巡檢過程中電力部件及巡檢缺陷的高精度檢測，并優(yōu)于當前主流檢測方法，為高壓電力線路自主巡檢提供了可靠依據。

1 RepPoints v2目標檢測算法

1.1 目標檢測算法概述

隨著近期無錨窗網絡模型的興起，基于深度學習的目標檢測方法依據網絡中是否使用錨窗將網絡分為基于錨窗（Anchor-based）與無錨窗（Anchor-free）兩大類。基于錨窗的方法如Fast R-CNN[19]、Faster R-CNN、RetinaNet[20]等，基于無錨窗的方法如CenterNet[21]、ExtremeNet[22]、RepPoints[23]等。其中無錨窗的方法解決了錨窗所帶來的難以識別尺度變化大的目標、訓練過程中正負樣本不平衡以及對內存的高額占用等缺點，是當前的主流發(fā)展方向。在無錨窗的方法中又細分為基于中心點與基于關鍵點兩大類?；谥行狞c的方法如YOLOv1[24]、FCOS[25]、CenterNet等，直接檢測目標的中心點，然后回歸出目標的邊界信息?；陉P鍵點的方法如CornerNet[26]、ExtremeNet、RepPoints等，通過預測出目標的關鍵點獲取邊界框。基于關鍵點的方法在檢測精度上通常略高于基于中心點的方法，但在計算量上有較大消耗。本文所采用的RepPoints v2目標檢測方法即為當前最新的基于Anchor-free的關鍵點檢測方法之一。

本文為尋求高壓電力線路巡檢過程中電力部件與巡檢缺陷檢測精度的最高界限，故將RetinaNet、Faster R-CNN、ATSS等當前主流檢測方法應用于電力部件及巡檢缺陷檢測問題，綜合考量各方法對于本文問題的適用性。當前主流方法的性能對比結果見表1所示，通過限定ResNet-50[32]為特征提取網絡、迭代訓練24代以及訓練方式三項變量，分析各方法在驗證集及測試集的結果得出RepPoints v2檢測方法在解決本文問題上更具優(yōu)勢，以92.4%的檢測精度超越其他檢測方法。故本文在RepPoints v2檢測方法的基礎上進行改進，實現(xiàn)高壓電力部件及巡檢缺陷檢測精度的最大化。

表1 主流檢測網絡性能對比Table 1 Performance comparison of mainstream detection network

1.2 Rep Points v2網絡架構

RepPoints v2目標檢測方法旨在充分結合驗證與回歸兩種通用預測方法的優(yōu)勢，通過在RepPoints網絡的基礎上添加驗證任務，提升網絡檢測性能。RepPoints v2一方面通過在特征融合階段融合前景驗證與角點驗證的結果，改進RepPoints回歸目標的精度；另一方面RepPoints v2在獲得RepPoints輸出結果的基礎上結合角點驗證結果進行最終結果的級聯(lián)推理，顯式地將驗證結果與回歸的結果相結合。

本文尺度不變特征金字塔網絡即在RepPoints v2目標檢測方法基礎上，針對FPN結構不能有效提取跨層次間語義信息及分配角點時忽略FPN各層次特征尺度歸一化的問題提出了一種尺度不變特征金字塔結構SI-FPN，使用SI-FPN替換RepPoints v2中FPN結構。尺度不變特征金字塔網絡結構圖如圖1所示，圖中箭頭代表數據流動方向，輸入圖像通過特征提取網絡生成尺度不變特征金字塔SI-FPN，之后在SI-FPN的每一層進行驗證，驗證結束后將驗證的結果與原始特征圖融合以增強特征表示。在回歸目標階段，通過RepPoints的回歸方式將融合后的特征圖回歸為一個點集，即使用9個點表示對象。最后結合角點驗證的結果進行級聯(lián)推理，綜合回歸目標、前景驗證與角點驗證三個任務進行訓練學習，得到最終輸出結果。

在本文方法的驗證分支中包含前景驗證與角點驗證兩部分，見圖1驗證分支模塊所示，均在SI-FPN的每一層進行驗證。前景驗證即驗證特征映射點是否位于對象框內，該任務采用非二進制分類感知前景熱圖來判斷每個點是否位于前景之中，有助于粗粒度的定位。角點驗證即檢測特征圖中每個點是角點的概率。在角點驗證過程中，原RepPoints v2方法沒有根據目標大小分配至FPN的指定特征圖進行驗證，而是將所有GT（ground truth）角點分配至FPN的各個層級進行角點驗證計算，忽略了尺度歸一化的問題。本文方法即以此為出發(fā)點，通過所提出的SI-FPN提取跨特征金字塔層級的尺度不變特征，然后在尺度不變特征上進行驗證，解決了角點驗證時忽略尺度歸一化的問題。角點驗證與主回歸分支所預測的定位信息相比，其更關注局部細節(jié)，在局部定位的預測方面更精準。本文方法將在改善原RepPoints v2角點驗證任務的同時，提升FPN對特征的融合能力，從而改善主回歸分支，提升檢測精度。

圖1 尺度不變特征金字塔網絡結構圖Fig.1 Architecture of scale-invariant feature pyramid networks

2 尺度不變特征金字塔結構SI-FPN

本文針對RepPoints v2目標檢測方法在角點驗證過程中將GT分配至FPN的各個特征層級時忽略了尺度歸一化并且尚未針對FPN進一步進行特征融合的缺陷，結合ECA注意力機制與SEPC尺度均衡金字塔卷積提出了一種尺度不變特征金字塔結構SI-FPN。其中ECA注意力機制使特征金字塔更關注相鄰通道的交互信息，提升FPN特征的可鑒別性，SEPC尺度均衡金字塔卷積深度融合特征金字塔特征的同時提取尺度不變特征解決RepPoints v2中忽略尺度歸一化問題，有效提升檢測精度，使RepPoints v2目標檢測方法更適于電力場景的應用。此外，通過將本文SI-FPN結構應用至ATSS目標檢測方法，證明了該結構的通用性。

2.1 SEPC尺度均衡金字塔卷積

特征金字塔是解決物體尺度問題的重要手段，在RepPoints v2網絡中也通過在特征金字塔的各個層次進行回歸與驗證解決多尺度檢測問題，但在角點驗證中將GT目標分配至FPN的各個層次時忽略了尺度歸一化的問題。雖然忽略尺度歸一化的分配策略比在單一尺度特征圖上檢測性能好，但由于FPN不同層次特征圖之間存在近似性，故造成了大量的無效計算。本文即以此為出發(fā)點使用SEPC進一步融合特征金字塔跨層次的信息，提取尺度不變特征，解決角點驗證過程中忽略尺度歸一化的問題。

SEPC提出了一種跨越尺度和空間維度的三維卷積PConv，并利用可形變卷積將特征金字塔的各層次特征進行均衡化，使得PConv可從特征金字塔提取尺度不變特征。PConv的原理圖如圖2所示，F(xiàn)PN各層特征圖上隨著金字塔水平的上升而縮小，存在大小不匹配問題。為了解決大小不匹配PConv在不同層次的特征圖使用不同步長的卷積核進行運算。如圖所示為N=3的PConv，在求特定層次結果時在其對應層的更高一層使用步長為0.5的卷積，在其對應層使用步長為1的卷積，在其對應層的第一層使用步長為2的卷積，然后將三層結果相加，融合跨金字塔層次的信息，計算過程見公式（1）。其中步長為0.5的卷積被步長為1的卷積與連續(xù)的雙線性上采樣代替，見公式（2）。

圖2 PConv結構圖Fig.2 Architecture of PConv

PConv的特殊設置使得它可從高斯金字塔中提取尺度不變特征，但由于特征金字塔中的多層卷積與非線性操作使得特征金字塔的模糊效應嚴重，使得PConv難以在特征金字塔中提取尺度不變特征。SEPC為緩解特征金字塔與高斯金字塔之間的差異，在PConv的基礎上，使用可形變卷積預測卷積核在共享核尺度上的偏移量，并在FPN的高層特征圖通過偏移量進行均衡。SEPC原理結構圖見圖3所示，PConv在底部特征圖的卷積核被固定為普通的3×3卷積，在高層特征圖上使用可形變卷積，使得特征金字塔的高層特征通過變形偏移進行均衡，以此在特征金子塔中提取尺度不變特征。本文尺度不變特征金字塔網絡即通過SEPC在特征金字塔上提取尺度不變特征，使得RepPoints v2的角點驗證過程在尺度不變特征上進行，解決其忽略尺度歸一化的問題，提升高壓電力線路巡檢過程中電力部件與巡檢缺陷檢測的精度。

圖3 SEPC結構圖Fig.3 Architecture of SEPC

2.2 ECA注意力模塊

注意力機制是改善目標檢測性能的重要方法。ECA注意力機制解決了SEnet等傳統(tǒng)注意力機制降維為后續(xù)預測帶來的副作用，旨在獲取通道間的依賴關系，增強特征的表達能力。本文在生成特征金字塔的過程中，使用ECA注意力模塊在FPN的最高層增強其通道間的相關性，并基于該層指導特征金字塔的生成，便于尺度均衡金字塔提取特征金字塔跨層次間的尺度不變特征。ECA注意力模塊結構圖如圖4所示，在不降低維度的情況下輸入特征圖χ進行所有通道全局平均池化之后，ECA通過一個可以權重共享的1維卷積進行學習，并在學習過程中考慮每個通道與其k個近鄰來捕獲跨通道交互。k代表1維卷積的內核大小，通過跨通道信息交互作用的覆蓋范圍（即一維卷積的內核大小k）與通道維數C的正比關系，得出公式（3），自適應確定k的取值，公式中γ=2,b=1，C為通道維數。

圖4 ECA注意力模塊結構圖Fig.4 Architecture of ECA attention module

2.3 SI-FPN結構

本文為解決RepPoints v2中FPN結構不能有效提取跨層次間語義信息及分配角點時忽略FPN各層次特征尺度歸一化的問題，結合SEPC尺度均衡金字塔卷積與ECA注意力機制提出了一種尺度不變特征金字塔結構SI-FPN，結構圖見圖5所示。輸入圖像通過特征提取網絡得到C2～C5四層特征圖，F(xiàn)PN層采用RepPoints中P3～P7的設置，并在最高層次的特征圖C5使用ECA注意力機制對特征進行通道級別的增強，指導特征金字塔的生成，有助于緩解特征金字塔的模糊效應。最后，特征金字塔通過SPEC尺度均衡化卷積對特征金字塔的特征進行更深層次的融合，見圖5中特征金字塔通過P4、P5與P6最終生成SI-FPN中的P5層，SI-FPN的每層均為從特征金字塔中所提取的融合跨金字塔層次的尺度不變特征。在SI-FPN中，ECA注意力機制使特征金字塔更關注相鄰通道的交互信息，提升FPN特征的可鑒別性，SEPC尺度均衡金字塔卷積深度融合特征金字塔特征的同時提取尺度不變特征解決RepPoints v2中忽略尺度歸一化問題。本文使用SI-FPN代替RepPoints中的FPN進行回歸與驗證，切實解決RepPoints v2的上述缺陷。經消融實驗證明，本文SI-FPN結構可有效提升RepPoints v2的檢測精度。此外，本文所提出的SI-FPN結構可作為獨立的模塊加入其他目標檢測網絡中，通過將SI-FPN結構替換ATSS目標檢測方法中的FPN結構，ATSS目標檢測方法在高壓電力部件與巡檢缺陷檢測精度上有顯著提升，證明了本文方法的通用性。

圖5 SI-FPN結構圖Fig.5 Architecture of SI-FPN

3 實驗結果與分析

3.1 數據集

本文首先對國家電網公司無人機巡檢過程中所拍攝的現(xiàn)場巡檢照片進行采集整理，將圖像統(tǒng)一調整為3 000×1 700分辨率大小。其次，在巡檢專家指導下使用Labelimg標注工具對整理后的4 189張巡檢圖像進行標注。該數據集共包含六類對象，分為關鍵電力部件與巡檢缺陷兩大類。關鍵電力部件包含絕緣子、防震錘與懸垂線夾三類，見圖6第一列。巡檢缺陷包含絕緣子自爆、防震錘脫落與鳥巢三類，見圖6第二列。六類對象的統(tǒng)計信息見表2所示，其中共包含19 121個目標對象，絕緣子數量最多，絕緣子自爆缺陷數量最少，各類對象整體呈長尾分布。將數據集圖像轉至本文網絡輸入分辨率1 333×800大小后，依據COCO數據集驗證方法中對于對象大小的定義進行統(tǒng)計，各類對象的尺度統(tǒng)計結果見表2所示。

圖6 高壓關鍵電力部件與巡檢缺陷圖示Fig.6 Schematic diagram of key power components and inspection defects

表2 數據集分布Table 2 Distribution of data set

3.2 實驗環(huán)境與評價指標

本文實驗環(huán)境采用深度學習服務器，Ubuntu16.04 64位操作系統(tǒng)，NVIDIA GeForce RTX 2080Ti顯卡，Intel i9-9900K CPU，所有實驗均基于mmdetection代碼庫完成，其中Pytorch采用1.5.0版本，mmcv采用0.6.2版本，CUDA采用10.2版本，CUDNN采用7.6.5版本。

在實驗過程中，將數據集按7∶2∶1劃分為訓練集、驗證集與測試集三部分，并使用兩塊2080Ti顯卡進行訓練。在以ResNet-50為特征提取網絡的實驗中，每塊顯卡啟動4個進程，每個進程處理4張圖像，在其余實驗中每塊顯卡啟動4個進程，每個進程處理2張圖像。訓練過程使用SGD優(yōu)化器進行訓練，設置初始學習率為0.01，權重衰減為0.000 1，動量為0.9，基本設置均與RepPoints v2相同。所有實驗中都采用單尺度訓練，圖像輸入大小為1 333×800，共訓練24個epoch，學習率分別在第16次與第22次迭代時進行衰減。在測試時，在1 333×800單一尺度進行測試。

本文采用IOU為0.5時的AP（average precision）與mAP（mean average precision）作為評價指標，AP0.5對于目標檢測在工業(yè)場景的應用具有重要意義。AP指PR曲線（Precision-Recall）上精準度的均值，MAP指每個類別AP的均值，AP的計算公式見公式（4）與公式（5），mAP的計算公式見公式（6）所示。

3.3 消融實驗

消融實驗采用ResNet-50與Resnet-101作為特征提取網絡測試本文方法性能，消融實驗結果見表3所示。通過消融實驗結果可知，SEPC尺度均衡金字塔分別在以Resnet-50與Resnet-101為特征提取網絡的RepPoints v2網絡中提升了1.3個百分點與1.6個百分點，ECA注意力機制均提升了0.5個百分點，本文所提出的SI-FPN尺度不變特征金字塔結構分別提升了1.7個百分點與2.0個百分點。實驗證明本文方法在不同特征提取網絡條件下，仍可有效提升目標檢測精度，證明了該方法的有效性。

表3 消融實驗結果Table 3 Results of ablation experiments

3.4 主流目標檢測方法對比

本文通過在RepPoints v2架構下，將所提出的SI-FPN尺度不變特征金字塔結構替換原先的FPN特征金字塔結構，實現(xiàn)高壓電力線路巡檢過程中電力部件及巡檢缺陷的高精度檢測。通過將當前主流目標檢測方法使用本文數據集進行訓練，得到的對比結果見表4所示，其中各檢測方法均使用性能最高的特征提取網絡。本文方法以ResNeXt-101+DCN[33]為特征提取網絡，AP0.5達到96.3%，超越所有主流目標檢測方法，證明了本文方法對電力部件及巡檢缺陷檢測問題的適用性。

表4 主流目標檢測方法性能對比Table 4 Performance comparison of mainstream object detection methods

本文方法的訓練過程損失變化圖像見圖7所示，總損失loss由前景驗證損失loss_sem、偏移損失loss_offset、角點驗證損失loss_heatmap、第一段定位損失loss_pts_init、精煉后的定位損失loss_pts_refine、與分類損失loss_cls構成。該方法共訓練24個epoch，每個epoch訓練733代，共迭代17 592次，各損失在訓練過程中平穩(wěn)收斂。訓練過程AP0.5變化圖見圖8所示，隨著訓練的進行，AP0.5指標穩(wěn)步上升，最終達到96.3%，檢測結果見圖9。

圖7 訓練過程損失曲線Fig.7 Loss curve during training

圖8 訓練過程AP0.5曲線Fig.8 AP0.5 curve during training

圖9 檢測結果圖像Fig.9 Result image of detection

3.5 擴展至其他目標檢測網絡

擴展實驗將本文SI-FPN結構擴展至ATSS目標檢測方法中，替換其本身的FPN結構，實驗結果見表5所示。本文方法在以Resnet-50為特征提取網絡的ATSS檢測網絡中，在驗證集結果有效提升1.8個百分點，在測試集提升2.1個百分點，證明了本文方法的通用性。

表5 擴展至其他目標檢測方法Table 5 Extended to other object detection methods

4 結語

本文針對現(xiàn)有目標檢測算法對于高壓電力復雜巡檢場景下各類電力部件與巡檢缺陷目標檢測精度較低問題，將RetinaNet、ATSS、Free Anchor、RepPoints v2等11種當前主流目標檢測模型用于電力部件與巡檢缺陷檢測問題，對比得到檢測精度最高的RepPoints v2檢測模型。綜合分析RepPoints v2在FPN特征融合以及將GT角點分配至FPN各個層級特征圖忽略尺度歸一化的問題，結合SEPC尺度均衡金字塔與ECA注意力機制提出了SI-FPN尺度不變特征金字塔結構，在RepPoints v2檢測方法中穩(wěn)定提升1.9個百分點。本文尺度不變特征金字塔網絡以ResNeXt-101+DCN進行特征提取，實現(xiàn)了96.3%的檢測精度，超越當前主流檢測模型。實驗最后將SI-FPN用于ATSS目標模型，相比基準有1.8個百分點的提升，證明了該本文方法的有效性，證得本文所提出的SI-FPN可作為一種獨立的結構改善目標檢測網絡性能。下一步將深入研究模型推理技術，使本文方法在精度不下降的條件下，進一步加快推理速度，使之更適用于電力應用場景。