龍 昊，何應強，邢博為，周 晶

（海軍大連艦艇學院作戰(zhàn)軟件與仿真研究所，遼寧 大連 116018）

1 研究背景

電力系統(tǒng)中各種金具的固定需要通過螺栓來實現(xiàn)，但因輸電載體長期暴露在野外環(huán)境中，易受大風、大雪、雷電等自然因素影響。據(jù)歷史數(shù)據(jù)統(tǒng)計，輸電系統(tǒng)中的故障問題絕大多數(shù)由金具上的螺栓故障引起，常見的表現(xiàn)為銷釘缺失、螺栓松動、螺母缺失、螺栓缺失等。這些零件一旦出現(xiàn)問題，與之相關(guān)聯(lián)的其他金具也會產(chǎn)生問題，進而影響整個輸電系統(tǒng)的安全[1-2]，因此，高效監(jiān)測設(shè)備故障對電力系統(tǒng)的正常運營非常關(guān)鍵。

隨著電力系統(tǒng)愈加復雜，傳統(tǒng)的人工方式故障巡檢已不再適用。近年來，利用航拍圖像進行數(shù)據(jù)采集代替人工巡檢的方法得到廣泛應用。在空間結(jié)構(gòu)和分布復雜的電力系統(tǒng)中，選用特定的圖像采集不僅關(guān)系到圖像故障檢測的分布，還會影響到圖像的清晰度。這些問題加大了對缺陷特征進行檢測的難度。在采集圖像時，由于航拍無法實現(xiàn)近距離拍攝，圖像在細節(jié)上可能會不在可接受的置信區(qū)間，致使辨認故障問題比較復雜，依靠目標的形態(tài)特征對螺栓進行區(qū)別將存在極大的困難[1]。當照片中存在背景過于復雜、缺陷元件的占空比很小、缺陷特征存在較小的視覺特征差異等問題，網(wǎng)絡將難以對視覺特征進行提取，致使元件的特征信息丟失[1]。本文以缺陷螺栓作為研究對象，提出了一種結(jié)合注意力機制的加權(quán)特征融合檢測方法。首先，為了降低螺栓圖像在特征提取過程中因目標過小、背景復雜等問題所導致的信息丟失狀況，需借鑒PANet[3]的雙向融合方法，將高層與底層的特征進行融合，這里將ResNet-50[4]作為特征提取網(wǎng)絡，主干網(wǎng)絡在每個階段的不同尺寸特征與注意力模塊結(jié)合后得到相應的注意力特征圖，再與上采樣的特征進行加權(quán)特征融合[3]。本文的創(chuàng)新點在解決檢測效果不佳的問題上，在雙向融合的過程中引入注意力模塊，這樣能增強相似目標的不同特征，弱化不同目標的相似特征，使缺陷特征與背景特征的差別進一步拉大，提高檢測精確程度[1]。

2 特征融合

特征融合是對現(xiàn)有的多個特征融合形成新的特征。特征融合是輸出每個階段的最后一層的特征，就會形成金字塔的特征形態(tài)[5]。在金字塔由底層向頂層的傳遞過程中，將同等大小的特征圖層歸為相同的一個階段，特征圖的大小在經(jīng)過某些階段以后就會發(fā)生改變，而在經(jīng)過例如1×1 的卷積核進行卷積的時候不會改變。之前的多種目標檢測方法都是只對頂層的特征進行預測，雖然底層的語義特征信息比較少，但能更加確定目標的位置信息；而頂層的語義特征信息雖然豐富，但會缺乏目標的相應位置信息[6]。如圖1 所示，對4 種特征的利用方式進行了展示。

圖1 特征融合示意圖

圖1（a）是對利用多尺度的特征，即沒有進行上采樣，沒有對多種尺度的特征進行融合，從網(wǎng)絡的不同過程中抽取多個尺度的特征進行預測，典型的網(wǎng)絡模型就是單激發(fā)多框探測器[6]，它直接用不同階段的特征分別檢測不同的目標。這種方式由于去掉了RPN 層，速度較快，雖然能避免額外的計算量，但是底層特征利用率不高。

圖1（b）是自上而下單向融合的特征金字塔網(wǎng)絡，正是當前物體檢測模型的主流特征融合模式。如Faster R-CNN[5]、Yolov3[7]、Mask RCNN 等，以Faster R-CNN中的C4 為例，在底層融合的過程之后還會再采用3×3 的卷積核對每個融合結(jié)果進行卷積，消除上采樣的混疊效應[4-5，7-8]。圖1（b）描述了自上而下的特征融合，具體的特征融合方法如下式：

圖1（c）是FPN 的特征融合方法，只有從頂端到底端的融合。而PANet 提出了在融合后從下向上二次融合特征，因此能從底層向頂層傳達強定位特征，也叫簡單雙向融合[3]。FPN 的做法就是為了把頂層的語義信息傳到底層，以達到語義信息增強的目的；而PAN的做法則是為了把底層的位置信息傳到頂層，以達到增強定位能力的目的。

圖1（d）網(wǎng)絡中雙向融合是有效的，多尺度的輸入特征的分辨率不一樣，不同程度地保留了特征語義和位置信息，所以，對輸出特征的貢獻也不一樣。因此，BiFPN 在簡單地進行相加處理的基礎(chǔ)上又提出了一種簡單而高效的加權(quán)特征融合方法，即通過增加特征權(quán)值，并移除沒有進行特征融合的輸入節(jié)點，去擬合更高效的函數(shù)。這樣處理簡化了網(wǎng)絡結(jié)構(gòu)[9]。

3 基于自適應注意力機制的加權(quán)融合方法

3.1 加權(quán)特征融合

特征經(jīng)過雙線性插值法采樣、融合下一層的特征，對輸出特征的貢獻不同。為了讓網(wǎng)絡計算特征值的權(quán)重，這里借鑒BiFPN 的加權(quán)特征融合，以C4 為例進行說明，描述了圖1（d）的雙向特征融合在第4 層的情況，如下式：

其中wi≥0，通過ReLU 后以確保數(shù)值的穩(wěn)定性，使每個權(quán)重歸一化后值處于（0，1）[9]。

對特征的簡單相加、特征融合以及加權(quán)特征融合進行比較，圖2（a）為原圖像，圖2（b）、圖2（c）分別是求和和加權(quán)方法得到的熱力特征圖。觀察圖2（b）、圖2（c），加權(quán)融合方法所得處理的特征圖較少；求和方法所得特征圖能保留更重要的目標，相對來說有更少的噪聲，更接近實驗目標。

圖2 處理前后的圖像對比

鑒于深層特征圖的語義信息較少，雖然FPN 和PAN 皆對目標特征進行了融合，但對極小目標物體的檢測效果仍不顯著，因此復雜多變的前景以及背景信息對視覺檢測提出了更高的要求。

3.2 權(quán)值調(diào)整

AAM 是作用在注意機制[10]和注意機制之下[11]，通過自適應平均池化層獲得不同尺度的多個特征。由于注意力的能力較弱，CBAM 提取通道需要將其模塊中的通道注意力提取模塊更換為ECA 通道注意力模塊。

自適應注意力模塊AAM 如圖3 所示，其操作可以分為2 個步驟：①設(shè)定池化系數(shù)為0.1～0.4，根據(jù)數(shù)據(jù)集的目標大小進行調(diào)整；②通過空間注意力機制，為每個特征圖生成空間權(quán)值圖。通過權(quán)重圖融合金字塔特征，生成包含多尺度上下文信息的特征圖。

圖3 本文的特征提取與特征融合模型

以C4 為例進行說明，C4 先從自適應池化層獲得不同尺度的語義特征，再在每個金字塔特征進行1×1的卷積，得到相同的通道維數(shù)256。利用雙線性插值法對上層進行采樣，空間注意力機制通過Concat 層將3個上下文特征的通道進行整合；然后特征圖依次經(jīng)過1×1 卷積層、ReLU 激活層、3×3 卷積層和sigmoid 激活層，為每個特征圖生成相應的空間權(quán)值。生成的權(quán)值映射和整合通道后的特征映射經(jīng)過Hadamard 乘積操作（Hadamard 的矩陣運算是相應位置的積），將其分離并添加到輸入特征映射M4 中，將上下文特征聚合為M4′，所得到的特征圖具有豐富的多尺度上下文信息，此種做法，在一定程度上能降低因為通道數(shù)量減少而造成的信息泄露。

輸入圖像通過多個卷積生成特征映射C1、C2、C3、C4、C5，其中C3 和C4 各自通過AAM 后分別生成特征映射M3′和M4′，通過自上而下的途徑傳播與其他較低層的特征進行融合，在不增加龐大計算量的同時，進一步減少特征的上下文信息丟失。

4 實驗結(jié)果及分析

本文將Faster R-CNN 作為基線模型，F(xiàn)aster R-CNN+BiFPN 是Faster R-CNN 加入BiFPN 特征融合的方法，F(xiàn)aster R-CNN+BiFPN+AAM 是引入2 個變量（AAM1 和AAM2）。引入BiFPN 的檢測結(jié)果如表1所示。從結(jié)論可以看出，引入BiFPN 特征融合方法后對模型的平均準確率有3.38%的提升，在此基礎(chǔ)上，再次引入2 個AAM 模塊，較引入之前又有10.9%的提升。

Faster R-CNN 、 Faster R-CNN+BiFPN 、 Faster R-CNN+BiFPN+AAM 的檢測結(jié)果如表2 所示。為了進一步驗證AAM 加入前后的性能優(yōu)劣，根據(jù)表2 所示幾種情況進行模型的調(diào)整，可以發(fā)現(xiàn)在整體上，平均準確率均有不同程度的提升，對比AAM1、AAM3 以及AAM2、AAM4 引入后的結(jié)果，可以發(fā)現(xiàn)2 種情況的各類準確率和平均準確率的提升皆較為類似。由此進一步說明特征語義信息的完整保留對檢測精度的提升是非常有用的，也驗證了自應注意力模塊的有效性。

本文使用PR（Precision-Recall）曲線作為模型的評測指標。Faster R-CNN、Faster R-CNN+BiFPN 以及本文方法的PR 曲線如圖4 所示。可以看出，本文方法的PR 曲線比Faster R-CNN 的PR 曲線更加外凸，這表明在相同的準確率下，本文的召回率更高，檢測結(jié)果的正確比例也會更大。

圖4 PR 曲線

圖4 中橫坐標為召回率，縱坐標為準確率，將各類PR 曲線包圍的區(qū)域作為各類的mAP 值。由圖可以看出，從該方法得到的PR 值比前兩種更為明顯，說明在相同精度下，本文的方法有更高的召回率和檢測結(jié)果。

5 結(jié)束語

為提升缺陷螺栓的檢測精度，本文參照BiFPN 的網(wǎng)絡結(jié)構(gòu)，引入了自適應注意力機制AAM 進行加權(quán)融合，使目標的語義及位置信息進一步增強，目標物體與背景的差異化特征進一步拉大，從而實現(xiàn)提升檢測效果。針對特征提取階段的特征融合效果不佳和時間占用問題，借鑒BiFPN 簡單而高效的加權(quán)整合方法，以達到網(wǎng)絡對每個輸入特征的權(quán)重進行學習的目的，再去除金字塔采樣過程中的無用節(jié)點，以達到減少計算量的目的。在本文檢測過程中仍有一些關(guān)聯(lián)性問題需要解決，比如有時因光照、拍攝角度等問題會拉低缺陷螺栓的檢測精度。