于曉,莊光耀

（天津理工大學電氣工程與自動化學院,天津 300384）

隨著經(jīng)濟水平的不斷提高,工農(nóng)業(yè)生產(chǎn)、生活等用電需求與日俱增,電網(wǎng)規(guī)模不斷擴大,對電力設備的安全可靠性提出了更高要求[1].為避免因電力設備故障而對生產(chǎn)和生活造成的嚴重損失[2]，快速準確地識別電力設備故障非常重要.電力設備發(fā)生故障時,常常出現(xiàn)異常發(fā)熱現(xiàn)象,隨著紅外診斷技術的不斷發(fā)展,紅外技術在電力設備中的應用逐漸廣泛[3].紅外診斷技術可以直觀地識別電力設備發(fā)熱問題,能夠對電力設備進行實時的、快速的、準確的故障診斷識別.但電力設備一般存在于背景復雜的發(fā)電廠、供電網(wǎng)環(huán)境中,所拍攝電力設備紅外圖像存在目標邊緣模糊、輪廓不完整、設備重疊遮擋等復雜情況.雖然有經(jīng)驗的故障識別人員可以發(fā)現(xiàn)電力設備異常問題,但人工的故障診斷識別效率低；而傳統(tǒng)的機器學習算法對復雜背景的噪聲干擾的魯棒性較差,因此較低的識別準確率和泛化能力難以實現(xiàn)針對電力設備紅外圖像故障的診斷識別.

基于深度學習算法的缺陷目標識別,利用CNN 網(wǎng)絡的支持具有更好的泛化能力,可以學習和提取電力設備故障特征.針對電力設備的故障識別,國內外學者已做了大量研究[4].文獻[5]提出了一種基于VGG16 模型的紅外圖像故障識別方法：首先使用VGG16 模型進行特征提取,然后采用支持向量機（SVM）對特征進行分類,最終實現(xiàn)紅外圖像的故障識別.文獻[6]通過利用標準化和殘差連接等技術改進了VGG16 模型的結構,提高了模型的性能和穩(wěn)定性.文獻[7]提出了一種利用深度卷積神經(jīng)網(wǎng)絡和圖像增強技術進行紅外圖像缺陷識別的方法.文獻[8]提出了一種基于多任務學習的電力設備紅外圖像故障識別方法,該方法能夠有效地識別電力設備.文獻[9]采用VGG16 網(wǎng)絡進行特征提取,并采用最近鄰分類器進行分類,以實現(xiàn)電力設備紅外圖像的缺陷識別.文獻[10]采用了VGG16 模型提取特征,并通過優(yōu)化網(wǎng)絡參數(shù)和激活函數(shù),提高了模型的識別性能和魯棒性.文獻[11]利用VGG-16 網(wǎng)絡提取特征,并通過微調模型參數(shù),提高了模型的識別性能.文獻[12]以VGG16 為基礎提出了一種基于加權損失函數(shù)的訓練策略,以提高模型的識別性能和魯棒性.文獻[13]對VGG16 網(wǎng)絡進行了改進,添加卷積層和全連接層,并通過數(shù)據(jù)增強和優(yōu)化網(wǎng)絡參數(shù)提高模型的識別性能和魯棒性.文獻[14]提出了一種基于VGG16 的新型網(wǎng)絡架構,并采用集成學習的策略提高模型的識別性能和魯棒性.文獻[15]提出了一種基于遷移學習和多尺度特征融合的紅外圖像分類方法.該方法使用遷移學習,將經(jīng)過大規(guī)模數(shù)據(jù)集訓練的VGGNet 網(wǎng)絡應用于紅外圖像分類,并且采用了一種基于多尺度卷積的特征融合方法,從而提高了圖像分類的準確性.文獻[16]提出了一種利用紅外圖像進行變壓器繞組故障診斷的方法.該方法通過對紅外圖像進行分析,提取故障的特征,并采用支持向量機分類器對其進行分類診斷.文獻[17]提出了一種針對高壓絕緣子故障診斷的改進卷積神經(jīng)網(wǎng)絡方法.該方法通過對卷積神經(jīng)網(wǎng)絡的結構和訓練策略進行改進,有效提高了故障診斷的準確性和魯棒性.文獻[18]提出了一種將改進的卷積神經(jīng)網(wǎng)絡用于紅外圖像分類的方法.該方法通過優(yōu)化卷積神經(jīng)網(wǎng)絡的結構和訓練策略,提高了紅外圖像分類的準確性和魯棒性.文獻[19]提出了一種基于通道注意力和空間注意力機制的紅外小目標識別方法.該方法使用通道注意力機制提高目標特征的重要性,并進一步通過空間注意力機制優(yōu)化識別效果.

電力設備在運行過程中存在多種變化,例如環(huán)境溫度的變化、照明條件的變化、拍攝角度與距離的變化等,這些變化都會對紅外圖像造成一定程度的影響,高精度的網(wǎng)絡模型太過繁瑣、模型冗余,而一些追求識別速度的網(wǎng)絡過于簡單而導致模型的魯棒性不足,從而影響故障識別的準確性.論文基于電力設備缺陷在紅外圖像中的實際特征,參考已有研究,提出了一種基于輕量化VGG16 和BCBAM的電力設備紅外圖像故障診斷識別算法.算法通過優(yōu)化全連接層減少網(wǎng)絡的計算量,同時將BCBAM注意力機制嵌套到網(wǎng)絡模型中,從而提高算法故障診斷識別準確率.

1 問題分析

在當今社會,電力設備已經(jīng)成為支撐國家經(jīng)濟和社會發(fā)展的重要基礎設施之一.然而,由于電力設備長期運行和復雜的內部結構,其會出現(xiàn)各種各樣的故障.這些故障不僅會影響電力設備的正常運行,還會對整個電網(wǎng)的安全和穩(wěn)定性產(chǎn)生不良影響,甚至引發(fā)重大事故.因此,如何提高電力設備故障診斷的準確性和速度,已經(jīng)成為當前電力領域研究的重點之一.

隨著深度學習技術的不斷進步,電力設備紅外圖像在電力設備故障診斷中的應用越來越受到重視.這種非接觸、非破壞、高精度的技術能夠準確反映電力設備的運行狀態(tài)和故障信息.借助深度學習的優(yōu)勢,基于電力設備紅外圖像故障的診斷和識別已成為電力設備智能化維護領域的一個熱門研究方向.圖1 為電力設備紅外圖像.

由于電力設備本身的復雜性和特殊性, 電力設備紅外圖像故障識別一直面臨著獲取足夠高質量數(shù)據(jù)樣本的困難.目前提出的深度學習算法在解決這一困難時,高精度的網(wǎng)絡模型往往過于復雜冗余,導致故障識別算法的計算復雜度較高,需要更長的訓練時間和更多的計算資源；而一些旨在提高識別速度的網(wǎng)絡則可能過于簡單,無法很好地提取和分類電力設備缺陷的復雜特征,從而對故障識別的準確性產(chǎn)生一定的限制.因此本文考慮電力設備缺陷在紅外圖像中的特性,提出了一種基于輕量化VGG16 和BCBAM 的電力設備紅外圖像故障診斷識別算法.該算法通過優(yōu)化全連接層,減少網(wǎng)絡計算量,并將BCBAM注意力機制引入到輕量化VGG16 中.具體來說,一是引入歸一化方法改進通道注意力模塊和空間注意力模塊,可以降低不太顯著的特征的權重；二是在原本級聯(lián)基礎上結合網(wǎng)絡特性以及處理過程,將鏈接方式改為并行,將網(wǎng)絡結構與網(wǎng)絡性能提升,從而提高算法故障診斷識別準確率,從而減少人力成本和時間成本,提高電力設備運行的效率和安全性.

2 BCBAM 注意力機制下輕量化VGG16 故障紅外圖像識別模型

本識別模型利用VGG16 的前三段卷積層強大的特征提取能力,通過將BCBAM注意力機制引入輕量化VGG16 的第三段卷積后,使兩者深度融合,從而提高對故障的識別精度.整體模型結構如圖2 所示.

圖2 總體結構Fig.2 Overall structure diagram

2.1 輕量化VGG16 網(wǎng)絡

VGGNet 是一種深度卷積神經(jīng)網(wǎng)絡,其中VGG16 是性能最佳的網(wǎng)絡之一[20],其在2014 年的ImageNet圖像分類比賽中獲得第二名[21].本文提出的輕量化VGG16 網(wǎng)絡包含15 個權重層,由5 段卷積層和1 段全連接層組成,共包含13 個卷積層和2 個全連接層.其結構示意如圖3 所示.

圖3 輕量化VGG16 網(wǎng)絡結構Fig.3 The structure diagram of lightweight VGG16 network

輕量化VGG16 采用了5 段卷積層來提取圖像的不同層次特征,每段卷積層包含2~3 個卷積層,每個卷積層后都采用ReLU 激活函數(shù).ReLU 激活函數(shù)具有非線性特性,可以防止梯度消失和加快網(wǎng)絡的訓練速度.相比其他激活函數(shù),ReLU 函數(shù)的優(yōu)勢在于它能夠更好地減小反向傳播誤差,使網(wǎng)絡更快地收斂,因此在網(wǎng)絡訓練過程中,選擇ReLU 函數(shù)更加高效.公式如下

式（1）中：fReLU為ReLU函數(shù)計算結果；x表示接受區(qū)域的向量.

輕量化VGG16 由經(jīng)典的深度卷積神經(jīng)網(wǎng)絡優(yōu)化而來,用于圖像分類和目標識別任務.它由5 段卷積層和2 個全連接層組成.每一段卷積層包含2 到3 個卷積層,采用3×3 的卷積核提取低、中、高各層的圖像特征,并使用ReLU 激活函數(shù)增加非線性效果,減少過擬合.每段卷積的尾部都接一個2×2 的最大池化層,以減小誤差和捕捉細節(jié)變化.為了減少計算量,將全連接層的數(shù)量從3 個優(yōu)化為2 個.這些優(yōu)化和設計使VGG16 網(wǎng)絡能夠更有效地進行特征提取和任務分類.

輕量化VGG16 網(wǎng)絡通過逐層的特征學習,可以捕捉到輸入特征的不同抽象層次,從而具有更強的非線性表達能力.這種深度網(wǎng)絡可以更好地表示輸入圖像的復雜特征,提高分類精度.

2.2 BCBAM 模型

CBAM是一種簡單有效的前饋卷積神經(jīng)網(wǎng)絡注意力模塊,可以對中間特征圖進行注意力計算,然后將注意力圖應用于輸入特征圖以進行自適應特征優(yōu)化.CBAM模塊分別在通道和空間兩個維度上計算注意力圖,是一種輕量級通用模塊,可以無縫地集成到各種卷積神經(jīng)網(wǎng)絡中,并與基礎網(wǎng)絡一起進行端到端的訓練,具有很高的可擴展性和靈活性.CBAM結構如圖4 所示.

圖4 CBAM 結構Fig.4 CBAMStructure diagram

通道注意力模塊是通過全局平均池化和全局最大池化得到一個1×1×C的特征圖,然后將其輸入到共享的多層感知機中進行處理,得到的多層感知機輸出特征與Sigmoid 激活函數(shù)結合,獲得通道權重Mc.將通道權重與輸入特征F相乘,從而得到優(yōu)化后的特征圖.這個過程可以使用通道注意力公式來表示.由于通道注意力是一個輕量級的通用模塊,因此可以方便地與各種CNN 架構結合使用,并在端到端訓練過程中進行無縫集成.通道注意力的公式為

式（2）（3）中：σ 為Sigmoid激活函數(shù),MLP為共享參數(shù)的感知器,GAP為全局平均池化,GMP為全局最大池化, ?為逐元素相乘.

與通道注意力模塊不同,空間注意力模塊先對輸入特征進行全局平均池化和全局最大池化,然后將這兩個池化結果拼接在一起.這個拼接的特征圖會被送到卷積層,并經(jīng)過Sigmoid激活函數(shù)得到空間權重系數(shù)Ms,然后將Ms與輸入特征F1相乘,即可完成空間注意力的計算.這個計算過程可以用以下公式表示

式（4）（5）中：σ 為Sigmoid激活函數(shù),conv為卷積核為7×7 的卷積操作；GAP為全局平均池化；GMP為全局最大池化；? 為逐元素相乘.

為了避免模型精度下降、梯度消失、梯度爆炸等問題的出現(xiàn),有效地節(jié)省網(wǎng)絡計算量以及計算時長,本文提出了BCBAM注意力模塊.

首先,在通道注意力模塊和空間注意力模塊中引入歸一化方法,可以降低不太顯著特征的權重,這種方式在注意力模塊上應用了稀疏的權重懲罰,使這些權重在計算上更加高效,同時能夠保持同樣的性能.

對于通道注意力子模塊,使用Batch Normalization 中的縮放因子,如下式所示

縮放因子是Batch Normalization（BN）中的方差,它能夠反映出各個通道的變化大小,并反映該通道的重要性.方差越大,表示該通道的變化越劇烈,其中包含的信息也會更加豐富且重要性更高.反之,對于變化較小的通道,信息單一且重要性較低.通道注意力子模塊如圖5 所示,通道注意力的權重如式（7）所示.

圖5 通道注意力子模塊Fig.5 Channel attention submodule

MC表示最后得到的輸出特征,γ 是每個通道的縮放因子,因此,每個通道的權值可以得到,對空間中的每個像素使用同樣的歸一化方法,就可以得到空間注意力的權重,如式（8）所示,空間注意力如圖6 所示.

圖6 空間注意力子模塊Fig.6 Spatial attention sub-module

為抑制非重要特征,在損失函數(shù)中加入一個正則化項,如式（9）所示

然后在原本級聯(lián)基礎上結合網(wǎng)絡特性以及處理過程, 將鏈接方式改為并行,BCBAM注意力模塊如圖7 所示,對原始CBAM的串行注意力模塊原來的級聯(lián)模式改為并行模式后,兩種注意力模塊均可以直接獲得圖像的原始特征,不需要關注注意力的運算順序,從原始的特征圖中運算的兩種注意力機制捕獲權值信息,將權值信息直接加權到原始特征圖,從而方便網(wǎng)絡捕獲目標信息,計算公式如下

圖7 BCBAM 注意力機制模塊圖Fig.7 BCBAMattention mechanism module diagram

BCBAM注意力網(wǎng)絡模塊對不同通道的差異性捕捉能力更強,能夠較好地對不同通道圖像信息進行比對、搜集.而空間注意力模塊的作用是抓捕圖像的不同目標的空間信息,從兩個方面豐富圖像的特征.

3 實驗與分析

3.1 數(shù)據(jù)集

因為電力設備復雜特殊,所以電力設備紅外圖像故障識別一直存在獲取高質量數(shù)據(jù)樣本難的問題,而缺少樣本容易導致過擬合問題和模型失去泛化能力.本模型通過采用隨機翻轉、旋轉和裁剪等方法對電力設備紅外數(shù)據(jù)圖像擴充數(shù)據(jù),增加數(shù)據(jù)集的多樣性,這相當于擴充了更多的訓練和測試樣本.最終電力設備紅外圖像數(shù)據(jù)集包括2 000 多張圖像,并使用其中80%作為訓練數(shù)據(jù),20%作為測試數(shù)據(jù),以驗證改進模型對電力設備故障的診斷識別能力.部分擴充后的電力設備紅外圖像如圖8 所示.

圖8 部分數(shù)據(jù)集Fig.8 Some examples of the dataset

3.2 實驗配置及環(huán)境

實驗用的電腦配置及環(huán)境如表1 所示.

表1 實驗配置及環(huán)境Tab.1 Experimental configurations and environments

3.3 評價指標

準確率（Precision）表示在匹配結果中有多少樣本是正確的,計算方法如下式所示

式（11）中：TP代表正確的預測值,FP代表錯誤的預測值.

平均精度AP表示一個類別的所有準確率的平均值.計算AP其數(shù)值為集合中某一類別的全部準確率之和與包含此類對象的總圖像Nc的比率,具體見式（12）

然后再計算平均精度均值mAP,mAP 值見式（13）

式（13）中：C表示總類別數(shù).

3.4 結果分析

為測試本模型引入BCBAM 注意力機制后輕量化VGG16 網(wǎng)絡故障診斷識別精度,本實驗使用了Resnet50、Faster-RCNN 和傳統(tǒng)VGG16 模型作為實驗比較算法.在電力設備紅外圖像中,光照和拍攝角度與距離的變化會對故障的識別產(chǎn)生影響,Resnet50 和傳統(tǒng)VGG16 模型的表現(xiàn)較差,準確率不高.另一方面,由于環(huán)境溫度的變化會對電力設備紅外圖像產(chǎn)生影響,因此Faster-RCNN 模型對故障的識別準確率下降.部分樣本故障診斷結果如表2 所示.

表2 故障診斷結果Tab.2 Fault diagnosis results

實驗定量分析結果見表3.

表3 實驗定量分析Tab.3 Quantitative analysis of experiments

通過表3 可以看出,本文算法的mAP相比傳統(tǒng)VGG16 網(wǎng)絡提高了2.8 個百分點,相比Resnet50 網(wǎng)絡提高了6.9 個百分點,相比Faster-RCNN 網(wǎng)絡提高了3.6 個百分點.實驗數(shù)據(jù)表明,這一改進的網(wǎng)絡模型在準確率評價指標上優(yōu)于傳統(tǒng)VGG16、Resnet50 和Faster-RCNN 等模型,改進模型具有較為準確的故障識別能力.其變化用折線圖表示,見圖9.從圖9 可以直觀地看出本算法相比其他幾種算法在本數(shù)據(jù)集上有很好的表現(xiàn).

圖9 實驗結果對比折線圖Fig.9 Line chart comparing experimental results

4 結論

基于輕量化VGG16 和BCBAM的電力設備故障診斷紅外圖像識別算法,考慮了電力設備缺陷在紅外圖像中的特性.該算法通過優(yōu)化全連接層,減少網(wǎng)絡計算量,并將BCBAM 注意力機制引入輕量化VGG16 中.具體來說,引入歸一化方法改進通道注意力模塊和空間注意力模塊,可以降低不太顯著的特征的權重；然后在原本級聯(lián)基礎上結合網(wǎng)絡特性以及處理過程,將鏈接方式改為并行,將網(wǎng)絡結構與網(wǎng)絡性能提升,從而提高算法故障診斷識別準確率.實驗數(shù)據(jù)表明,改進模型具有迅速準確地識別故障的能力,在準確率評價指標上優(yōu)于傳統(tǒng)VGG16、Resnet50 和Faster-RCNN 等模型,從而驗證了算法對故障診斷識別的準確度.