霍成軍,史奕龍,武曉磊,李俊午,陸 鑫,陳 婧

(1.國網(wǎng)山西省電力公司,山西 太原 030001；2.國網(wǎng)信通億力科技有限責(zé)任公司,福建 福州 350003)

1 引 言

設(shè)備檢測是保證電力系統(tǒng)安全運(yùn)行的重要環(huán)節(jié)。通過對電氣設(shè)備的監(jiān)測,可以及時(shí)發(fā)現(xiàn)設(shè)備的老化、故障,防止意外停電、火災(zāi)和其他潛在風(fēng)險(xiǎn)。因此,熱成像相機(jī)被廣泛使用,它提供了一種非接觸的方式來感知設(shè)備表面發(fā)出的紅外能量,從而可以在不關(guān)閉任何系統(tǒng)的情況下進(jìn)行檢測,采集到的熱圖像顯示了溫度分布,從而可以對設(shè)備狀態(tài)進(jìn)行診斷。傳統(tǒng)的診斷主要由經(jīng)驗(yàn)豐富的電工來完成。隨著傳感數(shù)據(jù)的急劇增加,使得診斷的自動(dòng)化程度越來越高。

自動(dòng)診斷首先要通過分割設(shè)備區(qū)域或使用邊界框定位設(shè)備來檢測熱像圖中的電氣設(shè)備[1-3]。考慮到電氣設(shè)備的不同部分可能顯示出不同的溫度模式,本文旨在檢測每個(gè)設(shè)備的各個(gè)部分,而不是作為一個(gè)整體來檢測。與彩色圖像中的一般目標(biāo)檢測相比,本研究具有以下特點(diǎn):①由于背景干擾或相機(jī)設(shè)置不當(dāng),熱圖像可能呈現(xiàn)過于集中的溫度分布,導(dǎo)致對比度低。②大多數(shù)圖像都是由手持?jǐn)z像機(jī)拍攝的,在手持?jǐn)z像機(jī)中,設(shè)備并沒有很好地垂直對齊。因此,圖像中的設(shè)備可能略微傾斜,甚至嚴(yán)重傾斜。③不同的設(shè)備可能包含不同數(shù)量的零件,但設(shè)備的零件應(yīng)具有與剛體特性相同的方向角。此外,雜亂的背景和外觀、形狀、尺度的變化,使根據(jù)本研究具有很高的挑戰(zhàn)性。

本文提出了一種基于YOLO[4-5]的深卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)來預(yù)測各設(shè)備部件的坐標(biāo)、方位角和類別類型。本文所提方法是第一個(gè)應(yīng)用面向?qū)ο蟮纳疃葘W(xué)習(xí)技術(shù)的電氣設(shè)備檢測方法,可以提供每個(gè)設(shè)備部件的位置、方向和類別類型,從而方便后續(xù)的狀態(tài)診斷。將方向一致性先驗(yàn)知識(shí)集成到模型中的方法,通過這種方法可以提高檢測結(jié)果,特別是對于小尺寸設(shè)備部件。此外,構(gòu)建了一個(gè)包含四種主要電氣設(shè)備的大型熱像集,這使得訓(xùn)練基于深度學(xué)習(xí)的模型成為可能。實(shí)驗(yàn)結(jié)果表明,該方法對噪聲具有很強(qiáng)的魯棒性,當(dāng)過并集閾值為0.5時(shí),平均精度達(dá)到93.7 %。

2 相關(guān)研究

2.1 自動(dòng)診斷技術(shù)

多年來,自動(dòng)診斷的各種技術(shù)都得到了發(fā)展。一般來說,包含三個(gè)階段的通用框架:設(shè)備檢測、特征提取和狀態(tài)分類。例如,文獻(xiàn)[6]應(yīng)用Watershed變換對避雷器進(jìn)行分段,采用模糊神經(jīng)網(wǎng)絡(luò)將故障、正常、輕度和可疑情況進(jìn)行分類。文獻(xiàn)[7]使用K-means聚類算法對電氣設(shè)備進(jìn)行分割,提取統(tǒng)計(jì)特征,并使用支持向量機(jī)進(jìn)行分類。這些研究僅在包含數(shù)百個(gè)簡單圖像或更少圖像的小數(shù)據(jù)集中得到驗(yàn)證,它們與實(shí)際應(yīng)用之間還有很大的差距。近年來,深度學(xué)習(xí)方法被應(yīng)用于故障診斷,這些技術(shù)能夠?qū)收线M(jìn)行端到端的檢測,隨著傳感數(shù)據(jù)的增加,它們將逐漸成為主要的研究方向。

2.2 電氣設(shè)備檢測

診斷的成功在很大程度上取決于設(shè)備的正確檢測。因此,為了解決設(shè)備檢測問題,人們進(jìn)行了多種研究[8-10]。文獻(xiàn)[1]通過提取、匹配和聚類稀疏特征點(diǎn)來檢測故障區(qū)域。文獻(xiàn)[8]提出了一種局部定義聚類復(fù)雜度度量方法來提取故障區(qū)域。文獻(xiàn)[9]將Otsu方法應(yīng)用于閾值設(shè)備區(qū)域。文獻(xiàn)[10]利用二元形狀先驗(yàn)和特征池檢測絕緣體。這些方法大多使用對方差和噪聲敏感的特征,并僅在簡單圖像的上進(jìn)行驗(yàn)證。本文所提方法在大量的圖像中得到了驗(yàn)證,并證明了它具有很高的魯棒性。

2.3 目標(biāo)檢測

目標(biāo)檢測是計(jì)算機(jī)視覺中的一個(gè)關(guān)鍵問題。目前,最先進(jìn)的檢測方法都是基于深度學(xué)習(xí)[11]的,如YOLO[5]、R-CNN[12]和SSD[13]。這些方法在垂直目標(biāo)檢測上效果良好,但是,方向的改變可能會(huì)導(dǎo)致外觀的大幅度變化,并遭受嚴(yán)重的背景干擾,從而導(dǎo)致對定向目標(biāo)的檢測失敗[14]。圖1給出了傳統(tǒng)目標(biāo)檢測與面向包圍盒預(yù)測的檢測方法示意圖。圖1(a)給出了傳統(tǒng)目標(biāo)檢測方法預(yù)測垂直邊界框的示例,可見使用垂直包圍盒定位設(shè)備可能會(huì)導(dǎo)致多余的背景噪聲和不必要的重疊。圖1(b)給出了面向包圍盒預(yù)測的元件檢測方法示例,不同顏色的框表示它們處于不同組。

圖1 傳統(tǒng)目標(biāo)檢測與面向包圍盒預(yù)測的檢測方法示意圖

如今,手持?jǐn)z像機(jī)采集越來越多的圖像,這些圖像中的對象通常沒有很好地對齊。因此,近年來面向目標(biāo)檢測逐漸被關(guān)注,文獻(xiàn)[15]提出了不同的面向目標(biāo)檢測方法。與彩色圖像中傾斜文本的檢測相比,我們的設(shè)備部件檢測是在強(qiáng)度對比度較低的紅外熱像中進(jìn)行的,這使得預(yù)測更加困難。而且,幾乎所有的面向目標(biāo)檢測方法都是將目標(biāo)作為一個(gè)整體來處理的,而一個(gè)電氣設(shè)備可分成幾個(gè)部分。如何挖掘部件之間的結(jié)構(gòu)信息至關(guān)重要。

3 所提方法

當(dāng)給定一幅圖像時(shí),可以通過預(yù)測一組有向包圍盒來檢測設(shè)備部件,每個(gè)包圍盒都由其中心坐標(biāo)、寬度、高度和方向角參數(shù)化。為此,本文提出了一個(gè)基于回歸的檢測框架,該框架基于深卷積神經(jīng)網(wǎng)絡(luò),如圖2所示。圖中,深卷積神經(jīng)網(wǎng)絡(luò)以熱像為輸入,輸出有向包圍盒和相關(guān)類概率,然后進(jìn)行非最大抑制(Non-Maximum Suppression,NMS)得到最終的檢測結(jié)果。與這些現(xiàn)有的預(yù)測垂直邊界框的方法不同,所提方法還預(yù)測了方向角,并考慮了零件之間的方向約束。在常規(guī)檢查過程中收集到的熱圖像,首先被送入卷積層和最大池層的堆棧中進(jìn)行特征提取。然后,通過組織層將在不同層上獲得的特征連接起來,并將其轉(zhuǎn)發(fā)到另外兩個(gè)卷積層。最后一層的輸出生成有方向的邊界框和相關(guān)的類概率。最后,采用非最大抑制過程來定位概率最高的部分。

圖2 所提框架的示意圖

3.1 網(wǎng)絡(luò)體系結(jié)構(gòu)

所提網(wǎng)絡(luò)結(jié)構(gòu)由六層的特征提取棧組成。如圖2所示,前兩個(gè)堆棧中的每一個(gè)都包含一個(gè)卷積層和一個(gè)最大池層；第三個(gè)或第四個(gè)堆棧包含三個(gè)卷積層,后跟一個(gè)最大池層；第五個(gè)堆棧包含五個(gè)卷積層,后跟一個(gè)最大池層；第六個(gè)堆棧包含七個(gè)卷積層。圖2中每個(gè)卷積層都有k×k核和c通道,用k×k×c表示。由第四層和第六層堆棧提取的特征通過重組層連接起來,并轉(zhuǎn)發(fā)到另外兩個(gè)卷積層中進(jìn)行參數(shù)預(yù)測。每層的大小如圖2所示。該網(wǎng)絡(luò)以固定尺寸的416×416×3熱圖像作為輸入。圖像被劃分為S×S網(wǎng)格,每個(gè)網(wǎng)格單元預(yù)測B個(gè)邊界框。一個(gè)框有五個(gè)描述坐標(biāo)的參數(shù),一個(gè)反映框預(yù)測值的置信度分?jǐn)?shù),以及K類概率值。因此,輸出是一個(gè)S×S×(B(5+1+K))維量。當(dāng)預(yù)測每個(gè)單元中的B邊界框時(shí),不是直接預(yù)測坐標(biāo),而是預(yù)測與錨盒相關(guān)的五個(gè)參數(shù)(tx,ty,tw,th,tθ),如圖3所示,錨盒用虛線表示,預(yù)測邊界框用實(shí)線表示。假設(shè)單元格與圖像左上角的偏移量為(cx,cy),目標(biāo)框的寬度為wa,高度為ha。然后,根據(jù)預(yù)測參數(shù)計(jì)算出該單元格中的預(yù)測邊界框(x,y,w,h,θ),如式(1)所示：

(1)

其中,σ()是一個(gè)tx或ty的邏輯函數(shù),取值為[0,1]。使用K-means算法對B個(gè)錨盒進(jìn)行聚類,即從訓(xùn)練樣本中獲得B個(gè)不同大小的錨盒。通過這種方法,可以將設(shè)備部件的尺寸先驗(yàn)值融入到所提模型中,使網(wǎng)絡(luò)訓(xùn)練穩(wěn)定,并獲得更好的定位效果。

圖3 與錨盒相關(guān)的邊界框

3.2 損失函數(shù)

在訓(xùn)練網(wǎng)絡(luò)時(shí),給出了一組熱像圖作為訓(xùn)練樣本。圖像中的每一個(gè)設(shè)備部分都用一個(gè)有方向的邊界框和一個(gè)類標(biāo)簽作為進(jìn)行注釋。該網(wǎng)絡(luò)被訓(xùn)練來預(yù)測定位和分類結(jié)果,是一個(gè)多任務(wù)學(xué)習(xí)問題。因此,我們提出了一個(gè)多任務(wù)損失函數(shù)L,如式(2)所示,其中包括定位損失Lloc、分類損失Lcl以及將部件之間的方向角約束為一致的損失Lort。

L=Lloc+Lcls+Lort

(2)

3.2.1 定位損失

(3)

3.2.2 分類損失

在我們的任務(wù)中,我們有K種電氣設(shè)備部件。所構(gòu)造的網(wǎng)絡(luò)為每個(gè)邊界框預(yù)測一個(gè)K維向量p。p的每個(gè)條目表示屬于某個(gè)類的預(yù)測邊界框的概率。分類損失也只考慮那些“負(fù)責(zé)任”的邊界框。因此,定義如下:

(4)

3.2.3 定向一致性損失

當(dāng)檢測一臺(tái)設(shè)備的不同元件(例如電流互感器或電壓互感器)時(shí),這些元件應(yīng)有相同的定向角?？梢圆捎迷撓闰?yàn)來改進(jìn)包圍盒的預(yù)測。因此,提出了一致性損失來約束元件之間的定向角。在施加此約束之前,首先需要確定哪些元件位于同一設(shè)備上。因此,首先將帶注釋的邊界框劃分為不同的組,每個(gè)組表示一個(gè)設(shè)備實(shí)例,如圖2(b)所示。這可以根據(jù)以下條件檢查元件的定向角來完成。當(dāng)給定兩個(gè)帶注釋的邊界框a和b時(shí),如果滿足式(5),它們屬于同一組。

(5)

接著,將所有部分分成不同的組。假設(shè)一個(gè)圖像包含G組設(shè)備元件,并且每個(gè)組可以包含不同數(shù)量的元件。定向一致性損失公式如下:

(6)

3.3 訓(xùn)練與測試

使用損失函數(shù)以一種端到端的方式訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練圖像及其注釋被輸入到網(wǎng)絡(luò)中。采用隨機(jī)梯度下降法(Stochastic Gradient Descent,SGD)優(yōu)化損失,批量大小為16,動(dòng)量為0.9,重量衰減為0.0005。采用了文獻(xiàn)[16]的策略來調(diào)整學(xué)習(xí)率,對于前35000次迭代,學(xué)習(xí)率固定為0.01,之后降低為0.001。

測試時(shí),一個(gè)單獨(dú)的圖像被輸入到訓(xùn)練的網(wǎng)絡(luò)中。最后一層產(chǎn)生輸出預(yù)測位置、可信度和類概率。將類別概率與置信度相乘,以表示盒子的置信度。NMS選擇置信度最高的盒子作為最終結(jié)果。

4 算例分析

4.1 數(shù)據(jù)集

目前,還沒有公開的熱像數(shù)據(jù)集用于電氣設(shè)備的檢測和診斷。為了對該方法進(jìn)行評價(jià),本文構(gòu)造了一個(gè)數(shù)據(jù)集。某變電站,當(dāng)電工進(jìn)行例行檢查時(shí),圖像由手持熱相機(jī)拍攝,如FLIR T640、FLIR T660和FLIR P660。該數(shù)據(jù)集中于四種主要類型的變壓器設(shè)備,包括電流互感器(current transformer,CT)、電壓互感器(potential transformer,PT)、避雷器(surge arrester,SA)和斷路器(circuit breaker,CB)。為了訓(xùn)練網(wǎng)絡(luò)和評估測試結(jié)果,手動(dòng)標(biāo)注了7955幅圖像。圖像中的每個(gè)設(shè)備元件都用一個(gè)定向邊界框和一個(gè)類標(biāo)簽進(jìn)行注釋。根據(jù)這些設(shè)備的組成,將所有部件分為六類:套管、波紋管、均壓環(huán)、套管連接器、凸緣和滅弧室。例如,電流互感器由波紋管和套管連接器組成,但是電壓互感器可能由不同數(shù)量的套管連接器、凸緣、均壓環(huán)和套管組成。表1列出了圖像中存在的元件和設(shè)備的數(shù)量。所有元件的方位角分布如圖4所示,以正x軸為基準(zhǔn)0°角,方位分布在65°到115°之間,且多數(shù)為直立。

表1 數(shù)據(jù)集中不同部件、設(shè)備和圖像的數(shù)量

圖4 數(shù)據(jù)集中所有設(shè)備部件的方向分布

4.2 實(shí)驗(yàn)裝置

在數(shù)據(jù)集中,隨機(jī)選擇60 %的圖像進(jìn)行訓(xùn)練,其余的圖像進(jìn)行測試。圖像的原始分辨率為480×640或640×480。兩者都被縮放到480×480輸入。同時(shí),通過以下方法來增加訓(xùn)練數(shù)據(jù):將每個(gè)訓(xùn)練圖像隨機(jī)裁剪成416×416的小塊,并以0.5的概率水平移動(dòng),此外在色調(diào)、飽和度和曝光度上應(yīng)用一些偏移。在所有的實(shí)驗(yàn)中,采用了文獻(xiàn)[5]中的默認(rèn)參數(shù)設(shè)置,即S=13,λnoobj=0.2,設(shè)置K=6來表示六個(gè)設(shè)備部件類別。采用K-means算法對B=5個(gè)錨盒進(jìn)行聚類,得到42×195、92×66、81×120、38×299和38×36的錨盒。模型需要10個(gè)小時(shí)左右的時(shí)間來訓(xùn)練。為了測試,它每秒鐘可以訓(xùn)練20幀。

4.3 實(shí)驗(yàn)結(jié)果

4.3.1 與其他方法相比

首先采用所提完整模型進(jìn)行實(shí)驗(yàn),并將其與為垂直目標(biāo)檢測的最新方法進(jìn)行比較,這些方法包括YOLO9000[5]、R-CNN[12]和SSD[13]。結(jié)果根據(jù)平均精度(Average Precision,AP)進(jìn)行評估,平均精度是衡量類的精度召回曲線下面積的一個(gè)標(biāo)準(zhǔn)。在計(jì)算精確率和召回率時(shí),如果與地面事實(shí)的交集(intersection over union,IoU)大于閾值,將預(yù)測的邊界框判斷為真實(shí)。與大多數(shù)目標(biāo)檢測工作一樣,閾值通常設(shè)置為0.5。表2給出了每個(gè)類的AP以及所有類的平均精度(mean Average Precision,mAP)。結(jié)果表明,本文提出的方法獲得了最高mAP,優(yōu)于其他所有的垂直目標(biāo)檢測方法。這種改進(jìn)主要得益于模型中對旋轉(zhuǎn)的考慮,從而使模型對旋轉(zhuǎn)引起的外觀變化更具魯棒性,對背景噪聲的影響更小。

表2給出了以每秒幀數(shù)(frames per second,FPS)表示的時(shí)間比較。由于在計(jì)算IoU時(shí),定向包圍盒的非最大抑制與直立包圍盒的非最大抑制略有不同,因此在估計(jì)FPS時(shí),也考慮了非最大抑制的時(shí)間,以便進(jìn)行比較。所提模型可以達(dá)到20 f/s,比R-CNN快。由于定向包圍盒非最大抑制的復(fù)雜性,所提模型比YOLO9000和SSD慢。

表2 實(shí)驗(yàn)結(jié)果與其他方法的對比

4.3.2 燒蝕實(shí)驗(yàn)

為了研究所提方法中方向一致性損失的有效性,對所提出的不存在方向一致性損失的模型進(jìn)行了訓(xùn)練和測試,稱為“所提w/o”。并對結(jié)果進(jìn)行了mAP評價(jià)。為了更好地評估定位性能,報(bào)告了IoU閾值在0.5到0.8之間變化的結(jié)果。表3列出了完整模型和無方向損失約束模型在不同閾值下的結(jié)果。表4還給出了IoU分別為0.5和0.7的每個(gè)類的AP。根據(jù)這些結(jié)果,可以觀察到:

1)當(dāng)IoU閾值從0.5提高到0.8時(shí),平均精度逐漸下降。因?yàn)镮oU越高,定位結(jié)果就越精確。當(dāng)將所提完整模型與無方向損失約束的模型進(jìn)行比較時(shí),發(fā)現(xiàn)完整模型更優(yōu)。當(dāng)IoU為0.5時(shí),mAP增加0.5 %,隨著IoU的增加,mAP增加到3.1 %。這說明元件之間的方向約束可以提供更好的定位性能。

2)通過比較各元件的AP,可以看出,對于波紋管、套管連接器、均壓環(huán)等高寬比較小的設(shè)備部件,AP有較大的改善,原因是這些元件的方向預(yù)測比其他類型的元件對噪聲更敏感。利用所提方向一致性損失,可以得到了更穩(wěn)健的預(yù)測結(jié)果。

表3 相對于mAP(%)的燒蝕實(shí)驗(yàn)結(jié)果

表4 消融實(shí)驗(yàn)結(jié)果與AP和mAP比較

圖5給出了使用所提完整模型在測試集上檢測到的典型結(jié)果。結(jié)果表明,該方法能夠精確地檢測出元件,對尺寸、溫度和方向角的變化具有魯棒性。即使在背景雜亂的情況下,也能獲得較好的檢測結(jié)果。

圖5 所提完整模型得到的測試結(jié)果

5 結(jié) 論

設(shè)備檢測是實(shí)現(xiàn)自動(dòng)檢測和診斷的基礎(chǔ)?；谏疃葘W(xué)習(xí)技術(shù),本文提出了一種檢測熱圖像中細(xì)粒度設(shè)備的方法。所提方法能夠通過預(yù)測包圍盒來檢測設(shè)備部件,無論它們是直立的還是傾斜的。該方法已經(jīng)在構(gòu)建的大型數(shù)據(jù)集中得到了驗(yàn)證。實(shí)驗(yàn)表明,所提方法能夠較好地檢測電氣設(shè)備,元件之間的方向約束可以提供更好的定位性能,方法具有魯棒性。后續(xù)將進(jìn)行基于檢測結(jié)果的故障診斷研究。