高 偉,郭美青,張興忠,劉 軍

(1. 國(guó)網(wǎng)山西省電力公司互聯(lián)網(wǎng)部,山西 太原 030000;2. 太原理工大學(xué)軟件學(xué)院,山西 晉中 030600)

1 引言

保持電力設(shè)備安全穩(wěn)定的運(yùn)行是系統(tǒng)運(yùn)維的首要任務(wù),及時(shí)監(jiān)測(cè)設(shè)備的運(yùn)行狀態(tài),能夠預(yù)防由設(shè)備缺陷或故障引起的電網(wǎng)事故發(fā)生。紅外熱成像技術(shù)具有非接觸、全天候監(jiān)測(cè)的特點(diǎn),在電力系統(tǒng)運(yùn)維的安全性、可靠性、經(jīng)濟(jì)性等方面具有明顯優(yōu)勢(shì)。但目前對(duì)電力設(shè)備紅外圖像的分析仍需依賴經(jīng)驗(yàn)豐富的工程師[1],需消耗大量人力和時(shí)間成本,極大地降低了設(shè)備狀態(tài)監(jiān)測(cè)效率,因此基于紅外圖像的目標(biāo)檢測(cè)及應(yīng)用已成為當(dāng)前電力領(lǐng)域人工智能研究的熱點(diǎn),而對(duì)目標(biāo)快速精確地定位是實(shí)現(xiàn)電力智能巡檢的前提和關(guān)鍵。

目前針對(duì)電力設(shè)備目標(biāo)定位的計(jì)算機(jī)視覺(jué)技術(shù)主要分為兩類:一類是基于圖像處理的檢測(cè)方法;另一類是基于深度學(xué)習(xí)的檢測(cè)方法[2]?；趫D像處理的檢測(cè)方法大多基于提取目標(biāo)的某些特征,或再輔以特征的訓(xùn)練得到特征分類器[3]。曾軍[4]等提出改進(jìn)的K-means算法對(duì)圖像進(jìn)行分割,然后結(jié)合SURF算法和感知哈希算法完成設(shè)備的定位。郭文誠(chéng)[5]通過(guò)對(duì)電力設(shè)備提取Zernike矩特征,再應(yīng)用相關(guān)向量機(jī)分類器實(shí)現(xiàn)設(shè)備的分類識(shí)別。但是該類方法通過(guò)手動(dòng)特征提取的方法與目標(biāo)特性緊密相關(guān),在應(yīng)用中具有一定的局限性,且檢測(cè)時(shí)間較長(zhǎng),人工無(wú)法短時(shí)間實(shí)現(xiàn)對(duì)大規(guī)模復(fù)雜設(shè)備特征進(jìn)行提取的設(shè)計(jì)工作,并不能滿足電網(wǎng)快速發(fā)展的需求[6]?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)方法在電力巡檢工作中的應(yīng)用,表現(xiàn)效果最好的還是以檢測(cè)少類目標(biāo)或背景簡(jiǎn)單的目標(biāo)為主。劉子全[7]借鑒并改進(jìn)Mask-RCNN方法,利用圖像語(yǔ)義分割識(shí)別紅外圖像中的一個(gè)或多個(gè)電力設(shè)備,實(shí)現(xiàn)模型檢測(cè)精度的進(jìn)一步提高。黃銳勇[8]采用CenterNet結(jié)合結(jié)構(gòu)化定位的算法模型,從復(fù)雜的紅外圖像中以較高的準(zhǔn)確率將不同變電站設(shè)備及其部件識(shí)別定位。

相較于傳統(tǒng)的圖像處理方法,深度學(xué)習(xí)方法在檢測(cè)效果上既提高了精度又提高了速度,但在應(yīng)對(duì)復(fù)雜環(huán)境變化、精度、處理速度等方面仍需持續(xù)改進(jìn)[9]。因此,研究者們也逐漸將研究重點(diǎn)轉(zhuǎn)移到保證必要檢測(cè)精度的前提下盡可能提高檢測(cè)效率。YOLO系列算法以其又快又好的效果在學(xué)術(shù)及產(chǎn)業(yè)界全面風(fēng)靡,鄭含博[10]提出改進(jìn)YOLOv3的電力設(shè)備紅外目標(biāo)檢測(cè)模型,對(duì)設(shè)備快速精確地檢測(cè)定位;劉楊帆[11]提出改進(jìn)YOLOv4的空間紅外弱目標(biāo)檢測(cè)方法,滿足了空間紅外弱目標(biāo)檢測(cè)任務(wù)的需求。舒朗[12]提出Dense-Yolov5的網(wǎng)絡(luò)模型,提高了對(duì)紅外目標(biāo)尤其是特征不明顯的小目標(biāo)的識(shí)別效果。Huang X[13]等首次提出了PP-YOLOv2模型,在檢測(cè)速度和精度上均表現(xiàn)出了巨大優(yōu)勢(shì),本文將該模型首次應(yīng)用于電力設(shè)備紅外圖像的目標(biāo)檢測(cè)。

研究發(fā)現(xiàn)原始模型存在幾個(gè)問(wèn)題:模型高性能是根據(jù)自然圖像公開(kāi)數(shù)據(jù)集中的目標(biāo)得到,電力場(chǎng)景下的紅外圖像與自然圖像存在較大差異,以往的目標(biāo)檢測(cè)算法沒(méi)有充分考慮到這種情況,導(dǎo)致檢測(cè)效果不理想,因此不完全適用于該目標(biāo)檢測(cè)任務(wù);深度學(xué)習(xí)方法需要大量的訓(xùn)練樣本,而復(fù)雜電力環(huán)境下獲取大量完備紅外圖像進(jìn)行分析的難度較高,因此對(duì)小樣本數(shù)據(jù)集下目標(biāo)檢測(cè)有一定難度[14]。針對(duì)以上問(wèn)題,本文基于PP-YOLOv2,提出小樣本條件下的紅外圖像數(shù)據(jù)擴(kuò)增方法Mix＿Grid,增強(qiáng)模型的泛化能力及魯棒性;在特征提取階段,融合注意力機(jī)制,優(yōu)化主干網(wǎng)絡(luò),提高檢測(cè)精度;在模型訓(xùn)練損失函數(shù)部分,引入梯度均衡機(jī)制,解決正負(fù)樣本與難易樣本不平衡問(wèn)題,提高對(duì)各類設(shè)備的識(shí)別能力。

2 數(shù)據(jù)集及預(yù)處理

2.1 數(shù)據(jù)集構(gòu)建

本文建立的電力設(shè)備紅外圖像樣本數(shù)據(jù)庫(kù),來(lái)源于運(yùn)檢部門歷次采用FLIR＿P630紅外熱像儀采集的紅外圖譜數(shù)據(jù),包括絕緣子、套管、電流互感器、斷路器、變壓器、電壓互感器、隔離開(kāi)關(guān)等八種典型設(shè)備類型,圖像分辨率640×480。數(shù)據(jù)集經(jīng)篩選剔除后得到的總樣本數(shù)為594幅。每張圖像包含多個(gè)設(shè)備。該數(shù)據(jù)集是一個(gè)相對(duì)小型的數(shù)據(jù)集,圖像數(shù)量未達(dá)到充足和完善的工業(yè)檢測(cè)領(lǐng)域要求,為避免卷積網(wǎng)絡(luò)的過(guò)擬合問(wèn)題,數(shù)據(jù)增強(qiáng)技術(shù)是解決該問(wèn)題最有效的方法。部分樣本如圖1所示。

圖1 部分樣本圖

2.2 數(shù)據(jù)增強(qiáng)

紅外圖像具有對(duì)比度較低、設(shè)備特征信息不明顯、各目標(biāo)特征差異集中在較小部位等特點(diǎn),為保持對(duì)真實(shí)數(shù)據(jù)的良好了解,避免嚴(yán)重破壞特征的完整性,設(shè)計(jì)了一種快速、高效的數(shù)據(jù)增強(qiáng)方法Mix＿Grid,主要通過(guò)多樣本數(shù)據(jù)增強(qiáng)方法與基于區(qū)域刪除的Gridmask方法的結(jié)合,一方面旨在關(guān)注樣本的顯著性區(qū)域,豐富被檢測(cè)目標(biāo)的背景,增加數(shù)據(jù)集的多樣性,另一方面有效加大訓(xùn)練難度,防止過(guò)擬合,在一定程度上增強(qiáng)網(wǎng)絡(luò)的泛化能力,使網(wǎng)絡(luò)具有更好的魯棒性。Mix＿Grid方法流程如圖2。

圖2 Mix＿Grid數(shù)據(jù)增強(qiáng)方法流程圖

首先,多樣本數(shù)據(jù)增強(qiáng)具體過(guò)程為:將圖像進(jìn)行灰度化與高斯濾波處理,去掉不必要的像素點(diǎn);利用紅外圖像具有明顯的亮度特征,對(duì)其進(jìn)行Otsu閾值分割;采用DBSCAN算法對(duì)坐標(biāo)值進(jìn)行聚類,對(duì)其進(jìn)行圖像形態(tài)學(xué)處理,生成mask;兩張圖像分別與mask、1-mask相乘疊加的得到融合圖像。

其次,Graidmask[15]方法通過(guò)刪除圖像的信息來(lái)減少數(shù)據(jù)的過(guò)擬合,增強(qiáng)模型對(duì)圖像局部空間特征的學(xué)習(xí),降低模型的泛化能力,提高網(wǎng)絡(luò)魯棒性。相較于其它信息刪除方法,Graidmask通過(guò)簡(jiǎn)單的網(wǎng)格掩碼,刪除均勻分布的正方形區(qū)域,以極低的計(jì)算預(yù)算,避免過(guò)度刪除圖像中的重要信息,又避免沒(méi)有刪除到目標(biāo)信息而不能起到增加網(wǎng)絡(luò)泛化能力的作用。實(shí)現(xiàn)過(guò)程如圖2右側(cè)所示,主要通過(guò)生成一個(gè)和原圖相同分辨率的mask,然后將mask與原圖相乘,得到特定區(qū)域信息刪除的新圖像。其中虛線框部分為基本的mask單元,(s,k)表示第一個(gè)mask單元離圖像邊緣的距離,t為保留圖像的比例,r為mask單元的邊長(zhǎng)。

3 電力設(shè)備紅外圖像目標(biāo)檢測(cè)模型

3.1 PP-Yolov2模型

PP-YOLOv2模型主要包括特征提取網(wǎng)絡(luò)Backbone、特征融合網(wǎng)絡(luò)Neck和多尺度預(yù)測(cè)網(wǎng)絡(luò)Head三部分。首先模型選擇ResNet50vd-DCN作為骨干網(wǎng)絡(luò),ResNet50vd是擁有50個(gè)卷積層的ResNet-D網(wǎng)絡(luò),并即在ResNet的最后一個(gè)階段增加可變形卷積(Deformable Convolution,DCN),引入極少計(jì)算量而提高模型檢測(cè)精度。其次模型采用路徑聚合網(wǎng)絡(luò)(Path Aggregation Network,PANet)作為特征融合網(wǎng)絡(luò)。PANet避免了信息丟失問(wèn)題,先進(jìn)行自頂向下的特征融合,再進(jìn)行自底向上的特征融合,使得底層信息更容易傳遞到頂層,拼接后的信息既包含底層特征也包含語(yǔ)義特征。在經(jīng)過(guò)PANet結(jié)構(gòu)后,輸出3維特征圖。Head部分使用卷積對(duì)其進(jìn)行編碼,然后將其經(jīng)過(guò)矩陣非極大抑制算法后處理,調(diào)整先驗(yàn)框得到最終檢測(cè)結(jié)果。

3.2 改進(jìn)的PP-YOLOv2模型

數(shù)據(jù)集通過(guò)現(xiàn)場(chǎng)多種拍攝角度收集,可能存在溫度間界限不明顯、目標(biāo)輪廓模糊、背景干擾較為嚴(yán)重、被紅外探測(cè)設(shè)備顯示的實(shí)時(shí)數(shù)據(jù)遮擋,導(dǎo)致檢測(cè)難度較大等問(wèn)題,此時(shí)算法的有效性和高效性尤為重要。PP-YOLOv2模型有較強(qiáng)的檢測(cè)能力,但它對(duì)紅外圖像沒(méi)有針對(duì)性,特征提取效果較差。針對(duì)PP-YOLOv2網(wǎng)絡(luò)對(duì)因受部分遮擋和紅外圖像信息較少而使設(shè)備目標(biāo)置信度較低、錯(cuò)檢和漏檢等情況,本文優(yōu)化PP-YOLOv2模型,在特征提取階段,融合協(xié)調(diào)注意力機(jī)制[16](Coordinate Attention,CA),優(yōu)化主干網(wǎng)絡(luò),提高檢測(cè)精度;在模型訓(xùn)練損失函數(shù)部分,引入梯度均衡機(jī)制[17](gradient harmonizing mechanism,GHM)解決樣本不平衡問(wèn)題,提高對(duì)設(shè)備特征的預(yù)測(cè)能力。最終該模型可在復(fù)雜背景下對(duì)相似目標(biāo)、遮擋目標(biāo)均具有很強(qiáng)的識(shí)別能力。改進(jìn)模型的結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)的PP-YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)

3.2.1 CA注意力模塊

原模型中采用通道注意力機(jī)制(Squeeze and excitation Network,SENet)[18]為各種深層卷積架構(gòu)帶來(lái)性能提升。但SENet只考慮內(nèi)部通道信息而忽略位置信息的重要性,位置信息對(duì)于生成空間選擇性注意力特征圖極其重要。與通常場(chǎng)景相比,復(fù)雜電力場(chǎng)景下的紅外目標(biāo)檢測(cè)中對(duì)位置預(yù)測(cè)的要求更高。而CA注意力模塊同時(shí)考慮了通道間關(guān)系和位置信息,不僅捕獲跨通道的信息,而且包含位置敏感的信息,因此模型能更準(zhǔn)確地識(shí)別并定位到目標(biāo)區(qū)域。且注意力機(jī)制消耗的顯存和計(jì)算量與輸入大小成倍增長(zhǎng),嵌入位置會(huì)影響模型訓(xùn)練和測(cè)試效率,因此為了不影響骨干網(wǎng)絡(luò)預(yù)訓(xùn)練參數(shù)的加載,本文僅在ResNet50＿vd＿dcn的最后三個(gè)卷積層添加CA模塊,特征提取網(wǎng)絡(luò)命名為ResNet50＿vd＿dcn＿CA,通過(guò)把位置信息嵌入到通道注意力,從而使網(wǎng)絡(luò)獲取更豐富區(qū)域的語(yǔ)義信息,而避免引入更大的開(kāi)銷,提升網(wǎng)絡(luò)獲取全局信息的能力,增強(qiáng)網(wǎng)絡(luò)對(duì)于目標(biāo)檢測(cè)任務(wù)的泛化能力,使其更加符合電力領(lǐng)域高準(zhǔn)確率和實(shí)時(shí)檢測(cè)的要求。CA注意力模塊結(jié)構(gòu)如圖4所示,其中r是一個(gè)縮放參數(shù),用于減少網(wǎng)絡(luò)的參數(shù)量和計(jì)算復(fù)雜度。其步驟可總結(jié)如下。

圖4 CA注意力模塊結(jié)構(gòu)

1)分別使用尺寸為(H,1)和(1,W)的池化核沿水平坐標(biāo)與垂直坐標(biāo)對(duì)輸入特征圖x的每個(gè)通道進(jìn)行編碼,分別得到兩個(gè)方向感知的特征輸出和,其計(jì)算公式如下

(1)

(2)

式中,w、h分別表示特征圖的寬高,c表示通道數(shù)。

2)對(duì)輸出特征和進(jìn)行連接操作,將空間信息在水平方向和垂直方向進(jìn)行編碼得到中間特征映射f。

f=δ(F1([zh,zw]))

(3)

式中,[,]為沿空間維數(shù)的連接操作,δ為非線性激活函數(shù),F1為卷積操作。

3)沿著空間維數(shù)將f分解為2個(gè)單獨(dú)的張量fh和fw。利用另外2個(gè)1×1卷積變換Fh和Fw,分別將fh和fw變換為具有相同通道數(shù)的張量,得到兩個(gè)方向?qū)?yīng)輸出。

th=σ(Fh(fh))

(4)

tw=σ(Fw(fw))

(5)

式中,σ是sigmoid激活函數(shù)。

4)最終得到經(jīng)過(guò)CA注意力機(jī)制模塊的輸出特征圖y。

(6)

3.2.2 損失函數(shù)

模型的損失函數(shù)由分類誤差、邊界框坐標(biāo)預(yù)測(cè)誤差、置信度誤差、用于學(xué)習(xí)預(yù)測(cè)框與真實(shí)框的損失函數(shù)四部分組成。研究發(fā)現(xiàn),自建數(shù)據(jù)集中存在類別間的正負(fù)樣本和難易樣本不均衡問(wèn)題,如電流互感器與電壓互感器、斷路器與避雷器等設(shè)備輪廓特征相近,分類任務(wù)較困難,而變壓器、絕緣子等設(shè)備特征與其它設(shè)備外觀差異較大,較易分類。模型若直接進(jìn)行訓(xùn)練,對(duì)于正樣本中預(yù)測(cè)概率不高的,負(fù)樣本中預(yù)測(cè)概率較高的難分樣本,很難被正確分類。

目前解決樣本不平衡問(wèn)題的方法,比如Focal loss[19],存在過(guò)多關(guān)注難分樣本,忽略樣本離群點(diǎn)從而影響檢測(cè)效果以及超參數(shù)需進(jìn)行大量實(shí)驗(yàn)調(diào)整等問(wèn)題。而GHM方法從梯度分布的角度考慮,表示難度不同樣本的不均衡性可體現(xiàn)在梯度模長(zhǎng)的分布上,該梯度均衡化策略可優(yōu)化訓(xùn)練過(guò)程,進(jìn)而有效地改進(jìn)單階段檢測(cè)器的性能。因此本文將分類損失嵌入到GHM分類損失中,修正不同屬性樣本的梯度貢獻(xiàn),從而解決樣本不平衡問(wèn)題,提高網(wǎng)絡(luò)對(duì)目標(biāo)正負(fù)樣本和難易樣本的判別能力。損失函數(shù)計(jì)算過(guò)程如下:

1)置信度誤差Lobj的計(jì)算公式如下

(7)

2)模型使用LIoU優(yōu)化真實(shí)框與預(yù)測(cè)框的交并比(Intersection OverUnion,IoU),計(jì)算過(guò)程如下

LIoU=1-IoU2

(8)

3)用于學(xué)習(xí)預(yù)測(cè)框與真實(shí)框的IoU的損失函數(shù)LIoU＿aware計(jì)算公式如下

LIoU＿aware=-(IoU*log(σ(s))

-(1-IoU)*log(1-σ(s))

(9)

式中,s為該預(yù)測(cè)分支的原始輸出。

4)原始模型的分類損失采用二進(jìn)制交叉熵表示,如下所示

(10)

利用GHM對(duì)分類損失函數(shù)進(jìn)行處理后得到最終分類損失LGHM＿cls,通過(guò)交叉熵除以梯度密度,梯度密度大的損失會(huì)被抑制,減小簡(jiǎn)單樣本和異常樣本的權(quán)重,且梯度密度由每次迭代計(jì)算所得,因此權(quán)值隨著訓(xùn)練動(dòng)態(tài)改變適應(yīng),最終起到樣本均衡的作用。計(jì)算過(guò)程如下

p=sigmoid(x)

(11)

(12)

(13)

(14)

(15)

(16)

(17)

式中,x表示模型未經(jīng)過(guò)sigmoid激活函數(shù)之前的輸出,g為梯度的模長(zhǎng),GD為梯度密度,gn為第n個(gè)樣本的梯度模長(zhǎng),ε表示一段可微的距離,δε表示該樣本是否落在區(qū)間,lε表示區(qū)間長(zhǎng)度。βn為梯度密度協(xié)調(diào)參數(shù)。

4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

4.1 數(shù)據(jù)集

數(shù)據(jù)樣本量經(jīng)Mix＿Grid方法擴(kuò)充到1235張,包含3364個(gè)目標(biāo)。本文在構(gòu)建數(shù)據(jù)集時(shí)參考PASCAL VOC數(shù)據(jù)集的構(gòu)建方法,嚴(yán)格按照標(biāo)注規(guī)范對(duì)其進(jìn)行標(biāo)注,并劃分?jǐn)?shù)據(jù)集,其中訓(xùn)練集、驗(yàn)證集、測(cè)試集占比分別為70%、10%、20%。各類別樣本分布情況見(jiàn)表1。

表1 數(shù)據(jù)集分布

4.2 實(shí)驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo)

操作系統(tǒng)為L(zhǎng)inux ubuntu 18.04 LTS,Intel core i7-6800k CPU,采用paddle2.1.0、CUDA 10.1等環(huán)境搭建模型,運(yùn)用搭載2塊GeForce GTX 2080Ti顯卡的服務(wù)器進(jìn)行模型訓(xùn)練等。利用平均檢測(cè)準(zhǔn)確率(mean Average Preci-sion,mAP)以及每秒幀數(shù)(Frame per Second,FPS)作為模型定量的評(píng)估指標(biāo),mAP從召回率和準(zhǔn)確率兩個(gè)角度來(lái)衡量算法的準(zhǔn)確性,是評(píng)價(jià)模型準(zhǔn)確性的直觀評(píng)價(jià)標(biāo)準(zhǔn);FPS為各模型在單塊2080Ti GPU上的推理速度。IOU>0.5被認(rèn)定為檢測(cè)成功。

4.3 模型訓(xùn)練

訓(xùn)練過(guò)程中四個(gè)損失值隨迭代次數(shù)增加而變化的曲線如圖5。隨著訓(xùn)練輪次的增加,收斂速度較快,且誤差波動(dòng)范圍逐漸縮小,當(dāng)?shù)螖?shù)到達(dá)800時(shí),損失下降趨勢(shì)明顯變緩,且不再趨于降低。這表明模型達(dá)到較為理想的訓(xùn)練,訓(xùn)練過(guò)程中未出現(xiàn)過(guò)擬合現(xiàn)象。

圖5 訓(xùn)練過(guò)程中損失曲線

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.1 數(shù)據(jù)增強(qiáng)方法對(duì)比

為了驗(yàn)證本文所提數(shù)據(jù)增強(qiáng)方法Mix＿Grid的有效性與實(shí)用性,將Mix＿Grid、典型多樣本數(shù)據(jù)增強(qiáng)方法Mixup[20]、Cutmix[21],信息刪除數(shù)據(jù)增強(qiáng)方法RErase[22]、Gridmask與二階段目標(biāo)檢測(cè)算法Faster R-CNN[23]、Cascade R-CNN[24]、一階段目標(biāo)檢測(cè)算法YOLOv4[25]、YOLOv5[26]、PP-YOLOv2進(jìn)行結(jié)合。數(shù)據(jù)增強(qiáng)方法在數(shù)據(jù)集上的應(yīng)用效果如圖6。

圖6 不同數(shù)據(jù)增強(qiáng)方法效果

檢測(cè)結(jié)果對(duì)比如圖7。圖中橫軸“+”表示在模型基礎(chǔ)上所使用的技術(shù)。結(jié)果顯示,分別結(jié)合不同的數(shù)據(jù)增強(qiáng)方法后,模型性能均有所提高,mAP漲點(diǎn)從2.1%～2.6%不等。此外,Mix＿Grid方法表現(xiàn)最佳,對(duì)于分類精度提升具有極大的推動(dòng)作用。分析其原因可能是RErase隨機(jī)選取掩碼區(qū)域,容易出現(xiàn)對(duì)重要部位全掩蓋的情況;Mixup需在樣本間進(jìn)行插值,抑制了模型學(xué)習(xí)特定特征的能力;CutMix選取一個(gè)固定的矩形區(qū)域,較容易覆蓋重要區(qū)域。Gridmask可避免此類問(wèn)題,因此也證明了所提方法中選擇Gridmask的可行性。最終結(jié)果表明,Mix＿Grid結(jié)合多樣本數(shù)據(jù)增強(qiáng)方法與信息刪除方法后,既為紅外圖像的目標(biāo)檢測(cè)提供了數(shù)據(jù)來(lái)源,又可以與不同目標(biāo)檢測(cè)方法相結(jié)合,有效提升檢測(cè)精度,從而驗(yàn)證了本方法的先進(jìn)性與可行性,應(yīng)用于小型數(shù)據(jù)集對(duì)提高模型檢測(cè)的精度有一定積極作用。

圖7 模型與增強(qiáng)方法結(jié)合的檢測(cè)結(jié)果

4.4.2 主流實(shí)時(shí)檢測(cè)模型性能對(duì)比

為了驗(yàn)證本文模型的有效性,本部分將上述主流模型和本文提出的模型在經(jīng)過(guò)數(shù)據(jù)擴(kuò)充后的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)評(píng)估,并討論實(shí)驗(yàn)結(jié)果。本文方法無(wú)論是在mAP還是預(yù)測(cè)速度上,本文算法表現(xiàn)均優(yōu)于其它模型。對(duì)比PP-YOLOv2,本文方法mAP提升了2.3%,推理速度僅僅相差1FPS,雖增加了極少的計(jì)算量,仍滿足目標(biāo)檢測(cè)任務(wù)中高精度與良好實(shí)時(shí)性的要求。實(shí)驗(yàn)結(jié)果見(jiàn)表2。

表2 主流目標(biāo)檢測(cè)方法性能對(duì)比

4.4.3 不同改進(jìn)策略實(shí)驗(yàn)對(duì)比

為研究每種改進(jìn)策略產(chǎn)生的性能增益,以PP-YOLOv2模型為基礎(chǔ)網(wǎng)絡(luò),逐步添加CA模塊和GHM策略,并分別計(jì)算在擴(kuò)充數(shù)據(jù)集上的mAp和FPS。模型分別引入CA模塊和GHM機(jī)制后,均帶來(lái)檢測(cè)精度的性能增益,同時(shí)添加CA模塊與GHM機(jī)制后,模型檢測(cè)精度提升更大,說(shuō)明兩種改進(jìn)策略聯(lián)合應(yīng)用檢測(cè)效果要優(yōu)于單一改進(jìn)的檢測(cè)效果,且綜合考慮方法檢測(cè)精確度的提升與用時(shí),模型足夠適用于高精度與速度要求的紅外圖像電力設(shè)備檢測(cè)場(chǎng)景。實(shí)驗(yàn)結(jié)果見(jiàn)表3。

表3 消融實(shí)驗(yàn)測(cè)試結(jié)果

4.4.4 與基準(zhǔn)方法對(duì)比

改進(jìn)模型與原始模型檢測(cè)的8類設(shè)備的PR曲線對(duì)比如圖8,進(jìn)一步比較不同算法之間的性能差異。可以看出改進(jìn)模型在擴(kuò)充數(shù)據(jù)集上各類別的整體檢測(cè)效果優(yōu)于原始模型。其中電流互感器、斷路器、避雷器3類設(shè)備AP結(jié)果提升較高,說(shuō)明了本文方法不僅可以提升目標(biāo)特征提取的效果,對(duì)這種設(shè)備輪廓相似的組件也有較好的檢測(cè)效果,改進(jìn)策略在模型整體檢測(cè)效果上都起到了正向增益效果,有效緩解了復(fù)雜場(chǎng)景下引起的紅外目標(biāo)難檢測(cè)問(wèn)題。

圖8 不同檢測(cè)識(shí)別模型的PR曲線

本文增加可視化實(shí)驗(yàn)來(lái)對(duì)比原始算法與改進(jìn)算法在實(shí)際檢測(cè)時(shí)的效果。從數(shù)據(jù)集中選取具有代表性的四幅圖:選取圖像溫度場(chǎng)顯著,設(shè)備邊界清晰、少目標(biāo)的樣本時(shí),兩模型檢測(cè)準(zhǔn)確率均較高,而改進(jìn)模型檢測(cè)目標(biāo)的置信度處在較高水平,對(duì)目標(biāo)的檢測(cè)畫(huà)框會(huì)更精準(zhǔn)些;選取存在目標(biāo)密集重疊、遮擋嚴(yán)重等情況的樣本,PP-YOLOv2出現(xiàn)的錯(cuò)檢和漏檢情況明顯多于改進(jìn)模型;選取存在失真、分辨率低、存在邊緣模糊的小目標(biāo)情況下的樣本,PP-YOLOv2出現(xiàn)小目標(biāo)漏檢現(xiàn)象,而改進(jìn)模型對(duì)特征不明顯的小目標(biāo)檢測(cè)效果好很多;選取稍遠(yuǎn)距離拍攝,存在多種因被遮擋而關(guān)鍵區(qū)域信息缺失的設(shè)備的樣本,此時(shí)PP-YOLOv2出現(xiàn)了誤檢與漏檢,比如將隔離開(kāi)關(guān)的一部分誤識(shí)別為套管,在加引入CA模塊和GHM策略后,模型對(duì)這種干擾情況能夠得到一定程度的改善?？傊?改進(jìn)方法在絕大多數(shù)場(chǎng)景下的檢測(cè)準(zhǔn)確度高于基準(zhǔn)算法,表明改進(jìn)方法在保證檢測(cè)效果的前提下適用于多種場(chǎng)景的紅外圖像目標(biāo)檢測(cè)任務(wù)。對(duì)比結(jié)果如圖9。

圖9 不同模型對(duì)同組圖像的檢測(cè)效果對(duì)比

5 結(jié)束語(yǔ)

針對(duì)復(fù)雜電力場(chǎng)景下對(duì)紅外目標(biāo)檢測(cè)任務(wù)中存在的目標(biāo)重疊、相似度高、部分遮擋以及目標(biāo)樣本稀缺、算法檢測(cè)精度與速度不高等問(wèn)題,本文提出了一種基于數(shù)據(jù)增強(qiáng)和樣本均衡的電力設(shè)備紅外圖像檢測(cè)模型。實(shí)驗(yàn)表明,所提數(shù)據(jù)增強(qiáng)方法可應(yīng)用于小樣本數(shù)據(jù)集,對(duì)提高模型檢測(cè)的精度有一定積極作用,且改進(jìn)模型在擴(kuò)充數(shù)據(jù)集上mAP值達(dá)到93.15%,檢測(cè)速度達(dá)66FPS,優(yōu)于基準(zhǔn)方法PP-YOLOv2,有效緩解復(fù)雜場(chǎng)景下多設(shè)備引起的難檢測(cè)問(wèn)題,能夠滿足電力場(chǎng)景紅外圖像目標(biāo)檢測(cè)任務(wù)的高精度與實(shí)時(shí)性需求。