廖曉輝, 謝子晨, 路銘碩

(鄭州大學(xué) 電氣與信息工程學(xué)院,河南 鄭州 450001)

變電站內(nèi)電氣設(shè)備的可靠運行對電力系統(tǒng)是至關(guān)重要的。及時、準(zhǔn)確地完成各種電氣設(shè)備識別,有利于對變電設(shè)備進行巡檢保護,同時可以取代傳統(tǒng)的人工巡檢方式,滿足變電站電氣設(shè)備實時檢測的需求[1]。此外,開發(fā)設(shè)計變電站電氣設(shè)備識別APP,有助于變電站工作人員以及參觀學(xué)習(xí)人員對變電站設(shè)備進行快速準(zhǔn)確識別,對變電站電氣設(shè)備的實時識別與設(shè)備學(xué)習(xí)具有重要意義。

為了滿足變電站巡檢智能化與高效化的要求,要對變電站電氣設(shè)備進行快速、準(zhǔn)確的識別。傳統(tǒng)的目標(biāo)檢測算法有SIFT算法、HOG算法、LBP算法等[2-4],這些算法雖然可以很好地進行特征提取,但在變電站復(fù)雜背景下設(shè)備識別效果較差、精確率不高。基于深度學(xué)習(xí)的目標(biāo)檢測算法有RCNN系列、YOLO系列、SSD系列等。Girshick等[5]在2014年設(shè)計了R-CNN模型,該模型識別過程中需要對每個候選區(qū)域都做特征提取,存在著訓(xùn)練速度慢等問題。在R-CNN和SPP的基礎(chǔ)上,Girshick[6]又提出了Fast R-CNN模型。李文璞等[7]使用Faster RCNN模型識別變電設(shè)備缺陷,識別的平均精度可達90%以上。但這些算法的網(wǎng)絡(luò)參數(shù)量較大,識別速度難以滿足要求,部署在Android端上很難實現(xiàn)電氣設(shè)備的實時檢測。Redmon等[8]提出YOLO算法,該算法與SSD算法都是單階段算法,目前已有多個版本,其中的YOLOv5模型具有體積小、檢測速度快、實時性好等優(yōu)點,更加適用于此類實時的視頻檢測。YOLOv5模型中的YOLOv5s版是深度最小、特征圖的寬度也最小的算法,體積較小,便于實現(xiàn)Android端的部署。

本文以變電站常見6種電氣設(shè)備為例,采用改進后的YOLOv5s算法對設(shè)備數(shù)據(jù)集進行訓(xùn)練,訓(xùn)練完成的模型能實現(xiàn)變電站電氣設(shè)備的圖片識別和視頻識別,同時將訓(xùn)練好的電氣設(shè)備識別網(wǎng)絡(luò)模型通過TensorFlow Lite框架進行部署,在Android上實現(xiàn)電氣設(shè)備準(zhǔn)確快速的識別。

1 YOLOv5s目標(biāo)檢測算法原理

YOLOv5s是YOLO系列中性能較好的算法,相較于以往版本有很大的提升,目前在電力系統(tǒng)的各類圖像識別中也被廣泛應(yīng)用。YOLOv5s算法主要由輸入端、Backbone、Neck和輸出端4部分組成。

在輸入端部分,YOLOv5s采用了Mosaic數(shù)據(jù)增強技術(shù)、自適應(yīng)錨框計算以及自適應(yīng)圖片縮放技術(shù),提高了模型對小目標(biāo)的檢測能力,對不同訓(xùn)練集的最佳錨框尺寸進行自動計算,同時解決了黑邊填充過多造成的信息冗余問題,提高了模型的推理速度[9]。

在Backbone部分,采用快速空間金字塔池化(spatial pyramid pooling-fast, SPPF),將不同感受野的特征圖融合,以提高特征圖的表達能力,同時采用C3結(jié)構(gòu)來增加網(wǎng)絡(luò)的深度和感知能力,提高特征提取的能力。

在Neck部分,采用特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN)與路徑聚合網(wǎng)絡(luò)(path aggregation network,PAN)相結(jié)合的結(jié)構(gòu)[10-11],通過FPN結(jié)構(gòu)的上采樣操作與PAN結(jié)構(gòu)的下采樣操作相結(jié)合,輸出預(yù)測的特征圖,大大提高了特征提取能力。

在輸出端部分,YOLOv5s采用CIOU_Loss作為損失函數(shù)。該損失函數(shù)可以同時考慮重疊面積、目標(biāo)框中心點距離、長寬比等因素,同時采用非極大值抑制操作來對檢測框進行篩選。

2 網(wǎng)絡(luò)模型改進

為了解決目前變電站電氣設(shè)備識別過程中存在的問題、提高變電站中小目標(biāo)檢測的能力、減少漏檢和誤檢的情況,對YOLOv5s網(wǎng)絡(luò)模型進行改進,改進后的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 改進后的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)圖Figure 1 Structure of the improved YOLOv5s network

2.1 引入C2f模塊

YOLOv5s主要通過網(wǎng)絡(luò)中的C3模塊來增加網(wǎng)絡(luò)的深度和感受野、提高特征提取的能力,C3模塊的結(jié)構(gòu)圖如圖2所示,模塊中使用了3個卷積模塊CBS以及n個Bottleneck。Bottleneck結(jié)構(gòu)主要是為了降低參數(shù)量,減少網(wǎng)絡(luò)的復(fù)雜度,同時也是梯度流主分支。C3模塊將輸入通道分為兩部分：一部分經(jīng)過一個卷積模塊后連接到輸出端;另一部分經(jīng)過若干個Bottleneck層后輸出。

圖2 C3模塊結(jié)構(gòu)圖Figure 2 C3 module structure diagram

為了提高電氣設(shè)備識別精確度,在YOLOv5s算法中引入梯度流更豐富的C2f模塊,模塊結(jié)構(gòu)如圖3所示,C2f將輸入通道分為兩部分：一部分直接連接到輸出端;另一部分經(jīng)過若干個Bottleneck層后再與輸出端拼接。C2f減少了卷積操作,同時將不同階段的特征進行拼接和融合,梯度流相比C3模塊更加豐富,識別效果較好。在YOLOv5s代碼的common.py文件中對C2f模塊進行定義,同時更改配置文件中對應(yīng)參數(shù),即可對原C3模塊進行更改。

圖3 C2f模塊結(jié)構(gòu)圖Figure 3 C2f module structure diagram

2.2 采用Soft-NMS

在對檢測框進行篩選的過程中,需要進行非極大值抑制(non-maximum suppression,NMS)操作[12-13]。由于變電站中設(shè)備種類較多且較為密集,因此收集到的電氣設(shè)備數(shù)據(jù)集中同一類型的設(shè)備容易出現(xiàn)重疊現(xiàn)象。NMS在對目標(biāo)框進行篩選的過程中直接對IOU大于設(shè)定閾值的框進行刪除處理,容易出現(xiàn)漏檢和誤檢的情況,因此采用改進的Soft-NMS目標(biāo)框篩選方法。Soft-NMS將IOU大于閾值的框的得分降低：將獲得的IOU取高斯指數(shù)后與原得分相乘,之后重新排序,不斷循環(huán)。公式如下：

(1)

式中：M為預(yù)測框中得分最大的邊框;bi為第i個預(yù)測的邊框;Si為第i個邊框的得分。

由式(1)可以看出,IOU越大,預(yù)測框得分越低,可以更準(zhǔn)確地選擇目標(biāo)框,適用于重疊程度較高的預(yù)測框的篩選。在YOLOv5s代碼的general.py文件中對Soft-NMS進行定義,調(diào)用Soft-NMS函數(shù)來進行訓(xùn)練與驗證即可改進原NMS操作。

3 基于YOLOv5s的電氣設(shè)備識別

3.1 訓(xùn)練環(huán)境搭建

在對變電站電氣設(shè)備識別過程中,搭建的模型訓(xùn)練環(huán)境配置：Windows10系統(tǒng)、R5 5600 H處理器、GTX 1650顯卡、16 GB內(nèi)存、Python3.7.3、CUDA11.3。Android端運行環(huán)境配置：realme GT大師探索版機型,運行內(nèi)存12 GB;高通驍龍870八核處理器。

3.2 數(shù)據(jù)集預(yù)處理

3.2.1 幾何變換與像素變換

如圖4所示,對電氣設(shè)備數(shù)據(jù)集通過水平及垂直翻轉(zhuǎn)、縮放等幾何變換操作,以及改變亮度、調(diào)節(jié)對比度、高斯模糊等像素變換操作來進行數(shù)據(jù)增強。同時,在采集數(shù)據(jù)的過程中,不良照明或高溫容易造成傳感器噪聲,因此,對部分電氣設(shè)備圖像添加高斯噪聲,進而提高模型的魯棒性。

3.2.2 基于K-means算法的背景替換

為了避免采集的電氣設(shè)備圖片背景較為單一,對采集到的部分圖片進行背景替換。如圖5所示,利用K-means聚類算法對原圖進行圖像分割[14],生成對應(yīng)的二值圖像,也稱為mask圖;將mask圖與原圖通過OpenCV中的cv2.bitwise_and()函數(shù)進行圖像的按位與運算摳出設(shè)備圖像;將設(shè)備圖像與新的背景圖像進行背景融合,從而實現(xiàn)圖片的背景替換。

數(shù)據(jù)集預(yù)處理后,所構(gòu)建的電氣設(shè)備圖像數(shù)據(jù)集共有2 076張圖片,按照6∶2∶2的比例將數(shù)據(jù)集隨機劃分成訓(xùn)練集、驗證集和測試集。數(shù)據(jù)集構(gòu)建完成之后,使用LabelImg軟件標(biāo)注數(shù)據(jù)集。本文共制作6個標(biāo)簽,分別是電力變壓器(power transformer)、絕緣套管(insulating sleeve)、油枕(conservator)、風(fēng)機(fan)、絕緣子串(insulator string)、隔離開關(guān)(disconnector)。標(biāo)注后得到txt格式的標(biāo)簽文件用于模型訓(xùn)練。各個設(shè)備的標(biāo)簽數(shù)量分布如表1所示,標(biāo)簽數(shù)量總計5 902個。

圖4 數(shù)據(jù)增強Figure 4 Data enhancement

圖5 圖像分割與融合Figure 5 Image segmentation and fusion

表1 數(shù)據(jù)集各標(biāo)簽數(shù)量分布表Table 1 Table of label quantity distribution in data set

3.3 結(jié)果分析與模型評估

模型的評估指標(biāo)包括：精確率Precision、召回率Recall、平均精度均值mAP、幀率以及P-R曲線等。Precision和Recall兩個評估指標(biāo)的計算公式如下所示：

(2)

(3)

式中：TP為真陽性;FN為假陰性;FP為假陽性。

幀率是評估模型檢測速度的一個重要指標(biāo),即每秒內(nèi)可以處理的圖片數(shù)量,通過幀率大小來評估模型是否滿足實時檢測的需求。P-R曲線是以召回率和精確率分別作為橫縱坐標(biāo)繪制出的二維圖像。曲線與坐標(biāo)軸圍成的面積即為某一類別的AP值,對所有N個類別的AP值取平均值即為mAP值,公式如下：

(4)

本文在原有YOLOv5s算法基礎(chǔ)上進行改進：引入C2f模塊來提高設(shè)備檢測尤其是小目標(biāo)檢測的精度;采用Soft-NMS取代原有的NMS對檢測框進行篩選,來解決數(shù)據(jù)集設(shè)備重疊問題,減少漏檢現(xiàn)象。使用評估指標(biāo)對算法不同改進方法進行實驗結(jié)果對比,如表2所示。由表2可知,在算法中引入C2f模塊后,模型的mAP值較原算法提高了2.6百分點;采用Soft-NMS檢測框篩選方法之后,模型的mAP值提高了0.8百分點,由于Soft-NMS篩選檢測框相比NMS更加復(fù)雜,參數(shù)量增加,使得推理時間變慢,幀率有所降低。將兩個改進方法相結(jié)合后的YOLOv5s模型的mAP值為91.6%,與原模型相比提高了3.3百分點,識別精度提高,由于模型參數(shù)量增加,使得幀率從54幀/s降到了38幀/s,但整體推理速度還保持在較高水平。

表2 算法不同改進方法的實驗結(jié)果對比Table 2 Experimental results comparison of algorithm with different improved methods

如圖6所示,根據(jù)算法改進前后模型的P-R曲線可知,改進后的P-R曲線與坐標(biāo)軸所包圍面積更大,意味著模型性能更好,各個設(shè)備的mAP值也在提高,其中識別效果最好的電力變壓器的mAP穩(wěn)定在97%。

YOLOv5s改進前后網(wǎng)絡(luò)模型訓(xùn)練變化曲線如圖7所示,經(jīng)過100個Epoch后模型逐漸趨于穩(wěn)定,改進后的網(wǎng)絡(luò)模型訓(xùn)練結(jié)果更好,且與改進前相比更早達到收斂狀態(tài)。

圖6 P-R曲線對比Figure 6 Comparison of P-R curves

圖7 模型訓(xùn)練指標(biāo)變化曲線對比Figure 7 Comparison of model training index change curve

選取未參與訓(xùn)練圖片進行測試,將YOLOv5s改進前后的電氣設(shè)備識別效果進行對比,結(jié)果如圖8所示,其中標(biāo)簽后邊的數(shù)字為置信度,表示圖中設(shè)備被模型正確識別的程度。可以看出,改進后的模型的識別置信度提升明顯,各種電氣設(shè)備的識別置信度均維持在較高水平。

圖8 YOLOv5s改進前后電氣設(shè)備識別效果對比Figure 8 Comparison of electrical equipment recognition effect before and after YOLOv5s improvement

4 訓(xùn)練模型在Android端的部署

4.1 TensorFlow Lite框架

將訓(xùn)練完成的識別網(wǎng)絡(luò)模型部署在Android端時,往往會受到移動設(shè)備計算能力和內(nèi)存占用等方面的限制,造成部署后的APP出現(xiàn)運行慢、卡頓等情況[15],而使用深度學(xué)習(xí)框架TensorFlow Lite (TF-Lite)可以對不同的硬件進行優(yōu)化,通過量化等方式來減少模型的大小[16]。

TensorFlow Lite由模型轉(zhuǎn)換器和解釋執(zhí)行器兩個主要部件組成。其模型處理過程如圖9所示[17]。模型轉(zhuǎn)換器將已訓(xùn)練好的TensorFlow模型編譯,生成可供移動設(shè)備使用的TensorFlow Lite文件格式(FlatBuffer格式)。在設(shè)備端,解釋執(zhí)行器讀取TensorFlow Lite模型,調(diào)用不同的硬件加速器比如GPU進行執(zhí)行操作[18]。TensorFlow Lite框架具有低功耗、低內(nèi)存、兼容性好等優(yōu)點,同時部署方式簡單,適用于識別網(wǎng)絡(luò)模型在移動設(shè)備上的部署。

4.2 APP調(diào)試

Android Studio軟件可以對Android進行開發(fā)與調(diào)試。TensorFlow Lite模型由模型轉(zhuǎn)換器轉(zhuǎn)換得到。在開發(fā)過程中,主要用到了模型中的*.tflite文件和一個label.txt的標(biāo)簽文件,將這兩個文件加入到Android工程的Assets目錄下,設(shè)置識別APP的各個界面和參數(shù)。在Android Studio軟件中加載網(wǎng)絡(luò)模型,之后連接手機進行APP調(diào)試,完成模型在Android端的部署。

圖9 TensorFlow Lite模型轉(zhuǎn)換過程Figure 9 TensorFlow Lite model conversion process

調(diào)試完成之后,打開電氣設(shè)備識別APP進入到主界面,主界面有“變電站電氣設(shè)備識別”和“常見電氣設(shè)備介紹”兩個按鈕,選擇“常見電氣設(shè)備介紹”進入到設(shè)備介紹子界面可以查看設(shè)備的簡介、功能及作用等內(nèi)容。選擇“變電站電氣設(shè)備識別”進入到電氣設(shè)備實時檢測子界面,通過調(diào)用手機攝像頭可以對電氣設(shè)備進行實時視頻檢測,如圖10所示。在移動端對常見電氣設(shè)備進行識別,平均識別精確率在85%以上,且每張圖片的處理速度均不超過1 s,幀率為16幀/s,具有較好的識別精度和識別速度;應(yīng)用大小為90 M,內(nèi)存占用較小,可在移動設(shè)備上正常使用。

圖10 電氣設(shè)備識別APP效果圖Figure 10 APP renderings of electrical equipment identification

5 結(jié)論

本文以電力變壓器、絕緣套管、油枕、風(fēng)機、絕緣子串、隔離開關(guān)6種常見電氣設(shè)備為研究對象,設(shè)計了一個基于改進YOLOv5s的變電站電氣設(shè)備識別系統(tǒng)以及基于Android系統(tǒng)的電氣設(shè)備識別APP。YOLOv5s網(wǎng)絡(luò)模型較小,便于在移動端進行部署,同時引入C2f和Soft-NMS對算法進行改進,使用改進后的網(wǎng)絡(luò)模型YOLOv5s對設(shè)備進行識別,利用精確率、召回率、mAP、幀率、P-R曲線等模型評估指標(biāo)對訓(xùn)練好的變電站電氣設(shè)備識別模型進行評估,mAP值穩(wěn)定在91.6%,與原模型相比提高了3.3百分點,具有較好的識別效果。同時,利用TensorFlow Lite框架對訓(xùn)練好的網(wǎng)絡(luò)模型進行Android端部署,部署后的APP占用內(nèi)存較小、兼容性好,對移動設(shè)備要求不高,可滿足變電站電氣設(shè)備實時檢測的需求。所設(shè)計的APP還具有設(shè)備學(xué)習(xí)功能,對于變電站參觀學(xué)習(xí)人員學(xué)習(xí)了解電氣設(shè)備起到很好的輔助作用。