楊宗源， 侯進(jìn)， 周浩然， 郝彥超， 文志龍， 李天宇

(1.西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院， 成都 611756； 2.西南交通大學(xué)綜合交通大數(shù)據(jù)應(yīng)用技術(shù)國(guó)家工程實(shí)驗(yàn)室， 成都 611756; 3.西南交通大學(xué)唐山研究生院， 唐山 063000)

隨著智能電網(wǎng)的發(fā)展，電網(wǎng)結(jié)構(gòu)越來(lái)越復(fù)雜，繼電保護(hù)壓板的數(shù)量日益增多，人工巡檢的工作負(fù)擔(dān)與誤操作風(fēng)險(xiǎn)隨之加大。如何提高巡檢效率，保障電力系統(tǒng)的穩(wěn)定，成為目前亟需解決的問(wèn)題。

目前，壓板的智能校核主要基于圖像識(shí)別方法與人工智能技術(shù)。圖像識(shí)別方法一般分為壓板有效區(qū)域分割與狀態(tài)判別兩部分。文獻(xiàn)[1]需要人工添加4個(gè)校正基準(zhǔn)點(diǎn)，以此完成透視變換。然后使用紅、綠、藍(lán)(red-green-blue，RGB)三分量差值法，提取紅、黃兩色的壓板；文獻(xiàn)[2]通過(guò)設(shè)定RGB閾值采集有效色塊區(qū)域；文獻(xiàn)[3]采取RGB閾值篩選法分割壓板區(qū)域；文獻(xiàn)[4]針對(duì)RGB模型中的三種顏色，以不同的權(quán)值進(jìn)行了加權(quán)處理。然后通過(guò)顏色匹配定位壓板區(qū)域；文獻(xiàn)[5]采用了基于RGB值的聚類算法來(lái)分割壓板圖像。但是目前不同變電站的調(diào)色標(biāo)準(zhǔn)并不統(tǒng)一，并且仍存在未按標(biāo)準(zhǔn)分色的壓板，所以基于RGB值進(jìn)行定位的方法，不適合推廣使用，后期維護(hù)的難度較大。文獻(xiàn)[6]需要根據(jù)壓板區(qū)域的紅色框線，進(jìn)行區(qū)域定位，但是在江蘇南京某220 kV變電站中并沒(méi)有類似的外框線。更重要的是，圖像識(shí)別方法與圖像質(zhì)量休戚相關(guān)，而光照，角度等會(huì)直接影響圖像質(zhì)量，進(jìn)而影響圖像識(shí)別的準(zhǔn)確率。

隨著智能變電站的投入使用，人工智能技術(shù)備受關(guān)注。為實(shí)現(xiàn)智能校核，文獻(xiàn)[7]使用了OpenCV與AdaBoost算法，文獻(xiàn)[8]使用了卷積神經(jīng)網(wǎng)絡(luò)+特征變換方法，文獻(xiàn)[9-10]使用了SSD(single shot multiBox detector)目標(biāo)檢測(cè)算法，文獻(xiàn)[11]使用了YOLOv3目標(biāo)檢測(cè)算法，但是其模型預(yù)測(cè)準(zhǔn)確率均不高，性能有待提升。

除了以上的常用方法，文獻(xiàn)[12]提出了基于泛在物聯(lián)網(wǎng)的運(yùn)維技術(shù)。但其采用的射頻識(shí)別技術(shù)，會(huì)在一定程度上增加設(shè)備的復(fù)雜性，并且對(duì)網(wǎng)絡(luò)的暢通性也有一定要求。而本文的方法是可以離線完成的，用戶可在離開(kāi)現(xiàn)場(chǎng)后再將工作數(shù)據(jù)上傳到服務(wù)器。

YOLOv4-tiny是一種輕量級(jí)目標(biāo)檢測(cè)模型，因?yàn)楸Ｗo(hù)壓板結(jié)構(gòu)較簡(jiǎn)單，所以適合使用輕量模型，并且目標(biāo)檢測(cè)已在電力系統(tǒng)有了一定的應(yīng)用[9-11]?，F(xiàn)使用數(shù)據(jù)增強(qiáng)與遷移學(xué)習(xí)提高模型的泛化性，使其達(dá)到99.13%的均值平均精度(mean average precision，mAP)。

ncnn是一個(gè)專為卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行移動(dòng)端優(yōu)化的前向推理框架，可以提高模型在移動(dòng)端的預(yù)測(cè)速度。經(jīng)過(guò)實(shí)測(cè)，優(yōu)化后的模型在移動(dòng)端的平均預(yù)測(cè)速度為30張圖每秒( frames per second，F(xiàn)PS)，達(dá)到實(shí)時(shí)檢測(cè)的標(biāo)準(zhǔn)。同時(shí)，為解決由環(huán)境因素導(dǎo)致的漏檢與誤檢問(wèn)題，提高方法可靠性，研究并實(shí)現(xiàn)漏檢壓板的自動(dòng)補(bǔ)全功能，以及誤檢壓板的狀態(tài)更正功能。以期為保護(hù)壓板的智能巡檢與智能電網(wǎng)的進(jìn)一步發(fā)展提供理論基礎(chǔ)。

1 YOLO目標(biāo)檢測(cè)與優(yōu)化設(shè)計(jì)

1.1 YOLO的目標(biāo)檢測(cè)過(guò)程

YOLO算法的目標(biāo)檢測(cè)過(guò)程如圖1所示，首先將輸入圖片劃分為S×S個(gè)網(wǎng)格，如果網(wǎng)格中存在物體，那該網(wǎng)格會(huì)預(yù)測(cè)出B個(gè)邊界框以及每個(gè)框的置信度。因此，往往會(huì)出現(xiàn)多個(gè)邊界框定位到同一個(gè)物體，而為了得到最佳的邊界框，YOLO算法會(huì)根據(jù)每個(gè)框的類別置信度和交并比(intersection over union，IOU)，使用非極大值抑制[13]對(duì)冗余的邊界框進(jìn)行過(guò)濾。

圖1 預(yù)測(cè)過(guò)程示例圖Fig.1 Example diagram of prediction process

置信度Conf為模型認(rèn)為該框包含物體的可能性以及該框的準(zhǔn)確性，計(jì)算公式為

(1)

式(1)中：Object為物體；Pr為框中包含物體的可能性，包含為“1”，不包含為“0”；IOU為預(yù)測(cè)框(pred)與真實(shí)框(人工標(biāo)注的框，truth)的交并比。計(jì)算公式為

(2)

式(2)中：AOI為預(yù)測(cè)框與真實(shí)框的交集的面積(area of intersection，AOI)；AOU為兩個(gè)框并集的面積(area of union，AOU)。

因?yàn)槟繕?biāo)檢測(cè)一般需要預(yù)測(cè)多類物體，這里假設(shè)模型需要預(yù)測(cè)C類(Class)物體，那么包含物體的網(wǎng)格，又會(huì)預(yù)測(cè)出每個(gè)類的條件概率Pr(Classi|Object)，Classi表示第i類。將條件概率與置信度相乘，就可以得到每個(gè)框的每個(gè)類的置信度——類別置信度ConfClass。

ConfClass=Pr(Classi|Object)Conf

(3)

1.2 YOLOv4-tiny的網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4-tiny的網(wǎng)絡(luò)結(jié)構(gòu)由CSPDarknet53-tiny、FPNet[14]和兩個(gè)YOLO Head[15]三部分組成。CSPDarknet53-tiny作為主干網(wǎng)絡(luò)，進(jìn)行特征提取； FPNet作為特征融合模塊，用來(lái)構(gòu)建特征金字塔；YOLO Head用來(lái)進(jìn)行特征整合和預(yù)測(cè)。

CSPDarknet53-tiny主要由CSPNet[16]模塊(簡(jiǎn)稱CSPBlock，如圖2右上角所示)與Darknet53[17]構(gòu)成的。YOLOv4使用CSPBlock取代了以往常用的ResBlock[18]。因?yàn)镃SPBlock會(huì)分開(kāi)梯度流，使其在不同的網(wǎng)絡(luò)路徑上傳播，而這種形式傳播的梯度流會(huì)有較大的相關(guān)性差異[16]，使其比ResBlock具有更強(qiáng)的學(xué)習(xí)能力。

假設(shè)以416×416×3的圖片作為網(wǎng)絡(luò)輸入，YOLOv4-tiny的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

1.3 數(shù)據(jù)增強(qiáng)算法設(shè)計(jì)

圖3為一次數(shù)據(jù)增強(qiáng)的效果展示，圖3(b)為打破原圖縱橫比并進(jìn)行隨機(jī)扭曲；圖3(c)為進(jìn)行隨機(jī)程度的縮小，并且為保證縮小后所有圖片的尺寸均為416×416，不足的部分用黑色填充；圖3(d)為按50%的概率翻轉(zhuǎn)圖像；圖3(e)為按50%的概率進(jìn)行高斯模糊處理；圖3(f)在HSV(Hue，色調(diào)；Saturation，飽和度；Value，明度)顏色空間中進(jìn)行隨機(jī)程度的色域扭曲。

Input為模型輸入；DarknetConv2D_BN_Leaky為Darknet53[17]卷積+批正則化+Leaky激活函數(shù)；CSPBlock_MaxPool為CSPNet[16]結(jié)構(gòu)塊+最大池化；Concat為特征融合；Conv為普通卷積；UpSampling為上采樣；Conv2D為普通二維卷積；Base layer為基礎(chǔ)層；Part 1為分支1；Part 2為分支2; Res(X)Block為殘差結(jié)構(gòu)；wo為without的簡(jiǎn)寫(xiě)，表示沒(méi)有Bottleneck的Res(X) Block；Bottleneck為瓶頸層；Partial Transition為部分梯度融合圖2 YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 YOLOv4-tiny network structure diagram

圖3 數(shù)據(jù)增強(qiáng)示例圖Fig.3 Example data enhancement diagram

由于設(shè)計(jì)的數(shù)據(jù)增強(qiáng)策略具有較高的隨機(jī)性，所以對(duì)樣本進(jìn)行了大量擴(kuò)充。

1.4 遷移學(xué)習(xí)的設(shè)計(jì)實(shí)現(xiàn)

遷移學(xué)習(xí)就是使用已訓(xùn)練好的模型(簡(jiǎn)稱預(yù)訓(xùn)練模型)與新數(shù)據(jù)集來(lái)訓(xùn)練新模型。經(jīng)過(guò)論證，大部分?jǐn)?shù)據(jù)或任務(wù)是存在相關(guān)性的，通過(guò)遷移學(xué)習(xí)可以加快并優(yōu)化新模型的學(xué)習(xí)效率[19]。

預(yù)訓(xùn)練模型使用MS COCO公共數(shù)據(jù)集[20]訓(xùn)練，在訓(xùn)練保護(hù)壓板數(shù)據(jù)時(shí)，凍結(jié)預(yù)訓(xùn)練模型的前29層卷積層，只訓(xùn)練剩余的卷積層和全連接層，以此達(dá)到微調(diào)(fine-tune)的目的。

2 ncnn框架的部署與可靠性提升

2.1 ncnn前向推理框架

ncnn 是一個(gè)為移動(dòng)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架，其具有非常完備的使用文檔，按照步驟就能完成ncnn庫(kù)的構(gòu)建。

ncnn針對(duì)移動(dòng)端部署做了大量的優(yōu)化，如沒(méi)有使用batch批處理，因?yàn)橐苿?dòng)端的推理場(chǎng)景并不需要；在通道channel上實(shí)現(xiàn)了數(shù)據(jù)對(duì)齊，有助于提高性能；自定義ncnn::Mat取代OpenCV的cv::Mat，剔除了移動(dòng)端不需要的冗余代碼。

因?yàn)閚cnn框架是純C++實(shí)現(xiàn)的，而移動(dòng)端的手機(jī)軟件(application，APP)使用Java開(kāi)發(fā)，所以需要使用JNI(Java native interface，Java本地接口)技術(shù)，以Native的方式，將ncnn模型移植到APP中，并編寫(xiě)CMakeLists.txt文件，編譯生成.so動(dòng)態(tài)庫(kù)，建立Java與C++的聯(lián)系。

2.2 漏檢補(bǔ)全模塊設(shè)計(jì)

漏檢補(bǔ)全功能的整個(gè)實(shí)現(xiàn)流程如圖4所示，其核心思想是：將模型返回的一維無(wú)序邊界框數(shù)組Box轉(zhuǎn)換成二維有序數(shù)組Platens，使Platens與屏柜中的壓板陣列在位置上一一對(duì)應(yīng)。再通過(guò)比較邊界

(xa, ya)、(xs, ys)分別為每行行首的平均起始坐標(biāo)、每行行首坐標(biāo)的和；r為當(dāng)前的行數(shù)；c為當(dāng)前的列數(shù)；Platens.length為總行數(shù)；Platens[r].length為第r行的總列數(shù)；為第r行的第一個(gè)框的左上角x坐標(biāo)；為第r行的第c個(gè)框的左上角x坐標(biāo)；分別為發(fā)生漏檢位置的前一個(gè)邊界框的左上角和右下角坐標(biāo)；x為當(dāng)前補(bǔ)全位置的，前一個(gè)位置邊界框的右下角x軸坐標(biāo)；j 為當(dāng)前補(bǔ)全的位置圖4 漏檢功能流程圖Fig.4 Leak detection function flow chart

框之間的間隔距離與邊界框的平均寬度，判斷漏檢的壓板個(gè)數(shù)，最后根據(jù)平均寬度和高度構(gòu)建補(bǔ)全框并插入到二維數(shù)組中。

ncnn模型返回的預(yù)測(cè)結(jié)果是一個(gè)無(wú)序的邊界框數(shù)組Box，數(shù)組中的每個(gè)矩形邊界框由4個(gè)元素組成：左上角坐標(biāo)(xu,yu)、右下角坐標(biāo)(xb,yb)、預(yù)測(cè)類別和置信度。

在初始化時(shí)，根據(jù)yu進(jìn)行冒泡排序使同一行的邊界框挨在一起，并在排序時(shí)統(tǒng)計(jì)邊界框的總數(shù)sumB、總高度sumH、總寬度sumW、總間隔sumG，排序完成后，就可以得到邊界框的平均高度avgH，平均寬度avgW，平均間隔avgG。經(jīng)過(guò)排序，雖然同一行的數(shù)據(jù)挨在了一起，但是仍無(wú)法確定每行的邊界位置，簡(jiǎn)稱“換行的位置”。于是，使用front記錄每一行的行首位置，i為當(dāng)前位置，row為當(dāng)前行數(shù)，(xs,ys)記錄每行行首坐標(biāo)的和。

要構(gòu)建二維數(shù)組，關(guān)鍵是判斷換行的位置。判斷標(biāo)準(zhǔn)是相鄰邊界框的坐標(biāo)差，如圖4所示。找到每行的邊界點(diǎn)之后，更新相應(yīng)的變量值，然后對(duì)行內(nèi)數(shù)據(jù)進(jìn)行排序，再插入到二維數(shù)組中。

二維數(shù)組構(gòu)建完成后，要判斷每行的補(bǔ)全個(gè)數(shù)。如圖4所示，從每行的行首startRow、行內(nèi)inRow和行尾endRow三個(gè)位置分別判斷補(bǔ)全個(gè)數(shù)。

補(bǔ)全時(shí)，無(wú)論是行首、行內(nèi)還是行尾，邊界框的生成邏輯都是相同的，所以統(tǒng)一假定為需要補(bǔ)全t個(gè)邊界框。

使用Photoshop對(duì)壓板圖片進(jìn)行處理，復(fù)現(xiàn)了模型的漏檢現(xiàn)象，如圖5所示。

藍(lán)色框是漏檢補(bǔ)全后的效果；紅色框是誤檢框圖5 漏檢與誤檢示例圖Fig.5 Example diagram of missed detection and false detection

2.3 誤檢更正模塊設(shè)計(jì)

因?yàn)槟Ｐ妥约翰⒉荒芘袛嘧约菏欠裾`檢，所以需要將預(yù)測(cè)結(jié)果與壓板基準(zhǔn)進(jìn)行對(duì)比，當(dāng)兩者不一致時(shí)，判定為誤檢。

因?yàn)槟壳澳Ｐ途容^高，誤檢復(fù)現(xiàn)難度較大，所以只能對(duì)基準(zhǔn)文件做出“錯(cuò)誤”的更改，以達(dá)到相同的誤檢效果，如圖5所示。

更正時(shí)，只要用戶在屏幕上點(diǎn)擊邊界框內(nèi)的位置，APP就會(huì)彈出提示對(duì)話框，以供用戶變更壓板狀態(tài)。而實(shí)現(xiàn)這樣的功能需要進(jìn)行坐標(biāo)轉(zhuǎn)換，判斷屏幕點(diǎn)擊位置在圖片中的位置。

在Android中坐標(biāo)轉(zhuǎn)換是通過(guò)矩陣運(yùn)算實(shí)現(xiàn)的。

(4)

式(4)中：左側(cè)的3×3矩陣為Android中的圖片變換矩陣；MSCALE用于圖片縮放；MTRANS用于控制圖片平移；MSKEW用于控制圖片進(jìn)行錯(cuò)切變換；MPERSP用于控制圖片進(jìn)行透視變換，該矩陣可以通過(guò)調(diào)用getImageMatrix()方法獲?。?xp，yp)為圖片的實(shí)際坐標(biāo)；(xs，ys)為屏幕的顯示坐標(biāo)，而“1”代表圖片在z軸上不發(fā)生變換，即代表這是一次二維坐標(biāo)轉(zhuǎn)換。

當(dāng)所有邊界框更正完畢后，紅色和藍(lán)色就都被“消滅”了，使用這種顏色區(qū)分的方式，可以很大程度上緩解視覺(jué)疲勞。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集制作

首先，以盡可能復(fù)現(xiàn)工作環(huán)境為原則，在不同角度、光照條件下采集壓板圖片。然后，對(duì)采集的圖片使用1.3節(jié)的方法進(jìn)行數(shù)據(jù)增強(qiáng)。最終，共獲得4 860張圖片作為數(shù)據(jù)集，并按9∶1的比例劃分為訓(xùn)練集和驗(yàn)證集。

3.2 模型訓(xùn)練

使用搭載NVIDIA RTX 2080 SUPER顯卡的工作站作為訓(xùn)練設(shè)備；使用基于MS COCO數(shù)據(jù)集的預(yù)訓(xùn)練模型；使用表1所示的超參數(shù)配置。

如表1所示，輸入網(wǎng)絡(luò)的圖片尺寸為416×416，初始學(xué)習(xí)率為0.002 61，總迭代次數(shù)為150 000，分別在第120 000次與135 000次迭代時(shí)，將學(xué)習(xí)率降低1/10。訓(xùn)練過(guò)程中模型的平均損失(avg Loss)與mAP曲線如圖6所示。

表1 超參數(shù)配置表Table 1 Super parameter configuration table

mAP為 均值平均精度；Loss 為損失；Iteration number 為迭代次數(shù)圖6 avg Loss與mAP曲線圖Fig.6 avg Loss and mAP graph

表2是模型的訓(xùn)練結(jié)果，其展示了目標(biāo)檢測(cè)中常用的4個(gè)評(píng)價(jià)指標(biāo)。

3.3 模型測(cè)試與對(duì)比

表3將本文模型與文獻(xiàn)[9]使用的SSD目標(biāo)檢測(cè)模型以及文獻(xiàn)[10]使用的改進(jìn)的SSD算法模型進(jìn)行了詳細(xì)對(duì)比。而文獻(xiàn)[11]使用的YOLOv3目標(biāo)檢測(cè)模型，其只給出模型識(shí)別率為98.95%，并沒(méi)有給出識(shí)別率的定義與計(jì)算方法，也沒(méi)有給出其他指標(biāo)，因此，表3對(duì)比了本文訓(xùn)練過(guò)的YOLOv3模型。

分別使用華為Mate40 Pro、三星Note9與小米10進(jìn)行了實(shí)測(cè)，其中Mate40 Pro的表現(xiàn)最好，圖7為其測(cè)試結(jié)果。測(cè)試圖片是從驗(yàn)證集中隨機(jī)抽取的50張圖片，并對(duì)比了OpenCV和ncnn兩種深度學(xué)習(xí)模型在移動(dòng)端的移植方式，使用OpenCV的Dnn模塊進(jìn)行移植是以往常用的方法。從圖7中可以清晰地看出，在保持較高準(zhǔn)確率的同時(shí)，ncnn的速度遠(yuǎn)快于OpenCV。ncnn對(duì)每張圖的平均預(yù)測(cè)時(shí)間約33.28 ms，等價(jià)于30 FPS；而OpenCV約289.06 ms，等價(jià)于3 FPS。并且ncnn的數(shù)據(jù)分布更集中，表示其預(yù)測(cè)速度更穩(wěn)定。

表2 訓(xùn)練結(jié)果展示表Table 2 Training results display table

表3 模型性能對(duì)比表Table 3 Model performance comparison table

圖7 模型實(shí)測(cè)表現(xiàn)圖Fig.7 Model performance diagram

3.4 校核模塊設(shè)計(jì)

模擬方法與2.2節(jié)和2.3節(jié)同理：在第1行第4列的壓板處發(fā)生漏檢現(xiàn)象；第1行第5列的壓板處發(fā)生誤檢現(xiàn)象。

初始狀態(tài)，即用戶第一次看到的狀態(tài)，如圖8(a)所示。當(dāng)用戶點(diǎn)擊藍(lán)色框或紅色框的位置時(shí)，APP將彈出提示對(duì)話框，如圖8(b)所示。提示對(duì)話框?qū)@示當(dāng)前點(diǎn)擊位置以及該位置壓板的投退狀態(tài)，并提供更改選項(xiàng)。當(dāng)用戶選擇的變更狀態(tài)與當(dāng)前狀態(tài)不一致時(shí)，邊界框?qū)⒅乩L，如圖8(c)所示，更正后兩處邊界框的形狀與顏色均發(fā)生改變。

當(dāng)所有邊界框的顏色都是綠色時(shí)，代表當(dāng)前屏柜的校核工作就完成了，用戶保存操作結(jié)果后，就可以前往下一個(gè)屏柜了。

圖8 校核功能示例圖Fig.8 Example diagram of calibration function

4 結(jié)語(yǔ)

以提高繼電保護(hù)巡檢工作的效率為出發(fā)點(diǎn)，提出了一種新的智能實(shí)時(shí)校核方法。設(shè)計(jì)使用數(shù)據(jù)增強(qiáng)與遷移學(xué)習(xí)方法，提高YOLOv4-tiny目標(biāo)檢測(cè)模型的泛化性；借助ncnn前向推理框架，對(duì)模型的移動(dòng)端部署做出針對(duì)性優(yōu)化；發(fā)現(xiàn)并解決模型在移動(dòng)端的漏檢與誤檢問(wèn)題；最終實(shí)現(xiàn)移動(dòng)端的保護(hù)壓板實(shí)時(shí)校核。

在之后的工作中，會(huì)使用APP采集的圖片不斷擴(kuò)充數(shù)據(jù)集，并且會(huì)根據(jù)用戶對(duì)APP的使用反饋，不斷優(yōu)化APP的性能，以提升用戶體驗(yàn)。