劉禹澤，潘明明，鄒華，王白根，王歐，趙騫，劉輝舟

（1.北京郵電大學(xué) 網(wǎng)絡(luò)與交換技術(shù)國家重點實驗室，北京 100876；2.中國電力科學(xué)研究院有限公司，北京 100192；3.國網(wǎng)安徽省電力有限公司安慶供電公司，安徽 安慶 246000；4.國網(wǎng)安徽省電力有限公司，安徽 合肥 230061）

0 引言

工業(yè)企業(yè)價值鏈?zhǔn)侵笇⒃牧限D(zhuǎn)化為最終產(chǎn)品或服務(wù)的整個過程，包括從產(chǎn)品設(shè)計、原材料采購、生產(chǎn)制造、銷售與分銷等環(huán)節(jié)，用電安全檢查事關(guān)生產(chǎn)制造這個重要環(huán)節(jié)，保證工業(yè)企業(yè)價值鏈正常運作。

2020 年4月，國務(wù)院安全生產(chǎn)委員會印發(fā)了《全國安全生產(chǎn)專項整治三年行動計劃》，明確要求各地區(qū)、各企業(yè)全面排查現(xiàn)有風(fēng)險，認真辨識、科學(xué)評估，從而制定有效的防控措施?？蛻舭踩秒姍z查服務(wù)是政府賦予電網(wǎng)企業(yè)的基本職責(zé)，國家電網(wǎng)有限公司全面貫徹國務(wù)院安委會《全國安全生產(chǎn)專項整治三年行動計劃》，進一步提升客戶用電安全管理水平，服務(wù)客戶保障用電安全。

目前，安全用電檢查工具無法確?，F(xiàn)場人員完整按照標(biāo)準(zhǔn)作業(yè)流程對設(shè)備、人員、管理安全隱患檢查進行全面檢查和評價，容易存在管理盲區(qū)，難以及時識別風(fēng)險。主要體現(xiàn)為缺乏智能識別工具，難以實時對現(xiàn)場進行記錄、測量及輔助判定。典型如作業(yè)人員在現(xiàn)場觀察相關(guān)設(shè)備狀態(tài)時，出現(xiàn)人工錯誤，對用電設(shè)備存在的安全隱患產(chǎn)生漏判等。

為了解決上述問題，本文擬借助移動終端攝像頭的拍攝能力以及后臺的處理能力提出一種基于圖像識別的用電安全檢查子系統(tǒng)。該系統(tǒng)將改變現(xiàn)有安全用電檢查的現(xiàn)狀，實現(xiàn)安全檢查作業(yè)現(xiàn)場數(shù)據(jù)狀態(tài)與后臺實時比對，實現(xiàn)用電安全檢查的智能化。

1 相關(guān)工作

目前安全用電檢查智能監(jiān)管主要有以下幾個主技術(shù)：(1)通過安裝傳感器和智能設(shè)備，將用電設(shè)備的實時運行數(shù)據(jù)傳輸?shù)皆贫?，并通過物聯(lián)網(wǎng)技術(shù)進行實時監(jiān)測和預(yù)警，及時發(fā)現(xiàn)異常情況。(2)通過對大量數(shù)據(jù)進行分析，比如用電設(shè)備的歷史運行數(shù)據(jù)、電費數(shù)據(jù)、異常報警記錄等，可以快速發(fā)現(xiàn)潛在的安全隱患，并進行預(yù)測分析和智能優(yōu)化。(3)通過機器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)，可以對用電設(shè)備進行自動化分析和識別，發(fā)現(xiàn)設(shè)備的異常狀態(tài)，提高安全監(jiān)管的精度和效率。

本文將研究計算機視覺領(lǐng)域中的目標(biāo)檢測算法，為指示燈狀態(tài)的正常與異常情況比對，人員安全帽是否佩戴，是否有火情發(fā)生等提供支持。目前目標(biāo)檢測網(wǎng)絡(luò)主要分為基于區(qū)域建議的雙階段目標(biāo)檢測網(wǎng)絡(luò)與無區(qū)域建議的單階段目標(biāo)檢測方法。Ren 等人提出Faster RCNN[1]模型，在不犧牲檢測精度的前提下大大提高檢測速度。在Faster R-CNN[1]的啟發(fā)下，提出了更多雙階段檢測模型如R-FCN[2]、Cascade R-CNN[3]、CBNet[4]等,這些檢測模型都有識別準(zhǔn)確度的增強。Redmon 等提出YOLO[5]模型，在無區(qū)域建議的單階段目標(biāo)檢測有較高性能。Liu 等人提出了SSD[6]模型，提高對于密集場景與小目標(biāo)的檢測識別效果，并提高異常尺度目標(biāo)的魯棒性。同時對于訓(xùn)練數(shù)據(jù)是否帶有標(biāo)簽也分為有監(jiān)督、半監(jiān)督、無監(jiān)督方法，Wang K 等人提出偽標(biāo)簽自訓(xùn)練方法[7]，該半監(jiān)督方法有效利用了無標(biāo)注數(shù)據(jù)進行訓(xùn)練，從而擴充訓(xùn)練集，提高模型的泛化能力。Jeong J 等人提出對無標(biāo)注圖像計算一致性約束損失[8]，該損失有效避免生成圖像出現(xiàn)鋸齒狀、失真、模糊等問題，從而提高生成圖像的質(zhì)量。對于視頻處理等任務(wù)，Wang L 等人提出TSN[9]網(wǎng)絡(luò)，通過對視頻進行分段處理，實現(xiàn)了較高的計算效率。Zhou 等人在TSN 的基礎(chǔ)上提出了TRN[10]網(wǎng)絡(luò)，可以更好地理解視頻中的動作。Lin J 等人的工作致力于輕量級在線視頻理解，提出TSM[11]模型結(jié)構(gòu)，通過將時間維度的操作轉(zhuǎn)換為空間維度的操作，提升計算效率。

2 基于圖像識別的用電安全隱患識別子系統(tǒng)架構(gòu)（場景）

該子系統(tǒng)場景為通過攝像頭對待檢測場景進行圖像獲取，保存并傳輸給服務(wù)器。服務(wù)器在對圖像進行目標(biāo)檢測識別之后，將檢測結(jié)果與現(xiàn)場待檢測場景的圖像進行比對，按照用電安全的需求進行比較，比對出其中的隱患并提出警告信息，如圖1 所示。

圖1 系統(tǒng)場景圖

3 基于Yolo 的安全隱患識別算法

3.1 算法流程圖

基于Yolo 安全隱患識別算法流程圖如圖2 所示。

圖2 安全隱患識別算法流程圖

其流程為首先通過攝像頭獲取圖像數(shù)據(jù)，然后將其傳給服務(wù)器，服務(wù)器先用目標(biāo)檢測Yolo 模塊對其進行檢測，然后將處理后的目標(biāo)圖像傳輸?shù)綌?shù)據(jù)提取模塊中，數(shù)據(jù)提取模塊定義將通過檢測框坐標(biāo)來進行目標(biāo)物體定位，在該模塊提取物體信息之后，與系統(tǒng)要求物體狀態(tài)進行比對，將不符合的信息生成警告信息，最后將警告圖片發(fā)送給客戶端。

在目標(biāo)檢測模塊中，首先進行了數(shù)據(jù)預(yù)處理。在訓(xùn)練目標(biāo)檢測模型中加入了數(shù)據(jù)增強，通過將圖像翻轉(zhuǎn)、平移、旋轉(zhuǎn)、縮放、添加噪聲等方法對圖像樣本進行了增廣補充，這樣既彌補了樣本量小的缺點，同時還有助于提高目標(biāo)檢測準(zhǔn)確度。然后參照Yolo 框架，利用神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)進行訓(xùn)練學(xué)習(xí)，生成目標(biāo)檢測模型。

3.2 算法網(wǎng)絡(luò)結(jié)構(gòu)圖

系統(tǒng)的目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)

輸入圖像首先需要經(jīng)過一個卷積層，將其特征圖的分辨率縮小為原始分辨率的一半，同時提取出一些基礎(chǔ)特征。

之后網(wǎng)絡(luò)采用CSP 模塊來進行特征提取。CSP 模塊的核心是將輸入的特征圖分為兩部分，一部分進行卷積和特征處理，另一部分直接輸出。通過這種方式，可以有效地減少模型中的參數(shù)數(shù)量，并提高模型的計算效率。網(wǎng)絡(luò)一共使用了3 個CSP 模塊。在CSP 模塊之后，網(wǎng)絡(luò)采用SPP 模塊來進行特征處理。SPP 模塊能夠有效地處理特征圖中的不同尺度信息，提高模型的檢測能力。網(wǎng)絡(luò)的SPP 模塊分別處理了輸入特征圖的1/8、1/16和1/32 尺度。

最后，通過一個卷積層來輸出檢測結(jié)果。網(wǎng)絡(luò)中每個檢測框需要輸出5 個參數(shù)：x、y、w、h和置信度分數(shù)，同時還需要輸出80 個類別的置信度分數(shù)。通過使用特殊的損失函數(shù)來優(yōu)化這些參數(shù)，從而使得模型能夠有效地進行目標(biāo)檢測。

在預(yù)測邊界框的坐標(biāo)時，采取相對于網(wǎng)格的坐標(biāo)，這意味著邊界框的坐標(biāo)值是相對于其所在框的左上角位置計算的。為了使邊界框更加準(zhǔn)確，還采用了錨點框的選擇和多尺度的特征圖預(yù)測的技術(shù)。在對所有的預(yù)測框進行篩選時，選擇最可能是目標(biāo)的框，并使用非極大值抑制算法來消除冗余的框。這樣就可以得到圖像中所有目標(biāo)的準(zhǔn)確位置和種類預(yù)測結(jié)果。

3.3 檢測結(jié)果處理

在對比指示燈是否符合安全需求時，首先對現(xiàn)場圖片進行指示燈狀態(tài)檢測，獲得檢測結(jié)果后對檢測到的全部指示燈進行編號，獲取其檢測的全部指示燈各自的標(biāo)注，并根據(jù)指定指示燈的具體要求，定位到該指定指示燈處，檢測該指定指示燈是否正常開啟或關(guān)閉，若出現(xiàn)異常則發(fā)送警告。例如在圖4中，將其從左到右編號為1，2，3，4，此時編號2 和編號4 指示燈亮起，編號1 和編號3 指示燈滅，若此時與指示燈具體要求的亮滅不同，會根據(jù)要求進行比對并發(fā)送警告。

圖4 指示燈訓(xùn)練集圖像標(biāo)注處理

檢測目標(biāo)有三個，一個是對于火情的檢測，一個是對于人員是否佩戴頭盔的檢測，另一個是對于指示燈狀態(tài)的檢測。對于火情的檢測，使用開源火情數(shù)據(jù)集進行訓(xùn)練。對于人員是否佩戴頭盔的檢測，收集了現(xiàn)場人員的圖片作為數(shù)據(jù)集進行訓(xùn)練。對于指示燈狀態(tài)的檢測，收集了現(xiàn)場指示燈圖片作為數(shù)據(jù)集進行訓(xùn)練。指示燈狀態(tài)檢測結(jié)果如圖5 所示。

圖5 指示燈狀態(tài)檢測結(jié)果圖

4 系統(tǒng)目標(biāo)檢測實驗

使用系統(tǒng)進行火情檢測的訓(xùn)練指標(biāo)結(jié)果如圖6、圖7所示。

圖6 火情檢測loss 指標(biāo)圖

圖7 火情檢測mAP 指標(biāo)圖

其中模型的訓(xùn)練集定位損失box_loss 遠低于0.04，置信度損失obj_loss 接近0.015，分類損失cls_loss 遠低于0.001。驗證集定位損失box_loss 為0.045，置信度損失obj_loss 在0.022 之下，分類損失cls_loss 遠低于0.001。表示閾值大于0.5 的平均mAP 為0.6?？梢娔Ｐ偷幕鹎闄z測效果良好。

使用系統(tǒng)進行人員頭盔檢測的訓(xùn)練指標(biāo)結(jié)果如圖8、圖9 所示。

圖8 人員佩戴頭盔檢測loss 指標(biāo)圖

其中模型的訓(xùn)練集定位損失box_loss 在0.04 之下，置信度損失obj_loss 接近0.060，分類損失cls_loss 遠低于0.005。驗證集定位損失box_loss 接近0.035，置信度損失obj_loss 在0.060 之下，分類損失cls_loss 為0.002。表示閾值大于0.5 的平均mAP 接近0.93?？梢娔Ｐ偷娜藛T佩戴頭盔檢測效果良好。

使用系統(tǒng)進行指示燈狀態(tài)檢測的訓(xùn)練指標(biāo)結(jié)果如圖10、圖11 所示。

圖10 指示燈狀態(tài)檢測loss 指標(biāo)圖

圖11 指示燈狀態(tài)檢測mAP 指標(biāo)圖

其中模型的訓(xùn)練集定位損失box_loss 在0.04 之下，置信度損失obj_loss 在0.015 之下，分類損失cls_loss 遠低于0.005。驗證集定位損失box_loss 遠低于0.04，置信度損失obj_loss 遠低于0.015，分類損失cls_loss 遠低于0.005。表示閾值大于0.5 的平均mAP 接近0.95?？梢娔Ｐ偷闹甘緹魻顟B(tài)檢測效果良好。

在實際用電場所中，當(dāng)不應(yīng)亮起的指示燈亮起紅燈或綠燈時，可以準(zhǔn)確判斷并發(fā)出警告。當(dāng)應(yīng)該亮起的指示燈未亮燈時，可以準(zhǔn)確判斷并發(fā)出警告。

使用實際監(jiān)控圖像進行實驗，火情監(jiān)測、人員頭盔檢測和指示燈狀態(tài)的平均檢測置信度和平均檢測執(zhí)行時間如表1 所示。使用的監(jiān)控視頻數(shù)據(jù)包含從2022 年12 月1 日到2022 年12 月30 日的圖像數(shù)據(jù)。

表1 檢測平均置信度和平均執(zhí)行時間

5 結(jié)論

目前的目標(biāo)檢測模型可以為公司提供安全自動監(jiān)測技術(shù)支持，通過監(jiān)控圖像檢測火情、人員是否佩戴頭盔以及指示燈狀態(tài)是否異常，為公司監(jiān)管人員提供方便快捷的監(jiān)管手段，以便更迅速地發(fā)現(xiàn)安全隱患并第一時間防止危害發(fā)生。

本文應(yīng)用實現(xiàn)了監(jiān)控圖像分析系統(tǒng)，該系統(tǒng)通過基于Yolo 的目標(biāo)檢測網(wǎng)絡(luò)進行火情、人員頭盔以及指示燈狀態(tài)的訓(xùn)練與學(xué)習(xí)，通過真實現(xiàn)場場景作為訓(xùn)練數(shù)據(jù)集提升了檢測準(zhǔn)確率。

未來的改進方向可以關(guān)注監(jiān)控圖像中玻璃反光的情況，這種圖像遮擋對于本算法的識別造成影響，一種可能的解決手段是利用閃光圖像進行輔助區(qū)別圖像中的反光部分和非反光部分。閃光圖像是一種針對原圖像反光部分進行閃光燈補償再次取景，并通過新產(chǎn)生的閃光圖片對原圖片進行影響，在此進行舉例說明。兩個物體，一個是玻璃前的紅色物體，另一個是玻璃后的藍色物體，在原圖片中，得到了環(huán)境光影響下的藍物體和紅物體圖片。如果加上只對藍物體進行照射的閃光燈，那么就會獲得環(huán)境光影響下的藍物體，紅物體和閃光燈影響下藍色物體的圖片。當(dāng)后者減去前者后，就只剩下了閃光燈影響下的藍色物體，也就從理論上消除了玻璃反光的影響。但是這個用于實際時，效果一般。由于計算機視覺技術(shù)中去反光方向研究還不是很深入，因此這里僅僅提出一個解決思路。

總之，基于Yolo 的目標(biāo)檢測算法是檢測監(jiān)控圖像中的安全隱患的最佳選擇之一，監(jiān)管人員和公司都可以從中受益，并能提高安全質(zhì)量。