孫倩,趙李強,高雪林
(昆明能訊科技有限責任公司,云南 昆明 650217)
隨著我國工業(yè)化進程的推進,各行各業(yè)對用電量的需求也與日俱增,確保電力安全生產(chǎn)就顯得十分重要[1]。在作業(yè)過程中,由于安全意識的缺乏,違章行為時有發(fā)生,這對電力行業(yè)、作業(yè)人員來說無疑是巨大的安全威脅。為了確保電力行業(yè)的穩(wěn)定運行,安全生產(chǎn),規(guī)范作業(yè)才是行業(yè)高效穩(wěn)定運行之道[2]。因此,對電力施工作業(yè)場景實現(xiàn)實時監(jiān)測與違章預(yù)警提示的重要性不言而喻。
本文提出了一種基于深度學(xué)習(xí)技術(shù)的對電力施工作業(yè)場景監(jiān)測的模型驗證方法。機器學(xué)習(xí)作為人工智能的一個分支,近年來在科研和工業(yè)界有了很大的發(fā)展,同時也引起了世界范圍內(nèi)的廣泛關(guān)注[3]。深度學(xué)習(xí)是目前機器學(xué)習(xí)發(fā)展最快的分支,也是整個人工智能領(lǐng)域中應(yīng)用前景最為廣闊的技術(shù)。這項技術(shù)已經(jīng)初步深入到了我們?nèi)粘I畹母鱾€方面,而且還有逐步蔓延的趨勢[4]。目前,基于概率統(tǒng)計的機器學(xué)習(xí)逐漸成為人工智能的主流方法,它直接在大量真實世界產(chǎn)生的數(shù)據(jù)中挑選最具有代表性的樣本交給算法處理,讓算法在數(shù)據(jù)中尋找和學(xué)習(xí)特定的規(guī)律[5]。
深度學(xué)習(xí)是通過構(gòu)建一個多層的表示學(xué)習(xí)結(jié)構(gòu),使用一系列非線性變換操作把從原始圖像數(shù)據(jù)中提取的簡單特征進行組合,從而得到更高層,更抽象的特征表示[8]。在圖像識別的場景中,圖像中最基本的表示是一組像素集合,從像素到目標物體的映射關(guān)系需要經(jīng)過一個很長的過程,從像素組成細小的邊,再由細小的邊構(gòu)成基本的紋理單元,各種紋理單元再組合成各種圖形,圖像構(gòu)成物體的各個組成部分,最后構(gòu)成完整的物體[7]。
本文的組織架構(gòu)如下,第一部分簡要論述了電力施工安全的重要意義和抽樣檢驗技術(shù)的發(fā)展現(xiàn)狀;第二部分詳細介紹了基于深度學(xué)習(xí)技術(shù)的電力作業(yè)施工場景安全規(guī)范模型驗證方法;第三部分給出相應(yīng)的實驗結(jié)果及分析;第四部分總結(jié)相關(guān)內(nèi)容;第五部分將模型驗證方法運用到具體的場景。
通過結(jié)合深度學(xué)習(xí)技術(shù),對電力施工場景進行監(jiān)測需求抽象設(shè)計,將對應(yīng)的監(jiān)測目標轉(zhuǎn)化為深度學(xué)習(xí)對應(yīng)的模型輸入,輸入經(jīng)過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型[9],能實現(xiàn)快速的目標物檢測與分類,最后結(jié)合相應(yīng)的判斷邏輯即可輸出電力作業(yè)場景相關(guān)的違章判斷結(jié)果,從而實現(xiàn)對電力作業(yè)場景違章與否的監(jiān)測。
國名經(jīng)濟的飛速發(fā)展使得人們對電力行業(yè)的需求越來越高,保證電力行業(yè)建設(shè)項目安全的壓力也越來越大。然而,在現(xiàn)在的施工過程中,由于人們的安全意識淡薄或者缺乏相應(yīng)場景的安全意識,在作業(yè)施工過程中就不可避免的會存在違章操作,這對電力行業(yè)、作業(yè)人員來說是巨大的安全威脅[2]。由于電力行業(yè)的特殊性,安全生產(chǎn)是根本。只有嚴格落實安全管理,規(guī)范作業(yè)執(zhí)行,才能確保安全生產(chǎn)。
本文采用抽樣檢驗技術(shù)來對電力行業(yè)作業(yè)場景進行監(jiān)測[10]。旨在選取具有代表性的場景為研究對象,進行深度學(xué)習(xí)技術(shù)的電力場景應(yīng)用實踐研究,助力安全管理,打造安全生產(chǎn)智能監(jiān)測信息化平臺,助推電力行業(yè)智能化水平的提高。本文研究的違章場景選取自《云南電網(wǎng)有限責任公司違章定級標準》(2021版),包括①在行人道口或人口密集區(qū)從事高處作業(yè),工作地點的下面未設(shè)遮攔(圍欄)、未設(shè)專人看守或其他安全措施。②高處作業(yè)人員隨手上下拋擲工具、器具和材料。③在梯子上作業(yè)無人扶梯子。④工作前未核對設(shè)備名稱、編號,柜、屏、箱內(nèi)設(shè)備帶電的情況,線路作業(yè)不檢查基礎(chǔ)、桿根、爬梯和拉線是否正常。⑤作業(yè)人員擅自穿、跨越安全圍欄或超越安全警戒線。⑥高處作業(yè)未按規(guī)定使用安全帶或作業(yè)過程中失去防墜落保護。⑦現(xiàn)場工作中工作人員或機具與帶電體(包括避雷裝置)不能保持安規(guī)規(guī)定的安全距離,未按規(guī)定落實停電、驗電、接地等安全措施,與帶電設(shè)備安全距離不足,且未采取可靠的安全措施,即安排人員開展作業(yè)。⑧裝設(shè)接地線前不驗電,裝設(shè)接地線的位置與驗電位置不一致,不按規(guī)定順序裝、拆接地線。⑨未嚴格規(guī)范地按“逆序逐項恢復(fù)”二次措施單,造成安全措施漏恢復(fù)或錯恢復(fù)。⑩線路桿塔上有人作業(yè)時,下方人員進行桿塔拉線的調(diào)整或拆除等違章行為識別。
通過對選取的十個電力違章場景的檢測需求進行分析,抽象概括場景的檢測要求:檢測對應(yīng)場景涉及到的目標物,主要有人、梯子、圍欄、桿塔、警戒線等,結(jié)合邏輯判斷,輸出該場景是否存在違章操作。擬采用如下思路進行相關(guān)分析研究,如圖1所示。
圖1 驗證模型方法整體框架
本文采用單階段目標檢測模型(YOLOV5)來展開研究。通過對目標物的準確識別與分類,在結(jié)合相關(guān)的判斷條件即可實現(xiàn)對電力作業(yè)施工場景的監(jiān)測[12]。
為了實現(xiàn)上述監(jiān)測需求,分別嘗試了6個模型。模型的具體構(gòu)成如表1所示。
表1 模型樣本組成情況
上述遮攔模型、全類別模型1-4_m的樣本是累加的;全類別模型4_s與全類別模型4_m樣本數(shù)未變,只是對全類別模型3進行了優(yōu)化操作,具體優(yōu)化操作為去除全類別識別模型中識別的mAP值小于0.5的類(去除的類不是項目中要求的必須類),對應(yīng)的模型為全類別識別模型4_s;在剔除低mAP類后更換yolo訓(xùn)練模型,采用YOLOV5m預(yù)訓(xùn)練模型進行訓(xùn)練,對應(yīng)的模型編號是全類別模型4_m。
3.1.1 遮攔模型
僅識別遮攔和人這兩個類別的目標物。模型的精度、召回率、mAP值波動均較小,相對穩(wěn)定。遮攔模型在驗證集上的測試結(jié)果如圖2所示,從測試結(jié)果來看:遮攔模型對遮攔、人兩類目標物的識別的平均精度較高,為0.993。
圖2 遮攔模型在驗證集上的測試結(jié)果
遮攔模型的訓(xùn)練過程如圖3所示,從圖中可看出遮攔模型經(jīng)過300輪的迭代后,模型的精度、召回率波動均較小,模型相對穩(wěn)定;模型在訓(xùn)練集、驗證集上的損失函數(shù)均隨著訓(xùn)練次數(shù)的增加而逐漸收斂。
圖3 遮攔模型的訓(xùn)練指標
3.1.2 全類別模型1
在模型中識別多個目標物,從訓(xùn)練的結(jié)果圖中可以看到全類別模型1相對于遮攔模型的精度、召回率有一定幅度的波動,模型的mAP較遮攔模型有所降低。全類別模型1在驗證集上的測試結(jié)果如圖4所示。從測試結(jié)果圖可看出模型在驗證集上對所有類測試的平均精度達到0.97。
圖4 全類別模型在驗證集上的測試結(jié)果
全類別模型1的訓(xùn)練過程各指標的變化如圖5所示。從圖5可看出,模型的精度、召回率相對穩(wěn)定,但是相對遮攔模型的精度、召回率變化趨勢來看的化,存在一定幅度的波動。
圖5 全類別模型1的訓(xùn)練指標
3.1.3 全類別模型2
從圖6、圖7中可以看到全類別模型2相對于遮攔模型的精度、召回率有一定幅度的波動,模型的mAP較遮攔模型有所降低;模型相對與全類別模型1而言,模型精度、召回率的波動有所減弱,而mAP值較全類別模型1有所降低。全類別模型2在驗證集上測試的平均精度為0.95。
圖6 全類別模型2在驗證集上的測試結(jié)果
圖7 全類別模型2訓(xùn)練指標
3.1.4 全類別模型3
此全類別模型3在驗證集上對所有類的分類mAP為0.771左右,上述分類中的red only、wrongglove、glove、operatingbar等類別是本次運監(jiān)項目中非必須識別的類,這幾類在識別中的mAP偏低,后面考慮將其從訓(xùn)練集中剔除。
圖8 全類別模型3在驗證集上的測試結(jié)果圖
全類別模型3在驗證集上測試的平均精度為0.77左右。
3.1.5 全類別模型4_s
全類別模型4_s是在全類別模型3的基礎(chǔ)上進行優(yōu)化得到的。保證樣本總數(shù)不變,去除全類別模型3中精度偏低的類別,重新進行訓(xùn)練。圖9為模型在驗證集上的測試結(jié)果圖,圖10為模型的訓(xùn)練指標圖。
圖9 全類別模型4_s在驗證集上的測試結(jié)果
圖10 全類別模型4_s訓(xùn)練指標
從圖9中可看出全類別模型4_s在驗證集上的測試mAP達到0.84左右;而在圖10中可觀察到當訓(xùn)練次數(shù)達到130次左右時,訓(xùn)練的單次mAP值開始出現(xiàn)下降,最終在0.84左右波動,后續(xù)訓(xùn)練過程中需要根據(jù)樣本數(shù)據(jù)來評估合適的訓(xùn)練的次數(shù),從而避免模型數(shù)據(jù)的過擬合。
3.1.6 全類別模型4_m
從圖11可觀察到全類別模型4_m的模型在驗證集上的測試mAP達到0.85左右;從圖12可看出,當訓(xùn)練迭代次數(shù)在110次左右后訓(xùn)練出現(xiàn)了過擬合現(xiàn)象,后續(xù)優(yōu)化模型時,需要注意迭代次數(shù),避免進入過擬合狀態(tài)。
圖11 全類別模型4_m在驗證集上的測試結(jié)果
圖12 全類別模型4_m訓(xùn)練指標
為了比較遮攔模型、全類別模型1、全類別模型2對圖片的推理測試能力,現(xiàn)采用同一批次的圖片對模型進行測試。測試情況匯總?cè)绫?所示。
從表2可以看出3個模型中全類別模型2的識別準確率較高,由于樣本數(shù)量的增加,強化了相應(yīng)特征的學(xué)習(xí),使得模型對圖片的識別能力相對較好。
表2 模型推理測試對比
從上述測試情況可看出,在3類模型的測試中,全類別模型2的測試效果相對較好,遮攔模型的訓(xùn)練精度最高,于是對遮攔模型和全類別模型2對同一批次圖片進行測試對比,即分別對電力行業(yè)的警戒線、高空作業(yè)場景、扶梯作業(yè)場景、遮攔作業(yè)場景進行圖片進行測試,測試情況如表3所示。
從遮攔模型和全類別模型2的對比可看出:遮攔模型對警戒線場景、高空作業(yè)場景、扶梯作業(yè)場景下的目標物檢測識別率較低,對訓(xùn)練過的遮攔場景的識別率相對較高;全類別模型2對于目標物的識別準確率相對較高,因為模型測試的4類場景,訓(xùn)練樣本中均有相似的場景,所以識別的準確率較高。
對全類別模型3和全類別模型4系列的測試,我們運用同一批次的圖片(網(wǎng)絡(luò)爬取)分別輸入到模型的輸入端進行測試。測試結(jié)果如表4所示。
表4 全類別模型3與全類別模型4系列推理測試結(jié)果對比
從上述表格可以看出全類別模型4系列的識別正確率相對較高,最高為65.9%。3個模型對圖片的識別分析如下:
①圖片上的目標物未識別全,存在漏檢的問題;
②誤識別問題,誤識別率在3%左右;
③3個模型對圖片的識別準確率為:全類別模型3<全類別模型4_s<全類別模型4_m;
④隨著識別準確率的提高,模型對圖片上目標物的漏檢數(shù)量在減少,但仍存在漏檢情況;
對遮攔模型(749樣本)、全類別模型1(1574樣本)、全類別模型2(2006樣本)、全類別模型3(8467樣本)、全類別模型4_s(8467樣本)、全類別模型4_m(8467樣本)的對比分析如下表5所示。
表5 6個模型在驗證集上的平均精度對比
從圖13中精度對比可看出,隨著測試樣本的增加,模型在驗證集上的mAP值呈現(xiàn)下降的趨勢;全類別模型4系列的mAP值相差不大。
圖13 6個模型的平均精度對比圖
綜上所述,現(xiàn)將模型構(gòu)建與測試的相關(guān)工作總結(jié)如下:
隨著訓(xùn)練樣本數(shù)的增加,模型在驗證集上的測試mAP值呈現(xiàn)下降趨勢;
單一類別模型(zl模型)與全類別模型2測試同一批圖片時,可得全類別模型2的推理測試結(jié)果優(yōu)于zl模型;
全類別模型3與全類別模型4系列進行測試對比,可知全類別模型4系列的推理效果優(yōu)于全類別3模型的推理測試效果;全類別模型4系列中,改變預(yù)訓(xùn)練模型后模型子在驗證集上的mAP值相差不大,但是運用全類別模型4系列進行推理測試時,全類別模型4_m的推理測試效果相對較好。
總之,隨著訓(xùn)練樣本的增加,模型學(xué)習(xí)到的特征相對來說較多,模型的泛化推理能力就能逐步得到增強。截至目前測試情況來看,全類別模型4_m的測試效果相對最優(yōu)。
基于上文對電力施工作業(yè)場景模型驗證方法的研究,可以將模型運用到具體的作業(yè)場景。針對不同的場景,根據(jù)模型檢測到的目標物再結(jié)合相關(guān)的邏輯判斷即可對作業(yè)場景進行有無違章行為的實時監(jiān)督[6]。比如,對于作業(yè)場景中是否安裝遮攔的監(jiān)測,可以根據(jù)模型對場景實時檢測結(jié)果中是否有遮攔、人等目標物,若作業(yè)場景中有人作業(yè),但是周圍未檢測到遮攔,則此時可對該場景輸出違章提醒:無遮攔作業(yè),請及時安裝遮攔!對于人扶梯作業(yè)場景,可根據(jù)模型檢測到的人、梯子等目標物來聯(lián)合判斷,對于場景中扶梯作業(yè)需檢測到至少存在兩人和梯子,且兩人與梯子具有重疊度,這樣才滿足人扶梯作業(yè),若檢測到一人,且人與扶梯具有重疊度,那么此刻需對該場景輸出違章提醒:無人扶梯作業(yè),請立即停止作業(yè)!更多的模型應(yīng)用場景后續(xù)將進行進一步的研究。