關(guān)鍵詞:人工智能;電網(wǎng)作業(yè)現(xiàn)場;智能化違章識別技術(shù);YOLOv5
中圖分類號:TM743;TP391.41 文獻(xiàn)標(biāo)識碼:A 文章編號:1001-5922(2024)12-0158-04
電網(wǎng)作業(yè)現(xiàn)場環(huán)境復(fù)雜,潛在危險(xiǎn)因素多,違章作業(yè)是導(dǎo)致危險(xiǎn)的根源。人工監(jiān)管不僅成本高,同時(shí)效率低,電網(wǎng)作業(yè)現(xiàn)場違章智能化識別變得迫在眉睫。通過智能化違章識別技術(shù)對存在的違章行為發(fā)出警告,降低工人作業(yè)風(fēng)險(xiǎn)[1]。引入遷移學(xué)習(xí)和群優(yōu)化算法,提出了基于深度學(xué)習(xí)的電力作業(yè)安全帶佩戴檢測算法,該算法能夠在數(shù)據(jù)集少的情況下依舊實(shí)現(xiàn)比較高的檢測準(zhǔn)確率[2]。提出了基于YOLOv4的安全帽佩戴檢測網(wǎng)絡(luò)SR-YOLO,可以快速、精準(zhǔn)檢測安全帽的佩戴情況[3]。對YOLOv4主干網(wǎng)絡(luò)的殘差塊采用深度可分卷積與壓縮激勵(lì)組成的模塊替換,有效減少了網(wǎng)絡(luò)的深度和參數(shù)量,同時(shí)網(wǎng)絡(luò)檢測的平均精準(zhǔn)度有所提升[4]。采用深度可分離卷積替代常規(guī)卷積,對YOLOX網(wǎng)絡(luò)進(jìn)行改進(jìn),同時(shí)檢測的速度也有所提升,更適合在實(shí)際工程環(huán)境中應(yīng)用[5]?;诖?,對YOLOv5算法進(jìn)行改進(jìn),并用于電網(wǎng)作業(yè)現(xiàn)場行為識別,期待為電網(wǎng)現(xiàn)場安全管理提供技術(shù)支持。
1智能化違章識別模型及評價(jià)標(biāo)準(zhǔn)
1.1YOLOv5算法
YOLOv5是YOLO系列的最新版本,其在目標(biāo)檢測上具有良好的實(shí)時(shí)性能[6]。YOLOv5的核心思想是將目標(biāo)檢測視為回歸問題,采用卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測檢測目標(biāo)的邊界框與類別。YOLOv5采用卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),由PyTorch框架實(shí)現(xiàn)。YOLOv5結(jié)構(gòu)包括卷積層、殘差塊、上采樣層。
為了增強(qiáng)模型的魯棒性,Input采用Mosaic數(shù)據(jù)增強(qiáng)。隨機(jī)使用4張圖片,在隨機(jī)位置進(jìn)行裁剪、旋轉(zhuǎn)、拼接、調(diào)整亮度,從而豐富數(shù)據(jù)集,達(dá)到提升對小物體識別性能的目的[8]。為提高檢測精度,YO?LOv5使用了不同尺寸的錨點(diǎn)框,以適應(yīng)不同尺寸和形狀的目標(biāo)。YOLOv5的輸出層包括若干個(gè)檢測頭(Detection Heads),每個(gè)檢測頭負(fù)責(zé)預(yù)測一組目標(biāo)。每個(gè)目標(biāo)由邊界框(Bounding Box)和類別標(biāo)簽組成。每個(gè)檢測頭預(yù)測了多個(gè)不同尺寸的邊界框。YOLOv5引入了特征金字塔結(jié)構(gòu),以在不同網(wǎng)絡(luò)層次上融合特征,以便檢測不同尺寸的目標(biāo)[9]。特征金字塔結(jié)構(gòu)自頂向下進(jìn)行特征傳遞,可以有效解決多尺度問題。YOLOv5使用一種綜合損失函數(shù),其數(shù)學(xué)表達(dá)式為[10]
1.2YOLOv5算法改進(jìn)
考慮到電網(wǎng)作業(yè)現(xiàn)場背景比較復(fù)雜,而YOLOv5為復(fù)雜背景比較敏感,攝像頭下的小目標(biāo)往往無法識別,因此對YOLOv5算法進(jìn)行改進(jìn)[11]。為檢測復(fù)雜背景下的小目標(biāo),增加160×160的檢測層,將每個(gè)雙向路徑采用BiFPN層進(jìn)行連接,同時(shí)在每一個(gè)檢測層輸出前增加CBAM,具體結(jié)構(gòu)如圖1所示。
改進(jìn)YOLOv5算法增加了對小目標(biāo)檢測的特征層,具體為在原有的16層基礎(chǔ)網(wǎng)絡(luò)上引入了Bottle?neckCSP和CONV層,用于特征提取[12]。進(jìn)行上采樣操作,將特征圖擴(kuò)展到160×160的尺寸。繼續(xù)進(jìn)行BottleneckCSP處理,通過卷積操作獲得用于預(yù)測較小目標(biāo)的特征圖。經(jīng)改進(jìn),模型可充分利用來自不同尺度的特征圖,以更好地預(yù)測目標(biāo)。將骨干網(wǎng)絡(luò)提取的下采樣特征與Head的上采樣特征進(jìn)行融合,然后融合Head下采樣特征,以增強(qiáng)網(wǎng)絡(luò)的語義信息。采用BiFPN層去取代原網(wǎng)絡(luò)結(jié)構(gòu)的張量拼接Concat層。
卷積注意力模塊CBAM是一種輕量級的卷積注意力模塊,其通過獨(dú)立的通道維度和空間維度來有針對性地推斷注意力,從而使模型能夠更聚焦于關(guān)鍵區(qū)域,達(dá)到增強(qiáng)特征圖重要特征并抑制無關(guān)特征的目的[13]。CBAM模塊由通道注意力模塊與空間注意力模塊兩部分構(gòu)成,其中通道注意力模塊所關(guān)注的是特征圖通道信息,空間注意力模塊所關(guān)注的是特征圖空間位置信息。兩模塊協(xié)同工作,使模型在通道維度和空間維度上均能有效地捕捉特征,提高模型的性能。CBAM模塊結(jié)構(gòu)如圖2所示。
由圖2可知,通道注意力模塊對輸入特征圖進(jìn)行最大池化和平均池化操作,然后進(jìn)行共享MLP,兩者相加在激勵(lì)函數(shù)作用下與輸入特征圖相乘得到通道注意力。空間注意力模塊在獲得通道注意力模塊的特征圖之后分別進(jìn)行最大池化和平均池化操作,拼接后通過卷積操作、激活操作得到空間注意力。最后和通道注意力特征圖相乘得到最后的輸出特征圖。在Head分支下采樣階段的BottleneckCSP后添加CBAM模塊。通過特征融合可以使得目標(biāo)特征的表達(dá)更好,對電網(wǎng)作業(yè)現(xiàn)場違章識別具有更好的魯棒性。
1.3現(xiàn)場違章動(dòng)態(tài)跟蹤
在電網(wǎng)作業(yè)現(xiàn)場安裝攝像頭,通過攝像頭獲取實(shí)時(shí)視頻流。采用DeepSORT調(diào)用改進(jìn)的YOLOv5目標(biāo)檢測模型,從而得到視頻流每一幀圖像所對應(yīng)的邊界框,同時(shí)通過對圖像特征的提取來保留邊界框與特征[14]。DeepSORT是一種強(qiáng)大的多目標(biāo)跟蹤方法,結(jié)合了目標(biāo)檢測、目標(biāo)重識別和運(yùn)動(dòng)建模,能夠?qū)崿F(xiàn)在視頻中精確跟蹤和標(biāo)識多個(gè)目標(biāo)[15]。Deep?SORT使用改進(jìn)YOLOv5在每一幀中檢測圖像中的目標(biāo),檢測器將每個(gè)目標(biāo)標(biāo)識為一個(gè)邊界框,并為其分配一個(gè)唯一的ID。為了處理目標(biāo)在不同幀中的外觀變化,DeepSORT引入了目標(biāo)重識別技術(shù),在不同幀中重新識別相同的目標(biāo),并將其與之前的跟蹤目標(biāo)關(guān)聯(lián)起來[16]。DeepSORT使用卡爾曼濾波器來對目標(biāo)的運(yùn)動(dòng)進(jìn)行建模,實(shí)現(xiàn)平滑的跟蹤??柭鼮V波器可以估計(jì)目標(biāo)的位置和速度,并根據(jù)模型的預(yù)測來修正目標(biāo)的位置。DeepSORT管理目標(biāo)的軌跡,為每個(gè)跟蹤的目標(biāo)分配唯一的ID,并在不同幀之間保持軌跡的連貫性[17]。
1.4模型性能評價(jià)標(biāo)準(zhǔn)
采用FPS(Frame Per Second)來衡量模型的實(shí)時(shí)性,其為每秒鐘檢測圖片的數(shù)量,數(shù)學(xué)表達(dá)式為[18]:
式中:N為每秒鐘成功處理圖像的數(shù)量;M為時(shí)間窗口的秒數(shù)。
FPS數(shù)值越大,其表明檢測模型能夠以更快的速度處理輸入數(shù)據(jù),從而提供更快的實(shí)時(shí)響應(yīng)。
mAP(Mean Average Precision)是一種用于評估目標(biāo)檢測模型性能的指標(biāo),其考慮了模型在多個(gè)類別上的準(zhǔn)確性和召回率,然后取平均值,其數(shù)學(xué)表達(dá)式為[19]:
式中:TP為正確預(yù)測的正樣本;FP為錯(cuò)誤預(yù)測的負(fù)樣本;FN為錯(cuò)誤預(yù)測的正樣本。
2消融實(shí)驗(yàn)分析
為對比不同組成部分對模型性能的影響,構(gòu)造消融實(shí)驗(yàn)[20]。對YOLOv5算法的改進(jìn)主要是3個(gè)方面,分別是增加檢測層、BiFPN層去取代原網(wǎng)絡(luò)結(jié)構(gòu)的張量拼接Concat層以及增加注意力模塊CBAM。采用1024張測試圖片開展消融實(shí)驗(yàn),結(jié)果如表1所示。
由表1可知,通過增加檢測層、BiFPN層去取代原網(wǎng)絡(luò)結(jié)構(gòu)的張量拼接Concat層以及增加注意力模塊CBAM可以明顯提升R值和mAP值,使得網(wǎng)絡(luò)的目標(biāo)識別性能得到明顯提升,同時(shí)泛化能力也有所改進(jìn),但是FPS有一定程度的下降。從整體上來看,F(xiàn)PS的變化并不大,可以滿足實(shí)時(shí)性要求,即可以通過犧牲計(jì)算時(shí)間的方式來換取更高的目標(biāo)識別精度。
3實(shí)例分析
3.1數(shù)據(jù)來源
電網(wǎng)作業(yè)現(xiàn)場的違章主要包括未正確佩戴安全帽、未規(guī)范穿著工裝、未佩戴安全帶等。電網(wǎng)作業(yè)現(xiàn)場視頻來源主要有2種形式,一種是通過相機(jī)實(shí)時(shí)拍攝并保存到本地視頻文件中,另一種是通過電網(wǎng)作業(yè)現(xiàn)場的攝像頭獲取。伴隨著信息網(wǎng)絡(luò)技術(shù)的快速發(fā)展,大部分的電網(wǎng)作業(yè)現(xiàn)場均安裝有攝像頭,通過攝像頭來獲取現(xiàn)場視頻流。采用電網(wǎng)作業(yè)現(xiàn)場布置的攝像頭獲取電網(wǎng)作業(yè)現(xiàn)場視頻流,同時(shí)對規(guī)范穿工裝和未穿工裝的行為進(jìn)行標(biāo)記。考慮受到天氣、溫濕度等各種因素的影響,所獲取的電網(wǎng)作業(yè)現(xiàn)場視頻可能存在質(zhì)量比較差的視頻。因此對拍攝的視頻進(jìn)行篩選,將一些不包含作業(yè)工人以及質(zhì)量比較差的視頻剔除,并每隔60幀對視頻流進(jìn)行保存,從而得到電網(wǎng)現(xiàn)場作業(yè)圖片。
3.2結(jié)果分析
對攝像頭采集的視頻數(shù)據(jù)進(jìn)行人員檢測與跟蹤,結(jié)果如圖3所示。
由圖3可知,圖中共有6名工人,其中有4名工人沒有穿戴工裝,同時(shí)其中有1名穿戴工裝的工人被另外1名穿戴工裝的工人遮擋,有1名未穿戴工裝人員被另外1名未穿戴工裝的工人遮擋,但是改進(jìn)YO?LOv5依舊可以確保目標(biāo)識別的精度。
4結(jié)語
電網(wǎng)作業(yè)現(xiàn)場智能化違章識別是避免違章作業(yè),確保作業(yè)安全的有效舉措。針對YOLOv5對復(fù)雜背景敏感,小目標(biāo)無法識別的問題,通過增加檢測層、BiFPN層去取代原網(wǎng)絡(luò)結(jié)構(gòu)的張量拼接Concat層、增加注意力模塊CBAM來對YOLOv5進(jìn)行改進(jìn)。通過消融實(shí)驗(yàn)驗(yàn)證了改進(jìn)的YOLOv5相對于改進(jìn)前R和mAP值明顯提升,但FPS有一定程度的下降,依舊可以滿足實(shí)時(shí)性要求。通過DeepSORT調(diào)用改進(jìn)的YOLOv5目標(biāo)檢測模型,對攝像頭采集的電網(wǎng)作業(yè)現(xiàn)場視頻流進(jìn)行分析。改進(jìn)的YOLOv5能夠有效檢測工人是否穿戴工裝,同時(shí)對部分被遮擋的工人也可以做到精準(zhǔn)識別。這對降低現(xiàn)場安全管控成本,確保工人安全具有一定的實(shí)用價(jià)值。