云南電網(wǎng)有限責任公司紅河供電局 張媛琳
在煙霧檢測任務中,當煙霧區(qū)域小或者運動緩慢時,煙霧檢測將十分困難。針對煙霧檢測任務中存在的樣本干擾大,檢測困難的問題,本文提出了一種基于PPYOLOv2的煙霧檢測方法。該方法采用檢測Neck來構建所有尺度的高級語義特征Map,并采用PAN來聚類自頂向下的深層和淺層的復雜信息,使得模型能夠在多種干擾樣本存在的情況下,有效檢測出煙霧目標,從而有效提高了煙霧的檢測率。該方法在煙霧檢測數(shù)據(jù)中檢測準確率達到了91.5%,模型具有較高的魯棒性,在實際的煙霧檢測中滿足了企業(yè)的應用要求。
在日常生活中,火災事件時有發(fā)生,火災一旦發(fā)生其造成的損失將難以評估,同時也會給人們的生命安全帶來嚴重威脅。如果能夠對火災進行檢測并及早發(fā)現(xiàn)情況,就會在很大程度上減少損失。火災在蔓延之前,一般以煙霧的形式呈現(xiàn),如果能夠及時對煙霧進行檢測,提早做好火災防控將具有重要的意義。
在煙霧識別中,煙霧特征提取的質量在目標檢測任務中起到十分關鍵的作用。在煙霧檢測的過程中,煙霧的形態(tài)會與周圍的環(huán)境混雜在一起,這在很大程度上會影響煙霧識別的準確率,加大煙霧識別的困難。在實際的煙霧識別任務中,很多傳統(tǒng)的煙霧火災檢測只限定于理想的場景下,檢測的范圍較小并且可以探測到的有效信息較少,而且存在誤報率高、檢測范圍小、靈活性較差等缺點,普通的煙霧檢測方法能夠獲得的信息級別低,無法在火災早期及時告警。
戶外火災煙霧沒有固定的顏色、沒有固定的輪廓形狀、沒有固定的濃度、沒有固定的運動方向,干擾樣本多,容易造成誤檢,檢測難度十分大[1]。基于此,很多學者在煙霧檢測任務中進行了更深層次的研究。Kosmas等[2]提出了一種新的高階線性動態(tài)系統(tǒng)描述子(h-LDS)來對多維圖像數(shù)據(jù)進行高階分解,這對煙霧顯著性區(qū)域進行提取起到了一定的作用。范一舟[3]提出一種基于對背景幀序列分段模板匹配方法來對視頻幀進行定位的算法,該算法通過將前景火災煙霧對象和背景進行對比來進行特征優(yōu)化。王濤等[4]通過挖掘出煙霧的飄動強度和飄動方向特征,然后結合神經(jīng)模糊推理系統(tǒng)訓練并檢測煙霧,該方法具有很好的識別特性。李筍[5]等提出一種新型的顏色增強變換方法,然后進行MSER區(qū)域監(jiān)測,分割出煙霧區(qū)域,避免了基于顏色信息或運動信息等傳統(tǒng)方法難以準確分割煙霧的缺點。
近年來,深度學習領域發(fā)展迅速,有許多優(yōu)秀的深度學習模型都被應用于目標檢測任務中,有效解決了傳統(tǒng)方法在目標檢測中的多種問題。高徐等[6]提出了一種端到端的煙霧顯著檢測和煙霧的存在性預測框架,該網(wǎng)絡框架結合像素級和對象級顯著圖來提取煙霧顯著圖,有效提升了模型的檢測精度。車志忠等[1]提出了一種多級顯著目標檢測網(wǎng)絡對戶外火災煙霧進行檢測,并加入了注意力機制來強化模型的特征提取能力,該方法能夠準確的進行煙霧區(qū)域分割。
YOLO方法就是比較流行的深度學習目標檢測方法之一,但在火焰煙霧檢測中應用較少。趙媛媛[7]等提出了一種改進的YOLOv3火焰檢測方法,使用多尺度特征來強化特征提取,并使用改進的K-means來進行目標檢測,模型在速度和精度上效果有了顯著的提升。在YOLO系列中,較新的是YOLOv3[8]和YOLOv4[9]模型,檢測率和檢測速度表現(xiàn)優(yōu)異。
但是由于從YOLOv3開始,模型中加入了大量的殘差結構,大幅度提升了模型復雜度,加深了網(wǎng)絡結構,難以滿足實際應用要求。PP-YOLO[10]是在YOLOv3的基礎上,采用了一整套優(yōu)化策略,在幾乎不增加模型參數(shù)和計算量的前提下,在性能和速度上超過了YOLOv4。馬峻等[11]將PP-YOLO與Deep-SORT相結合實現(xiàn)多無人機實時跟蹤。而PP-YOLOv2[12],是以PP-YOLO為基線模型進行了一系列的延展實驗得到的,模型在PPYOLO性能的基礎上,采用多種改進方式來對模型的性能和速度進行了優(yōu)化,效果十分理想。
針對煙霧在檢測中存在的多種困難,并考慮到PPYOLOv2在目標檢測中的效果顯著,而在煙霧檢測任務中,也很少有將PP-YOLOv2應用到煙霧檢測任務中,基于此本文將PP-YOLOv2應用到煙霧檢測任務中,通過實驗表明模型在煙霧檢測任務中也達到了很好的應用效果。
PP-YOLOv2是以PP-YOLO為基線模型進行了一系列的延展實驗得到的。PP-YOLOv2模型具有其獨特的網(wǎng)絡特點:模型采用PAN來從上至下的聚合特征信息來為各種尺度圖像構建高層語義特征圖的檢測頸;在模型的檢測頸中使用Mish激活函數(shù)來進行效果優(yōu)化;為了捕獲到小尺幅目標的信息,通過擴充輸入目標尺寸的面積,并減少批次數(shù)來進行模型優(yōu)化;考慮到模型的定位置信度,將目標區(qū)域與定位置信度相結合作為最終的檢測置信度。
對于目標檢測任務,實時性和高效性極其重要。PPYOLOv2通過增強消融,采用Paddle推理引擎+TensorRT+FP16+bs1,有效提升了模型的推理速度,模型的Map值較PP-YOLO性能大幅度提升。
實驗數(shù)據(jù)使用的原始數(shù)據(jù)是MIT協(xié)議公開煙霧數(shù)據(jù)集,由于數(shù)據(jù)量少,在原始數(shù)據(jù)的基礎上添加了自采集的煙霧數(shù)據(jù)進行了數(shù)據(jù)增強,自建數(shù)據(jù)共14980條,其中訓練集11984條,測試集1498條,驗證集1498條。
考慮到數(shù)據(jù)的質量對模型的效果影響極大,由于原始數(shù)據(jù)集較少,在訓練模型之前,需要對數(shù)據(jù)進行預處理,其中數(shù)據(jù)預處理包括數(shù)據(jù)增強和數(shù)據(jù)的其他處理操作。在煙霧數(shù)據(jù)采集過程中,可能會存在很多噪音無關數(shù)據(jù),需要對一些數(shù)據(jù)進行去除。通過數(shù)據(jù)增強可以保持數(shù)據(jù)的多樣性,避免數(shù)據(jù)的過擬合,提高模型的泛化能力,一般的圖像數(shù)據(jù)增強的方式包括將數(shù)據(jù)平移、翻轉、旋轉等多種變換方式以及隨機尺度變化等方法來進行數(shù)據(jù)增強。同時還需要對輸入數(shù)據(jù)進行隨機大小變化,并進行標準化處理。通過將數(shù)據(jù)進行多種預處理后,使得模型能夠從不同的圖像數(shù)據(jù)中學習到目標特征,模型的檢測精度和泛化能力效果達到了企業(yè)的應用要求。
實驗中深度學習環(huán)境為:PaddlePaddle>=2.1.0,python>=3.6,PaddleX>=2.0.0來進行模型訓練,實驗的操作系統(tǒng)為Windows10,CPU為I7-9700K,GPU為Nvidia RTX 2080Ti,內存為:32G。
實驗評價指標:使用的是目標檢測任務中常用的實驗評價指標:平均檢測精度AP,平均召回率AR。
在實驗中,我們使用自建的煙霧數(shù)據(jù)來驗證PPYOLOv2的目標檢測模型,模型性能主要通過AP的值來進行評價指標。AP的值越高,代表模型的效果最佳。我們通過多次實驗后,得到實驗結果如表1所示。
從表1實驗結果中可以發(fā)現(xiàn),在MaxDets=100時,AP的值在不斷變化。為了提高精度,在實驗中計算了IoU在(0.5,0.95)區(qū)間內的平均Precesion值。當IoU取值為0.50-0.95時,AP的平均值最大為0.737。在最后的實驗結果中,通過計算IoU=0.50時模型達到的AP值來展現(xiàn)模型效果的好壞。從實驗結果中可知,當IoU=0.75時,AP值為0.839;當IoU=0.50時,AP值達到最高0.915,模型效果達到最優(yōu)。
表1 實驗結果Tab.1 Experimental results
針對煙霧識別任務中,外部環(huán)境復雜及其煙霧形狀多樣等導致識別任務十分困難,為了實現(xiàn)煙霧實時高效檢測,便于及時發(fā)現(xiàn)火情,本文提出了一種基于PPYOLOv2的煙霧檢測方法。PP-YOLOv2模型在視頻煙霧識別圖像數(shù)據(jù)中具有很強的識別能力,通過實驗結果可以發(fā)現(xiàn),PP-YOLOv2模型在煙霧檢測任務中檢測效果不錯,能夠在保持較高識別精度的同時保持較低的誤檢率,最大程度上避免了特征信息的丟失。同時,該方法對于設備配置要求較低,實用性強,可以滿足多場合煙霧檢測需求。