亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度學(xué)習(xí)的煙霧與火災(zāi)檢測算法綜述

        2022-12-06 10:26:30祝玉華司藝藝李智慧
        計算機工程與應(yīng)用 2022年23期
        關(guān)鍵詞:煙霧卷積火災(zāi)

        祝玉華,司藝藝,李智慧

        1.河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院,鄭州 450001

        2.糧食信息處理與控制教育部重點實驗室(河南工業(yè)大學(xué)),鄭州 450001

        火的應(yīng)用,是人類早期偉大的成就之一,在人類文明發(fā)展史上極具重要意義。然而,意外發(fā)生的火災(zāi)對人們的財產(chǎn)安全和生命安全會造成嚴(yán)重危害。在當(dāng)今工業(yè)化時代,工廠及生產(chǎn)車間設(shè)備機械化程度高,由于機械設(shè)備故障、電路短路等,極易產(chǎn)生火花,若發(fā)現(xiàn)不及時,火勢極易沿著設(shè)備蔓延擴(kuò)大,從而造成嚴(yán)重火災(zāi)。由于火災(zāi)具有破壞力強、蔓延速度快等特性,所以應(yīng)對早期火災(zāi)特征快速檢測,以減少損失。但當(dāng)前的火災(zāi)探測方式仍以傳統(tǒng)的感煙、感溫和感光等傳感器為主,當(dāng)它們距離火源較近時,才能通過電離產(chǎn)生的粒子探測到煙和火,然后進(jìn)一步激活火警和滅火系統(tǒng)。這種方法相當(dāng)穩(wěn)健,但存在延遲,這會導(dǎo)致火勢迅速蔓延而無法控制。此外,傳感器不能提供火災(zāi)初始位置、傳播方向、規(guī)模、增長速度等信息。隨著視頻監(jiān)控的大量普及,解決這些問題的方法是使用監(jiān)控系統(tǒng)的視頻圖像數(shù)據(jù)。在視頻圖像中,火通常被描述為從一邊移動到另一邊的橙色或黃色火焰,由各種原因引起,如縱火、電火花、化學(xué)反應(yīng)等。通過視頻圖像檢測火災(zāi)面臨著一系列挑戰(zhàn),所提算法應(yīng)該能夠區(qū)分有火焰的圖像和有橙色或紅色類似火狀物體的圖像、有煙霧的圖像和有云等類似煙霧的圖像。此外,使用監(jiān)控系統(tǒng)需要處理大量的數(shù)據(jù),如果手動完成,將對勞動力造成巨大損失。因此,國內(nèi)外研究學(xué)者提出基于視頻圖像的火災(zāi)自動檢測算法,主要包括基于傳統(tǒng)火災(zāi)檢測算法和基于深度學(xué)習(xí)的火災(zāi)檢測算法。傳統(tǒng)煙霧與火災(zāi)檢測框架主要包含3個階段,首先采用不同尺度的滑動窗口遍歷輸入圖像,得到可能存在煙霧或火災(zāi)的區(qū)域;其次使用HOG[1]、SIFT[2]、LBP[3]等人工特征抽取方法提取煙霧或火焰的顏色、邊緣、紋理等特征,將候選區(qū)域的圖像轉(zhuǎn)換為特征向量并傳入分類器訓(xùn)練;最后采用SVM、貝葉斯網(wǎng)絡(luò)、隨機森林、BP神經(jīng)網(wǎng)絡(luò)等分類器將這些提取的特征與一組現(xiàn)有的標(biāo)準(zhǔn)特征進(jìn)行比較,以判斷圖像中是否包含煙霧或火焰。傳統(tǒng)煙霧火災(zāi)檢測算法工作流程如圖1所示,在預(yù)處理階段存在大量冗余計算開銷,影響算法的運行速度;在特征提取階段僅能獲取圖像的低級特征,且提取的特征依賴于先驗知識,缺乏普適性。計算機視覺和監(jiān)督學(xué)習(xí)領(lǐng)域的新技術(shù),如深度學(xué)習(xí),為火災(zāi)探測帶來了很大的希望。本文重點從目標(biāo)分類、目標(biāo)檢測、目標(biāo)分割3個領(lǐng)域分析火災(zāi)檢測的深度學(xué)習(xí)方法的優(yōu)缺點,之后列舉了火災(zāi)檢測數(shù)據(jù)集,最后分析了火災(zāi)檢測未來研究方向。

        圖1 煙霧火災(zāi)檢測的傳統(tǒng)圖像處理方法流程圖Fig.1 Flow chart of traditional image processing method for smoke fire detection

        1 基于深度學(xué)習(xí)的煙霧火災(zāi)檢測算法

        深度學(xué)習(xí)是一種能夠自動學(xué)習(xí)訓(xùn)練數(shù)據(jù)集中數(shù)據(jù)內(nèi)部結(jié)構(gòu)的多層級神經(jīng)網(wǎng)絡(luò)算法,可自動檢測和學(xué)習(xí)特征,圖2描述了煙霧火災(zāi)檢測深度學(xué)習(xí)方法的框架。與傳統(tǒng)的煙霧火災(zāi)檢測算法相比,基于深度學(xué)習(xí)的煙霧火災(zāi)檢測算法可抽取更抽象化、更高階的特征,具有速度快、準(zhǔn)確性強、在復(fù)雜環(huán)境下魯棒性更強的優(yōu)勢。其可分為目標(biāo)分類模型、目標(biāo)檢測模型、目標(biāo)分割模型3大類方法。目標(biāo)分類任務(wù)是對于給定的圖像,只需輸出一個類標(biāo)簽,用于判斷圖像中是否含有目標(biāo),經(jīng)典的分類網(wǎng)絡(luò)結(jié)構(gòu)有AlexNet[4]、GoogLeNet[5]、VGGNet[6]、ResNet[7]、SENet[8]等。目標(biāo)檢測是對多個目標(biāo)定位和圖像分類,需要在原圖像中將目標(biāo)用矩形框框出,經(jīng)典的檢測網(wǎng)絡(luò)有Faster RCNN[9]、SSD[10]、RefineDet[11]、YOLOv3[12]等。目標(biāo)分割是逐像素判斷哪些像素屬于哪些目標(biāo),在檢測的基礎(chǔ)上,不再使用bounding box框出目標(biāo)的位置,而是將目標(biāo)和背景分離,找出目標(biāo)的輪廓線,經(jīng)典的分割網(wǎng)絡(luò)有FCN[13]、U-Net[14]、DeepLab[15]等。目標(biāo)分類既是計算機視覺的基礎(chǔ)問題,也是圖像分割、目標(biāo)檢測等高層次視覺任務(wù)的基礎(chǔ)。分類的數(shù)據(jù)集不需要手動標(biāo)注目標(biāo)位置框,而檢測是同時輸出類別和位置框,數(shù)據(jù)集需要手動標(biāo)注目標(biāo),這既復(fù)雜又耗時。因此,大多數(shù)火災(zāi)檢測算法傾向于使用分類網(wǎng)絡(luò),但檢測的實時性要比分類高,而且可以檢測出發(fā)生火災(zāi)的位置。分割網(wǎng)絡(luò)則是更精確化火災(zāi)區(qū)域,能夠判斷火災(zāi)的規(guī)模,但模型一般較大,工業(yè)部署困難。

        圖2 煙霧火災(zāi)檢測的深度學(xué)習(xí)方法框架Fig.2 Deep learning method framework for smoke fire detection

        1.1 基于目標(biāo)分類模型的煙霧火災(zāi)檢測算法

        卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)由一個輸入層和一個輸出層組成,有多個隱含層,輸入層能夠處理多維數(shù)據(jù),隱藏層通常由卷積層、池化層、全連接層組成,輸出層輸出一個二維特征圖。卷積層提取特征,池化層縮小特征圖簡化計算復(fù)雜圖,同時進(jìn)行特征壓縮提取主要特征;全連接層連接所有特征并輸出到分類器。卷積神經(jīng)網(wǎng)絡(luò)可以自動學(xué)習(xí)視頻圖像中的火災(zāi)特征,并根據(jù)學(xué)習(xí)到的特征對圖像進(jìn)行分類,不再需要人工構(gòu)建特征。Frizzi等[16]構(gòu)建9層的卷積神經(jīng)網(wǎng)絡(luò)將視頻圖像分為煙霧、火災(zāi)、正常3類,在由1 427幅火災(zāi)圖像、1 758幅煙霧圖像和2 399幅正常圖像組成的測試集上的分類準(zhǔn)確率達(dá)到97.9%,但是該模型只能檢測紅色的火焰,對其他顏色的火焰以及煙霧的檢測效果不理想。此外,只能對視頻幀逐幀處理,沒有考慮幀間煙霧與火災(zāi)的運動特征。

        1.1.1 基于與傳統(tǒng)特征相結(jié)合的方法

        由于早期火災(zāi)特征不明顯,目標(biāo)較小且無關(guān)區(qū)域較大,若僅使用CNN提取的靜態(tài)特征進(jìn)行火災(zāi)與煙霧識別,會增大計算復(fù)雜度,影響模型檢測性能,識別精度降低。煙霧的特征之一是可透視性,當(dāng)煙霧開始擴(kuò)散時,仍然可以觀察到被煙霧覆蓋的物體,若只使用靜態(tài)圖像進(jìn)行特征提取,背景的原始視覺特征將不可避免地干擾煙霧特征的提取。然而,煙霧的移動、閃爍和擴(kuò)散等動態(tài)特征為煙霧檢測提供了重要信息,因此,可以根據(jù)運動差異來過濾非煙霧區(qū)域。為此,研究人員專注多融合方法,將深度特征與傳統(tǒng)特征相結(jié)合,成為主流思想。馮路佳等[17]構(gòu)建了基于目標(biāo)區(qū)域的火災(zāi)煙霧檢測網(wǎng)絡(luò),提出MD_CNN結(jié)構(gòu)。首先在目標(biāo)區(qū)域定位層,采用改進(jìn)的背景差分法的運動檢測算法提取出待檢測視頻中包含的目標(biāo)煙霧區(qū)域并傳入煙霧識別層;將煙霧識別層中的Conv3與Conv4中卷積核大小更改為3×3,以提取更詳細(xì)的煙霧信息;最后將輸出傳到softmax函數(shù),輸出煙霧的概率。MD_CNN模型相較于全CNN模型,能夠過濾掉大量無關(guān)信息,提高檢測效果,但由于場景的復(fù)雜性、環(huán)境干擾和噪聲的存在,使用背景拆分法易受疑似煙霧目標(biāo)的影響,造成誤檢。此外,煙霧識別層的網(wǎng)絡(luò)設(shè)計對于不同應(yīng)用場景泛化性差。

        1.1.2 基于多尺度特征融合方法

        由于火災(zāi)目標(biāo)尺度變化大,基于單尺度特征圖進(jìn)行火災(zāi)分類的方法,對于不同尺度的火災(zāi)不穩(wěn)健。Yuan等[18]構(gòu)建深度多尺度神經(jīng)網(wǎng)絡(luò),特征提取層由多個并行的卷積層組成,通過多尺度卷積核來實現(xiàn)多尺度特征提取,解決了光照、尺度不變所引起的問題,實現(xiàn)高準(zhǔn)確率,但是使用多個卷積塊,不可避免地會增大模型復(fù)雜度,以致難以部署。Jeon等[19]提出基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度火災(zāi)預(yù)測框架,每個尺度的特征圖通過特征擠壓塊和softmax函數(shù)預(yù)測火災(zāi),再用投票加權(quán)算法綜合不同尺度的預(yù)測,確定最終結(jié)果。采取特征擠壓塊,首先通過1×1的卷積將多維通道縮減為二維通道,再通過最大池化縮小尺寸,最后采用全連接層輸出2×1向量。從空間和通道兩方面對特征映射進(jìn)行擠壓,有效提取多尺度特征圖信息,且使用1×1卷積核能有效減少模型參數(shù),實現(xiàn)跨通道信息組合,增加了非線性特征,使新特征圖的特征表達(dá)更佳。基于多尺度特征融合的方法雖一定程度上能夠提升模型檢測效果,但僅僅融合了煙霧與火災(zāi)的靜態(tài)特征,未融入動態(tài)特征。

        1.1.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法

        卷積神經(jīng)網(wǎng)絡(luò)只能單獨地處理每一個輸入,即前一個輸入與后一個輸入不相關(guān)?;馂?zāi)和煙霧檢測任務(wù)需要關(guān)注前后幀之間的關(guān)系,以提取動態(tài)特征。循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks,RNN)能夠更好地處理序列信息,因此得以發(fā)展。文獻(xiàn)[20]基于卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)對視頻序列中的煙霧進(jìn)行檢測,CNN用來提取特征,RNN用于提取同一目標(biāo)不同幀中對應(yīng)特征之間的關(guān)系。但只能捕捉短時間尺度上的時空特征,不能代表煙霧與火焰的長期變化。長短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)可以在一定程度上解決這個問題,能夠有效地為視頻序列建模。RNN具有對前面信息進(jìn)行長時記憶的特點,在此基礎(chǔ)上,LSTM通過增加遺忘門避免長期依賴的問題,通過構(gòu)造三個門來控制信息傳遞,解決了傳統(tǒng)RNN模型中梯度消失的問題。因此,LSTM在序列檢測領(lǐng)域得到了廣泛的應(yīng)用,并取得了良好的效果。文獻(xiàn)[21]提出基于卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)的多級火災(zāi)檢測算法,第一步利用HSV顏色模型和火焰的亮度閃爍頻率確定候選區(qū)域,用CNN網(wǎng)絡(luò)提取候選區(qū)域的靜態(tài)特征并輸入到Bi-LSTM網(wǎng)絡(luò),最后softmax分類器確定目標(biāo)是火焰還是疑似火焰的運動物體,算法結(jié)構(gòu)如圖3所示。該模型利用CNN與雙向LSTM網(wǎng)絡(luò)同時提取火焰的空間域特征以及時間域特征,有較高的F1值,既能實現(xiàn)高準(zhǔn)確率及低召回率,又能滿足實時要求。但由于數(shù)據(jù)集的限制,對于藍(lán)色火焰及白色火焰在初期提取候選框時,易造成誤判。Bi-LSTM只是拼接了向前的特征與向后的特征,兩個特征之間無關(guān)聯(lián),且向前的神經(jīng)元在學(xué)習(xí)過程中只學(xué)習(xí)向前的特征,并未學(xué)習(xí)向后的特征,所以可能并不是一個最優(yōu)的結(jié)果?;贚STM網(wǎng)絡(luò)的方法加入了時間序列,能夠融入煙霧與火災(zāi)的動態(tài)特征,但網(wǎng)絡(luò)中全連接層數(shù)量較多,時間跨度大、網(wǎng)絡(luò)深,計算量相當(dāng)大,難以訓(xùn)練。

        圖3 CNN-BiLSTM火災(zāi)分類模型架構(gòu)Fig.3 Fire classification model architecture based on CNN-BiLSTM

        1.1.4 基于3DCNN的方法

        2D CNN對視頻中每一幀圖像分別利用CNN進(jìn)行識別,忽略了幀間關(guān)系,因此幀間運動信息會丟失。除使用LSTM網(wǎng)絡(luò)外,3D CNN[22]也能更好地提取視頻中的時間和空間的特征信息,提高檢測效率,在視頻分類、動作識別等領(lǐng)域能夠發(fā)揮巨大優(yōu)勢。吳凡等[23]提出時空域火災(zāi)煙霧檢測算法,利用高斯混合模型和四幀拆分法相結(jié)合的運動目標(biāo)檢測算法分割圖像,過濾掉非煙霧區(qū)域,再輸入到由二維空間域卷積層與一維時間域卷積層組成的3D卷積網(wǎng)絡(luò)模型,最后檢測出結(jié)果后分塊標(biāo)定煙霧區(qū)域。相較于原3D模型能夠降低計算成本,但是仍難以滿足工業(yè)實時性需求。并且3DCNN主要用于短期時序建模,適用于短期變化較明顯的火災(zāi)檢測,對于長期的時間特征提取能力并不能與RNN相媲美。

        更多更詳細(xì)的基于目標(biāo)分類模型的煙霧火災(zāi)檢測算法如表1所示,從表中可以看出基于目標(biāo)分類模型的煙霧與火災(zāi)檢測算法改進(jìn)方向主要包括與傳統(tǒng)特征融合的方法、改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法、與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法,以及融合多尺度特征的方法。與傳統(tǒng)特征相結(jié)合的方法,能夠?qū)熿F與火災(zāi)的紋理、顏色、閃爍、擴(kuò)散等傳統(tǒng)特征與CNN提取的深度特征相結(jié)合完成分類,使用傳統(tǒng)特征過濾掉圖像中大量的無關(guān)區(qū)域,再傳入CNN提取深度特征,提升了模型穩(wěn)健性,降低CNN運算量,但提取可疑區(qū)域的計算成本會增加;改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法能夠通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)使網(wǎng)絡(luò)更適用于特定場景,提取更多有效特征,提高檢測效率,但會影響算法的泛化性;與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法可以使用煙霧與火災(zāi)視頻相鄰幀間的相關(guān)性,更好地捕捉煙霧與火災(zāi)的動態(tài)特征,減少誤檢,但是針對煙霧與火災(zāi)變化緩慢的視頻改進(jìn)效果不明顯,此外,網(wǎng)絡(luò)模型較深,難以訓(xùn)練,檢測速度慢;基于多尺度融合的方法通過融合不同尺度卷積核提取的特征實現(xiàn),對尺度變化大的煙霧與火災(zāi)有較好的檢測效果,但是增加多尺度卷積層會增加運算量。

        表1 基于目標(biāo)分類的煙霧火災(zāi)檢測算法Table 1 Smoke fire detection algorithm based on target classification

        1.2 基于目標(biāo)檢測模型的煙霧火災(zāi)檢測算法

        目標(biāo)分類只能判斷是否有火災(zāi)發(fā)生,卻無法定位火災(zāi)的位置,因此研究學(xué)者開始探索基于目標(biāo)檢測的煙霧火災(zāi)檢測算法?;谀繕?biāo)檢測的煙霧火災(zāi)檢測算法包括基于區(qū)域提取的算法、基于目標(biāo)回歸的算法以及基于Anchor-free的算法。

        1.2.1 基于區(qū)域提取的檢測方法

        基于區(qū)域提取的煙霧火災(zāi)檢測算法主要包括從圖像中生成候選區(qū)域、使用候選區(qū)域的特征圖判斷物體類別以及回歸檢測框位置兩個階段,因此也稱兩階段檢測算法。經(jīng)典的算法有Faster R-CNN、FCN等。對二階段檢測算法的改進(jìn)方式主要包括改進(jìn)生成候選區(qū)域的過程與提取特征的過程。

        文獻(xiàn)[36]基于Faster R-CNN改進(jìn)提取特征的過程實現(xiàn)火災(zāi)檢測,引入FPN特征融合網(wǎng)絡(luò),以融合淺層特征和高層次特征。通過Inception Module結(jié)構(gòu),使用不同尺寸的卷積核,提取更豐富、多尺寸的特征,并加入注意力機制,抑制無關(guān)信息,能夠提升網(wǎng)絡(luò)表達(dá)能力,適應(yīng)火災(zāi)多尺度的特性,從而生成更準(zhǔn)確的火災(zāi)特征圖,提升火災(zāi)區(qū)域定位性能。但使用FPN進(jìn)行特征融合過程中易造成信息衰減,同時存在跨尺度融合中的混疊效應(yīng)。二階段的目標(biāo)檢測算法精度高,定位準(zhǔn)確,但是模型較復(fù)雜,檢測速度慢。因此,基于目標(biāo)檢測模型的煙霧火災(zāi)檢測算法開始面向高效的端到端的一階段目標(biāo)檢測算法。

        1.2.2 基于回歸的檢測方法

        基于回歸的目標(biāo)檢測算法不需要候選區(qū)域提取階段,直接產(chǎn)生物體的類別概率和位置坐標(biāo)值,經(jīng)過一個階段即可直接得到最終的檢測結(jié)果,因此也稱一階段檢測算法。經(jīng)典的基于回歸的目標(biāo)檢測算法有SSD、YOLO。一階段目標(biāo)檢測算法改進(jìn)方式有優(yōu)化主干網(wǎng)絡(luò)提取特征的過程,優(yōu)化Neck網(wǎng)絡(luò)融合特征的過程以及輕量化模型。

        文獻(xiàn)[37]使用通道剪枝方法輕量化YOLOv3并用于火災(zāi)檢測,依據(jù)BN層weights的系數(shù)來判斷通道的重要性,移除掉不重要的通道,達(dá)到減少卷積參數(shù)的效果,通道剪枝結(jié)構(gòu)圖如圖4所示。但通道剪枝的過程中,輸入和輸出維度的改變會引起一些偏差。且使用YOLOv3檢測火災(zāi)時隨著IOU閾值的增加性能會顯著下降。

        圖4 通道剪枝結(jié)構(gòu)圖Fig.4 Channel-wise pruning structure diagram

        文獻(xiàn)[38]指出單個網(wǎng)絡(luò)模型難以實現(xiàn)多復(fù)雜場景中的特征提取,每個單獨的網(wǎng)絡(luò)都能提取出不同的特征,因此設(shè)計實現(xiàn)集成3個深度網(wǎng)絡(luò)的模型改進(jìn)特征提取過程用于森林火災(zāi)檢測,網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。YOLOv5與EfficientDet兩個目標(biāo)檢測器協(xié)同工作并行檢測火災(zāi),通過生成候選框以及非極大值抑制確定目標(biāo)火災(zāi)區(qū)域,引入EfficientNet用于關(guān)注全局信息,以降低誤報率。集成3個網(wǎng)絡(luò)的火災(zāi)檢查模型,改善特征提取方法,能夠最大化利用全局特征和局部特征,提升小目標(biāo)檢測精度,提高召回率。但集成模型必定會以速度為代價來完成推理。文獻(xiàn)[39]提出將YOLOv2-Tiny檢測框架部署到K210開發(fā)板實現(xiàn)無人機的火災(zāi)檢測與跟蹤,但是該模型易對類火物體誤檢。基于一階段的目標(biāo)檢測方法,直接生成類別概率與回歸檢測框位置,是一個端到端過程,檢測速度快。但是提取到的淺層特征較少,對小目標(biāo)與重疊目標(biāo)檢測效果不好,位置不精確。

        圖5 集成網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.5 Integrated network model structure diagram

        1.2.3 基于Anchor-free的方法

        兩階段、單階段目標(biāo)檢測算法都是基于錨框的,檢測性能受錨框的大小、數(shù)量、縱橫比影響較大,需要人為地根據(jù)經(jīng)驗對錨框超參數(shù)進(jìn)行調(diào)節(jié)以適應(yīng)不同場景的火災(zāi),并且調(diào)整后的錨框尺寸固定,對于多尺度的火災(zāi)檢測效果不佳,因此無錨框的方法是成為當(dāng)下研究熱點。文獻(xiàn)[40]采用Ancho-free網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)火災(zāi)檢測模型,選用MobileNetv2作為主干網(wǎng)絡(luò)進(jìn)行特征提取,在特征選擇層加入FSAF特征選擇模塊選擇合適的特征層傳入預(yù)測層,訓(xùn)練時選擇損失和最小的特征層回傳梯度,預(yù)測時選擇目標(biāo)置信度最高的特征層。在分類子網(wǎng)絡(luò)中采取可形變卷積模塊以解決特征不對齊問題,能夠更好地適應(yīng)各種形狀的火焰,但是同時增加了計算量。Anchor-free的方法能夠減少錨框的參數(shù)量,但是由于只在距離真實框較近的位置預(yù)測,導(dǎo)致煙霧與火災(zāi)的召回率低。

        更多更詳細(xì)的基于目標(biāo)檢測的煙霧火災(zāi)檢測算法如表2所示,基于目標(biāo)檢測的煙霧火災(zāi)檢測算法的改進(jìn)方向主要分為基于兩階段算法的改進(jìn)、基于單階段的改進(jìn)以及基于Anchor-free的改進(jìn)。基于兩階段目標(biāo)檢測算法的煙霧火災(zāi)檢測模型先生成候選區(qū)域,保證足夠的準(zhǔn)確率和召回率,再對目標(biāo)特征圖進(jìn)行分類與定位,首先完成了前景背景篩選,能夠選擇性地對樣本進(jìn)行分類回歸,比一階段目標(biāo)檢測算法直接分類回歸訓(xùn)練難度小,且正負(fù)樣本也更均衡,因此精度會更高,適用于對精度要求高的場景,但經(jīng)歷兩個階段,模型復(fù)雜、速度慢;基于單階段的煙霧火災(zāi)檢測模型無需生成候選區(qū)域,是一個端到端的模型,運算速度快,適用于對實時性要求高的場景,并且使用focal loss能解決樣本不均衡問題,但是容易漏檢小目標(biāo);基于Anchor-free結(jié)構(gòu)的煙霧火災(zāi)檢測模型無錨框參數(shù)量,有更大更靈活的解空間,可實現(xiàn)實時高精度,但是檢測效果不穩(wěn)定,需要改進(jìn)調(diào)整權(quán)重的方法。

        表2 基于目標(biāo)檢測的煙霧火災(zāi)檢測算法對比Table 2 Comparison of smoke fire detection algorithms based on object detection

        1.3 基于目標(biāo)分割模型的煙霧火災(zāi)檢測算法

        目標(biāo)分類與目標(biāo)檢測的方法只能判斷圖像中是否有煙霧和火災(zāi)及位置信息,不能檢測火的更詳細(xì)信息,如形狀、大小等。有時,需要關(guān)注火災(zāi)的蔓延趨勢,解決這一問題的較好方法就是煙霧火災(zāi)分割算法。

        文獻(xiàn)[50]基于Mask RCNN對室內(nèi)可燃物識別與分割,所得分割物體的尺寸、數(shù)量與分布用于預(yù)測火災(zāi)負(fù)荷。文獻(xiàn)[51]提出基于卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測和分割框架,更適合于朦朧的環(huán)境,采用輕量化的卷積神經(jīng)網(wǎng)絡(luò)EfficientNet分類;再利用DeepLabv3+網(wǎng)絡(luò)對煙霧幀分割,能夠有效降低誤檢率。但是像素級標(biāo)注的數(shù)據(jù)集需要大量的人力,實際應(yīng)用時,數(shù)據(jù)集是問題。在檢測火災(zāi)時,有時不僅需要判斷是否有火災(zāi)或煙霧產(chǎn)生,還需要檢測火災(zāi)位置、形狀、大小等更詳細(xì)的信息,用于評定火災(zāi)或煙霧的等級,以便消防員關(guān)注火災(zāi)煙霧蔓延區(qū)域。

        文獻(xiàn)[52]開發(fā)了森林火災(zāi)煙霧的協(xié)作區(qū)域檢測和分級的框架,框架圖如圖6所示,該框架是一種混合模型,單個模型難以完成復(fù)雜的煙霧火災(zāi)檢測任務(wù),因此通過將幾個簡單的模型集成為混合模型,以獲得更好的性能。每個簡單模型完成一部分任務(wù),最后采用某種學(xué)習(xí)策略匯總輸出結(jié)果。采用基于分類的模型(ShuffleNet)、基于分割的模型(WSFS)和基于區(qū)域的模型(輕量級Faster R-CNN)來預(yù)測圖像中存在火災(zāi)煙霧的概率,能夠定位、分割并預(yù)測輸入圖像中火災(zāi)煙霧的位置、區(qū)域和類別,基于堆積法學(xué)習(xí)策略確定3個模型的權(quán)重并由3個模型的推理結(jié)果計算最后的結(jié)果。此外還開發(fā)了一個模糊評價系統(tǒng),用于火災(zāi)煙霧分級。該框架能夠使用圖像級標(biāo)注的數(shù)據(jù)集完成分割,實現(xiàn)火災(zāi)煙霧的早期報警、區(qū)域檢測、分類和分級。但是模型非常復(fù)雜,訓(xùn)練占用顯存太大,對硬件設(shè)備要求極高。

        圖6 森林火災(zāi)煙霧檢測與分級框架Fig.6 Forest fire smoke detection and classification framework

        基于目標(biāo)分割模型的煙霧火災(zāi)檢測算法可以更精確地定位視頻幀中煙霧與火災(zāi)的邊界,能提供更詳細(xì)的火災(zāi)信息,但模型一般較大,若要應(yīng)用于現(xiàn)實場景需要更短的響應(yīng)時間,此外,若是需要大量的像素級標(biāo)注數(shù)據(jù)集才能提高網(wǎng)絡(luò)模型,會耗費大量的人力。

        2 常用數(shù)據(jù)集

        由于訓(xùn)練深度學(xué)習(xí)模型依賴于數(shù)據(jù)集,下面給出了一些常用的和公開的煙霧與火災(zāi)數(shù)據(jù)集。但由于火的顏色范圍從藍(lán)色到紅色,背景各不相同,煙也是材料燃燒的指示器,有灰色、白色或黑色,進(jìn)行火災(zāi)探測的場所或位置可能是一個工業(yè)、核電站、建筑、住宅或森林,為了滿足如此廣闊的應(yīng)用領(lǐng)域的圖像特征的分布,將需要非常大和多樣化的數(shù)據(jù)集。目前不存在一個用于煙霧與火災(zāi)檢測的標(biāo)準(zhǔn)數(shù)據(jù)集,因此如何定義一個規(guī)范化的、多樣化的煙霧與火焰數(shù)據(jù)集成為煙霧火災(zāi)檢測未來需要完善的方向。

        (1)KMU Fire & Smoke Database

        KMU Fire & Smoke數(shù)據(jù)庫由4個類別的視頻組成,有室內(nèi)室外短距離火災(zāi)、室內(nèi)室外短距離煙霧、野火煙霧、煙霧狀與火狀的移動物體等[53]。整個數(shù)據(jù)集有308.1 MB,視頻的幀速率為30 Hz,輸入圖像大小為320×240像素。

        (2)Fire Dunning Dataset

        這個數(shù)據(jù)集包含正常圖像和有火的圖像,正負(fù)樣本不均衡,包括強度、亮度、大小等不同場景的火災(zāi)圖像[54]。

        (3)VisFire

        這個數(shù)據(jù)集來自Bilkent大學(xué),采集自監(jiān)控視頻,由4個類別的視頻組構(gòu)成:火、煙霧、森林煙霧、其他?;馂?zāi)視頻組有13段火災(zāi)場景視頻;煙霧組有21段視頻,包含各種環(huán)境中的煙霧場景;森林煙霧組有4段森林地區(qū)的視頻;其他組有2段視頻,一個是汽車,一個是火;整個樣本數(shù)據(jù)集總共40個視頻片段[55]。

        (4)BoWFire

        訓(xùn)練集由240幅分辨率為50×50像素的圖像組成,其中80張有火,160張無火,非火災(zāi)圖像中包含紅色或黃色類似火的物體。測試集由226幅不同分辨率的圖像組成,其中包含119張有火圖片和107張無火圖片?;馂?zāi)圖像由不同場景的緊急火災(zāi)事件組成,如建筑物著火、工業(yè)火災(zāi)、車禍和騷亂[56]。數(shù)據(jù)集還對火災(zāi)區(qū)域分割,可以用于火焰分割任務(wù)。

        (5)Mivia Fire & Smoke Detection Dataset

        由薩勒諾大學(xué)的MIVIA實驗室創(chuàng)建,火災(zāi)數(shù)據(jù)集由31個視頻組成,包含14個火災(zāi)視頻和17個無火視頻,無火視頻內(nèi)含煙霧、云、移動的紅色物體等干擾;煙霧數(shù)據(jù)集包括149個視頻。這些視頻均來自真實環(huán)境,每個視頻長達(dá)15 min[55]。

        (6)State Key Laboratory of Fire Science Dataset

        該數(shù)據(jù)集有30 000個合成圖像,3 578個真實圖像,能夠勝任深度網(wǎng)絡(luò)的訓(xùn)練。合成煙霧和非煙霧圖像的渲染、照明與風(fēng)的參數(shù)在一定范圍內(nèi)隨機設(shè)置,以實現(xiàn)圖像多樣性。由于不同的參數(shù)集直接影響合成煙霧圖像的外觀,這些圖像將是真實的或非真實的。

        (7)火災(zāi)科學(xué)國家實驗室的煙霧數(shù)據(jù)集

        由中國科學(xué)技術(shù)大學(xué)消防科學(xué)國家重點實驗室創(chuàng)建,該數(shù)據(jù)集包含4組煙霧和非煙霧圖像,其中組1包括552個煙霧和831個非煙霧圖像,組2包括668個煙霧和817個非煙霧圖像,組3包括2 201個煙霧和8 511個非煙霧圖像,組4包括2 254個煙霧和8 363個非煙霧圖像[18]。除了這些圖像數(shù)據(jù)集外,還有另外648張黑白煙霧圖像和兩組非煙霧數(shù)據(jù)集,每組分別由27 707和28 760張圖像組成。

        3 總結(jié)與展望

        對煙霧或火災(zāi)的早期精準(zhǔn)檢測是控制火災(zāi)的最佳方法,深度學(xué)習(xí)以高精度、高速度、強穩(wěn)定性等優(yōu)勢在煙霧火災(zāi)檢測領(lǐng)域中表現(xiàn)優(yōu)異,因此本文從目標(biāo)分類、目標(biāo)檢測、目標(biāo)分割3個方面對比分析了煙霧火災(zāi)檢測算法現(xiàn)狀,列舉了主流的煙霧火災(zāi)檢測算法的改進(jìn)措施、優(yōu)勢以及存在的問題。目前,這些技術(shù)還處于發(fā)展階段,深度學(xué)習(xí)在煙霧火災(zāi)檢測應(yīng)用中仍存在一些無法回避的問題亟待解決:(1)火災(zāi)探測的地點可能是一個工業(yè)、核電站、建筑、住宅或森林,因此煙霧和火焰的形態(tài)比較多樣,尺度多變,特征變化大。(2)早期火災(zāi)目標(biāo)小,特征不明顯,早期火災(zāi)檢測困難。(3)現(xiàn)有的火災(zāi)評估模型大多是依據(jù)對環(huán)境各方面的分析以評估發(fā)生火災(zāi)風(fēng)險的可能性以及火災(zāi)隱患,以提前制定預(yù)案防止火災(zāi)發(fā)生[57-59],用于評估火災(zāi)發(fā)生后火災(zāi)等級的模型較少。

        針對以上問題,本文經(jīng)過分析認(rèn)為煙霧與火災(zāi)檢測算法還有以下幾個方面需深入研究:

        (1)制作一個全面合理的數(shù)據(jù)集

        眾所周知,深度學(xué)習(xí)算法依賴大量的數(shù)據(jù)集,一個全面的數(shù)據(jù)集能夠使模型提取更豐富多樣的特征,以大幅提高檢測效果。然而火災(zāi)檢測領(lǐng)域始終沒有一個權(quán)威且全面的數(shù)據(jù)集,生成對抗網(wǎng)絡(luò)[60]可以使用已有的原始數(shù)據(jù)集生成逼真的人造數(shù)據(jù),以豐富數(shù)據(jù)集。此外,還可以通過裁剪、旋轉(zhuǎn)變換、顏色變換、噪聲注入、元學(xué)習(xí)數(shù)據(jù)增強等數(shù)據(jù)增強方法進(jìn)一步擴(kuò)充樣本數(shù)量,優(yōu)化泛化性弱的檢測局限性。

        (2)改進(jìn)網(wǎng)絡(luò)特征融合模塊

        現(xiàn)代網(wǎng)絡(luò)體系結(jié)構(gòu)中特征融合模塊通常通過求和或concatenation等簡單的線性操作實現(xiàn)不同層或分支的特征組合,但由于輸入特征的語義和尺度不一致性,導(dǎo)致這可能并不是最佳選擇。構(gòu)建多尺度通道注意力特征融合模塊,以融合更多有效特征,改善煙霧火焰尺度變化大帶來的檢測困難問題。(3)提升小火焰檢測性能

        可通過copy pasting方法增加小火焰數(shù)量,解決小火焰數(shù)據(jù)不易采集,本身判別性特征少的問題。在主干網(wǎng)絡(luò)中引入注意力機制與擴(kuò)張卷積等模塊,加強特征提取能力,使提取到的特征具有更高的辨識度和魯棒性,提高模型對小火焰的檢測性能。

        (4)構(gòu)建更輕量化的模型

        選取MobileNetV3[61]等更先進(jìn)的輕量化網(wǎng)絡(luò)進(jìn)行特征提取,采用通道剪枝[62]等方法對模型壓縮,使用深度可分離卷積[63]與殘差結(jié)構(gòu)等減少參數(shù)量,提升模型的檢測速度,能夠及時發(fā)現(xiàn)火災(zāi),減少損失。

        (5)有效利用煙霧與火焰的特征

        煙霧與火焰具有顏色、紋理、閃爍等特征,使用這些特征在檢測模型中添加前處理或后處理,能夠降低模型誤警率。

        (6)開發(fā)綜合火災(zāi)檢測系統(tǒng)

        目前的研究工作大多是對煙霧和火災(zāi)進(jìn)行識別檢測,但是缺乏對火災(zāi)形勢變化的判斷。開發(fā)綜合火災(zāi)檢測系統(tǒng),該系統(tǒng)可識別不同類型、地點、大小和級別的火災(zāi)或煙霧,檢測到煙霧或火焰時發(fā)出警報,并能預(yù)估火勢變化,以助于消防員根據(jù)火勢更好地開展救援工作。

        4 結(jié)束語

        通過對基于深度學(xué)習(xí)的煙霧火災(zāi)檢測算法當(dāng)前研究現(xiàn)狀的分析可知,深度學(xué)習(xí)技術(shù)為解決傳統(tǒng)煙霧火災(zāi)檢測的問題提供了更好的方法。本文首先圍繞基于目標(biāo)分類、基于目標(biāo)檢測以及基于目標(biāo)分割3種不同的深度學(xué)習(xí)方法對煙霧火災(zāi)檢測算法分析總結(jié);之后介紹了幾種公開的煙霧火災(zāi)數(shù)據(jù)集;最后分析現(xiàn)有方法的不足并展望未來研究方向。

        猜你喜歡
        煙霧卷積火災(zāi)
        基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
        薄如蟬翼輕若煙霧
        影視劇“煙霧繚繞”就該取消評優(yōu)
        華人時刊(2019年13期)2019-11-26 00:54:38
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        咸陽鎖緊煙霧與塵土
        遇火災(zāi)怎么辦?
        掌握火災(zāi)逃生知識
        會下沉的煙霧
        一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識別方法
        中文字幕精品亚洲二区| 日产亚洲一区二区三区| 人妻少妇精品视频一区二区三区| 欧美日本免费一区二| 色av色婷婷18人妻久久久| 森中文字幕一区二区三区免费| 久久久无码精品亚洲日韩按摩 | 日韩精品有码中文字幕在线| 在线精品国产亚洲av麻豆| 国产精品精品自在线拍| 欧美亚洲国产精品久久高清| 亚洲成AV人国产毛片| 国产黄色一区二区在线看| 少妇高潮无套内谢麻豆传| 成在人线av无码免费| 午夜无码国产18禁| 亚洲国产精品国自产拍性色| 亚洲精品无码永久在线观看你懂的 | 国产一区二区三区男人吃奶| 在线亚洲高清揄拍自拍一品区| 亚洲av无码一区二区三区在线 | 青青草小视频在线播放| 性色做爰片在线观看ww| 91精品国产91久久久无码95| 精品国精品自拍自在线| 精品无码av无码专区| 亚洲色欲综合一区二区三区| 日本高清不在线一区二区色| 女人天堂国产精品资源麻豆| 亚洲av成人无码一区二区三区在线观看 | 玖玖色玖玖草玖玖爱在线精品视频| 18禁黄久久久aaa片| 国产精品无码无片在线观看3D| 午夜麻豆视频在线观看| 国产毛多水多高潮高清| 精品少妇人妻av免费久久久| 亚洲一区二区三区99区| 高级会所技师自拍视频在线| 台湾佬自拍偷区亚洲综合| 亚洲中文无码精品久久不卡| 亚洲av色av成人噜噜噜|