祝玉華，司藝藝，李智慧

1.河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，鄭州 450001

2.糧食信息處理與控制教育部重點實驗室（河南工業(yè)大學(xué)），鄭州 450001

火的應(yīng)用，是人類早期偉大的成就之一，在人類文明發(fā)展史上極具重要意義。然而，意外發(fā)生的火災(zāi)對人們的財產(chǎn)安全和生命安全會造成嚴(yán)重危害。在當(dāng)今工業(yè)化時代，工廠及生產(chǎn)車間設(shè)備機械化程度高，由于機械設(shè)備故障、電路短路等，極易產(chǎn)生火花，若發(fā)現(xiàn)不及時，火勢極易沿著設(shè)備蔓延擴大，從而造成嚴(yán)重火災(zāi)。由于火災(zāi)具有破壞力強、蔓延速度快等特性，所以應(yīng)對早期火災(zāi)特征快速檢測，以減少損失。但當(dāng)前的火災(zāi)探測方式仍以傳統(tǒng)的感煙、感溫和感光等傳感器為主，當(dāng)它們距離火源較近時，才能通過電離產(chǎn)生的粒子探測到煙和火，然后進一步激活火警和滅火系統(tǒng)。這種方法相當(dāng)穩(wěn)健，但存在延遲，這會導(dǎo)致火勢迅速蔓延而無法控制。此外，傳感器不能提供火災(zāi)初始位置、傳播方向、規(guī)模、增長速度等信息。隨著視頻監(jiān)控的大量普及，解決這些問題的方法是使用監(jiān)控系統(tǒng)的視頻圖像數(shù)據(jù)。在視頻圖像中，火通常被描述為從一邊移動到另一邊的橙色或黃色火焰，由各種原因引起，如縱火、電火花、化學(xué)反應(yīng)等。通過視頻圖像檢測火災(zāi)面臨著一系列挑戰(zhàn)，所提算法應(yīng)該能夠區(qū)分有火焰的圖像和有橙色或紅色類似火狀物體的圖像、有煙霧的圖像和有云等類似煙霧的圖像。此外，使用監(jiān)控系統(tǒng)需要處理大量的數(shù)據(jù)，如果手動完成，將對勞動力造成巨大損失。因此，國內(nèi)外研究學(xué)者提出基于視頻圖像的火災(zāi)自動檢測算法，主要包括基于傳統(tǒng)火災(zāi)檢測算法和基于深度學(xué)習(xí)的火災(zāi)檢測算法。傳統(tǒng)煙霧與火災(zāi)檢測框架主要包含3個階段，首先采用不同尺度的滑動窗口遍歷輸入圖像，得到可能存在煙霧或火災(zāi)的區(qū)域；其次使用HOG[1]、SIFT[2]、LBP[3]等人工特征抽取方法提取煙霧或火焰的顏色、邊緣、紋理等特征，將候選區(qū)域的圖像轉(zhuǎn)換為特征向量并傳入分類器訓(xùn)練；最后采用SVM、貝葉斯網(wǎng)絡(luò)、隨機森林、BP神經(jīng)網(wǎng)絡(luò)等分類器將這些提取的特征與一組現(xiàn)有的標(biāo)準(zhǔn)特征進行比較，以判斷圖像中是否包含煙霧或火焰。傳統(tǒng)煙霧火災(zāi)檢測算法工作流程如圖1所示，在預(yù)處理階段存在大量冗余計算開銷，影響算法的運行速度；在特征提取階段僅能獲取圖像的低級特征，且提取的特征依賴于先驗知識，缺乏普適性。計算機視覺和監(jiān)督學(xué)習(xí)領(lǐng)域的新技術(shù)，如深度學(xué)習(xí)，為火災(zāi)探測帶來了很大的希望。本文重點從目標(biāo)分類、目標(biāo)檢測、目標(biāo)分割3個領(lǐng)域分析火災(zāi)檢測的深度學(xué)習(xí)方法的優(yōu)缺點，之后列舉了火災(zāi)檢測數(shù)據(jù)集，最后分析了火災(zāi)檢測未來研究方向。

圖1 煙霧火災(zāi)檢測的傳統(tǒng)圖像處理方法流程圖Fig.1 Flow chart of traditional image processing method for smoke fire detection

1 基于深度學(xué)習(xí)的煙霧火災(zāi)檢測算法

深度學(xué)習(xí)是一種能夠自動學(xué)習(xí)訓(xùn)練數(shù)據(jù)集中數(shù)據(jù)內(nèi)部結(jié)構(gòu)的多層級神經(jīng)網(wǎng)絡(luò)算法，可自動檢測和學(xué)習(xí)特征，圖2描述了煙霧火災(zāi)檢測深度學(xué)習(xí)方法的框架。與傳統(tǒng)的煙霧火災(zāi)檢測算法相比，基于深度學(xué)習(xí)的煙霧火災(zāi)檢測算法可抽取更抽象化、更高階的特征，具有速度快、準(zhǔn)確性強、在復(fù)雜環(huán)境下魯棒性更強的優(yōu)勢。其可分為目標(biāo)分類模型、目標(biāo)檢測模型、目標(biāo)分割模型3大類方法。目標(biāo)分類任務(wù)是對于給定的圖像，只需輸出一個類標(biāo)簽，用于判斷圖像中是否含有目標(biāo)，經(jīng)典的分類網(wǎng)絡(luò)結(jié)構(gòu)有AlexNet[4]、GoogLeNet[5]、VGGNet[6]、ResNet[7]、SENet[8]等。目標(biāo)檢測是對多個目標(biāo)定位和圖像分類，需要在原圖像中將目標(biāo)用矩形框框出，經(jīng)典的檢測網(wǎng)絡(luò)有Faster RCNN[9]、SSD[10]、RefineDet[11]、YOLOv3[12]等。目標(biāo)分割是逐像素判斷哪些像素屬于哪些目標(biāo)，在檢測的基礎(chǔ)上，不再使用bounding box框出目標(biāo)的位置，而是將目標(biāo)和背景分離，找出目標(biāo)的輪廓線，經(jīng)典的分割網(wǎng)絡(luò)有FCN[13]、U-Net[14]、DeepLab[15]等。目標(biāo)分類既是計算機視覺的基礎(chǔ)問題，也是圖像分割、目標(biāo)檢測等高層次視覺任務(wù)的基礎(chǔ)。分類的數(shù)據(jù)集不需要手動標(biāo)注目標(biāo)位置框，而檢測是同時輸出類別和位置框，數(shù)據(jù)集需要手動標(biāo)注目標(biāo)，這既復(fù)雜又耗時。因此，大多數(shù)火災(zāi)檢測算法傾向于使用分類網(wǎng)絡(luò)，但檢測的實時性要比分類高，而且可以檢測出發(fā)生火災(zāi)的位置。分割網(wǎng)絡(luò)則是更精確化火災(zāi)區(qū)域，能夠判斷火災(zāi)的規(guī)模，但模型一般較大，工業(yè)部署困難。

圖2 煙霧火災(zāi)檢測的深度學(xué)習(xí)方法框架Fig.2 Deep learning method framework for smoke fire detection

1.1 基于目標(biāo)分類模型的煙霧火災(zāi)檢測算法

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）由一個輸入層和一個輸出層組成，有多個隱含層，輸入層能夠處理多維數(shù)據(jù)，隱藏層通常由卷積層、池化層、全連接層組成，輸出層輸出一個二維特征圖。卷積層提取特征，池化層縮小特征圖簡化計算復(fù)雜圖，同時進行特征壓縮提取主要特征；全連接層連接所有特征并輸出到分類器。卷積神經(jīng)網(wǎng)絡(luò)可以自動學(xué)習(xí)視頻圖像中的火災(zāi)特征，并根據(jù)學(xué)習(xí)到的特征對圖像進行分類，不再需要人工構(gòu)建特征。Frizzi等[16]構(gòu)建9層的卷積神經(jīng)網(wǎng)絡(luò)將視頻圖像分為煙霧、火災(zāi)、正常3類，在由1 427幅火災(zāi)圖像、1 758幅煙霧圖像和2 399幅正常圖像組成的測試集上的分類準(zhǔn)確率達到97.9%，但是該模型只能檢測紅色的火焰，對其他顏色的火焰以及煙霧的檢測效果不理想。此外，只能對視頻幀逐幀處理，沒有考慮幀間煙霧與火災(zāi)的運動特征。

1.1.1 基于與傳統(tǒng)特征相結(jié)合的方法

由于早期火災(zāi)特征不明顯，目標(biāo)較小且無關(guān)區(qū)域較大，若僅使用CNN提取的靜態(tài)特征進行火災(zāi)與煙霧識別，會增大計算復(fù)雜度，影響模型檢測性能，識別精度降低。煙霧的特征之一是可透視性，當(dāng)煙霧開始擴散時，仍然可以觀察到被煙霧覆蓋的物體，若只使用靜態(tài)圖像進行特征提取，背景的原始視覺特征將不可避免地干擾煙霧特征的提取。然而，煙霧的移動、閃爍和擴散等動態(tài)特征為煙霧檢測提供了重要信息，因此，可以根據(jù)運動差異來過濾非煙霧區(qū)域。為此，研究人員專注多融合方法，將深度特征與傳統(tǒng)特征相結(jié)合，成為主流思想。馮路佳等[17]構(gòu)建了基于目標(biāo)區(qū)域的火災(zāi)煙霧檢測網(wǎng)絡(luò)，提出MD_CNN結(jié)構(gòu)。首先在目標(biāo)區(qū)域定位層，采用改進的背景差分法的運動檢測算法提取出待檢測視頻中包含的目標(biāo)煙霧區(qū)域并傳入煙霧識別層；將煙霧識別層中的Conv3與Conv4中卷積核大小更改為3×3，以提取更詳細(xì)的煙霧信息；最后將輸出傳到softmax函數(shù)，輸出煙霧的概率。MD_CNN模型相較于全CNN模型，能夠過濾掉大量無關(guān)信息，提高檢測效果，但由于場景的復(fù)雜性、環(huán)境干擾和噪聲的存在，使用背景拆分法易受疑似煙霧目標(biāo)的影響，造成誤檢。此外，煙霧識別層的網(wǎng)絡(luò)設(shè)計對于不同應(yīng)用場景泛化性差。

1.1.2 基于多尺度特征融合方法

由于火災(zāi)目標(biāo)尺度變化大，基于單尺度特征圖進行火災(zāi)分類的方法，對于不同尺度的火災(zāi)不穩(wěn)健。Yuan等[18]構(gòu)建深度多尺度神經(jīng)網(wǎng)絡(luò)，特征提取層由多個并行的卷積層組成，通過多尺度卷積核來實現(xiàn)多尺度特征提取，解決了光照、尺度不變所引起的問題，實現(xiàn)高準(zhǔn)確率，但是使用多個卷積塊，不可避免地會增大模型復(fù)雜度，以致難以部署。Jeon等[19]提出基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度火災(zāi)預(yù)測框架，每個尺度的特征圖通過特征擠壓塊和softmax函數(shù)預(yù)測火災(zāi)，再用投票加權(quán)算法綜合不同尺度的預(yù)測，確定最終結(jié)果。采取特征擠壓塊，首先通過1×1的卷積將多維通道縮減為二維通道，再通過最大池化縮小尺寸，最后采用全連接層輸出2×1向量。從空間和通道兩方面對特征映射進行擠壓，有效提取多尺度特征圖信息，且使用1×1卷積核能有效減少模型參數(shù)，實現(xiàn)跨通道信息組合，增加了非線性特征，使新特征圖的特征表達更佳?；诙喑叨忍卣魅诤系姆椒m一定程度上能夠提升模型檢測效果，但僅僅融合了煙霧與火災(zāi)的靜態(tài)特征，未融入動態(tài)特征。

1.1.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法

卷積神經(jīng)網(wǎng)絡(luò)只能單獨地處理每一個輸入，即前一個輸入與后一個輸入不相關(guān)?；馂?zāi)和煙霧檢測任務(wù)需要關(guān)注前后幀之間的關(guān)系，以提取動態(tài)特征。循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）能夠更好地處理序列信息，因此得以發(fā)展。文獻[20]基于卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)對視頻序列中的煙霧進行檢測，CNN用來提取特征，RNN用于提取同一目標(biāo)不同幀中對應(yīng)特征之間的關(guān)系。但只能捕捉短時間尺度上的時空特征，不能代表煙霧與火焰的長期變化。長短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）可以在一定程度上解決這個問題，能夠有效地為視頻序列建模。RNN具有對前面信息進行長時記憶的特點，在此基礎(chǔ)上，LSTM通過增加遺忘門避免長期依賴的問題，通過構(gòu)造三個門來控制信息傳遞，解決了傳統(tǒng)RNN模型中梯度消失的問題。因此，LSTM在序列檢測領(lǐng)域得到了廣泛的應(yīng)用，并取得了良好的效果。文獻[21]提出基于卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)的多級火災(zāi)檢測算法，第一步利用HSV顏色模型和火焰的亮度閃爍頻率確定候選區(qū)域，用CNN網(wǎng)絡(luò)提取候選區(qū)域的靜態(tài)特征并輸入到Bi-LSTM網(wǎng)絡(luò)，最后softmax分類器確定目標(biāo)是火焰還是疑似火焰的運動物體，算法結(jié)構(gòu)如圖3所示。該模型利用CNN與雙向LSTM網(wǎng)絡(luò)同時提取火焰的空間域特征以及時間域特征，有較高的F1值，既能實現(xiàn)高準(zhǔn)確率及低召回率，又能滿足實時要求。但由于數(shù)據(jù)集的限制，對于藍色火焰及白色火焰在初期提取候選框時，易造成誤判。Bi-LSTM只是拼接了向前的特征與向后的特征，兩個特征之間無關(guān)聯(lián)，且向前的神經(jīng)元在學(xué)習(xí)過程中只學(xué)習(xí)向前的特征，并未學(xué)習(xí)向后的特征，所以可能并不是一個最優(yōu)的結(jié)果?；贚STM網(wǎng)絡(luò)的方法加入了時間序列，能夠融入煙霧與火災(zāi)的動態(tài)特征，但網(wǎng)絡(luò)中全連接層數(shù)量較多，時間跨度大、網(wǎng)絡(luò)深，計算量相當(dāng)大，難以訓(xùn)練。

圖3 CNN-BiLSTM火災(zāi)分類模型架構(gòu)Fig.3 Fire classification model architecture based on CNN-BiLSTM

1.1.4 基于3DCNN的方法

2D CNN對視頻中每一幀圖像分別利用CNN進行識別，忽略了幀間關(guān)系，因此幀間運動信息會丟失。除使用LSTM網(wǎng)絡(luò)外，3D CNN[22]也能更好地提取視頻中的時間和空間的特征信息，提高檢測效率，在視頻分類、動作識別等領(lǐng)域能夠發(fā)揮巨大優(yōu)勢。吳凡等[23]提出時空域火災(zāi)煙霧檢測算法，利用高斯混合模型和四幀拆分法相結(jié)合的運動目標(biāo)檢測算法分割圖像，過濾掉非煙霧區(qū)域，再輸入到由二維空間域卷積層與一維時間域卷積層組成的3D卷積網(wǎng)絡(luò)模型，最后檢測出結(jié)果后分塊標(biāo)定煙霧區(qū)域。相較于原3D模型能夠降低計算成本，但是仍難以滿足工業(yè)實時性需求。并且3DCNN主要用于短期時序建模，適用于短期變化較明顯的火災(zāi)檢測，對于長期的時間特征提取能力并不能與RNN相媲美。

更多更詳細(xì)的基于目標(biāo)分類模型的煙霧火災(zāi)檢測算法如表1所示，從表中可以看出基于目標(biāo)分類模型的煙霧與火災(zāi)檢測算法改進方向主要包括與傳統(tǒng)特征融合的方法、改進卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法、與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，以及融合多尺度特征的方法。與傳統(tǒng)特征相結(jié)合的方法，能夠?qū)熿F與火災(zāi)的紋理、顏色、閃爍、擴散等傳統(tǒng)特征與CNN提取的深度特征相結(jié)合完成分類，使用傳統(tǒng)特征過濾掉圖像中大量的無關(guān)區(qū)域，再傳入CNN提取深度特征，提升了模型穩(wěn)健性，降低CNN運算量，但提取可疑區(qū)域的計算成本會增加；改進卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法能夠通過改進網(wǎng)絡(luò)結(jié)構(gòu)使網(wǎng)絡(luò)更適用于特定場景，提取更多有效特征，提高檢測效率，但會影響算法的泛化性；與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法可以使用煙霧與火災(zāi)視頻相鄰幀間的相關(guān)性，更好地捕捉煙霧與火災(zāi)的動態(tài)特征，減少誤檢，但是針對煙霧與火災(zāi)變化緩慢的視頻改進效果不明顯，此外，網(wǎng)絡(luò)模型較深，難以訓(xùn)練，檢測速度慢；基于多尺度融合的方法通過融合不同尺度卷積核提取的特征實現(xiàn)，對尺度變化大的煙霧與火災(zāi)有較好的檢測效果，但是增加多尺度卷積層會增加運算量。

表1 基于目標(biāo)分類的煙霧火災(zāi)檢測算法Table 1 Smoke fire detection algorithm based on target classification

1.2 基于目標(biāo)檢測模型的煙霧火災(zāi)檢測算法

目標(biāo)分類只能判斷是否有火災(zāi)發(fā)生，卻無法定位火災(zāi)的位置，因此研究學(xué)者開始探索基于目標(biāo)檢測的煙霧火災(zāi)檢測算法?；谀繕?biāo)檢測的煙霧火災(zāi)檢測算法包括基于區(qū)域提取的算法、基于目標(biāo)回歸的算法以及基于Anchor-free的算法。

1.2.1 基于區(qū)域提取的檢測方法

基于區(qū)域提取的煙霧火災(zāi)檢測算法主要包括從圖像中生成候選區(qū)域、使用候選區(qū)域的特征圖判斷物體類別以及回歸檢測框位置兩個階段，因此也稱兩階段檢測算法。經(jīng)典的算法有Faster R-CNN、FCN等。對二階段檢測算法的改進方式主要包括改進生成候選區(qū)域的過程與提取特征的過程。

文獻[36]基于Faster R-CNN改進提取特征的過程實現(xiàn)火災(zāi)檢測，引入FPN特征融合網(wǎng)絡(luò)，以融合淺層特征和高層次特征。通過Inception Module結(jié)構(gòu)，使用不同尺寸的卷積核，提取更豐富、多尺寸的特征，并加入注意力機制，抑制無關(guān)信息，能夠提升網(wǎng)絡(luò)表達能力，適應(yīng)火災(zāi)多尺度的特性，從而生成更準(zhǔn)確的火災(zāi)特征圖，提升火災(zāi)區(qū)域定位性能。但使用FPN進行特征融合過程中易造成信息衰減，同時存在跨尺度融合中的混疊效應(yīng)。二階段的目標(biāo)檢測算法精度高，定位準(zhǔn)確，但是模型較復(fù)雜，檢測速度慢。因此，基于目標(biāo)檢測模型的煙霧火災(zāi)檢測算法開始面向高效的端到端的一階段目標(biāo)檢測算法。

1.2.2 基于回歸的檢測方法

基于回歸的目標(biāo)檢測算法不需要候選區(qū)域提取階段，直接產(chǎn)生物體的類別概率和位置坐標(biāo)值，經(jīng)過一個階段即可直接得到最終的檢測結(jié)果，因此也稱一階段檢測算法。經(jīng)典的基于回歸的目標(biāo)檢測算法有SSD、YOLO。一階段目標(biāo)檢測算法改進方式有優(yōu)化主干網(wǎng)絡(luò)提取特征的過程，優(yōu)化Neck網(wǎng)絡(luò)融合特征的過程以及輕量化模型。

文獻[37]使用通道剪枝方法輕量化YOLOv3并用于火災(zāi)檢測，依據(jù)BN層weights的系數(shù)來判斷通道的重要性，移除掉不重要的通道，達到減少卷積參數(shù)的效果，通道剪枝結(jié)構(gòu)圖如圖4所示。但通道剪枝的過程中，輸入和輸出維度的改變會引起一些偏差。且使用YOLOv3檢測火災(zāi)時隨著IOU閾值的增加性能會顯著下降。

圖4 通道剪枝結(jié)構(gòu)圖Fig.4 Channel-wise pruning structure diagram

文獻[38]指出單個網(wǎng)絡(luò)模型難以實現(xiàn)多復(fù)雜場景中的特征提取，每個單獨的網(wǎng)絡(luò)都能提取出不同的特征，因此設(shè)計實現(xiàn)集成3個深度網(wǎng)絡(luò)的模型改進特征提取過程用于森林火災(zāi)檢測，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。YOLOv5與EfficientDet兩個目標(biāo)檢測器協(xié)同工作并行檢測火災(zāi)，通過生成候選框以及非極大值抑制確定目標(biāo)火災(zāi)區(qū)域，引入EfficientNet用于關(guān)注全局信息，以降低誤報率。集成3個網(wǎng)絡(luò)的火災(zāi)檢查模型，改善特征提取方法，能夠最大化利用全局特征和局部特征，提升小目標(biāo)檢測精度，提高召回率。但集成模型必定會以速度為代價來完成推理。文獻[39]提出將YOLOv2-Tiny檢測框架部署到K210開發(fā)板實現(xiàn)無人機的火災(zāi)檢測與跟蹤，但是該模型易對類火物體誤檢?；谝浑A段的目標(biāo)檢測方法，直接生成類別概率與回歸檢測框位置，是一個端到端過程，檢測速度快。但是提取到的淺層特征較少，對小目標(biāo)與重疊目標(biāo)檢測效果不好，位置不精確。

圖5 集成網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.5 Integrated network model structure diagram

1.2.3 基于Anchor-free的方法

兩階段、單階段目標(biāo)檢測算法都是基于錨框的，檢測性能受錨框的大小、數(shù)量、縱橫比影響較大，需要人為地根據(jù)經(jīng)驗對錨框超參數(shù)進行調(diào)節(jié)以適應(yīng)不同場景的火災(zāi)，并且調(diào)整后的錨框尺寸固定，對于多尺度的火災(zāi)檢測效果不佳，因此無錨框的方法是成為當(dāng)下研究熱點。文獻[40]采用Ancho-free網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)火災(zāi)檢測模型，選用MobileNetv2作為主干網(wǎng)絡(luò)進行特征提取，在特征選擇層加入FSAF特征選擇模塊選擇合適的特征層傳入預(yù)測層，訓(xùn)練時選擇損失和最小的特征層回傳梯度，預(yù)測時選擇目標(biāo)置信度最高的特征層。在分類子網(wǎng)絡(luò)中采取可形變卷積模塊以解決特征不對齊問題，能夠更好地適應(yīng)各種形狀的火焰，但是同時增加了計算量。Anchor-free的方法能夠減少錨框的參數(shù)量，但是由于只在距離真實框較近的位置預(yù)測，導(dǎo)致煙霧與火災(zāi)的召回率低。

更多更詳細(xì)的基于目標(biāo)檢測的煙霧火災(zāi)檢測算法如表2所示，基于目標(biāo)檢測的煙霧火災(zāi)檢測算法的改進方向主要分為基于兩階段算法的改進、基于單階段的改進以及基于Anchor-free的改進?；趦呻A段目標(biāo)檢測算法的煙霧火災(zāi)檢測模型先生成候選區(qū)域，保證足夠的準(zhǔn)確率和召回率，再對目標(biāo)特征圖進行分類與定位，首先完成了前景背景篩選，能夠選擇性地對樣本進行分類回歸，比一階段目標(biāo)檢測算法直接分類回歸訓(xùn)練難度小，且正負(fù)樣本也更均衡，因此精度會更高，適用于對精度要求高的場景，但經(jīng)歷兩個階段，模型復(fù)雜、速度慢；基于單階段的煙霧火災(zāi)檢測模型無需生成候選區(qū)域，是一個端到端的模型，運算速度快，適用于對實時性要求高的場景，并且使用focal loss能解決樣本不均衡問題，但是容易漏檢小目標(biāo)；基于Anchor-free結(jié)構(gòu)的煙霧火災(zāi)檢測模型無錨框參數(shù)量，有更大更靈活的解空間，可實現(xiàn)實時高精度，但是檢測效果不穩(wěn)定，需要改進調(diào)整權(quán)重的方法。

表2 基于目標(biāo)檢測的煙霧火災(zāi)檢測算法對比Table 2 Comparison of smoke fire detection algorithms based on object detection

1.3 基于目標(biāo)分割模型的煙霧火災(zāi)檢測算法

目標(biāo)分類與目標(biāo)檢測的方法只能判斷圖像中是否有煙霧和火災(zāi)及位置信息，不能檢測火的更詳細(xì)信息，如形狀、大小等。有時，需要關(guān)注火災(zāi)的蔓延趨勢，解決這一問題的較好方法就是煙霧火災(zāi)分割算法。

文獻[50]基于Mask RCNN對室內(nèi)可燃物識別與分割，所得分割物體的尺寸、數(shù)量與分布用于預(yù)測火災(zāi)負(fù)荷。文獻[51]提出基于卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測和分割框架，更適合于朦朧的環(huán)境，采用輕量化的卷積神經(jīng)網(wǎng)絡(luò)EfficientNet分類；再利用DeepLabv3+網(wǎng)絡(luò)對煙霧幀分割，能夠有效降低誤檢率。但是像素級標(biāo)注的數(shù)據(jù)集需要大量的人力，實際應(yīng)用時，數(shù)據(jù)集是問題。在檢測火災(zāi)時，有時不僅需要判斷是否有火災(zāi)或煙霧產(chǎn)生，還需要檢測火災(zāi)位置、形狀、大小等更詳細(xì)的信息，用于評定火災(zāi)或煙霧的等級，以便消防員關(guān)注火災(zāi)煙霧蔓延區(qū)域。

文獻[52]開發(fā)了森林火災(zāi)煙霧的協(xié)作區(qū)域檢測和分級的框架，框架圖如圖6所示，該框架是一種混合模型，單個模型難以完成復(fù)雜的煙霧火災(zāi)檢測任務(wù)，因此通過將幾個簡單的模型集成為混合模型，以獲得更好的性能。每個簡單模型完成一部分任務(wù)，最后采用某種學(xué)習(xí)策略匯總輸出結(jié)果。采用基于分類的模型（ShuffleNet）、基于分割的模型（WSFS）和基于區(qū)域的模型（輕量級Faster R-CNN）來預(yù)測圖像中存在火災(zāi)煙霧的概率，能夠定位、分割并預(yù)測輸入圖像中火災(zāi)煙霧的位置、區(qū)域和類別，基于堆積法學(xué)習(xí)策略確定3個模型的權(quán)重并由3個模型的推理結(jié)果計算最后的結(jié)果。此外還開發(fā)了一個模糊評價系統(tǒng)，用于火災(zāi)煙霧分級。該框架能夠使用圖像級標(biāo)注的數(shù)據(jù)集完成分割，實現(xiàn)火災(zāi)煙霧的早期報警、區(qū)域檢測、分類和分級。但是模型非常復(fù)雜，訓(xùn)練占用顯存太大，對硬件設(shè)備要求極高。

圖6 森林火災(zāi)煙霧檢測與分級框架Fig.6 Forest fire smoke detection and classification framework

基于目標(biāo)分割模型的煙霧火災(zāi)檢測算法可以更精確地定位視頻幀中煙霧與火災(zāi)的邊界，能提供更詳細(xì)的火災(zāi)信息，但模型一般較大，若要應(yīng)用于現(xiàn)實場景需要更短的響應(yīng)時間，此外，若是需要大量的像素級標(biāo)注數(shù)據(jù)集才能提高網(wǎng)絡(luò)模型，會耗費大量的人力。

2 常用數(shù)據(jù)集

由于訓(xùn)練深度學(xué)習(xí)模型依賴于數(shù)據(jù)集，下面給出了一些常用的和公開的煙霧與火災(zāi)數(shù)據(jù)集。但由于火的顏色范圍從藍色到紅色，背景各不相同，煙也是材料燃燒的指示器，有灰色、白色或黑色，進行火災(zāi)探測的場所或位置可能是一個工業(yè)、核電站、建筑、住宅或森林，為了滿足如此廣闊的應(yīng)用領(lǐng)域的圖像特征的分布，將需要非常大和多樣化的數(shù)據(jù)集。目前不存在一個用于煙霧與火災(zāi)檢測的標(biāo)準(zhǔn)數(shù)據(jù)集，因此如何定義一個規(guī)范化的、多樣化的煙霧與火焰數(shù)據(jù)集成為煙霧火災(zāi)檢測未來需要完善的方向。

（1）KMU Fire & Smoke Database

KMU Fire & Smoke數(shù)據(jù)庫由4個類別的視頻組成，有室內(nèi)室外短距離火災(zāi)、室內(nèi)室外短距離煙霧、野火煙霧、煙霧狀與火狀的移動物體等[53]。整個數(shù)據(jù)集有308.1 MB，視頻的幀速率為30 Hz，輸入圖像大小為320×240像素。

（2）Fire Dunning Dataset

這個數(shù)據(jù)集包含正常圖像和有火的圖像，正負(fù)樣本不均衡，包括強度、亮度、大小等不同場景的火災(zāi)圖像[54]。

（3）VisFire

這個數(shù)據(jù)集來自Bilkent大學(xué)，采集自監(jiān)控視頻，由4個類別的視頻組構(gòu)成：火、煙霧、森林煙霧、其他?；馂?zāi)視頻組有13段火災(zāi)場景視頻；煙霧組有21段視頻，包含各種環(huán)境中的煙霧場景；森林煙霧組有4段森林地區(qū)的視頻；其他組有2段視頻，一個是汽車，一個是火；整個樣本數(shù)據(jù)集總共40個視頻片段[55]。

（4）BoWFire

訓(xùn)練集由240幅分辨率為50×50像素的圖像組成，其中80張有火，160張無火，非火災(zāi)圖像中包含紅色或黃色類似火的物體。測試集由226幅不同分辨率的圖像組成，其中包含119張有火圖片和107張無火圖片?；馂?zāi)圖像由不同場景的緊急火災(zāi)事件組成，如建筑物著火、工業(yè)火災(zāi)、車禍和騷亂[56]。數(shù)據(jù)集還對火災(zāi)區(qū)域分割，可以用于火焰分割任務(wù)。

（5）Mivia Fire & Smoke Detection Dataset

由薩勒諾大學(xué)的MIVIA實驗室創(chuàng)建，火災(zāi)數(shù)據(jù)集由31個視頻組成，包含14個火災(zāi)視頻和17個無火視頻，無火視頻內(nèi)含煙霧、云、移動的紅色物體等干擾；煙霧數(shù)據(jù)集包括149個視頻。這些視頻均來自真實環(huán)境，每個視頻長達15 min[55]。

（6）State Key Laboratory of Fire Science Dataset

該數(shù)據(jù)集有30 000個合成圖像，3 578個真實圖像，能夠勝任深度網(wǎng)絡(luò)的訓(xùn)練。合成煙霧和非煙霧圖像的渲染、照明與風(fēng)的參數(shù)在一定范圍內(nèi)隨機設(shè)置，以實現(xiàn)圖像多樣性。由于不同的參數(shù)集直接影響合成煙霧圖像的外觀，這些圖像將是真實的或非真實的。

（7）火災(zāi)科學(xué)國家實驗室的煙霧數(shù)據(jù)集

由中國科學(xué)技術(shù)大學(xué)消防科學(xué)國家重點實驗室創(chuàng)建，該數(shù)據(jù)集包含4組煙霧和非煙霧圖像，其中組1包括552個煙霧和831個非煙霧圖像，組2包括668個煙霧和817個非煙霧圖像，組3包括2 201個煙霧和8 511個非煙霧圖像，組4包括2 254個煙霧和8 363個非煙霧圖像[18]。除了這些圖像數(shù)據(jù)集外，還有另外648張黑白煙霧圖像和兩組非煙霧數(shù)據(jù)集，每組分別由27 707和28 760張圖像組成。

3 總結(jié)與展望

對煙霧或火災(zāi)的早期精準(zhǔn)檢測是控制火災(zāi)的最佳方法，深度學(xué)習(xí)以高精度、高速度、強穩(wěn)定性等優(yōu)勢在煙霧火災(zāi)檢測領(lǐng)域中表現(xiàn)優(yōu)異，因此本文從目標(biāo)分類、目標(biāo)檢測、目標(biāo)分割3個方面對比分析了煙霧火災(zāi)檢測算法現(xiàn)狀，列舉了主流的煙霧火災(zāi)檢測算法的改進措施、優(yōu)勢以及存在的問題。目前，這些技術(shù)還處于發(fā)展階段，深度學(xué)習(xí)在煙霧火災(zāi)檢測應(yīng)用中仍存在一些無法回避的問題亟待解決：（1）火災(zāi)探測的地點可能是一個工業(yè)、核電站、建筑、住宅或森林，因此煙霧和火焰的形態(tài)比較多樣，尺度多變，特征變化大。（2）早期火災(zāi)目標(biāo)小，特征不明顯，早期火災(zāi)檢測困難。（3）現(xiàn)有的火災(zāi)評估模型大多是依據(jù)對環(huán)境各方面的分析以評估發(fā)生火災(zāi)風(fēng)險的可能性以及火災(zāi)隱患，以提前制定預(yù)案防止火災(zāi)發(fā)生[57-59]，用于評估火災(zāi)發(fā)生后火災(zāi)等級的模型較少。

針對以上問題，本文經(jīng)過分析認(rèn)為煙霧與火災(zāi)檢測算法還有以下幾個方面需深入研究：

（1）制作一個全面合理的數(shù)據(jù)集

眾所周知，深度學(xué)習(xí)算法依賴大量的數(shù)據(jù)集，一個全面的數(shù)據(jù)集能夠使模型提取更豐富多樣的特征，以大幅提高檢測效果。然而火災(zāi)檢測領(lǐng)域始終沒有一個權(quán)威且全面的數(shù)據(jù)集，生成對抗網(wǎng)絡(luò)[60]可以使用已有的原始數(shù)據(jù)集生成逼真的人造數(shù)據(jù)，以豐富數(shù)據(jù)集。此外，還可以通過裁剪、旋轉(zhuǎn)變換、顏色變換、噪聲注入、元學(xué)習(xí)數(shù)據(jù)增強等數(shù)據(jù)增強方法進一步擴充樣本數(shù)量，優(yōu)化泛化性弱的檢測局限性。

（2）改進網(wǎng)絡(luò)特征融合模塊

現(xiàn)代網(wǎng)絡(luò)體系結(jié)構(gòu)中特征融合模塊通常通過求和或concatenation等簡單的線性操作實現(xiàn)不同層或分支的特征組合，但由于輸入特征的語義和尺度不一致性，導(dǎo)致這可能并不是最佳選擇。構(gòu)建多尺度通道注意力特征融合模塊，以融合更多有效特征，改善煙霧火焰尺度變化大帶來的檢測困難問題。（3）提升小火焰檢測性能

可通過copy pasting方法增加小火焰數(shù)量，解決小火焰數(shù)據(jù)不易采集，本身判別性特征少的問題。在主干網(wǎng)絡(luò)中引入注意力機制與擴張卷積等模塊，加強特征提取能力，使提取到的特征具有更高的辨識度和魯棒性，提高模型對小火焰的檢測性能。

（4）構(gòu)建更輕量化的模型

選取MobileNetV3[61]等更先進的輕量化網(wǎng)絡(luò)進行特征提取，采用通道剪枝[62]等方法對模型壓縮，使用深度可分離卷積[63]與殘差結(jié)構(gòu)等減少參數(shù)量，提升模型的檢測速度，能夠及時發(fā)現(xiàn)火災(zāi)，減少損失。

（5）有效利用煙霧與火焰的特征

煙霧與火焰具有顏色、紋理、閃爍等特征，使用這些特征在檢測模型中添加前處理或后處理，能夠降低模型誤警率。

（6）開發(fā)綜合火災(zāi)檢測系統(tǒng)

目前的研究工作大多是對煙霧和火災(zāi)進行識別檢測，但是缺乏對火災(zāi)形勢變化的判斷。開發(fā)綜合火災(zāi)檢測系統(tǒng)，該系統(tǒng)可識別不同類型、地點、大小和級別的火災(zāi)或煙霧，檢測到煙霧或火焰時發(fā)出警報，并能預(yù)估火勢變化，以助于消防員根據(jù)火勢更好地開展救援工作。

4 結(jié)束語

通過對基于深度學(xué)習(xí)的煙霧火災(zāi)檢測算法當(dāng)前研究現(xiàn)狀的分析可知，深度學(xué)習(xí)技術(shù)為解決傳統(tǒng)煙霧火災(zāi)檢測的問題提供了更好的方法。本文首先圍繞基于目標(biāo)分類、基于目標(biāo)檢測以及基于目標(biāo)分割3種不同的深度學(xué)習(xí)方法對煙霧火災(zāi)檢測算法分析總結(jié)；之后介紹了幾種公開的煙霧火災(zāi)數(shù)據(jù)集；最后分析現(xiàn)有方法的不足并展望未來研究方向。