祝玉華，司藝藝，李智慧

1.河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，鄭州 450001

2.糧食信息處理與控制教育部重點實驗室（河南工業(yè)大學(xué)），鄭州 450001

火的應(yīng)用，是人類早期偉大的成就之一，在人類文明發(fā)展史上極具重要意義。然而，意外發(fā)生的火災(zāi)對人們的財產(chǎn)安全和生命安全會造成嚴(yán)重危害。在當(dāng)今工業(yè)化時代，工廠及生產(chǎn)車間設(shè)備機械化程度高，由于機械設(shè)備故障、電路短路等，極易產(chǎn)生火花，若發(fā)現(xiàn)不及時，火勢極易沿著設(shè)備蔓延擴(kuò)大，從而造成嚴(yán)重火災(zāi)。由于火災(zāi)具有破壞力強、蔓延速度快等特性，所以應(yīng)對早期火災(zāi)特征快速檢測，以減少損失。但當(dāng)前的火災(zāi)探測方式仍以傳統(tǒng)的感煙、感溫和感光等傳感器為主，當(dāng)它們距離火源較近時，才能通過電離產(chǎn)生的粒子探測到煙和火，然后進(jìn)一步激活火警和滅火系統(tǒng)。這種方法相當(dāng)穩(wěn)健，但存在延遲，這會導(dǎo)致火勢迅速蔓延而無法控制。此外，傳感器不能提供火災(zāi)初始位置、傳播方向、規(guī)模、增長速度等信息。隨著視頻監(jiān)控的大量普及，解決這些問題的方法是使用監(jiān)控系統(tǒng)的視頻圖像數(shù)據(jù)。在視頻圖像中，火通常被描述為從一邊移動到另一邊的橙色或黃色火焰，由各種原因引起，如縱火、電火花、化學(xué)反應(yīng)等。通過視頻圖像檢測火災(zāi)面臨著一系列挑戰(zhàn)，所提算法應(yīng)該能夠區(qū)分有火焰的圖像和有橙色或紅色類似火狀物體的圖像、有煙霧的圖像和有云等類似煙霧的圖像。此外，使用監(jiān)控系統(tǒng)需要處理大量的數(shù)據(jù)，如果手動完成，將對勞動力造成巨大損失。因此，國內(nèi)外研究學(xué)者提出基于視頻圖像的火災(zāi)自動檢測算法，主要包括基于傳統(tǒng)火災(zāi)檢測算法和基于深度學(xué)習(xí)的火災(zāi)檢測算法。傳統(tǒng)煙霧與火災(zāi)檢測框架主要包含3個階段，首先采用不同尺度的滑動窗口遍歷輸入圖像，得到可能存在煙霧或火災(zāi)的區(qū)域；其次使用HOG[1]、SIFT[2]、LBP[3]等人工特征抽取方法提取煙霧或火焰的顏色、邊緣、紋理等特征，將候選區(qū)域的圖像轉(zhuǎn)換為特征向量并傳入分類器訓(xùn)練；最后采用SVM、貝葉斯網(wǎng)絡(luò)、隨機森林、BP神經(jīng)網(wǎng)絡(luò)等分類器將這些提取的特征與一組現(xiàn)有的標(biāo)準(zhǔn)特征進(jìn)行比較，以判斷圖像中是否包含煙霧或火焰。傳統(tǒng)煙霧火災(zāi)檢測算法工作流程如圖1所示，在預(yù)處理階段存在大量冗余計算開銷，影響算法的運行速度；在特征提取階段僅能獲取圖像的低級特征，且提取的特征依賴于先驗知識，缺乏普適性。計算機視覺和監(jiān)督學(xué)習(xí)領(lǐng)域的新技術(shù)，如深度學(xué)習(xí)，為火災(zāi)探測帶來了很大的希望。本文重點從目標(biāo)分類、目標(biāo)檢測、目標(biāo)分割3個領(lǐng)域分析火災(zāi)檢測的深度學(xué)習(xí)方法的優(yōu)缺點，之后列舉了火災(zāi)檢測數(shù)據(jù)集，最后分析了火災(zāi)檢測未來研究方向。

圖1 煙霧火災(zāi)檢測的傳統(tǒng)圖像處理方法流程圖Fig.1 Flow chart of traditional image processing method for smoke fire detection

1 基于深度學(xué)習(xí)的煙霧火災(zāi)檢測算法

深度學(xué)習(xí)是一種能夠自動學(xué)習(xí)訓(xùn)練數(shù)據(jù)集中數(shù)據(jù)內(nèi)部結(jié)構(gòu)的多層級神經(jīng)網(wǎng)絡(luò)算法，可自動檢測和學(xué)習(xí)特征，圖2描述了煙霧火災(zāi)檢測深度學(xué)習(xí)方法的框架。與傳統(tǒng)的煙霧火災(zāi)檢測算法相比，基于深度學(xué)習(xí)的煙霧火災(zāi)檢測算法可抽取更抽象化、更高階的特征，具有速度快、準(zhǔn)確性強、在復(fù)雜環(huán)境下魯棒性更強的優(yōu)勢。其可分為目標(biāo)分類模型、目標(biāo)檢測模型、目標(biāo)分割模型3大類方法。目標(biāo)分類任務(wù)是對于給定的圖像，只需輸出一個類標(biāo)簽，用于判斷圖像中是否含有目標(biāo)，經(jīng)典的分類網(wǎng)絡(luò)結(jié)構(gòu)有AlexNet[4]、GoogLeNet[5]、VGGNet[6]、ResNet[7]、SENet[8]等。目標(biāo)檢測是對多個目標(biāo)定位和圖像分類，需要在原圖像中將目標(biāo)用矩形框框出，經(jīng)典的檢測網(wǎng)絡(luò)有Faster RCNN[9]、SSD[10]、RefineDet[11]、YOLOv3[12]等。目標(biāo)分割是逐像素判斷哪些像素屬于哪些目標(biāo)，在檢測的基礎(chǔ)上，不再使用bounding box框出目標(biāo)的位置，而是將目標(biāo)和背景分離，找出目標(biāo)的輪廓線，經(jīng)典的分割網(wǎng)絡(luò)有FCN[13]、U-Net[14]、DeepLab[15]等。目標(biāo)分類既是計算機視覺的基礎(chǔ)問題，也是圖像分割、目標(biāo)檢測等高層次視覺任務(wù)的基礎(chǔ)。分類的數(shù)據(jù)集不需要手動標(biāo)注目標(biāo)位置框，而檢測是同時輸出類別和位置框，數(shù)據(jù)集需要手動標(biāo)注目標(biāo)，這既復(fù)雜又耗時。因此，大多數(shù)火災(zāi)檢測算法傾向于使用分類網(wǎng)絡(luò)，但檢測的實時性要比分類高，而且可以檢測出發(fā)生火災(zāi)的位置。分割網(wǎng)絡(luò)則是更精確化火災(zāi)區(qū)域，能夠判斷火災(zāi)的規(guī)模，但模型一般較大，工業(yè)部署困難。

圖2 煙霧火災(zāi)檢測的深度學(xué)習(xí)方法框架Fig.2 Deep learning method framework for smoke fire detection

1.1 基于目標(biāo)分類模型的煙霧火災(zāi)檢測算法

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）由一個輸入層和一個輸出層組成，有多個隱含層，輸入層能夠處理多維數(shù)據(jù)，隱藏層通常由卷積層、池化層、全連接層組成，輸出層輸出一個二維特征圖。卷積層提取特征，池化層縮小特征圖簡化計算復(fù)雜圖，同時進(jìn)行特征壓縮提取主要特征；全連接層連接所有特征并輸出到分類器。卷積神經(jīng)網(wǎng)絡(luò)可以自動學(xué)習(xí)視頻圖像中的火災(zāi)特征，并根據(jù)學(xué)習(xí)到的特征對圖像進(jìn)行分類，不再需要人工構(gòu)建特征。Frizzi等[16]構(gòu)建9層的卷積神經(jīng)網(wǎng)絡(luò)將視頻圖像分為煙霧、火災(zāi)、正常3類，在由1 427幅火災(zāi)圖像、1 758幅煙霧圖像和2 399幅正常圖像組成的測試集上的分類準(zhǔn)確率達(dá)到97.9%，但是該模型只能檢測紅色的火焰，對其他顏色的火焰以及煙霧的檢測效果不理想。此外，只能對視頻幀逐幀處理，沒有考慮幀間煙霧與火災(zāi)的運動特征。

1.1.1 基于與傳統(tǒng)特征相結(jié)合的方法

由于早期火災(zāi)特征不明顯，目標(biāo)較小且無關(guān)區(qū)域較大，若僅使用CNN提取的靜態(tài)特征進(jìn)行火災(zāi)與煙霧識別，會增大計算復(fù)雜度，影響模型檢測性能，識別精度降低。煙霧的特征之一是可透視性，當(dāng)煙霧開始擴(kuò)散時，仍然可以觀察到被煙霧覆蓋的物體，若只使用靜態(tài)圖像進(jìn)行特征提取，背景的原始視覺特征將不可避免地干擾煙霧特征的提取。然而，煙霧的移動、閃爍和擴(kuò)散等動態(tài)特征為煙霧檢測提供了重要信息，因此，可以根據(jù)運動差異來過濾非煙霧區(qū)域。為此，研究人員專注多融合方法，將深度特征與傳統(tǒng)特征相結(jié)合，成為主流思想。馮路佳等[17]構(gòu)建了基于目標(biāo)區(qū)域的火災(zāi)煙霧檢測網(wǎng)絡(luò)，提出MD_CNN結(jié)構(gòu)。首先在目標(biāo)區(qū)域定位層，采用改進(jìn)的背景差分法的運動檢測算法提取出待檢測視頻中包含的目標(biāo)煙霧區(qū)域并傳入煙霧識別層；將煙霧識別層中的Conv3與Conv4中卷積核大小更改為3×3，以提取更詳細(xì)的煙霧信息；最后將輸出傳到softmax函數(shù)，輸出煙霧的概率。MD_CNN模型相較于全CNN模型，能夠過濾掉大量無關(guān)信息，提高檢測效果，但由于場景的復(fù)雜性、環(huán)境干擾和噪聲的存在，使用背景拆分法易受疑似煙霧目標(biāo)的影響，造成誤檢。此外，煙霧識別層的網(wǎng)絡(luò)設(shè)計對于不同應(yīng)用場景泛化性差。

1.1.2 基于多尺度特征融合方法

由于火災(zāi)目標(biāo)尺度變化大，基于單尺度特征圖進(jìn)行火災(zāi)分類的方法，對于不同尺度的火災(zāi)不穩(wěn)健。Yuan等[18]構(gòu)建深度多尺度神經(jīng)網(wǎng)絡(luò)，特征提取層由多個并行的卷積層組成，通過多尺度卷積核來實現(xiàn)多尺度特征提取，解決了光照、尺度不變所引起的問題，實現(xiàn)高準(zhǔn)確率，但是使用多個卷積塊，不可避免地會增大模型復(fù)雜度，以致難以部署。Jeon等[19]提出基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度火災(zāi)預(yù)測框架，每個尺度的特征圖通過特征擠壓塊和softmax函數(shù)預(yù)測火災(zāi)，再用投票加權(quán)算法綜合不同尺度的預(yù)測，確定最終結(jié)果。采取特征擠壓塊，首先通過1×1的卷積將多維通道縮減為二維通道，再通過最大池化縮小尺寸，最后采用全連接層輸出2×1向量。從空間和通道兩方面對特征映射進(jìn)行擠壓，有效提取多尺度特征圖信息，且使用1×1卷積核能有效減少模型參數(shù)，實現(xiàn)跨通道信息組合，增加了非線性特征，使新特征圖的特征表達(dá)更佳。基于多尺度特征融合的方法雖一定程度上能夠提升模型檢測效果，但僅僅融合了煙霧與火災(zāi)的靜態(tài)特征，未融入動態(tài)特征。

1.1.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法

卷積神經(jīng)網(wǎng)絡(luò)只能單獨地處理每一個輸入，即前一個輸入與后一個輸入不相關(guān)?；馂?zāi)和煙霧檢測任務(wù)需要關(guān)注前后幀之間的關(guān)系，以提取動態(tài)特征。循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）能夠更好地處理序列信息，因此得以發(fā)展。文獻(xiàn)[20]基于卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)對視頻序列中的煙霧進(jìn)行檢測，CNN用來提取特征，RNN用于提取同一目標(biāo)不同幀中對應(yīng)特征之間的關(guān)系。但只能捕捉短時間尺度上的時空特征，不能代表煙霧與火焰的長期變化。長短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）可以在一定程度上解決這個問題，能夠有效地為視頻序列建模。RNN具有對前面信息進(jìn)行長時記憶的特點，在此基礎(chǔ)上，LSTM通過增加遺忘門避免長期依賴的問題，通過構(gòu)造三個門來控制信息傳遞，解決了傳統(tǒng)RNN模型中梯度消失的問題。因此，LSTM在序列檢測領(lǐng)域得到了廣泛的應(yīng)用，并取得了良好的效果。文獻(xiàn)[21]提出基于卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)的多級火災(zāi)檢測算法，第一步利用HSV顏色模型和火焰的亮度閃爍頻率確定候選區(qū)域，用CNN網(wǎng)絡(luò)提取候選區(qū)域的靜態(tài)特征并輸入到Bi-LSTM網(wǎng)絡(luò)，最后softmax分類器確定目標(biāo)是火焰還是疑似火焰的運動物體，算法結(jié)構(gòu)如圖3所示。該模型利用CNN與雙向LSTM網(wǎng)絡(luò)同時提取火焰的空間域特征以及時間域特征，有較高的F1值，既能實現(xiàn)高準(zhǔn)確率及低召回率，又能滿足實時要求。但由于數(shù)據(jù)集的限制，對于藍(lán)色火焰及白色火焰在初期提取候選框時，易造成誤判。Bi-LSTM只是拼接了向前的特征與向后的特征，兩個特征之間無關(guān)聯(lián)，且向前的神經(jīng)元在學(xué)習(xí)過程中只學(xué)習(xí)向前的特征，并未學(xué)習(xí)向后的特征，所以可能并不是一個最優(yōu)的結(jié)果?；贚STM網(wǎng)絡(luò)的方法加入了時間序列，能夠融入煙霧與火災(zāi)的動態(tài)特征，但網(wǎng)絡(luò)中全連接層數(shù)量較多，時間跨度大、網(wǎng)絡(luò)深，計算量相當(dāng)大，難以訓(xùn)練。

圖3 CNN-BiLSTM火災(zāi)分類模型架構(gòu)Fig.3 Fire classification model architecture based on CNN-BiLSTM

1.1.4 基于3DCNN的方法

2D CNN對視頻中每一幀圖像分別利用CNN進(jìn)行識別，忽略了幀間關(guān)系，因此幀間運動信息會丟失。除使用LSTM網(wǎng)絡(luò)外，3D CNN[22]也能更好地提取視頻中的時間和空間的特征信息，提高檢測效率，在視頻分類、動作識別等領(lǐng)域能夠發(fā)揮巨大優(yōu)勢。吳凡等[23]提出時空域火災(zāi)煙霧檢測算法，利用高斯混合模型和四幀拆分法相結(jié)合的運動目標(biāo)檢測算法分割圖像，過濾掉非煙霧區(qū)域，再輸入到由二維空間域卷積層與一維時間域卷積層組成的3D卷積網(wǎng)絡(luò)模型，最后檢測出結(jié)果后分塊標(biāo)定煙霧區(qū)域。相較于原3D模型能夠降低計算成本，但是仍難以滿足工業(yè)實時性需求。并且3DCNN主要用于短期時序建模，適用于短期變化較明顯的火災(zāi)檢測，對于長期的時間特征提取能力并不能與RNN相媲美。

更多更詳細(xì)的基于目標(biāo)分類模型的煙霧火災(zāi)檢測算法如表1所示，從表中可以看出基于目標(biāo)分類模型的煙霧與火災(zāi)檢測算法改進(jìn)方向主要包括與傳統(tǒng)特征融合的方法、改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法、與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，以及融合多尺度特征的方法。與傳統(tǒng)特征相結(jié)合的方法，能夠?qū)熿F與火災(zāi)的紋理、顏色、閃爍、擴(kuò)散等傳統(tǒng)特征與CNN提取的深度特征相結(jié)合完成分類，使用傳統(tǒng)特征過濾掉圖像中大量的無關(guān)區(qū)域，再傳入CNN提取深度特征，提升了模型穩(wěn)健性，降低CNN運算量，但提取可疑區(qū)域的計算成本會增加；改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法能夠通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)使網(wǎng)絡(luò)更適用于特定場景，提取更多有效特征，提高檢測效率，但會影響算法的泛化性；與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法可以使用煙霧與火災(zāi)視頻相鄰幀間的相關(guān)性，更好地捕捉煙霧與火災(zāi)的動態(tài)特征，減少誤檢，但是針對煙霧與火災(zāi)變化緩慢的視頻改進(jìn)效果不明顯，此外，網(wǎng)絡(luò)模型較深，難以訓(xùn)練，檢測速度慢；基于多尺度融合的方法通過融合不同尺度卷積核提取的特征實現(xiàn)，對尺度變化大的煙霧與火災(zāi)有較好的檢測效果，但是增加多尺度卷積層會增加運算量。

表1 基于目標(biāo)分類的煙霧火災(zāi)檢測算法Table 1 Smoke fire detection algorithm based on target classification

1.2 基于目標(biāo)檢測模型的煙霧火災(zāi)檢測算法

目標(biāo)分類只能判斷是否有火災(zāi)發(fā)生，卻無法定位火災(zāi)的位置，因此研究學(xué)者開始探索基于目標(biāo)檢測的煙霧火災(zāi)檢測算法?；谀繕?biāo)檢測的煙霧火災(zāi)檢測算法包括基于區(qū)域提取的算法、基于目標(biāo)回歸的算法以及基于Anchor-free的算法。

1.2.1 基于區(qū)域提取的檢測方法

基于區(qū)域提取的煙霧火災(zāi)檢測算法主要包括從圖像中生成候選區(qū)域、使用候選區(qū)域的特征圖判斷物體類別以及回歸檢測框位置兩個階段，因此也稱兩階段檢測算法。經(jīng)典的算法有Faster R-CNN、FCN等。對二階段檢測算法的改進(jìn)方式主要包括改進(jìn)生成候選區(qū)域的過程與提取特征的過程。

文獻(xiàn)[36]基于Faster R-CNN改進(jìn)提取特征的過程實現(xiàn)火災(zāi)檢測，引入FPN特征融合網(wǎng)絡(luò)，以融合淺層特征和高層次特征。通過Inception Module結(jié)構(gòu)，使用不同尺寸的卷積核，提取更豐富、多尺寸的特征，并加入注意力機制，抑制無關(guān)信息，能夠提升網(wǎng)絡(luò)表達(dá)能力，適應(yīng)火災(zāi)多尺度的特性，從而生成更準(zhǔn)確的火災(zāi)特征圖，提升火災(zāi)區(qū)域定位性能。但使用FPN進(jìn)行特征融合過程中易造成信息衰減，同時存在跨尺度融合中的混疊效應(yīng)。二階段的目標(biāo)檢測算法精度高，定位準(zhǔn)確，但是模型較復(fù)雜，檢測速度慢。因此，基于目標(biāo)檢測模型的煙霧火災(zāi)檢測算法開始面向高效的端到端的一階段目標(biāo)檢測算法。

1.2.2 基于回歸的檢測方法

基于回歸的目標(biāo)檢測算法不需要候選區(qū)域提取階段，直接產(chǎn)生物體的類別概率和位置坐標(biāo)值，經(jīng)過一個階段即可直接得到最終的檢測結(jié)果，因此也稱一階段檢測算法。經(jīng)典的基于回歸的目標(biāo)檢測算法有SSD、YOLO。一階段目標(biāo)檢測算法改進(jìn)方式有優(yōu)化主干網(wǎng)絡(luò)提取特征的過程，優(yōu)化Neck網(wǎng)絡(luò)融合特征的過程以及輕量化模型。

文獻(xiàn)[37]使用通道剪枝方法輕量化YOLOv3并用于火災(zāi)檢測，依據(jù)BN層weights的系數(shù)來判斷通道的重要性，移除掉不重要的通道，達(dá)到減少卷積參數(shù)的效果，通道剪枝結(jié)構(gòu)圖如圖4所示。但通道剪枝的過程中，輸入和輸出維度的改變會引起一些偏差。且使用YOLOv3檢測火災(zāi)時隨著IOU閾值的增加性能會顯著下降。

圖4 通道剪枝結(jié)構(gòu)圖Fig.4 Channel-wise pruning structure diagram

文獻(xiàn)[38]指出單個網(wǎng)絡(luò)模型難以實現(xiàn)多復(fù)雜場景中的特征提取，每個單獨的網(wǎng)絡(luò)都能提取出不同的特征，因此設(shè)計實現(xiàn)集成3個深度網(wǎng)絡(luò)的模型改進(jìn)特征提取過程用于森林火災(zāi)檢測，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。YOLOv5與EfficientDet兩個目標(biāo)檢測器協(xié)同工作并行檢測火災(zāi)，通過生成候選框以及非極大值抑制確定目標(biāo)火災(zāi)區(qū)域，引入EfficientNet用于關(guān)注全局信息，以降低誤報率。集成3個網(wǎng)絡(luò)的火災(zāi)檢查模型，改善特征提取方法，能夠最大化利用全局特征和局部特征，提升小目標(biāo)檢測精度，提高召回率。但集成模型必定會以速度為代價來完成推理。文獻(xiàn)[39]提出將YOLOv2-Tiny檢測框架部署到K210開發(fā)板實現(xiàn)無人機的火災(zāi)檢測與跟蹤，但是該模型易對類火物體誤檢。基于一階段的目標(biāo)檢測方法，直接生成類別概率與回歸檢測框位置，是一個端到端過程，檢測速度快。但是提取到的淺層特征較少，對小目標(biāo)與重疊目標(biāo)檢測效果不好，位置不精確。

圖5 集成網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.5 Integrated network model structure diagram

1.2.3 基于Anchor-free的方法

兩階段、單階段目標(biāo)檢測算法都是基于錨框的，檢測性能受錨框的大小、數(shù)量、縱橫比影響較大，需要人為地根據(jù)經(jīng)驗對錨框超參數(shù)進(jìn)行調(diào)節(jié)以適應(yīng)不同場景的火災(zāi)，并且調(diào)整后的錨框尺寸固定，對于多尺度的火災(zāi)檢測效果不佳，因此無錨框的方法是成為當(dāng)下研究熱點。文獻(xiàn)[40]采用Ancho-free網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)火災(zāi)檢測模型，選用MobileNetv2作為主干網(wǎng)絡(luò)進(jìn)行特征提取，在特征選擇層加入FSAF特征選擇模塊選擇合適的特征層傳入預(yù)測層，訓(xùn)練時選擇損失和最小的特征層回傳梯度，預(yù)測時選擇目標(biāo)置信度最高的特征層。在分類子網(wǎng)絡(luò)中采取可形變卷積模塊以解決特征不對齊問題，能夠更好地適應(yīng)各種形狀的火焰，但是同時增加了計算量。Anchor-free的方法能夠減少錨框的參數(shù)量，但是由于只在距離真實框較近的位置預(yù)測，導(dǎo)致煙霧與火災(zāi)的召回率低。

更多更詳細(xì)的基于目標(biāo)檢測的煙霧火災(zāi)檢測算法如表2所示，基于目標(biāo)檢測的煙霧火災(zāi)檢測算法的改進(jìn)方向主要分為基于兩階段算法的改進(jìn)、基于單階段的改進(jìn)以及基于Anchor-free的改進(jìn)。基于兩階段目標(biāo)檢測算法的煙霧火災(zāi)檢測模型先生成候選區(qū)域，保證足夠的準(zhǔn)確率和召回率，再對目標(biāo)特征圖進(jìn)行分類與定位，首先完成了前景背景篩選，能夠選擇性地對樣本進(jìn)行分類回歸，比一階段目標(biāo)檢測算法直接分類回歸訓(xùn)練難度小，且正負(fù)樣本也更均衡，因此精度會更高，適用于對精度要求高的場景，但經(jīng)歷兩個階段，模型復(fù)雜、速度慢；基于單階段的煙霧火災(zāi)檢測模型無需生成候選區(qū)域，是一個端到端的模型，運算速度快，適用于對實時性要求高的場景，并且使用focal loss能解決樣本不均衡問題，但是容易漏檢小目標(biāo)；基于Anchor-free結(jié)構(gòu)的煙霧火災(zāi)檢測模型無錨框參數(shù)量，有更大更靈活的解空間，可實現(xiàn)實時高精度，但是檢測效果不穩(wěn)定，需要改進(jìn)調(diào)整權(quán)重的方法。

表2 基于目標(biāo)檢測的煙霧火災(zāi)檢測算法對比Table 2 Comparison of smoke fire detection algorithms based on object detection

1.3 基于目標(biāo)分割模型的煙霧火災(zāi)檢測算法

目標(biāo)分類與目標(biāo)檢測的方法只能判斷圖像中是否有煙霧和火災(zāi)及位置信息，不能檢測火的更詳細(xì)信息，如形狀、大小等。有時，需要關(guān)注火災(zāi)的蔓延趨勢，解決這一問題的較好方法就是煙霧火災(zāi)分割算法。

文獻(xiàn)[50]基于Mask RCNN對室內(nèi)可燃物識別與分割，所得分割物體的尺寸、數(shù)量與分布用于預(yù)測火災(zāi)負(fù)荷。文獻(xiàn)[51]提出基于卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測和分割框架，更適合于朦朧的環(huán)境，采用輕量化的卷積神經(jīng)網(wǎng)絡(luò)EfficientNet分類；再利用DeepLabv3+網(wǎng)絡(luò)對煙霧幀分割，能夠有效降低誤檢率。但是像素級標(biāo)注的數(shù)據(jù)集需要大量的人力，實際應(yīng)用時，數(shù)據(jù)集是問題。在檢測火災(zāi)時，有時不僅需要判斷是否有火災(zāi)或煙霧產(chǎn)生，還需要檢測火災(zāi)位置、形狀、大小等更詳細(xì)的信息，用于評定火災(zāi)或煙霧的等級，以便消防員關(guān)注火災(zāi)煙霧蔓延區(qū)域。

文獻(xiàn)[52]開發(fā)了森林火災(zāi)煙霧的協(xié)作區(qū)域檢測和分級的框架，框架圖如圖6所示，該框架是一種混合模型，單個模型難以完成復(fù)雜的煙霧火災(zāi)檢測任務(wù)，因此通過將幾個簡單的模型集成為混合模型，以獲得更好的性能。每個簡單模型完成一部分任務(wù)，最后采用某種學(xué)習(xí)策略匯總輸出結(jié)果。采用基于分類的模型（ShuffleNet）、基于分割的模型（WSFS）和基于區(qū)域的模型（輕量級Faster R-CNN）來預(yù)測圖像中存在火災(zāi)煙霧的概率，能夠定位、分割并預(yù)測輸入圖像中火災(zāi)煙霧的位置、區(qū)域和類別，基于堆積法學(xué)習(xí)策略確定3個模型的權(quán)重并由3個模型的推理結(jié)果計算最后的結(jié)果。此外還開發(fā)了一個模糊評價系統(tǒng)，用于火災(zāi)煙霧分級。該框架能夠使用圖像級標(biāo)注的數(shù)據(jù)集完成分割，實現(xiàn)火災(zāi)煙霧的早期報警、區(qū)域檢測、分類和分級。但是模型非常復(fù)雜，訓(xùn)練占用顯存太大，對硬件設(shè)備要求極高。

圖6 森林火災(zāi)煙霧檢測與分級框架Fig.6 Forest fire smoke detection and classification framework

基于目標(biāo)分割模型的煙霧火災(zāi)檢測算法可以更精確地定位視頻幀中煙霧與火災(zāi)的邊界，能提供更詳細(xì)的火災(zāi)信息，但模型一般較大，若要應(yīng)用于現(xiàn)實場景需要更短的響應(yīng)時間，此外，若是需要大量的像素級標(biāo)注數(shù)據(jù)集才能提高網(wǎng)絡(luò)模型，會耗費大量的人力。

2 常用數(shù)據(jù)集

由于訓(xùn)練深度學(xué)習(xí)模型依賴于數(shù)據(jù)集，下面給出了一些常用的和公開的煙霧與火災(zāi)數(shù)據(jù)集。但由于火的顏色范圍從藍(lán)色到紅色，背景各不相同，煙也是材料燃燒的指示器，有灰色、白色或黑色，進(jìn)行火災(zāi)探測的場所或位置可能是一個工業(yè)、核電站、建筑、住宅或森林，為了滿足如此廣闊的應(yīng)用領(lǐng)域的圖像特征的分布，將需要非常大和多樣化的數(shù)據(jù)集。目前不存在一個用于煙霧與火災(zāi)檢測的標(biāo)準(zhǔn)數(shù)據(jù)集，因此如何定義一個規(guī)范化的、多樣化的煙霧與火焰數(shù)據(jù)集成為煙霧火災(zāi)檢測未來需要完善的方向。

（1）KMU Fire & Smoke Database

KMU Fire & Smoke數(shù)據(jù)庫由4個類別的視頻組成，有室內(nèi)室外短距離火災(zāi)、室內(nèi)室外短距離煙霧、野火煙霧、煙霧狀與火狀的移動物體等[53]。整個數(shù)據(jù)集有308.1 MB，視頻的幀速率為30 Hz，輸入圖像大小為320×240像素。

（2）Fire Dunning Dataset

這個數(shù)據(jù)集包含正常圖像和有火的圖像，正負(fù)樣本不均衡，包括強度、亮度、大小等不同場景的火災(zāi)圖像[54]。

（3）VisFire

這個數(shù)據(jù)集來自Bilkent大學(xué)，采集自監(jiān)控視頻，由4個類別的視頻組構(gòu)成：火、煙霧、森林煙霧、其他?；馂?zāi)視頻組有13段火災(zāi)場景視頻；煙霧組有21段視頻，包含各種環(huán)境中的煙霧場景；森林煙霧組有4段森林地區(qū)的視頻；其他組有2段視頻，一個是汽車，一個是火；整個樣本數(shù)據(jù)集總共40個視頻片段[55]。

（4）BoWFire

訓(xùn)練集由240幅分辨率為50×50像素的圖像組成，其中80張有火，160張無火，非火災(zāi)圖像中包含紅色或黃色類似火的物體。測試集由226幅不同分辨率的圖像組成，其中包含119張有火圖片和107張無火圖片?；馂?zāi)圖像由不同場景的緊急火災(zāi)事件組成，如建筑物著火、工業(yè)火災(zāi)、車禍和騷亂[56]。數(shù)據(jù)集還對火災(zāi)區(qū)域分割，可以用于火焰分割任務(wù)。

（5）Mivia Fire & Smoke Detection Dataset

由薩勒諾大學(xué)的MIVIA實驗室創(chuàng)建，火災(zāi)數(shù)據(jù)集由31個視頻組成，包含14個火災(zāi)視頻和17個無火視頻，無火視頻內(nèi)含煙霧、云、移動的紅色物體等干擾；煙霧數(shù)據(jù)集包括149個視頻。這些視頻均來自真實環(huán)境，每個視頻長達(dá)15 min[55]。

（6）State Key Laboratory of Fire Science Dataset

該數(shù)據(jù)集有30 000個合成圖像，3 578個真實圖像，能夠勝任深度網(wǎng)絡(luò)的訓(xùn)練。合成煙霧和非煙霧圖像的渲染、照明與風(fēng)的參數(shù)在一定范圍內(nèi)隨機設(shè)置，以實現(xiàn)圖像多樣性。由于不同的參數(shù)集直接影響合成煙霧圖像的外觀，這些圖像將是真實的或非真實的。

（7）火災(zāi)科學(xué)國家實驗室的煙霧數(shù)據(jù)集

由中國科學(xué)技術(shù)大學(xué)消防科學(xué)國家重點實驗室創(chuàng)建，該數(shù)據(jù)集包含4組煙霧和非煙霧圖像，其中組1包括552個煙霧和831個非煙霧圖像，組2包括668個煙霧和817個非煙霧圖像，組3包括2 201個煙霧和8 511個非煙霧圖像，組4包括2 254個煙霧和8 363個非煙霧圖像[18]。除了這些圖像數(shù)據(jù)集外，還有另外648張黑白煙霧圖像和兩組非煙霧數(shù)據(jù)集，每組分別由27 707和28 760張圖像組成。

3 總結(jié)與展望

對煙霧或火災(zāi)的早期精準(zhǔn)檢測是控制火災(zāi)的最佳方法，深度學(xué)習(xí)以高精度、高速度、強穩(wěn)定性等優(yōu)勢在煙霧火災(zāi)檢測領(lǐng)域中表現(xiàn)優(yōu)異，因此本文從目標(biāo)分類、目標(biāo)檢測、目標(biāo)分割3個方面對比分析了煙霧火災(zāi)檢測算法現(xiàn)狀，列舉了主流的煙霧火災(zāi)檢測算法的改進(jìn)措施、優(yōu)勢以及存在的問題。目前，這些技術(shù)還處于發(fā)展階段，深度學(xué)習(xí)在煙霧火災(zāi)檢測應(yīng)用中仍存在一些無法回避的問題亟待解決：（1）火災(zāi)探測的地點可能是一個工業(yè)、核電站、建筑、住宅或森林，因此煙霧和火焰的形態(tài)比較多樣，尺度多變，特征變化大。（2）早期火災(zāi)目標(biāo)小，特征不明顯，早期火災(zāi)檢測困難。（3）現(xiàn)有的火災(zāi)評估模型大多是依據(jù)對環(huán)境各方面的分析以評估發(fā)生火災(zāi)風(fēng)險的可能性以及火災(zāi)隱患，以提前制定預(yù)案防止火災(zāi)發(fā)生[57-59]，用于評估火災(zāi)發(fā)生后火災(zāi)等級的模型較少。

針對以上問題，本文經(jīng)過分析認(rèn)為煙霧與火災(zāi)檢測算法還有以下幾個方面需深入研究：

（1）制作一個全面合理的數(shù)據(jù)集

眾所周知，深度學(xué)習(xí)算法依賴大量的數(shù)據(jù)集，一個全面的數(shù)據(jù)集能夠使模型提取更豐富多樣的特征，以大幅提高檢測效果。然而火災(zāi)檢測領(lǐng)域始終沒有一個權(quán)威且全面的數(shù)據(jù)集，生成對抗網(wǎng)絡(luò)[60]可以使用已有的原始數(shù)據(jù)集生成逼真的人造數(shù)據(jù)，以豐富數(shù)據(jù)集。此外，還可以通過裁剪、旋轉(zhuǎn)變換、顏色變換、噪聲注入、元學(xué)習(xí)數(shù)據(jù)增強等數(shù)據(jù)增強方法進(jìn)一步擴(kuò)充樣本數(shù)量，優(yōu)化泛化性弱的檢測局限性。

（2）改進(jìn)網(wǎng)絡(luò)特征融合模塊

現(xiàn)代網(wǎng)絡(luò)體系結(jié)構(gòu)中特征融合模塊通常通過求和或concatenation等簡單的線性操作實現(xiàn)不同層或分支的特征組合，但由于輸入特征的語義和尺度不一致性，導(dǎo)致這可能并不是最佳選擇。構(gòu)建多尺度通道注意力特征融合模塊，以融合更多有效特征，改善煙霧火焰尺度變化大帶來的檢測困難問題。（3）提升小火焰檢測性能

可通過copy pasting方法增加小火焰數(shù)量，解決小火焰數(shù)據(jù)不易采集，本身判別性特征少的問題。在主干網(wǎng)絡(luò)中引入注意力機制與擴(kuò)張卷積等模塊，加強特征提取能力，使提取到的特征具有更高的辨識度和魯棒性，提高模型對小火焰的檢測性能。

（4）構(gòu)建更輕量化的模型

選取MobileNetV3[61]等更先進(jìn)的輕量化網(wǎng)絡(luò)進(jìn)行特征提取，采用通道剪枝[62]等方法對模型壓縮，使用深度可分離卷積[63]與殘差結(jié)構(gòu)等減少參數(shù)量，提升模型的檢測速度，能夠及時發(fā)現(xiàn)火災(zāi)，減少損失。

（5）有效利用煙霧與火焰的特征

煙霧與火焰具有顏色、紋理、閃爍等特征，使用這些特征在檢測模型中添加前處理或后處理，能夠降低模型誤警率。

（6）開發(fā)綜合火災(zāi)檢測系統(tǒng)

目前的研究工作大多是對煙霧和火災(zāi)進(jìn)行識別檢測，但是缺乏對火災(zāi)形勢變化的判斷。開發(fā)綜合火災(zāi)檢測系統(tǒng)，該系統(tǒng)可識別不同類型、地點、大小和級別的火災(zāi)或煙霧，檢測到煙霧或火焰時發(fā)出警報，并能預(yù)估火勢變化，以助于消防員根據(jù)火勢更好地開展救援工作。

4 結(jié)束語

通過對基于深度學(xué)習(xí)的煙霧火災(zāi)檢測算法當(dāng)前研究現(xiàn)狀的分析可知，深度學(xué)習(xí)技術(shù)為解決傳統(tǒng)煙霧火災(zāi)檢測的問題提供了更好的方法。本文首先圍繞基于目標(biāo)分類、基于目標(biāo)檢測以及基于目標(biāo)分割3種不同的深度學(xué)習(xí)方法對煙霧火災(zāi)檢測算法分析總結(jié)；之后介紹了幾種公開的煙霧火災(zāi)數(shù)據(jù)集；最后分析現(xiàn)有方法的不足并展望未來研究方向。