朱彌雪，劉志強(qiáng)，張 旭，李文靜，蘇佳新

1.內(nèi)蒙古工業(yè)大學(xué) 信息工程學(xué)院，呼和浩特 010080

2.內(nèi)蒙古建筑職業(yè)技術(shù)學(xué)院，呼和浩特 010020

火災(zāi)對(duì)自然環(huán)境的影響體現(xiàn)在改變?nèi)蛱佳h(huán)、植被更新、土壤性質(zhì)和氣候變化等方面，對(duì)社會(huì)的影響體現(xiàn)在危及生命和公共財(cái)產(chǎn)安全，造成巨大的經(jīng)濟(jì)損失。由于森林、草原火災(zāi)一旦發(fā)生就難以控制和撲滅，因此對(duì)火災(zāi)的及時(shí)檢測(cè)非常重要。大火未至，煙霧先到?；馂?zāi)發(fā)生時(shí)，煙霧往往比明火出現(xiàn)得要早且前期特征更為明顯，若能及時(shí)準(zhǔn)確地檢測(cè)到煙霧，則對(duì)于火災(zāi)預(yù)警和撲救都有重大意義。煙霧探測(cè)器不僅易受環(huán)境中粉塵等細(xì)小顆粒的干擾，而且只有當(dāng)煙霧達(dá)到一定濃度時(shí)才能引發(fā)警報(bào)。由于戶(hù)外環(huán)境空曠、空氣流動(dòng)等因素導(dǎo)致煙霧易飄散，使得煙霧探測(cè)器的檢測(cè)精確度大幅降低。視頻煙霧檢測(cè)技術(shù)憑借其成本低、監(jiān)控范圍廣的優(yōu)勢(shì)有效彌補(bǔ)了煙霧探測(cè)器的不足，尤其適用于森林、草原等場(chǎng)所，眾多學(xué)者對(duì)其開(kāi)始研究。

基于可見(jiàn)光圖像和視頻的煙霧檢測(cè)是煙霧檢測(cè)領(lǐng)域的重要研究方向，不僅極具理論研究?jī)r(jià)值，且在實(shí)際應(yīng)用中也取得了一些成果。例如王曉薇等[1]利用煙霧的運(yùn)動(dòng)、紋理和煙霧的顏色特征，結(jié)合深度置信網(wǎng)絡(luò)（deep belief networks，DBN）來(lái)檢測(cè)煙霧，魯棒性較好。郝建紅等[2]提出ELU激活函數(shù)，替換卷積神經(jīng)網(wǎng)絡(luò)[3]（convolutional neural networks，CNN）中的Sigmoid、Tanh和RELU激活函數(shù)，能夠提高煙霧檢測(cè)準(zhǔn)確率，降低誤檢率和漏報(bào)率，同時(shí)還提高了模型訓(xùn)練速度。

為綜合分析和了解現(xiàn)今各種深度網(wǎng)絡(luò)模型在煙霧檢測(cè)中的應(yīng)用，首先介紹了煙霧檢測(cè)存在的難點(diǎn)問(wèn)題，分析了傳統(tǒng)視頻煙霧檢測(cè)算法的不足；其次探討了煙霧檢測(cè)常用的深度網(wǎng)絡(luò)模型，對(duì)比分析其優(yōu)勢(shì)和不足，又根據(jù)研究動(dòng)機(jī)對(duì)視頻煙霧檢測(cè)改進(jìn)算法進(jìn)行分組對(duì)比，總結(jié)現(xiàn)有模型和方法在實(shí)際應(yīng)用中存在的優(yōu)勢(shì)和不足，最后討論了視頻煙霧檢測(cè)算法的進(jìn)一步研究方向。

1 煙霧檢測(cè)的研究背景

1.1 煙霧檢測(cè)的難點(diǎn)

森林防火要求“打早、打小、打了”，因此煙霧檢測(cè)不僅對(duì)算法的實(shí)時(shí)性要求較高且對(duì)檢測(cè)精度也有著極高的要求?，F(xiàn)有煙霧檢測(cè)算法還不能完全滿足煙霧檢測(cè)的要求，其主要面臨的主要挑戰(zhàn)如下：

（1）待檢測(cè)視頻背景復(fù)雜。不僅有樹(shù)木等的遮擋，還存在類(lèi)煙霧干擾、光照變化影響等。（2）煙霧自身特性變化問(wèn)題。煙霧為非剛性物體，形狀、顏色、紋理易隨時(shí)間變化導(dǎo)致無(wú)法提取到煙霧最本質(zhì)的特征。（3）煙霧檢測(cè)對(duì)實(shí)時(shí)性的要求高。為保證檢測(cè)精度難以避免網(wǎng)絡(luò)層數(shù)增加、參數(shù)變多、計(jì)算量增大的問(wèn)題，導(dǎo)致實(shí)時(shí)性提升受到一定的限制。（4）獲取真實(shí)火災(zāi)煙霧樣本難度大，現(xiàn)有樣本多是人為模擬火災(zāi)的煙霧，存在樣本不足且背景單一、樣本不平衡的問(wèn)題。

1.2 傳統(tǒng)視頻煙霧檢測(cè)算法

大多數(shù)傳統(tǒng)的視頻煙霧檢測(cè)算法采用模式識(shí)別過(guò)程，模式識(shí)別過(guò)程主要包括特征提取和分類(lèi)，由人工提取特征和設(shè)計(jì)識(shí)別器。在提取候選區(qū)域后，利用靜態(tài)和動(dòng)態(tài)煙霧特征進(jìn)行煙霧識(shí)別。雖然相較于探測(cè)器取得了一些進(jìn)展，但大多數(shù)算法僅對(duì)火災(zāi)的快速探測(cè)有效，難以提取到煙霧最本質(zhì)的特征，檢測(cè)過(guò)程也相對(duì)緩慢。劉長(zhǎng)春等[4]利用HSV（hue、saturation、value）顏色空間，計(jì)算連續(xù)幀的局部區(qū)域信噪比來(lái)提取煙霧的動(dòng)態(tài)變化特征，檢測(cè)煙霧發(fā)生區(qū)域，然后結(jié)合LBP（local binary patterns）紋理特征采用支持向量機(jī)區(qū)分出煙霧區(qū)域。該模型在其測(cè)試數(shù)據(jù)集上平均檢測(cè)精確率較高，但其誤警率較高。王韋剛等[5]提出TDFF（triple multi feature local binary patterns and derivative gabor feature fusion）煙霧檢測(cè)算法，捕捉到更清晰的紋理特征和優(yōu)化的圖像邊緣灰度信息，該算法在文中數(shù)據(jù)集上的平均檢測(cè)率較高，誤警率較高。

傳統(tǒng)視頻煙霧檢測(cè)方法雖取得了一定的效果，但仍存在著以下問(wèn)題：（1）準(zhǔn)確性差。特征提取需要依靠專(zhuān)業(yè)知識(shí)進(jìn)行人工特征選擇，存在特征設(shè)計(jì)不合理及外在因素干擾，例如光照、背景等，導(dǎo)致識(shí)別效果差。（2）魯棒性差。傳統(tǒng)視頻煙霧檢測(cè)算法通常只在某一場(chǎng)景下檢測(cè)效果好，而不適用于其他場(chǎng)景。

與傳統(tǒng)視頻煙霧檢測(cè)方法不同，基于深度學(xué)習(xí)的視頻煙霧檢測(cè)算法能實(shí)現(xiàn)端到端、自動(dòng)選取煙霧特征，特征種類(lèi)和規(guī)模更加豐富，這在一定程度上解決了傳統(tǒng)視頻煙霧檢測(cè)算法魯棒性差的問(wèn)題。

2 基于深度學(xué)習(xí)的視頻煙霧檢測(cè)算法

深度學(xué)習(xí)（deep learning，DL）是機(jī)器學(xué)習(xí)（machine learning，ML）領(lǐng)域的重要研究方向。越來(lái)越多的學(xué)者開(kāi)始研究運(yùn)用深度學(xué)習(xí)來(lái)檢測(cè)煙霧，研究人員提出多種網(wǎng)絡(luò)結(jié)構(gòu)，例如AlexNet[6]、VggNet[7]和ResNet[8]等，借助多層結(jié)構(gòu)逐級(jí)提取圖像特征，相比傳統(tǒng)方法精度更高、魯棒性更好、實(shí)時(shí)性更好。

基于深度學(xué)習(xí)的煙霧識(shí)別算法可分為基于區(qū)域提取的檢測(cè)模型、基于回歸的檢測(cè)模型和基于卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)的煙霧檢測(cè)算法。其中，基于區(qū)域提取和基于回歸的檢測(cè)模型同屬深度學(xué)習(xí)的目標(biāo)檢測(cè)領(lǐng)域，兩者主要區(qū)別在于基于區(qū)域提取的檢測(cè)模型需先劃定目標(biāo)候選區(qū)，而基于回歸的檢測(cè)模型則不用，這使得基于區(qū)域提取的煙霧檢測(cè)算法可以得到較好的檢測(cè)精度，但實(shí)時(shí)性相對(duì)較差；基于回歸的煙霧檢測(cè)算法精度稍遜色，但更能滿足煙霧檢測(cè)對(duì)實(shí)時(shí)性的要求。

2.1 基于區(qū)域提取的煙霧檢測(cè)算法

R-CNN[8]（region-CNN）系列算法的核心是卷積神經(jīng)網(wǎng)絡(luò)，它具有局部連接和權(quán)值共享優(yōu)勢(shì)。兩階段目標(biāo)檢測(cè)器采用了兩段結(jié)構(gòu)采樣來(lái)處理類(lèi)別不均衡的問(wèn)題，生成候選區(qū)（region proposal network，RPN）使正負(fù)樣本更加均衡，使用兩階段級(jí)聯(lián)的方式來(lái)擬合邊界框，先粗回歸，再精調(diào)。兩階段目標(biāo)檢測(cè)速度較慢，但精度較高，由于火災(zāi)檢測(cè)對(duì)實(shí)時(shí)性要求較高，因此在檢測(cè)煙霧時(shí)很少有學(xué)者使用該系列方法。

R-CNN[9]的主干網(wǎng)絡(luò)為VGG-16網(wǎng)絡(luò)，特征提取、分類(lèi)、回歸并不能同時(shí)訓(xùn)練，需要先把每一階段的結(jié)果保存在磁盤(pán)上再輸入下一階段。由于它的RPN和非極大值抑制（non-maximum suppression，NMS）算法通過(guò)選擇性搜索算法工作都是由中央處理器（central processing unit，CPU）計(jì)算完成的，因此消耗了大量的計(jì)算和時(shí)間，完全達(dá)不到煙霧檢測(cè)對(duì)實(shí)時(shí)性的要求。

Fast R-CNN[10]將特征提取器、分類(lèi)器、回歸器合并，不再將每段結(jié)果保存磁盤(pán)單獨(dú)訓(xùn)練，可以一次性完成。受到SPPNet[11]的啟發(fā)，F(xiàn)ast R-CNN加入ROI（region of interest）層處理候選區(qū)域的特征，不僅提高了檢測(cè)速度，也提高了檢測(cè)準(zhǔn)確率，但其缺點(diǎn)在于候選框的提取使用選擇性搜索，檢測(cè)時(shí)間大多消耗在這里。

在Faster R-CNN[12]中，添加生成候選區(qū)移除選擇性搜索，真正意義上做到端到端，把物體檢測(cè)整個(gè)流程融入到一個(gè)神經(jīng)網(wǎng)絡(luò)中，選擇性搜索按照顏色和紋理不斷合并得到候選區(qū)域，其產(chǎn)生沒(méi)有規(guī)律，而RPN是每個(gè)Anchor都有對(duì)應(yīng)的固定數(shù)量的候選區(qū)域，精確度更高，但RPN網(wǎng)絡(luò)需要額外訓(xùn)練，增加了訓(xùn)練負(fù)擔(dān)。

2.2 基于回歸的煙霧檢測(cè)算法

與基于區(qū)域提取的目標(biāo)檢測(cè)算法相比，基于回歸的目標(biāo)價(jià)檢測(cè)算法不需要先獲取候選區(qū)域，通常具有更快的檢測(cè)速度且更適用在煙霧檢測(cè)等對(duì)實(shí)時(shí)性要求較高的場(chǎng)景中。YOLO（you only look once）和SSD（single shot multibox detector）是單階段目標(biāo)檢測(cè)中的經(jīng)典算法。

2.2.1 YOLO系列

Redmon等提出了YOLO系列，其核心思想是把目標(biāo)檢測(cè)轉(zhuǎn)變成回歸問(wèn)題，利用整張圖作為網(wǎng)絡(luò)的輸入，僅經(jīng)過(guò)一個(gè)神經(jīng)網(wǎng)絡(luò)得到邊界框的位置及其所屬的類(lèi)別，與Faster R-CNN相比精度有所降低但速度較快，更能滿足煙霧實(shí)時(shí)性檢測(cè)的要求。

YOLO v1[13]是基于GOOGLENET自定義的網(wǎng)絡(luò)，比VGG16速度快，但是精度相對(duì)略低。其所使用的誤差損失函數(shù)、定位誤差是影響檢測(cè)效果的主要原因，尤其對(duì)于小的邊界框影響更大。它直接對(duì)邊界框的位置進(jìn)行預(yù)測(cè)，這樣做雖簡(jiǎn)單，但由于沒(méi)有類(lèi)似R-CNN系列的推薦區(qū)域，所以網(wǎng)絡(luò)在前期訓(xùn)練時(shí)困難，很難收斂。YOLO v1的一個(gè)網(wǎng)格只預(yù)測(cè)兩個(gè)框，并且只屬于同一類(lèi)，因此對(duì)相互靠近的物體以及煙霧小目標(biāo)群體檢測(cè)效果較差，且對(duì)于視頻中不常見(jiàn)角度拍攝的煙霧泛化性能更弱。

YOLO v2[14]使用Darknet-19作為特征提取網(wǎng)絡(luò)，在每一層卷積后增加批量標(biāo)準(zhǔn)化（batch normalization，BN）對(duì)數(shù)據(jù)進(jìn)行預(yù)處理（統(tǒng)一格式、均衡化、去噪等），這樣網(wǎng)絡(luò)就不需每層都去學(xué)數(shù)據(jù)的分布，收斂會(huì)變得更快，因此能夠提高訓(xùn)練速度，提升訓(xùn)練效果。相比于YOLO v1利用全連接層直接預(yù)測(cè)邊界框的坐標(biāo)，YOLO v2借鑒Faster R-CNN的思想，引入Anchor機(jī)制，利用K-means聚類(lèi)方法在訓(xùn)練集中聚類(lèi)計(jì)算出更好的Anchor模板，提高了算法的召回率。YOLO v2通過(guò)添加Passthrough Layer，把高分辨率的淺層特征連接到低分辨率的深層特征進(jìn)行融合和檢測(cè)，提升模型性能，更加利于煙霧早期的小尺度檢測(cè)，但是當(dāng)數(shù)據(jù)集過(guò)小時(shí)容易產(chǎn)生過(guò)擬合問(wèn)題。

YOLO v3[15]將YOLO v2的骨干網(wǎng)絡(luò)Darknet-19改進(jìn)為Darknet-53。Darknet-53在每個(gè)卷積層之后加入一個(gè)批量歸一化層和一個(gè)Leaky ReLU，以防止過(guò)擬合。借鑒DSSD（deconvolutional single shot detector）的做法，YOLO v3加入跳躍連接和上采樣，以實(shí)現(xiàn)高層和底層的融合，使用多尺度的特征圖來(lái)預(yù)測(cè)結(jié)果，使得對(duì)小目標(biāo)煙霧的檢測(cè)效果更好；引入殘差網(wǎng)絡(luò)思想，讓網(wǎng)絡(luò)提取到更深層特征，同時(shí)避免出現(xiàn)梯度消失或爆炸；將網(wǎng)絡(luò)中間層和后面某一層的上采樣進(jìn)行張量拼接，達(dá)到多尺度特征融合的目的，以有效檢測(cè)圖中不同尺寸的煙霧，一定程度上提高了易飄散的煙霧的檢測(cè)率，但存在識(shí)別物體位置精準(zhǔn)性較差且召回率較低的問(wèn)題。

YOLO v4[16]的主干特征提取網(wǎng)絡(luò)CSPDarknet-53是由YOLO v3的Darknet53改進(jìn)過(guò)來(lái)的，將Darknet-53與CSPnet[17]結(jié)合，將原來(lái)殘差模塊的堆疊進(jìn)行拆分，另外添加了一條捷徑分支從輸入直接連通到輸出，目的是為了保留部分淺層特征，避免丟失太多信息，實(shí)現(xiàn)對(duì)圖片信息進(jìn)行淺層的初步提取；使用Mish激活函數(shù)代替Leaky ReLU，使信息在深度神經(jīng)網(wǎng)絡(luò)中更好地傳播，從而提高準(zhǔn)確性和泛化性；引入空間金字塔池化（spatial pyramid pooling，SPP）結(jié)構(gòu)和PANet[18]（path aggregation network）結(jié)構(gòu)，SPP結(jié)構(gòu)是使用不同尺寸的池化核對(duì)卷積后的輸出進(jìn)行最大池化，從而極大地增加感受野，分離出最顯著的上下文特征，但是當(dāng)煙霧和天空相似時(shí)，最大池化由于只保留每個(gè)池的最大值信息，很容易誤把天空信息保留下來(lái)而丟失了煙霧信息；通過(guò)PANet的卷積，上采樣以及堆疊和下采樣操作對(duì)三個(gè)不同尺度的特征層進(jìn)行反復(fù)的特征提取，最終將三個(gè)初步提取出的特征層進(jìn)行特征融合，將淺層的語(yǔ)義信息和深層信息堆疊在一起，獲得更豐富且更有效的特征層。由于在YOLO v4中采用了大量的殘差塊，在特征金字塔部分又反復(fù)進(jìn)行特征提取和頻繁進(jìn)行特征融合，導(dǎo)致運(yùn)算參數(shù)量大，內(nèi)存占用大，且運(yùn)行速度一般。

YOLO v5在工程應(yīng)用中相較于YOLO v1～v4效果更好，它采用了跨領(lǐng)域網(wǎng)格，并在不同輸出層匹配，極大地?cái)U(kuò)增了正樣本anchor，加速模型收斂速度并提高模型召回率。其整體結(jié)構(gòu)與YOLO v4相差不大，YOLO v4的Neck結(jié)構(gòu)中采用的都是普通卷積，而YOLO v5的Neck結(jié)構(gòu)采用借鑒CSPnet設(shè)計(jì)的CSP2結(jié)構(gòu)，加強(qiáng)網(wǎng)絡(luò)特征融合能力。YOLO v5改變了對(duì)正樣本的定義，在YOLO v3中，其正樣本區(qū)域也就是anchor匹配規(guī)則為IOU最大，而YOLO v5采用shape匹配規(guī)則并且將GT（target grid）的中心最鄰近網(wǎng)格也作為正樣本anchor的參考點(diǎn)，增加了高質(zhì)量的正樣本anchor能夠加速模型收斂并提高召回，但是在置信度方面，模型將與GT的IOU過(guò)小的低質(zhì)量anchor引入計(jì)算BCE，因此模型容易產(chǎn)生誤檢，即將非目標(biāo)推測(cè)為目標(biāo)物體，并且YOLO v5更適合用于檢測(cè)大目標(biāo)煙霧。

2.2.2 SSD系列

SSD[19]與YOLO同屬于單階段的目標(biāo)檢測(cè)算法，但它吸收了Faster R-CNN的一些長(zhǎng)處，在不損失精度的情況下保持了快速的特性。SSD采用VGG16作為基礎(chǔ)模型，在其基礎(chǔ)上利用多尺度的特征圖做檢測(cè)；它利用類(lèi)似Faster R-CNN模型中的Anchor機(jī)制和YOLO模型中的端到端思想，模型的推理速度有一定的提升，能在一定程度上平衡煙霧檢測(cè)所要求的精度和實(shí)時(shí)。但是SSD網(wǎng)絡(luò)中預(yù)選框的基礎(chǔ)大小和形狀不能直接通過(guò)學(xué)習(xí)獲得，需要手工設(shè)置，導(dǎo)致調(diào)試過(guò)程非常依賴(lài)經(jīng)驗(yàn)。

DSSD[20]使用ResNet替換SSD中的VGG網(wǎng)絡(luò)，模仿特征圖金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）進(jìn)行特征融合的思路，使用反卷積對(duì)高層特征上采樣后與淺層特征結(jié)合，增加淺層語(yǔ)義信息來(lái)提高小目標(biāo)煙霧檢測(cè)的準(zhǔn)確性，然而由于其模型復(fù)雜度增加，檢測(cè)速度較慢。

RSSD[21]利用分類(lèi)網(wǎng)絡(luò)增加不同層之間的特征圖聯(lián)系，減少重復(fù)框的出現(xiàn)，增加特征金字塔中特征圖的個(gè)數(shù)，使其可以檢測(cè)更多小尺寸煙霧，以略微降低速度的方式提高檢測(cè)準(zhǔn)確率。

FSSD[22]提出特征融合模塊（feature fusion module），把某些特征調(diào)整為同一尺寸后連接，得到一個(gè)像素層再生成金字塔特征圖。該方式與FPN相比，只需要融合一次，較為簡(jiǎn)單，提高了對(duì)小目標(biāo)煙霧的檢測(cè)精度。該算法與DSSD相比檢測(cè)速度有所提升，但與SSD算法相比其檢測(cè)速度有所下降。常見(jiàn)的煙霧檢測(cè)算法優(yōu)缺點(diǎn)對(duì)比如表1所示。

2.3 基于深度學(xué)習(xí)的煙霧檢測(cè)改進(jìn)算法對(duì)比分析

為有效分析現(xiàn)有視頻煙霧檢測(cè)算法的優(yōu)點(diǎn)和不足，將煙霧檢測(cè)改進(jìn)算法按照其研究動(dòng)機(jī)進(jìn)行分組對(duì)比。主要?dú)w納為煙霧背景復(fù)雜、特征提取不完全、實(shí)時(shí)性差以及數(shù)據(jù)集問(wèn)題四種。

2.3.1 背景復(fù)雜問(wèn)題

在森林、草原等戶(hù)外場(chǎng)景中，背景天空有時(shí)會(huì)與煙霧顏色相近，難以區(qū)分。煙霧視頻中不僅包含煙霧，還有其他無(wú)關(guān)背景信息，例如與煙霧顏色相近的白云、湖面、霧氣等。類(lèi)煙霧在顏色和紋理特性上與煙霧非常相像，因此在煙霧提取特征時(shí)非常易受背景環(huán)境的干擾，導(dǎo)致誤檢率高。自然環(huán)境中的光照變化也會(huì)帶來(lái)干擾，引起圖像的某些特征發(fā)生變化，影響圖像后續(xù)處理，如特征提取、識(shí)別等。強(qiáng)光時(shí)某些物體反射形成類(lèi)煙霧，弱光的情況下噪聲會(huì)比較多，影響識(shí)別率。針對(duì)背景復(fù)雜問(wèn)題煙霧檢測(cè)改進(jìn)方法對(duì)比如表2所示。

在原有深度模型的基礎(chǔ)上融合背景差分算法、ViBe算法、混合高斯模型算法、光流法等煙霧運(yùn)動(dòng)檢測(cè)算法可以有效減少背景中類(lèi)煙霧的干擾，降低誤檢率。但是，基于煙霧運(yùn)動(dòng)特性篩選候選區(qū)在煙霧本身變化緩慢或遠(yuǎn)距離攝像導(dǎo)致的變化緩慢時(shí)檢測(cè)精度會(huì)有所降低。葉寒雨等[33]提出將圖像輸入LiteFlowNet3網(wǎng)絡(luò)中得到煙霧的光流估計(jì)，再使用YOLO v4檢測(cè)圖像中潛在移動(dòng)物體，去除其他移動(dòng)物體的光流，最后對(duì)最終的光流估計(jì)進(jìn)行降噪處理。該方法減少了運(yùn)動(dòng)物體的干擾，提高了檢測(cè)準(zhǔn)確率。但是模型較大且對(duì)視頻質(zhì)量要求較高。Sheng等[34]圖像結(jié)合CIELAB顏色空間，利用簡(jiǎn)單線性迭代聚類(lèi)SLIC對(duì)其進(jìn)行分割，生成具有煙霧區(qū)域光譜特征的超像素圖像。然后利用基于密度的空間聚類(lèi)應(yīng)用與噪聲（DBSCAN）將相似的超像素聚類(lèi)成簇，進(jìn)而利用CNN提供更好的煙霧探測(cè)精度。利用SLIC分割后的圖像減少了背景當(dāng)中類(lèi)煙霧的干擾，該方法魯棒性較好對(duì)煙霧圖像的分類(lèi)性能有所提高。但是SLIC對(duì)于混合超像素圖像會(huì)造成識(shí)別精度的失真，且DBSCAN在原始圖像中的參數(shù)選擇比較困難，導(dǎo)致該方法誤報(bào)率高。Pundir等[35]提出一種基于雙深度學(xué)習(xí)框架的煙霧檢測(cè)方法。首先采用深度學(xué)習(xí)框架從煙霧斑塊中提取基于圖像的特征，采用超像素算法提取圖像特征，包括煙色、煙紋理、銳邊檢測(cè)和周界無(wú)序分析。第二個(gè)深度學(xué)習(xí)框架用于提取煙霧運(yùn)動(dòng)區(qū)域、增長(zhǎng)區(qū)域和上升區(qū)域檢測(cè)等基于運(yùn)動(dòng)的特征；采用光流法對(duì)煙霧的隨機(jī)運(yùn)動(dòng)進(jìn)行捕捉。將這兩個(gè)框架的特征結(jié)合起來(lái)訓(xùn)練支持向量機(jī)和端到端分類(lèi)器。該算法減少了對(duì)云、霧、沙塵暴、云和水上云圖等非煙霧對(duì)識(shí)別結(jié)果的影響，精度和魯棒性較好，但是網(wǎng)絡(luò)參數(shù)較多、模型過(guò)大。

表1 常見(jiàn)的煙霧檢測(cè)算法優(yōu)缺點(diǎn)對(duì)比Table 1 Comparison of advantages and disadvantages of common smoke detection algorithms

表2 針對(duì)背景復(fù)雜問(wèn)題改進(jìn)的煙霧檢測(cè)方法對(duì)比Table 2 Improved method of smoke detection for complex background problems

2.3.2 特征提取問(wèn)題

煙霧具有豐富的特征，如顏色、紋理、形狀、運(yùn)動(dòng)等，利用這些特征可以將煙霧與其他物體區(qū)分開(kāi)來(lái)。很多煙霧檢測(cè)算法主要基于單一特征或煙霧的多個(gè)靜態(tài)特征融合，這會(huì)導(dǎo)致檢測(cè)精度低，深度學(xué)習(xí)自動(dòng)提取煙霧特征，有效避免了主觀影響，在一定程度上提高了煙霧探測(cè)性能，對(duì)于識(shí)別較為稀薄的煙霧準(zhǔn)確率也能有一定提升。

高聯(lián)欣等[24]提出多尺度3D卷積神經(jīng)網(wǎng)絡(luò)（6M3DC）（如圖1所示）來(lái)進(jìn)行視頻煙霧檢測(cè)，使用3D卷積從不同尺度去提取煙霧的特征，之后將其融合在一起，保持多尺度特征的共存。使用Global Average Pooling 3D來(lái)增強(qiáng)特征圖內(nèi)的響應(yīng)，每塊前面都接上BN層，提高訓(xùn)練速度的同時(shí)防止網(wǎng)絡(luò)加深產(chǎn)生的梯度擴(kuò)散問(wèn)題。3D卷積除了從空間特征的角度，還在時(shí)間角度上進(jìn)行檢測(cè)判斷，提高了精確率和穩(wěn)定性，但是對(duì)遠(yuǎn)距離煙霧的平均召回率較低，有待于進(jìn)一步提升。

圖1 6M3DC結(jié)構(gòu)Fig.1 6M3DC structure

Bai等[36]選擇YOLO與VGG網(wǎng)絡(luò)相結(jié)合，提高對(duì)小煙霧和小火焰的識(shí)別率。對(duì)于VGG網(wǎng)絡(luò)只保留其特征提取層，改進(jìn)其全連接分類(lèi)層，將原來(lái)的3層全連接層改為第2層，從而減少網(wǎng)絡(luò)參數(shù)量，利用Leaky ReLU激活函數(shù)，增加Dropout層防止過(guò)擬合，得到收斂速度更快的分類(lèi)網(wǎng)絡(luò)，并顯著提高了單幅圖像的識(shí)別速度。在YOLO網(wǎng)絡(luò)中增加F-CSP網(wǎng)絡(luò)（如圖2所示）模塊后仍不能滿足精度要求，因此又增加了分辨率較小的特征尺度分支，充分學(xué)習(xí)淺層特征，從而提高網(wǎng)絡(luò)對(duì)多尺度特征的集成能力。該算法檢測(cè)精度和實(shí)時(shí)性有所提升，能在一定程度上滿足煙霧檢測(cè)的需求，但隨著新的特征尺度的增加，網(wǎng)絡(luò)復(fù)雜性也會(huì)增加。

圖2 F-CSP結(jié)構(gòu)Fig.2 F-CSP structure

謝書(shū)翰等[37]在YOLO v4網(wǎng)絡(luò)預(yù)測(cè)頭加入通道注意力模塊SENet[38]（如圖3所示），雖然帶來(lái)了少量的參數(shù)但是提升了網(wǎng)絡(luò)預(yù)測(cè)頭對(duì)特征信息的提取能力，從而提升了網(wǎng)絡(luò)性能。使用K均值聚類(lèi)（K-means）為煙霧數(shù)據(jù)集生成新的候選框尺寸，選擇符合煙霧大小特征的候選框尺寸有助于煙霧預(yù)測(cè)框位置的回歸，通過(guò)精簡(jiǎn)損失函數(shù)、剔除分類(lèi)誤差，使算法收斂更快。該算法的檢測(cè)精度和召回率都有所提升，但修改后的網(wǎng)絡(luò)參數(shù)增多、模型變大，每秒檢測(cè)幀率降低。

圖3 SENet結(jié)構(gòu)Fig.3 SENet structure

汪梓藝等[39]提出改進(jìn)DeeplabV3網(wǎng)絡(luò)算法，在最后一個(gè)級(jí)聯(lián)的空洞卷積后，增加擴(kuò)張率較小的兩個(gè)單元，使采樣點(diǎn)更加密集，增強(qiáng)像素間的交互關(guān)系，消除網(wǎng)格效應(yīng)。為進(jìn)一步恢復(fù)煙霧的空間細(xì)節(jié)，在特征圖融合前，引入自己設(shè)計(jì)的通道注意力機(jī)制CAM模塊（如圖4所示）。該模型的檢測(cè)率較高，有一定的實(shí)用價(jià)值，但是處理效率與實(shí)際需求仍有差距，運(yùn)算效率較低。

Cai等[40]提出YOLO-SMOKE模型，在YOLO v3的基礎(chǔ)上利用高效通道注意模塊（efficient channel attention module，ECA）[41]（如圖5所示）對(duì)殘差模塊進(jìn)行細(xì)化，提高模型的精度和魯棒性。在每個(gè)卷積層后添加dropblock，避免了公共數(shù)據(jù)集背景過(guò)于簡(jiǎn)單而導(dǎo)致模型過(guò)擬合。該方法具有較好的精度和魯棒性，網(wǎng)絡(luò)結(jié)構(gòu)加深帶來(lái)更好表征能力的同時(shí)也增大了網(wǎng)絡(luò)參數(shù)量，每秒檢測(cè)幀率降低。

圖4 CAM結(jié)構(gòu)Fig.4 CAM structure

圖5 ECA-Net結(jié)構(gòu)Fig.5 ECA-Net structure

Zhang等[42]設(shè)計(jì)了基于CBAM[43]（如圖6所示）注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)對(duì)圖像中具有明顯分辨能力的區(qū)域進(jìn)行聚焦，在骨干網(wǎng)的輔助下提取更精確的局部特征進(jìn)行火災(zāi)煙氣識(shí)別骨干網(wǎng)絡(luò)用于粗略提取圖像特征；分支網(wǎng)絡(luò)用于針對(duì)特定區(qū)域提取細(xì)粒度的圖像特征。網(wǎng)絡(luò)通過(guò)注意提議網(wǎng)絡(luò)預(yù)測(cè)候選區(qū)域，并對(duì)候選區(qū)域進(jìn)行放大，再通過(guò)分支網(wǎng)絡(luò)提取精細(xì)特征；結(jié)合兩種不同尺度的圖像特征，通過(guò)全連通層和softmax層對(duì)最終結(jié)果進(jìn)行預(yù)測(cè)。該模型的泛化能力較好，誤報(bào)率較低，在準(zhǔn)確率上有很大的提高，但是注意力機(jī)制的加入還是增加了少量網(wǎng)絡(luò)參數(shù)。

圖6 CBAM+ResBlock結(jié)構(gòu)Fig.6 CBAM+ResBlock structure

網(wǎng)絡(luò)模型的特征提取能力極大地影響煙霧檢測(cè)效果。當(dāng)深度學(xué)習(xí)模型網(wǎng)絡(luò)層數(shù)較小時(shí)，雖然計(jì)算量小，但是提取煙霧細(xì)節(jié)特征較為困難，可以通過(guò)增強(qiáng)主干網(wǎng)絡(luò)的特征提取能力來(lái)解決該問(wèn)題：一是增加網(wǎng)絡(luò)深度，然而網(wǎng)絡(luò)深度過(guò)大時(shí)，可能會(huì)出現(xiàn)梯度消失問(wèn)題，導(dǎo)致更高的檢測(cè)誤差，因此在增加網(wǎng)絡(luò)深度時(shí)應(yīng)權(quán)衡網(wǎng)絡(luò)特征提取能力與其深度，不宜過(guò)深；二是改善特征提取層，增大感受野、融合殘差模塊、注意力機(jī)制模塊等以更好地提取煙霧特征。更多針對(duì)特征提取改進(jìn)的煙霧檢測(cè)算法如表3所示。

表3 針對(duì)特征提取問(wèn)題改進(jìn)的煙霧檢測(cè)改進(jìn)方法對(duì)比Table 3 Comparison of improved smoke detection methods for feature extraction problems

2.3.3 實(shí)時(shí)性問(wèn)題

煙霧檢測(cè)對(duì)實(shí)時(shí)性的要求極高，但大多視頻煙霧檢測(cè)算法為追求高精度，增加了網(wǎng)絡(luò)層數(shù)，從而網(wǎng)絡(luò)參數(shù)變多、計(jì)算量變大，導(dǎo)致算法實(shí)時(shí)性降低。針對(duì)實(shí)時(shí)性問(wèn)題改進(jìn)的煙霧檢測(cè)算法對(duì)比如表4所示。

實(shí)時(shí)性改進(jìn)的本質(zhì)就是改小網(wǎng)絡(luò)結(jié)構(gòu)、減少參數(shù)量、減少計(jì)算量。其技術(shù)路線主要有以下方法：

（1）輕量網(wǎng)絡(luò)設(shè)計(jì)。對(duì)現(xiàn)有網(wǎng)絡(luò)進(jìn)行優(yōu)化加速，例如采用深度可分離卷積代替標(biāo)準(zhǔn)卷積塊；重新設(shè)計(jì)新型網(wǎng)絡(luò)結(jié)構(gòu)。

（2）模型裁剪。在保持現(xiàn)有模型的準(zhǔn)確率基本不變的前提下，在某個(gè)尺度上篩選掉卷積層中重要性較低的權(quán)重，從而達(dá)到降低計(jì)算資源消耗和提高實(shí)時(shí)性的效果。

（3）模型蒸餾。利用大模型的監(jiān)督特征幫助計(jì)算量較小的模型達(dá)到與大模型相似的精度，實(shí)現(xiàn)模型加速。

2.3.4 數(shù)據(jù)集問(wèn)題

真實(shí)場(chǎng)景的火災(zāi)煙霧數(shù)據(jù)樣本難以獲取?，F(xiàn)有的煙霧數(shù)據(jù)集大多為人工模擬火災(zāi)的煙霧，存在數(shù)量少且背景單一的問(wèn)題，與實(shí)際應(yīng)用場(chǎng)景差距較大。

（1）樣本不足問(wèn)題

現(xiàn)有的幾乎所有的深度學(xué)習(xí)方法都依賴(lài)于大量的標(biāo)注數(shù)據(jù)，因此樣本的不足會(huì)限制煙霧檢測(cè)深度模型精度的提升。但是對(duì)于小樣本的煙霧對(duì)象，采集大量的數(shù)據(jù)是一個(gè)挑戰(zhàn)。Xie等[62]介紹了兩種可控?zé)熿F圖像生成神經(jīng)網(wǎng)絡(luò)（CSGNet和CSGNet-v2）來(lái)生成煙霧圖像。首先提出基于CSGNet的多尺度煙霧圖像生成算法，該算法將煙霧組件控制模塊和煙霧圖像合成模塊集成在一起，實(shí)現(xiàn)了煙霧圖像的多尺度生成；通過(guò)改變指定的煙霧分量潛碼，可以生成具有指定煙霧分量的煙霧圖像；通過(guò)微調(diào)單片機(jī)中的煙霧成分潛碼，對(duì)生成的煙霧圖像中的煙霧成分進(jìn)行微調(diào)；又在CSGNet的基礎(chǔ)上提出CSGNet-v2，通過(guò)增加煙霧圖像微調(diào)模塊，使生成的煙霧圖像更加逼真。Li等[63]針對(duì)煙霧樣本少的問(wèn)題提出了一種基于注意力的混合少鏡頭學(xué)習(xí)方法，在每個(gè)卷積塊中添加了批量歸一層，然后再添加卷積層，融入CBAM模塊來(lái)進(jìn)一步降低疑似煙區(qū)的誤報(bào)率，設(shè)計(jì)了一個(gè)元學(xué)習(xí)模塊來(lái)緩解煙霧圖像有限導(dǎo)致的過(guò)擬合問(wèn)題。與其他小樣本方法相比精度、實(shí)時(shí)性較優(yōu)越，但是不如Alexnet等骨干網(wǎng)絡(luò)的檢測(cè)精度高。Yin等[29]利用深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）以生成盡可能逼真的圖像。Cai等[40]采用鑲嵌數(shù)據(jù)增強(qiáng)方法對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充。Gu等[46]將圖片隨機(jī)旋轉(zhuǎn)以增強(qiáng)數(shù)據(jù)。文獻(xiàn)[37，40，50，64-65]采用隨機(jī)裁剪，水平翻轉(zhuǎn)和旋轉(zhuǎn)以數(shù)據(jù)增強(qiáng)緩解樣本少的問(wèn)題。張倩等[66]將真實(shí)煙霧圖像、模擬煙霧插入森林背景圖像中，通過(guò)合成圖像來(lái)緩解樣本少的問(wèn)題。Lin等[54]也采用了合成煙霧的方法來(lái)緩解數(shù)據(jù)集有限的問(wèn)題。

針對(duì)真實(shí)采集的煙霧數(shù)據(jù)集有限的問(wèn)題，既可以對(duì)這些數(shù)據(jù)集采用隨機(jī)反轉(zhuǎn)、改變亮度、添加噪聲等手段進(jìn)行數(shù)據(jù)增強(qiáng)，也可以采用部分合成煙霧來(lái)擴(kuò)充數(shù)據(jù)集，減少樣本較少對(duì)模型精度的影響，但是上述方法得到的樣本相較于真實(shí)采集樣本訓(xùn)練效果略微遜色。

（2）樣本不平衡問(wèn)題

煙霧數(shù)據(jù)集樣本不均衡會(huì)導(dǎo)致樣本量少的分類(lèi)包含的特征過(guò)少，很難從中提取規(guī)律，即使得到分類(lèi)模型，也容易因過(guò)度依賴(lài)有限的數(shù)量樣本出現(xiàn)過(guò)擬合問(wèn)題，當(dāng)模型應(yīng)用到新的煙霧數(shù)據(jù)集上時(shí)，模型的準(zhǔn)確性和健壯性將會(huì)很差。Yin等[29]對(duì)訓(xùn)練樣本的數(shù)據(jù)進(jìn)行了增強(qiáng)，以解決正負(fù)樣本不平衡和訓(xùn)練樣本不足的問(wèn)題。Zhang等[42]通過(guò)優(yōu)化帶權(quán)的交叉熵?fù)p失函數(shù)，提高了網(wǎng)絡(luò)在非平衡森林火災(zāi)數(shù)據(jù)集上的性能。袁梅等[67]提出使用數(shù)據(jù)增強(qiáng)技術(shù)從原始數(shù)據(jù)集生成更多訓(xùn)練樣本解決由于訓(xùn)練數(shù)據(jù)少或不平衡引起的過(guò)度擬合。

表4 針對(duì)實(shí)時(shí)性問(wèn)題改進(jìn)的煙霧檢測(cè)算法對(duì)比Table 4 Comparison of improved smoke detection algorithms for real-time problems

數(shù)據(jù)集的擴(kuò)充既可以有效緩解樣本不平衡問(wèn)題，又有助于提升煙霧檢測(cè)算法檢測(cè)效果，盡快建立公開(kāi)統(tǒng)一的數(shù)據(jù)集是非常有必要的。

3 結(jié)語(yǔ)

為了綜合分析深度網(wǎng)絡(luò)模型在煙霧檢測(cè)中的應(yīng)用，首先介紹了煙霧檢測(cè)存在的難點(diǎn)問(wèn)題，分析了傳統(tǒng)視頻煙霧檢測(cè)算法的不足；其次探討了煙霧檢測(cè)常用的深度網(wǎng)絡(luò)模型，針對(duì)視頻煙霧檢測(cè)算法存在的一些難點(diǎn)問(wèn)題，分析總結(jié)了現(xiàn)有煙霧檢測(cè)算法在這些問(wèn)題所提出的解決方法，雖在一定程度上有所改善，但未從根本上克服這些難點(diǎn)，距離實(shí)際工程應(yīng)用還有很大距離。煙霧檢測(cè)算法未來(lái)要在以下方面進(jìn)行深入研究：

（1）分別建立完備公開(kāi)統(tǒng)一的森林、草原場(chǎng)景下的煙霧及火災(zāi)數(shù)據(jù)集，針對(duì)現(xiàn)有數(shù)據(jù)集樣本不足且背景單一問(wèn)題擴(kuò)充樣本數(shù)量。

（2）改進(jìn)特征提取網(wǎng)絡(luò)及特征融合方式。針對(duì)稀薄煙霧、遠(yuǎn)景小目標(biāo)煙霧檢測(cè)困難，構(gòu)建合適特征檢測(cè)層；通過(guò)構(gòu)建更深更寬的網(wǎng)絡(luò)結(jié)構(gòu)、融合殘差模塊與注意力模塊等增強(qiáng)對(duì)煙霧的特征提取能力，減少?gòu)?fù)雜背景環(huán)境帶來(lái)的影響。

（3）通過(guò)模型裁剪、模型蒸餾等技術(shù)減小網(wǎng)絡(luò)模型的同時(shí)引入性?xún)r(jià)比較高的注意力機(jī)制等類(lèi)似模塊來(lái)提高檢測(cè)精度。

（4）構(gòu)建輕量級(jí)模型，用于嵌入無(wú)人機(jī)等計(jì)算力與存儲(chǔ)有限的移動(dòng)設(shè)備中，以便于更好地實(shí)時(shí)檢測(cè)火災(zāi)。