曹燦燦，龔聲蓉，周立凡，鐘 珊

(1.東北石油大學(xué) 計算機(jī)與信息技術(shù)學(xué)院，黑龍江 大慶 163318;2.常熟理工學(xué)院 計算機(jī)科學(xué)與工程學(xué)院，江蘇 常熟 215500)

0 引 言

近年來國內(nèi)火災(zāi)事故頻發(fā)，造成了巨大的經(jīng)濟(jì)損失和人員傷亡[1]?；馂?zāi)造成的損失是巨大的，如何降低火災(zāi)損失，提前報警是國內(nèi)外學(xué)者一直思考研究的問題。傳統(tǒng)火災(zāi)探測主要靠煙霧傳感器[2]，但是受人為、天氣、氣流等條件制約，這些傳感器檢測效率較低，并不能有效提前預(yù)警?；馂?zāi)發(fā)生的前置條件一般是煙霧，如果能對煙霧進(jìn)行有效準(zhǔn)確的檢測，將會極大降低火災(zāi)帶來的危害。但是由于煙霧形狀不規(guī)則、顏色特征多樣等原因，造成傳統(tǒng)煙霧檢測有很大的局限性。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，基于視頻的煙霧檢測開始流行。視頻煙霧檢測技術(shù)具有檢測范圍廣、準(zhǔn)確率高等特點，該技術(shù)正在被應(yīng)用于火災(zāi)預(yù)測等領(lǐng)域。

近年來，國內(nèi)外很多學(xué)者都針對煙霧檢測進(jìn)行了研究。Millan等人[3]首先用顏色特征處理圖像，但是因為之前人們對顏色研究較少，所以導(dǎo)致煙霧閾值設(shè)定不合理。王濤等人[4]結(jié)合PCA降維算法來進(jìn)行煙霧檢測。Zhou等人[5]通過提取煙霧面積變化率和形狀特征來檢測煙霧。李鵬等人[6]將高斯混合模型和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合對煙霧進(jìn)行識別。張欣欣等人提出了一種改進(jìn)VGG16模型，通過對LeNet增加相應(yīng)的層數(shù)進(jìn)行煙霧檢測[7]。Jia等人[8]分割了煙霧區(qū)域，首次根據(jù)煙霧顏色和運動特征來識別煙霧。馮佳璐等人通過構(gòu)建兩層火災(zāi)煙霧識別模型，增強了視頻抗干擾能力[9]。Ye等人根據(jù)顏色空間特征結(jié)合小波來實現(xiàn)對煙霧的識別[10]。史勁亭等建立一個較大的數(shù)據(jù)集，為后面煙霧識別提供了較好的數(shù)據(jù)集[11]。Foggia等人把運動、顏色、形態(tài)三方面相結(jié)合來識別煙霧[12-13]。吳章憲等人提出了Gabor小波變換用于識別煙霧[14]。陳俊周等人通過級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)來識別煙霧[15]。袁梅等人通過擴(kuò)大候選煙霧區(qū)域和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合進(jìn)行煙霧檢測[16]。然而這些煙霧檢測方法還存在一定的局限性:首先是泛化性差，換了不同場景后檢測準(zhǔn)確率會明顯降低；其次檢測準(zhǔn)確率不高，還有待于進(jìn)一步提升。目前，計算機(jī)在圖像識別領(lǐng)域的準(zhǔn)確率已經(jīng)超越人類[17-19]。使用深度學(xué)習(xí)相關(guān)知識進(jìn)行煙霧識別是主流方法之一。

針對當(dāng)前視頻煙霧檢測的問題，在歸納當(dāng)前視頻煙霧檢測方法的基礎(chǔ)上，從提高煙霧檢測準(zhǔn)確率這個實際要求出發(fā)，該文提出使用HSV顏色空間特征來替代傳統(tǒng)RGB顏色空間特征，通過高斯混合模型提取煙霧運動區(qū)域。結(jié)合煙霧顏色特征和運動特征來提取煙霧候選區(qū)域，然后使用卷積神經(jīng)網(wǎng)絡(luò)對煙霧候選區(qū)域進(jìn)行自動提取來對煙霧進(jìn)行檢測。最后，對提出的HSV(Hue，Saturation，Brightness，色調(diào)，飽和，明亮)顏色空間特征和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的視頻煙霧檢測方法進(jìn)行實驗論證和分析。實驗結(jié)果表明，基于HSV顏色空間特征和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法對煙霧檢測準(zhǔn)確率高，煙霧報警響應(yīng)時間短，可以實現(xiàn)對復(fù)雜場景下的煙霧進(jìn)行實時檢測。

視頻煙霧檢測技術(shù)：

煙霧檢測技術(shù)可以提前預(yù)警火災(zāi)，給人民群眾留下?lián)尵壬敭a(chǎn)的時間，目前煙霧檢測主要靠煙霧警報器，煙霧警報器在小范圍的室內(nèi)環(huán)境下使用效果良好，但是在野外空曠場景中，煙霧警報器效果比較差。

根據(jù)國標(biāo)規(guī)定，煙霧警報器的響應(yīng)時間為20秒以內(nèi)，但在野外空曠場景下，煙霧警報器常常達(dá)不到國標(biāo)規(guī)定。隨著現(xiàn)代化的發(fā)展，傳統(tǒng)的煙霧警報器已無法滿足人們的安全要求，基于深度學(xué)習(xí)的視頻煙霧檢測速度快、檢測范圍廣，有代替?zhèn)鹘y(tǒng)煙霧警報器的趨勢。

1 煙霧檢測算法流程

首先通過攝像機(jī)獲取煙霧場景視頻圖像；接著對輸入圖像按128×96像素進(jìn)行分塊；然后由HSV顏色空間特征判斷是否為煙霧運動候選區(qū)域，初步提取出煙霧候選區(qū)域；最后將候選區(qū)域送入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中判斷是否為煙霧。

圖1 RGB煙霧檢測算法流程

圖1中每個步驟的目的：

視頻預(yù)處理：可以抵消除圖像中的干擾，增強目標(biāo)區(qū)域，從而提高檢測識別的準(zhǔn)確率。

提取候選區(qū)域：因為整個視頻中區(qū)域較大，如果每個區(qū)域都進(jìn)行檢測，運算量會非常大，因此只搜尋視頻中感興趣的部分，也就是疑似煙霧的運動區(qū)域，將極大減少計算量。

特征提取：煙霧有向上運動的特征，提取向上運動的特征作為下一步對煙霧進(jìn)行分類識別的一個憑證。

1.1 HSV顏色空間特征煙霧顏色特征提取

HSV顏色空間在美術(shù)人員中使用的比較廣泛，可以通過調(diào)整飽和度和亮度來達(dá)到特定風(fēng)格的效果[20]。

圖像在計算機(jī)中存儲和顯示都是以RGB顏色空間的形式進(jìn)行的，將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間的轉(zhuǎn)換方式如下[21]:

V=max(R,G,B)

計算出結(jié)果后:

最終計算出的結(jié)果，H∈[0,360]，S∈[0,1]，V∈[0,1]。

由于計算機(jī)中圖像是以24位的方式存儲，所以像素值的每個分量應(yīng)為0到255之間的數(shù)值，為了方便計算，再將計算出的H，S，V三分量的值映射到0到255之間，映射公式如下:

S=255×S

V=255×V

1.2 煙霧顏色候選區(qū)域的提取

基于兩種不同顏色空間中的特征所提取的煙霧區(qū)域如圖2所示，圖2(a)和圖2(b)分別為基于RGB顏色空間的特征提取的煙霧區(qū)域和基于HSV顏色空間的特征提取的煙霧區(qū)域。將找到的目標(biāo)區(qū)域用黑色標(biāo)注，標(biāo)注結(jié)果如下。

圖2 RGB(1)和HSV(2)顏色空間的煙霧區(qū)域提取

從這兩幅圖像中可以看出，基于HSV顏色空間特征提取出的煙霧區(qū)域較為準(zhǔn)確，而基于RGB顏色空間特征提取出的煙霧區(qū)域把很多白色的非煙霧區(qū)域也提取出來了，這就會影響煙霧檢測的準(zhǔn)確率。由此可見，基于HSV顏色空間提取出的煙霧區(qū)域比較符合要求。

經(jīng)過對大量的圖片在HSV顏色空間進(jìn)行分析，最后得出的結(jié)論是：

(1)在HSV顏色空間中，煙霧圖像區(qū)域的飽和度的值S<65；

(2)煙霧出現(xiàn)時，煙霧圖像亮度V增加。

設(shè)定視頻前100幀的平均亮度為閾值，若視頻出現(xiàn)飽和度S的值低于60并且亮度V大于閾值則將該區(qū)域當(dāng)做煙霧的候選區(qū)域。

1.3 煙霧運動候選區(qū)域的提取

經(jīng)過HSV顏色空間的特征提取后，篩選出了符合煙霧顏色特征的候選區(qū)域，將該區(qū)域用高斯混合模型的背景減除法進(jìn)行運動目標(biāo)提取，如果經(jīng)高斯混合模型進(jìn)行判定后為運動區(qū)域，則認(rèn)為該區(qū)域為煙霧候選區(qū)域，將符合煙霧顏色特征且符合運動特征的區(qū)域送入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。高斯混合模型是目前主流的背景濾除方法。一般來講，如果是背景圖像，像素值會產(chǎn)生變化，但是變化范圍小，只會固定在一個區(qū)間。像素值變化的主要原因有：

(a)物體運動。物體運動的方式有很多種，像人物走動、風(fēng)吹動樹枝等。

(b)光線的變化。當(dāng)靜止的視頻中突然出現(xiàn)一束光也會導(dǎo)致像素值變化，這個光線的變化可能是人為因素造成，也可能是因為陽光的反射等。但是一個物體是背景而非前景的話它的像素值分布往往在多個值附近做變動，比如樹枝的晃動。對于在多個值附近變動的背景可以用多個高斯分布來解決。

圖3 原始圖像(a)和高斯混合模型 背景濾除后的圖像(b)

如圖3所示，圖3(a)和圖3(b)分別為原始圖像和經(jīng)過高斯混合模型背景濾除后的圖像，經(jīng)過背景濾除后可以發(fā)現(xiàn)，經(jīng)高斯混合模型背景濾除后，能有效減少無關(guān)因素的干擾，從而減少計算量。經(jīng)過提取煙霧顏色特征和運動特征篩選出的煙霧候選區(qū)域能有效減少無關(guān)因素的干擾，進(jìn)而提高煙霧識別的準(zhǔn)確率。

2 conv-12網(wǎng)絡(luò)模型設(shè)計

在卷積神經(jīng)網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)深度增加，識別準(zhǔn)確率會提升[22]。但是網(wǎng)絡(luò)深度過高，會導(dǎo)致訓(xùn)練時間過長，出現(xiàn)過擬合等問題。根據(jù)煙霧的特點，設(shè)計了適合煙霧檢測的卷積神經(jīng)網(wǎng)絡(luò)conv-12。在實驗中發(fā)現(xiàn)，當(dāng)卷積層數(shù)繼續(xù)增加之后，對煙霧檢測的準(zhǔn)確率并沒有明顯的提升，只會增加訓(xùn)練時間，所以最后選擇了卷積神經(jīng)網(wǎng)絡(luò)conv-12。該網(wǎng)絡(luò)由5個卷積層，5個池化層，1個全連接層，1個輸出層組成。輸入原始圖片大小128×96像素，輸出結(jié)果為煙霧和非煙霧的二分類。conv-12網(wǎng)絡(luò)參數(shù)配置如表1所示。

表1 conv-12網(wǎng)絡(luò)參數(shù)

其中，F(xiàn)MN代表特征圖的數(shù)量，KS代表卷積核的大小，OFSM代表輸出特征圖的大小。

conv-12具體結(jié)構(gòu)如下：

(1)輸入層Input。輸入層數(shù)據(jù)圖片為128×96像素。

(2)卷積層C1。取卷積核大小為3×3，步長為1，特征圖個數(shù)為32對輸入圖像進(jìn)行卷積，使用ReLU(rectified linear unit，修正線性單元)函數(shù)作為激活函數(shù)[22]，其最終輸出結(jié)果為128×96×32維數(shù)據(jù)。ReLU激活函數(shù)的公式如下所示[22]:

relu=max(0,x)

當(dāng)x小于0時，輸出為0；當(dāng)x大于0時，輸出為x本身。

(3)池化層S1。使用最大值池化方法對卷積層C1的輸出結(jié)果進(jìn)行重采樣，輸出結(jié)果為64×48×32維數(shù)據(jù)。最大池化公式如下：

l=max(ni),ni∈n

其中，n是特征圖的一個區(qū)域，ni是該區(qū)域中神經(jīng)元的輸出。

(4)卷積層C2、C3、C4、C5的功能和C1相同，卷積核大小為3×3，步長為1，特征圖個數(shù)分別為64，96，128，160，輸出數(shù)據(jù)的維度分別為64×48×64、32×24×96、16×12×128，8×6×160。

(5)池化層S2，S3，S4，S5的功能和S1相同，輸出數(shù)據(jù)的維度分別為32×24×64，16×12×96，8×6×128，4×3×160。

(6)F1為全連接層，為了避免過擬合，使用了Dropout[22]方法。

(7)F2為輸出層，設(shè)置2個神經(jīng)元與F1相連，選用的激活函數(shù)為SoftMax[22]來進(jìn)行二分類。分類的結(jié)果用0和1來表示非煙霧與煙霧。

3 實驗設(shè)計與結(jié)果分析

實驗所用計算機(jī)的CPU型號為Inter Xeon Gold 6230，計算機(jī)內(nèi)存為128 G，顯卡為4* Tesla P100，主頻2.1 GHz；顯存為毎塊16 GB，共64 GB。實驗程序通過Python和OpenCV編寫，在Ubuntu 16.04操作系統(tǒng)下運行。視頻煙霧檢測卷積神將網(wǎng)絡(luò)模型的搭建和訓(xùn)練采用Tensorflow[23]實現(xiàn)。

3.1 訓(xùn)練及測試數(shù)據(jù)集

實驗的數(shù)據(jù)集含正負(fù)樣本各1.5萬張，其中訓(xùn)練數(shù)據(jù)集各1.2萬張，測試數(shù)據(jù)集各3千張，煙霧測試視頻10段，其中5段為煙霧視頻，5段為非煙霧視頻。該文采用隨機(jī)組合方式每次從2.4萬張訓(xùn)練樣本中抽取100張圖片放入conv-12中訓(xùn)練，共進(jìn)行1萬次訓(xùn)練。相當(dāng)于對100萬張圖片進(jìn)行了煙霧識別訓(xùn)練。煙霧樣本數(shù)據(jù)來源于廣泛，包括實際拍攝、網(wǎng)上搜索及袁非牛教授公開發(fā)布的數(shù)據(jù)集等。部分煙霧圖像和非煙霧圖像如圖4所示。

圖4 煙霧圖片與非煙霧圖片

3.2 煙霧識別結(jié)果

經(jīng)卷積神經(jīng)網(wǎng)絡(luò)識別和標(biāo)注后，最終輸出結(jié)果如圖5所示。

圖5 煙霧標(biāo)注結(jié)果

從圖5可以看出，煙霧被準(zhǔn)確檢測出來。經(jīng)實驗認(rèn)證，該算法煙霧識別效果良好，有實際應(yīng)用價值。

3.3 評價指標(biāo)

為了方便實驗結(jié)果的比較，使用3個指標(biāo)評估方法的性能，即準(zhǔn)確率AR、檢測率DR[24]和煙霧報警響應(yīng)時間TIM，它們的定義為：

其中，煙霧報警響應(yīng)時間TIM是指煙霧在測試視頻中出現(xiàn)到系統(tǒng)發(fā)出警報的時間，T表示煙霧正樣本中被識別為正樣本的視頻幀數(shù)，F(xiàn)表示煙霧正樣本中未被識別為負(fù)樣本的視頻幀數(shù)，N表示煙霧負(fù)樣本中被識別為正樣本的視頻幀數(shù)[24]。

3.4 和其他算法對比實驗

為了體現(xiàn)算法的性能，將提出的模型與一些具有代表性的方法進(jìn)行了比較。例如算法1是李鵬等人提出的高斯混合和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的視頻煙霧識別方法，算法2是張欣欣等人提出的改進(jìn)VGG16網(wǎng)絡(luò)的視頻煙霧識別方法，算法3是陳俊周等人提出的通過提取煙霧的多個特征進(jìn)行煙霧識別的算法，算法4是袁梅等人提出的通過擴(kuò)大煙霧候選區(qū)域和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的煙霧檢測的算法。測量數(shù)據(jù)對比如表2所示。

表2 煙霧檢測的5種方法對比結(jié)果

從表2可知，該文提出的方法的準(zhǔn)確率為96.45% ，煙霧報警響應(yīng)時間只需要0.9 s。在煙霧檢測的準(zhǔn)確率等幾個指標(biāo)表現(xiàn)上結(jié)果都是最好的。提出的HSV+conv-12模型在火災(zāi)煙霧識別上具有良好的識別效果，在準(zhǔn)確率、檢測率和響應(yīng)時間上都表現(xiàn)非常優(yōu)異，這主要是因為HSV顏色空間模型能夠通過目標(biāo)區(qū)域定位層提取出煙霧目標(biāo)區(qū)域，相對于直接對煙霧數(shù)據(jù)進(jìn)行處理，減少了輸入數(shù)據(jù)中無關(guān)特征對識別結(jié)果的影響,同時使用conv-12自動提取煙霧特征，避免了傳統(tǒng)提取特征方法依賴先驗知識的缺點。

3.5 實驗結(jié)果分析

影響煙霧檢測準(zhǔn)確率的因素有：

(1)用于訓(xùn)練的正負(fù)樣本有限，數(shù)據(jù)集過小可能導(dǎo)致煙霧數(shù)據(jù)不夠，造成一些煙霧無法識別；

(2)干擾因素過多，像白云、水汽等物體都有可能對煙霧檢測有干擾。

通過增加正負(fù)樣本數(shù)量，可以提高識別準(zhǔn)確率。

4 結(jié)束語

由于煙霧形狀不規(guī)律、顏色多樣性等原因，導(dǎo)致煙霧特征提取難度較大。該文提出了一種基于HSV顏色空間特征和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的視頻煙霧檢測方法。利用該模型進(jìn)行了煙霧識別實驗，煙霧識別的準(zhǔn)確率為96.45%，煙霧檢測平均反應(yīng)時間為0.9 s。 實驗結(jié)果表明，conv-12能夠減少復(fù)雜場景中無關(guān)信息對煙霧識別的干擾，有效提高了煙霧識別的準(zhǔn)確率和檢測率，減少了煙霧報警響應(yīng)時間，實現(xiàn)了煙霧的實時警報，該方法在多種復(fù)雜環(huán)境下是可行、有效的。