高聯(lián)欣，魏 維，胡泳植，馮宇浩

成都信息工程大學(xué) 計算機學(xué)院，成都 610225

1 引言

森林是地球生態(tài)系統(tǒng)的主體，在調(diào)節(jié)氣候、涵養(yǎng)水源、防風(fēng)固沙、改善土壤等方面起著重要的作用。而森林火災(zāi)則是突發(fā)性強、破壞性大、難以控制的自然災(zāi)害，一旦發(fā)生森林大火，就會造成大量的自然資源和人類財產(chǎn)的損失。在火災(zāi)發(fā)生前期會產(chǎn)生偏白色的煙霧，它與云、水霧等自然景象有很大的相似性，檢測難度大，但是若能在早期檢測出這一顯著的視覺特征，就能提早預(yù)警，將火災(zāi)扼殺在搖籃，從而將損失降到最低。

隨著計算機視覺技術(shù)的發(fā)展，相比于傳統(tǒng)使用煙霧報警器、瞭望臺、人工巡邏的方式來發(fā)現(xiàn)火災(zāi)煙霧，基于視頻監(jiān)控的方法更加高效和節(jié)約成本。Chen 等人[1]通過實驗發(fā)現(xiàn)煙霧的R、G、B 三個通道的值非常接近，灰度值的范圍在80到220之間，并提出了基于幀差法的運動分割后進行像素級分類煙霧的方法。Tian等人[2]將視頻每一幀分塊后，利用大氣散射模型推導(dǎo)出煙霧圖像的形成模型，然后提出一種雙重過完備字典的方法，將煙霧檢測轉(zhuǎn)為了凸優(yōu)化求解的過程。Ma 等人[3]對視頻序列進行線性增強后，利用低秩矩陣恢復(fù)的方法獲取煙霧的顯著性，然后使用塊匹配算法消除干擾后輸入支持向量機進行煙霧識別。Russo等人[4]利用背景減法從視頻幀中提取前景，然后基于形狀獲取感興趣區(qū)域并計算局部二值模式的值和直方圖，形成特征向量，輸入Bhattacharyya 系數(shù)和支持向量機相結(jié)合的分類器中進行煙霧檢測。Yuan 等人[5]根據(jù)煙霧顏色設(shè)計了基于模糊邏輯的檢測規(guī)則，然后利用擴展卡爾曼濾波器對檢測規(guī)則的輸入和輸出進行重構(gòu)。Wang 等人[6]通過手工設(shè)計煙霧的顏色、模糊、輪廓、主運動方向等特征輸入支持向量機進行檢測。Vijayalakshmi[7]使用模糊C均值的方法進行煙區(qū)定位檢測。

然而，基于傳統(tǒng)計算機視覺的煙霧檢測非常依賴人工設(shè)計的特征，這可能導(dǎo)致煙霧圖像的內(nèi)在特征被忽略掉。隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在圖像識別上獲得了巨大的成功。它的最大特點是不需要手工設(shè)計健壯的特征，而是從輸入數(shù)據(jù)中自動地進行特征學(xué)習(xí)。在眾多的圖像比賽中，如ImageNet，卷積神經(jīng)網(wǎng)絡(luò)獲取的特征對圖像的識別率要遠遠高于人工設(shè)計的特征。

Hu 等人[8]提出了一種基于時空卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測方法，將相鄰幀的煙霧光流圖輸入時間流網(wǎng)絡(luò)獲取煙霧運動信息，將單幀煙霧圖片輸入空間網(wǎng)絡(luò)獲取靜態(tài)特征，然后融合獲取的兩部分特征輸入支持向量機進行分類，該方法基于相鄰幀提取光流，若煙霧運動緩慢則光流效果較差。Luo等人[9]通過背景動態(tài)更新和暗通道先驗算法檢測可疑區(qū)域，再將可疑區(qū)域輸入五層神經(jīng)網(wǎng)絡(luò)進行識別。Yuan 等人[10]受 GoogleNet Inception 模塊的啟發(fā)，提出了DMCNN 網(wǎng)絡(luò)來檢測煙霧，相比于ZF-Net、VGG16、Inception-v3，獲取了更好的效果。然而Luo 和Yuan 的方法沒有考慮煙霧的時間信息。Yin等人[11]設(shè)計了獨立的兩個網(wǎng)絡(luò)分別學(xué)習(xí)煙霧空間特征和運動特征，之后輸入RNN 網(wǎng)絡(luò)以循環(huán)的方式融合來進行檢測識別煙霧，該方法網(wǎng)絡(luò)過多，計算量大。Hu等人[12]將卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)相融合，將煙霧和其對應(yīng)的光流圖輸入網(wǎng)絡(luò)進行檢測，該方法進行了光流的計算，開銷較大。Zeng等人[13]通過對現(xiàn)有目標檢測算法Faster-RCNN、SSD、R-FCN的特征提取部分進行修改從而適應(yīng)煙霧的檢測。該方法針對中后期擁有顯著顏色特征的煙霧效果較好，但是對早期顏色特征不顯著的煙霧效果不好。

針對上述問題，本文提出了基于運動篩選獲取疑似煙霧塊，并使用單獨一個多尺度3D 卷積神經(jīng)網(wǎng)絡(luò)同時獲取煙霧的空間信息和時間信息的早期煙霧檢測方法。該方法能夠較好地檢測出早期煙霧，極大降低誤報率。

2 算法設(shè)計與實現(xiàn)

為了能適應(yīng)復(fù)雜環(huán)境下的早期煙霧檢測，算法流程如圖1所示。

圖1 基于運動篩選和多尺度3D卷積的視頻早期煙霧檢測算法流程圖

2.1 運動篩選

2.1.1 視頻序列預(yù)處理

算法首先將視頻序列標準化為320×240的尺寸，然后對視頻幀進行了均值濾波的操作來減輕視頻幀中的噪聲對后續(xù)背景差分法的影響。均值濾波算法公式如下所示：

其中，g(c,r)表示原始圖像，f(x,y)表示均值濾波后得到的圖像，并令Sxy表示中心點在(x,y)處，大小為m×n的濾波窗口。

2.1.2 背景差分檢測運動區(qū)域

常用的運動檢測方法有幀差法、混合高斯模型和背景差分法三種算法。幀差法適用于具有一定運動速度的物體，由于煙霧可能存在運動緩慢的狀態(tài)，幀差法將很難捕捉到該條件下煙霧的運動；混合高斯模型需要對背景像素進行建模，容易將緩慢運動的煙霧判為背景；背景差分法則可以通過對視頻第一幀或者前幾幀進行背景幀的建模，將之后獲取到的視頻幀與該背景幀進行比較，從而很好地檢測到細微的運動。算法將輸入視頻進行濾波后的首幀作為背景圖，之后對其進行動態(tài)更新。背景差分算法如公式（2）、（3）所示：

其中，fc(x,y)、fb(x,y)分別代表當(dāng)前幀和背景幀，a(x,y)代表當(dāng)前幀和背景幀對應(yīng)像素的差值的絕對值的差值圖。

由于背景像素會存在微小變化，并且還存在噪聲的影響，故對差值圖a(x,y)進行二值化操作得到r(x,y)，將大于等于閾值T的像素值設(shè)置為255作為運動像素，小于T的設(shè)置為0 代表背景，在實驗當(dāng)中將T值取10 可以得到較好的結(jié)果。

背景差分法能夠檢測到細微的運動但無法隨著時間動態(tài)地更新背景，在光照變化劇烈或存在較多運動物體的場景下會檢測出大量的干擾目標，為了減少后續(xù)算法的運算量，還需要對背景差分所檢測出的所有運動塊進行篩選，選擇煙霧可能性較大的塊進行檢測，同時將不符合條件的塊更新到背景幀，從而實現(xiàn)動態(tài)的背景更新。算法將視頻幀劃分為10×10 共計100 個區(qū)域塊，并按照2.2節(jié)方法計算背景差分獲取的運動區(qū)域所對應(yīng)的塊?；谝陨戏治觯疚奶岢隽嘶赗GB 顏色空間和均值HASH算法的兩步運動區(qū)域篩選的算法。

2.1.3 RGB顏色判斷與均值HASH算法

通過實驗發(fā)現(xiàn)，當(dāng)煙霧慢慢出現(xiàn)，煙霧所在塊的RGB 圖像中B 通道的像素值呈現(xiàn)逐漸上升的趨勢。故對運動塊取B 通道的像素值與背景塊的B 通道像素值相減后求和，若大于0則送入下一步檢測，若小于0則將這一個運動塊判為背景更新到背景圖。

然后采用均值HASH算法對基于RGB顏色空間篩選后的運動塊進行二次篩選，其目的是為了篩選出與背景區(qū)分度較大的運動塊。

均值HASH算法首先將32×24的運動塊縮放到8×8的大小，以去除圖像的高頻和細節(jié)信息，然后將圖像轉(zhuǎn)化為灰度圖，計算所有64個像素的灰度平均值，之后將圖像的每一個灰度值和平均值相比較，大于等于平均值則記作1，小于平均值則記作0，這樣就得到了64位由0和1組成的能代表這張圖像的特征的一串hash編碼，其流程如圖2所示。

圖2 均值HASH算法流程圖

通過比較背景塊和運動塊的64位hash編碼的漢明距離是否大于閾值D就可以進行相似度的判斷，從而對運動區(qū)域進行篩選，不符合條件的塊更新到背景圖，實驗中D設(shè)置為3。

RGB 顏色判斷和均值HASH 算法組合篩選運動塊的效果如圖3 所示。其中紅色方框代表顏色判斷所篩選的運動區(qū)域，黃色橫線代表均值HASH算法在顏色判斷的基礎(chǔ)上進一步篩選后的結(jié)果。

圖3 顏色判斷和均值HASH算法篩選運動區(qū)域

實驗結(jié)果顯示，經(jīng)過提出的兩步篩選算法，能夠很好地將無關(guān)塊去掉，從而得到疑似煙霧塊。

2.2 背景動態(tài)更新

本文在RGB 顏色判斷、均值HASH 算法中對非疑似塊以及下文的3D卷積中判斷為非煙霧塊的區(qū)域進行背景動態(tài)更新的算法如算法1所示。

算法1

其中x,y,w,h為待更新區(qū)域的起始x,y軸坐標與寬w和高h，通過算法獲得的xl,xr,yu,yd為待更新區(qū)域所對應(yīng)塊分別在x軸和y軸的起始塊和結(jié)束塊。最后判斷塊是否滿足外部算法（顏色判斷/均值HASH/3D卷積）條件，若不滿足則將當(dāng)前幀所對應(yīng)的塊替換掉背景幀的相應(yīng)塊，從而實現(xiàn)背景的動態(tài)更新。

2.3 多尺度3D卷積神經(jīng)網(wǎng)絡(luò)

3D 卷積神經(jīng)網(wǎng)絡(luò)的輸入是多幀圖片組合成的塊，每一個塊中包含了所對應(yīng)目標的空間特征和該時間段的運動時間特征，2D 卷積神經(jīng)網(wǎng)絡(luò)的輸入則只是單幀的圖片，如圖4 所示。不同于2D 卷積只能提取數(shù)據(jù)的空間特征，3D 卷積可以從多幀圖片中同時提取數(shù)據(jù)的時間和空間特征，例如文獻[14]使用3D卷積來捕捉視頻流的空間和運動信息，從而實現(xiàn)動作識別。

圖4 2D卷積與3D卷積

在視頻序列中，由于煙霧存在運動狀態(tài)，有隨時間變化的顏色、紋理和形狀等特征，為了捕捉連續(xù)視頻幀中的這些特征信息并讓特征多樣化，使用3D 卷積從不同尺度去提取煙霧的特征是非常適合的，于是設(shè)計了如圖5所示的多尺度3D卷積結(jié)構(gòu)。

圖5 多尺度3D卷積結(jié)構(gòu)

圖5中1×3×3和1×5×5卷積用于提取煙霧圖像的不同尺度的空間信息，之后將其融合在一起，保持多尺度特征的共存，最后使用3×1×1的卷積進行多幀之間的時間采樣。最終將這樣的3D 模塊進行堆疊，就得到了多尺度3D卷積網(wǎng)絡(luò)（6M3DC）。結(jié)構(gòu)圖如圖6所示。

6M3DC 網(wǎng)絡(luò)的每一個輸入為連續(xù)6 幀圖像所組成的塊，每一個塊里面包含了某一時刻目標對應(yīng)的運動狀態(tài)和空間特征，網(wǎng)絡(luò)的目的為通過學(xué)習(xí)每一個塊中目標空間特征和運動特征，從而獲得目標的空間與時間特征。網(wǎng)絡(luò)的每一個Block 結(jié)構(gòu)都如圖3 所示，一共7 個Block。除了第一個Block，每一個Block 前面都接上了BN層（Batch Normalization），在提高訓(xùn)練速度的同時可以防止隨著網(wǎng)絡(luò)加深而產(chǎn)生的梯度擴散的問題，最后使用Global Average Pooling 3D 來增強特征圖內(nèi)的響應(yīng)并且不會增加網(wǎng)絡(luò)的參數(shù)量，最后接上兩個神經(jīng)元的Fully Connected Layer進行分類。若6M3DC判斷塊為非煙霧，則按照2.2 節(jié)方法將塊更新到背景圖；為煙霧，則進行標記預(yù)警。各模型網(wǎng)絡(luò)參數(shù)如表1所示。

圖6 6M3DC網(wǎng)絡(luò)結(jié)構(gòu)圖

3 實驗分析與結(jié)論

實驗基于Keras 來構(gòu)建和訓(xùn)練所提出的3D 卷積網(wǎng)絡(luò)，所有實驗均在配備Inter?Core? i5-8400 CPU @2.80 GHz 2.81 GHz和NVIDIATeslaM40GPU的PC上運行的Win10和Ubuntu16.04操作系統(tǒng)中進行的。

由于煙霧視頻沒有統(tǒng)一完善的公開數(shù)據(jù)集，本文的煙霧數(shù)據(jù)集來自土耳其比爾肯大學(xué)、內(nèi)華達大學(xué)和中國科學(xué)技術(shù)大學(xué)的公開煙霧數(shù)據(jù)庫。訓(xùn)練集從部分煙霧視頻中進行裁剪，并對其進行水平翻轉(zhuǎn)的數(shù)據(jù)增強后得到，如圖7所示。

訓(xùn)練集包含正樣本10 296組，負樣本10 068組的6×32×24×3的煙霧塊。測試視頻如圖8所示，其中Video1～Video3 為中近距離快速運動的煙霧，Video4～Video6 為遠距離緩慢運動煙霧。

3.1 評定標準

視頻煙霧的檢測主要從精確率、召回率和F-Measure三個方面來進行算法的評測，精確率是指預(yù)測為正的樣本中有多少是對的，包括把煙霧預(yù)測為煙霧(TP)和把非煙霧預(yù)測為煙霧(FP)；召回率是指樣本中的正例有多少被預(yù)測正確了，包括把煙霧預(yù)測為煙霧和把煙霧預(yù)測為了非煙霧(FN)；為了防止精確率和召回率出現(xiàn)矛盾的情況，使用F-Measure來綜合考慮。公式如式（4）～（6）所示：

表1 各模型網(wǎng)絡(luò)參數(shù)

3.2 背景建模有效性驗證

為了驗證背景建模的有效性，將本文算法分為是否更新背景模型的兩組對照實驗，實驗結(jié)果如表2所示。

實驗結(jié)果顯示，在精確率方面，未進行背景更新時，煙霧識別的平均準確率遠小于進行背景更新時，并且在環(huán)境較為復(fù)雜的V3 和V5 視頻中出現(xiàn)了大量的誤檢。在召回率方面，是否進行背景更新差異不大。綜上所述，對背景進行建模，能夠更加穩(wěn)定地檢測各種環(huán)境下的煙霧。

圖7 部分煙霧訓(xùn)練數(shù)據(jù)集

圖8 煙霧測試視頻

表2 背景建模對照試驗

3.3 與2D卷積相比較

為了驗證本文提出的3D 卷積網(wǎng)絡(luò)效果好于2D 卷積網(wǎng)絡(luò)。在相同條件下，將圖4 的3D 卷積結(jié)構(gòu)去掉了最后的3×1×1 卷積，將1×3×3 和1×5×5 卷積修改為3×3和5×5 的2D 多尺度卷積，將其作為算法1，并與同樣為2D卷積的Yuan[10]的算法進行實驗對比，如表3所示。

實驗結(jié)果顯示，2D 卷積在對煙霧視頻進行檢測時擁有較低精確率和較高的召回率，但非常不穩(wěn)定，對不同環(huán)境下的煙霧檢測差異較大，究其原因是在檢測中存在與煙霧空間特征相似的干擾物，從而產(chǎn)生了誤報。而3D 卷積除了從空間特征的角度，還會在時間角度上進行檢測判斷，從而大大提高了精確率和穩(wěn)定性。

表3 6M3DC與2D卷積相比較

3.4 與3D卷積相比較

為了驗證本文提出的3D 卷積的有效性，將圖4 的卷積結(jié)構(gòu)分別替換為單一的3×3×3和5×5×5的的3D卷積作為算法2和算法3，并與同樣為3D卷積的薛繼光[15]的算法進行比較，如表4所示。

表4 6M3DC與其他3D卷積相比較

實驗結(jié)果顯示，對于V1～V3的中近距離的煙霧，所有3D 算法都擁有著較高的平均召回率，但是精確率存在著較大的差異，薛繼光[15]和6M3DC 的平均準確率遠遠高于算法2和算法3；對于V4～V6遠距離的煙霧，由于距離遠，存在著運動不顯著的問題，所以相比于中近距離煙霧，整體召回率有較大的下降，但6M3DC的平均召回率和平均準確率都要遠遠優(yōu)于其他算法。薛繼光的算法無法對遠距離煙霧進行檢測的原因是其在運動處理時采用了幀差法，無法檢測到緩慢運動的煙霧，致使其后續(xù)網(wǎng)絡(luò)無法進行檢測。

3.5 實驗結(jié)果可視化

為了驗證本文算法的有效性，將算法1、算法2、算法3和本文算法進行了可視化，如表5所示，可見本文算法在不同環(huán)境下能夠較為精確地覆蓋所有煙霧區(qū)域。

表5 實驗結(jié)果可視化

4 結(jié)束語

本文設(shè)計的運動篩選和6M3DC網(wǎng)絡(luò)相結(jié)合的視頻早期煙霧檢測算法，利用RGB顏色判斷、均值HASH算法和多尺度3D 卷積神經(jīng)網(wǎng)絡(luò)，對中近距離的煙霧的平均召回率達97.9%，平均準確率達94.2%；對遠距離煙霧的平均召回率達79.1%，平均準確率達94.7%，能夠較好地適應(yīng)不同場景下的煙霧檢測。未來的工作計劃是對運動區(qū)域的篩選進行進一步研究，并構(gòu)建更為有效的卷積神經(jīng)網(wǎng)絡(luò)以適應(yīng)緩慢運動的煙霧的檢測。