吳冬梅， 李白萍， 沈 燕， 王 靜， 何 蓉

(1. 西安科技大學(xué)通信學(xué)院，陜西 西安 710054；2. 江蘇省環(huán)境監(jiān)測中心，江蘇 南京 210004)

基于多特征融合的煙霧檢測

吳冬梅1， 李白萍1， 沈 燕2， 王 靜1， 何 蓉1

(1. 西安科技大學(xué)通信學(xué)院，陜西 西安 710054；2. 江蘇省環(huán)境監(jiān)測中心，江蘇 南京 210004)

針對傳統(tǒng)火災(zāi)探測技術(shù)的應(yīng)用弱點，研究基于視頻的火災(zāi)煙霧探測方法。首先，根據(jù)煙霧的顏色特征，提取視頻序列中的疑煙區(qū)域。然后，在疑煙區(qū)域中提取煙霧的3個動態(tài)特征——擴散特征、輪廓不規(guī)則特征和使背景模糊特征。最后，利用BP神經(jīng)網(wǎng)絡(luò)對這些動態(tài)特征進行融合判定。實驗結(jié)果表明，基于多特征融合的煙霧檢測方法能夠準(zhǔn)確、實時、有效地識別視頻中的煙霧。

煙霧；顏色特征；動態(tài)特征；BP神經(jīng)網(wǎng)絡(luò)

由于傳統(tǒng)的基于傳感器的火災(zāi)探測系統(tǒng)在一些大型室內(nèi)空間或通風(fēng)場所會容易失效，研究一種基于計算機視覺和視頻圖像處理的新型火災(zāi)探測方法[1]具有重要意義。通常情況下，“煙為火始”，若能在視頻中及時地檢測到煙霧則可提供更早的火災(zāi)預(yù)警。利用視頻圖像處理技術(shù)監(jiān)測場景中的煙霧具有以下優(yōu)點：①不受距離空間環(huán)境限制；②響應(yīng)速度快；③探測直觀主動，保護面積大。而且在各式建筑物中，視頻監(jiān)控系統(tǒng)已大量使用，利用視頻來探測火災(zāi)的技術(shù)將得以推廣。

目前，國內(nèi)外已經(jīng)提出了 3種視頻煙霧的探測算法：①基于顏色特征的煙霧檢測[2]，利用統(tǒng)計像素點的信息對比確定煙霧出現(xiàn)的可能性。②基于變換域視頻煙霧分析技術(shù)[3]，進行小波變換后，再利用連續(xù)幀之間的動態(tài)變化差別識別煙霧區(qū)域。③基于累計運動方向模型的煙霧檢測[4]，運用

煙霧出現(xiàn)的趨向性對煙霧區(qū)域進行判斷。以上方法對煙霧的檢測能夠起到一定的效果，但檢測的準(zhǔn)確性有待提高。本文針對現(xiàn)有方法準(zhǔn)確性不高且適應(yīng)性不強等問題，提出了將煙霧的靜態(tài)特征和動態(tài)特征相結(jié)合，利用BP神經(jīng)網(wǎng)絡(luò)對這些特征進行融合判定，提高了煙霧檢測的準(zhǔn)確率，多特征的融合也使適應(yīng)性有了較大提高。

1 視頻煙霧檢測算法架構(gòu)

視頻中的煙霧為運動目標(biāo)，且煙霧具有獨特的靜態(tài)及動態(tài)特征。首先，利用混合高斯背景建模的方法提取視頻序列中的運動目標(biāo)，并對其進行顏色分析和判斷，找到疑煙區(qū)域。然后，進一步在疑煙區(qū)域內(nèi)分析和提取煙霧區(qū)別于其他運動物體的獨特的動態(tài)特征，即擴散特征、輪廓不規(guī)則特征和使背景模糊特征。最后，利用BP神經(jīng)網(wǎng)絡(luò)將提取的煙霧動態(tài)特征融合，最終綜合判斷。其軟件算法流程如圖1所示。

圖1 視頻煙霧檢測算法流程

2 基于RGB空間的疑煙區(qū)域檢測

在RGB彩色模型中，強度最高的紅、綠、藍組合產(chǎn)生白色，而等值的紅、綠、藍相加可產(chǎn)生自然的灰色，較低值時產(chǎn)生深灰色，而高值時則產(chǎn)生淺灰色。為了利用顏色特征區(qū)分煙霧和其他運動物體，首先要分析煙霧顏色信息數(shù)據(jù)。經(jīng)研究發(fā)現(xiàn)，對大部分燃燒材料，當(dāng)溫度較低時，煙霧的顏色從青白色過渡到白色；隨著溫度的升高，直至燃燒，煙霧顏色逐漸加深，從灰白色過渡到灰黑色。

圖2給出了典型的煙霧圖像顏色在RGB三維空間中的分布情況，其中三維坐標(biāo)分別代表R、G、B三個分量。經(jīng)過一些典型煙霧顏色的數(shù)據(jù)分析，可發(fā)現(xiàn)煙霧的顏色基本上是分布在一條較為緊湊的窄帶中。即顏色分布在立方體的對角線上，其R、G、B三個分量值基本上相等。Chen等[5]基于此原理提出了一種煙霧顏色檢測的方法。

圖2 煙霧顏色在RGB三維空間中的分布

本文算法中煙霧顏色檢測模型是在文獻[5]的研究基礎(chǔ)上提出的，以下幾個準(zhǔn)則可判斷是否有類似煙霧顏色的區(qū)域存在，從而去除一些明顯的非煙區(qū)域。具體算法分析如下：

圖3 某場景的煙霧顏色檢測效果圖

3 動態(tài)特征的提取

煙霧的視覺特征除了包含顏色、運動這些基本特征外，還有其特有的動態(tài)特征，而提取并分析煙霧的這些動態(tài)特征可進一步排除具有相似顏色的非煙物體。需重點分析煙霧擴散時面積的增加、輪廓的不規(guī)則和背景變模糊這3個動態(tài)特性。

3.1 煙霧擴散的面積增長特征

視頻中若出現(xiàn)了疑似煙霧區(qū)域，則將第 ti時刻煙霧疑似區(qū)域的面積記為 Ai，第 ti+k時刻的煙霧疑似區(qū)域的面積記為 Ai+k，則 Ai+k- Ai表示 ti+k時刻相對于第 ti時刻煙霧疑似區(qū)域面積發(fā)生的變化。從第 ti時刻到第 ti+k時刻煙霧疑似區(qū)域面積增長率[6]定義為：

為便于計算機程序?qū)崿F(xiàn)，將式(4)中煙霧區(qū)域的面積用提取的像素數(shù)量來表示，而時間差用一段時間內(nèi)間隔的幀的數(shù)目表示。則上式可轉(zhuǎn)化為：

式(5)中 Pi表示第 ti時刻圖像的煙霧疑似區(qū)域的總的像素數(shù)， Pi+k為第 ti+k時刻煙霧疑似區(qū)域的像素數(shù)，則dP是像素數(shù)量的變化。(i + k) -i即k表示兩幀圖像之間相隔的幀數(shù)， ΔAdi是從第i到 i+k幀之間的煙霧疑似區(qū)域的像素數(shù)目的變化率，描述了從第i幀到 i+k幀這段時間的煙霧區(qū)域的面積變化情況。歸一化面積增長率的數(shù)值，通過計算煙霧的絕對面積增長率，作為BP神經(jīng)網(wǎng)絡(luò)的輸入，其表達式用像素數(shù)表示則為：

圖 4(a)～(d)分別為一段含煙霧的視頻的第i幀和第 i+k幀的煙霧原始視頻圖像和提取的面積，經(jīng)計算，各自的連通區(qū)域的像素個數(shù)分別為 66 753個和69 101個。

圖4 煙霧面積增長特征提取

3.2 煙霧輪廓不規(guī)則特征

火災(zāi)發(fā)生初期，煙霧會不停地從發(fā)煙點開始無規(guī)則地向周圍擴散，其擴散不同于其他運動物體，煙霧在運動過程中的邊緣輪廓始終呈現(xiàn)不規(guī)則狀態(tài)[7-8]。通過提取并計算煙霧疑似區(qū)域的邊緣長度與面積之比，實現(xiàn)對煙霧輪廓的形狀在擴散過程中的不規(guī)則性這一特征的判斷，判別公式如下：

式中，SEP表示被提取出來的煙霧區(qū)域的周長，通過計算邊緣像素總數(shù)來表示，STP表示被提取出來的煙霧疑似區(qū)域的面積，用包含的連通區(qū)域的像素總數(shù)描述。以圖 4的煙霧區(qū)域的兩幀圖像為例，進行邊緣提取后如圖5所示。

圖5 煙霧邊緣不規(guī)則性

圖 5(a)為第i幀圖像的輪廓，邊緣像素數(shù)為1 863個，圖 5(b)為 i+k幀圖像的邊緣，像素總數(shù)為2 714個。用該特征判據(jù)作為BP神經(jīng)網(wǎng)絡(luò)的第

二個輸入特征。

3.3 背景模糊特征

隨著燃燒繼續(xù)，煙霧的濃度不斷提高，透明度則會降低；煙霧圖像具有半透明的特征，其他非煙霧圖像多將背景區(qū)域完全覆蓋，透過運動區(qū)域不能直接看到背景的紋理，而煙霧在未完全覆蓋整個場景之前，會使圖像的邊緣變平滑，導(dǎo)致圖像的邊緣和細節(jié)信息減少，與之對應(yīng)的高頻分量減少[9]。用小波變換的方法來分析煙霧區(qū)域的模糊性。

一幅視頻序列圖像經(jīng)二維離散小波變換后，被分解成4幅子圖像：1幅是低頻分量子圖像，3幅高頻分量子圖像分別包含了原始圖像在水平方向(HL)、豎直方向(LH)和對角方向(HH)的紋理信息，如圖6所示。

圖6 煙霧圖像的二維離散小波變換

隨著煙霧的出現(xiàn)以及逐漸蔓延，覆蓋并占據(jù)大幅圖像空間后，HL、LH、HH圖像的細節(jié)信息是會逐漸減少的。假設(shè) En表示包含了視頻序列的第n幀采集圖像中所有高頻圖像的高頻能量，高頻能量的公式表示如下：

則用 en表示第n幀煙霧疑似區(qū)域圖像的高頻能量、 ebn表示煙霧疑似區(qū)域?qū)?yīng)背景圖像經(jīng)二次小波變換后的高頻能量， en和 ebn由式(8)的方法得到。▽ en表示第n幀疑似區(qū)域的圖像所對應(yīng)的背景圖像的高頻能量減少的特性，即煙霧出現(xiàn)使圖像變模糊的特征：

當(dāng)視頻中出現(xiàn)煙霧時，通常會使 3幅高頻分量子圖像HL、LH、HH的總能量值減少。大量試驗得出其他物體的高頻衰減一般遠小于0.1，而有煙霧出現(xiàn)時 ▽en的值大約為 0.2～0.8，將這一判據(jù)作為BP神經(jīng)網(wǎng)絡(luò)的第3個輸入特征。

4 融合煙霧動態(tài)特征的神經(jīng)網(wǎng)絡(luò)檢測

根據(jù)煙霧檢測的實際需要設(shè)計一個BP神經(jīng)網(wǎng)絡(luò)，選取煙霧的 3個動態(tài)特征作為神經(jīng)網(wǎng)絡(luò)的輸入，輸出為一個狀態(tài)信息。BP神經(jīng)網(wǎng)絡(luò)的輸入：①IN1：擴散性特征；②IN2：形狀不規(guī)則特征；③IN3：背景模糊特征。輸出只有一個，輸出層用Sigmoid激發(fā)函數(shù)，使輸出值限定在0～1之間，用Out表示，判斷結(jié)果劃分為：為火災(zāi)煙霧狀態(tài)；為無煙正常狀態(tài)。

BP算法的基本思想是采用最速下降法(梯度法)，使網(wǎng)絡(luò)輸出值與實際的期望輸出值間的誤差平方和最小[10-11]。本文中網(wǎng)絡(luò)用于訓(xùn)練的圖像需要人為地給出輸出結(jié)果，如果圖像含有煙霧，輸出為1，對于沒有煙霧圖像，則輸出為0。

選取在各種動態(tài)環(huán)境下拍攝的早期火災(zāi)煙霧及含干擾現(xiàn)象的視頻序列來作為網(wǎng)絡(luò)的學(xué)習(xí)樣本，視頻部分為自己拍攝，也有在互聯(lián)網(wǎng)站上下載得到的，其中含煙霧的視頻18個、同時含煙霧和火焰的視頻有3個、公路車流視頻2個、行人視頻 2個、每個視頻提取兩組數(shù)據(jù)，總共得到輸入數(shù)據(jù)50組，然后對該BP神經(jīng)網(wǎng)絡(luò)進行了訓(xùn)練，步長為0.01，訓(xùn)練的次數(shù)10 000次。

5 實驗結(jié)果分析

由于目前的煙霧視頻沒有統(tǒng)一的視頻測試標(biāo)準(zhǔn)庫，本實驗的測試視頻來源于網(wǎng)絡(luò)和個人實驗拍攝，選取的視頻為各種場景下的煙霧視頻和非煙霧視頻。利用已經(jīng)訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)對訓(xùn)練樣本之外的20個火災(zāi)煙霧視頻和干擾視頻進行測試，提取數(shù)據(jù)40組，部分測試數(shù)據(jù)如表1所示。其中，序號7和序號9視頻為非含煙視頻，其余組中都含有煙霧，由實際輸出結(jié)果可以看出，含煙視頻均為大于0.7小于1的輸出數(shù)值，而非含煙視頻的輸出也是遠小于0.7，說明已訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)來檢測煙霧具有較好的準(zhǔn)確性和可靠性。

為了更直觀地說明本文基于視頻的煙霧檢測算法的整體準(zhǔn)確有效性，將某個典型的測試視頻序列的檢測效果進行幀提取并分析如下：該段視頻總共有2 345幀，幀大小是320×240，幀率25 fps。

視頻在開始時沒有煙霧，第75幀時有人出現(xiàn)并在290幀的時候放出煙霧，在本段視頻中有兩個人在煙霧周圍行走，遠處有公交車駛過，并且該視頻中的行人所穿衣服的顏色和汽車的顏色都與煙霧顏色極為相近，這個過程中程序未對運動車輛和具有類似顏色的運動行人出現(xiàn)誤判情況。算法能夠準(zhǔn)確并及時標(biāo)注出煙霧，如圖7。

表1 部分測試樣本數(shù)據(jù)

圖7 典型視頻的檢測效果

圖8 測試視頻

由于視頻煙霧檢測尚無標(biāo)準(zhǔn)測試庫，已發(fā)表的文獻大多采用自拍的視頻煙霧進行測試，無法進行全面的定量比較。本文根據(jù)背景場景的不同、鏡頭遠近的不同，同時煙霧的濃度和其他干擾都不同，對 5個視頻進行檢測，以檢驗算法的準(zhǔn)確性和環(huán)境適應(yīng)性。圖8是測試視頻的截圖。

表2給出了煙霧幀檢測結(jié)果。幀平均準(zhǔn)確率S依據(jù)式(10)計算。

其中，S代表視頻總幀數(shù)，F(xiàn)代表誤檢幀數(shù)，M代表漏檢幀數(shù)，n代表測試視頻數(shù)。計算得出此算法每幀的平均準(zhǔn)確率在87%左右。

在以上實驗數(shù)據(jù)中，視頻播放速率為 25幀/秒，用25幀/秒作為觀測長度，若是出現(xiàn)單一的報警信號，則認為此視頻中的運動目標(biāo)為非煙霧，對誤檢目標(biāo)進行有效剔除，可避免將不存在非煙視頻檢測為煙霧視頻的情況。即對帶有煙霧視頻能夠測出目標(biāo)，而對于非煙視頻做到不發(fā)生誤報。若以 4 s為檢測時間要求(從出現(xiàn)煙霧到發(fā)出報警信號)，對測試視頻的煙霧檢測準(zhǔn)確率可達到99%。表明本算法具有較好的準(zhǔn)確性、較強的實時性，環(huán)境適應(yīng)性也較好。

表2 煙霧幀檢測結(jié)果

6 結(jié) 束 語

本文根據(jù)煙霧的顏色特征，提取了視頻中的疑煙區(qū)域，進而在疑煙區(qū)域中提取煙霧區(qū)別于其他物體所特有的3個動態(tài)特征，利用BP神經(jīng)網(wǎng)絡(luò)對這些動態(tài)特征進行融合判定。經(jīng)大量的實驗測試表明，融合多特征的煙霧檢測方法，只對極個別的視頻(發(fā)生源太遠且持續(xù)時間較短)出現(xiàn)漏判，而對大部分的視頻，程序都能在 4 s內(nèi)(幀率為25 fps)做出正確的判斷，具備較好的實時性、準(zhǔn)確性和抗干擾能力，并且對硬件資源占用少。

[1] 薄立矗. 圖像型火災(zāi)探測技術(shù)及發(fā)展前景展望[J]. 武警學(xué)院學(xué)報, 2010, 26(8)： 14-16.

[2] Maruta H, Nakamura A, Yamamichi T, et al. Image based smoke detection with local hurst exponent [C]// Proceedings of 2010 IEEE 17th International Conference on Image Processing. Hong Kong, China, 2010：4653-4656.

[3] Rafiee A, Tavakoli R, Dianat R, et al. Fire and smoke detection using wavelet analysis and disorder characteristics [C]//2011 3rd International Conference on Computer Research and Development. Shanghai, China, 2011： 262-265.

[4] 袁非牛. 基于運動累積和半透明的視頻煙霧探測模型[J]. 數(shù)據(jù)采集與處理, 2007, 22(4)： 396-400.

[5] Chen T H, Kao Chengliang, Chang S M. An intelligent real-time fire-detection method based on video processing [C]//Proceedings of the IEEE 37th Annual (2003) International Carnahan Conference on Security Technology. Taipei, China, 2003： 104-111.

[6] Hong Wenbing, Peng Jianwen, Chen C Y. A new image-based real-time flame detection method using color analysis [C]//Proceedings of the 2005 IEEE International Conference on Networking, Sensing and Control. Tucson, Arizona, USA： IEEE Press, 2005： 100-105.

[7] Chen T H, Yin Y H, Huang Shifeng, et al. The smoke detection for early fire-alarming system base on video [C]//Proceedings of the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP'06). California, USA, 2006： 806-813.

[8] 文永革, 何紅洲, 李海洋. 一種改進的 Roberts 和灰色關(guān)聯(lián)分析的邊緣檢測算法[J]. 圖學(xué)學(xué)報, 2014, 35(4)：637-642.

[9] 閆建強. 基于DM642和圖像分析的林火煙霧檢測系統(tǒng)研究[D]. 杭州： 杭州電子科技大學(xué), 2010.

[10] Li Zhangqing, Khananian A, Fraser R H, et al. Automatic detection of fire smoke using artificial neural networks and threshold approaches applied to AVHRR imagery [J]. IEEE Transactions on Geoscience and Remote Sensing, 2001, 39(9)： 1859-1870.

[11] 李曉歌, 邵麗紅, 李 娜. 人工神經(jīng)網(wǎng)絡(luò)BP算法的實現(xiàn)[J]. 人工智能及識別技術(shù), 2007, 23(12)： 921-923.

Smoke Detection Based on Multi-Feature Fusion

Wu Dongmei1, Li Baiping1, Shen Yan2, Wang Jing1, He Rong1

(1. Department of Communication, Xi′an University of Science and Technology, Xi′an Shaanxi 710054, China; 2. Jiangsu Envoronmental Monitoring Center, Nanjing Jiangsu 210004, China)

A new smoke detection method based on video is researched due to the weakness of the traditional fire detection technology. Firstly, according to the characteristic of the smoke color, the suspect smoke regions are extracted in video sequences. Then, looking for three dynamic characteristics of smoke in the suspected smoke area, there are three features extracted, which respectively are the growth of the area in the smoke spread, irregular contour feature of the smoke region and the background to blurred when smoke appeared. And those three dynamic characteristics are fused by a BP neural network to determine smoke or not. Test results show that the multi-feature fusion smoke detection algorithm can identify smoke in video accurately, real-time and effectively.

smoke; color feature; dynamic characteristics; BP neural network

TP 391

A

2095-302X(2015)04-0587-06

2014-12-18；定稿日期：2014-12-30

陜西省工業(yè)攻關(guān)計劃資助項目(2012K06-16)；國家自然科學(xué)基金-青年科學(xué)基金資助項目(61302133)；西安科技大學(xué)博士啟動金資助項目(2014QDJ066)

吳冬梅(1964–)，女，浙江義烏人，教授，碩士。主要研究方向為圖像壓縮、圖像識別及視頻分析等。E-mail：wdm562@163.com