黎粵華，單 磊，田仲富，朱自民

(東北林業(yè)大學 機電工程學院，黑龍江 哈爾濱 150040)

基于多特征融合的視頻煙霧檢測

黎粵華，單 磊，田仲富，朱自民

(東北林業(yè)大學 機電工程學院，黑龍江 哈爾濱 150040)

煙霧檢測對火災早期防范非常重要,傳統(tǒng)的火災探測技術主要利用傳感器對火焰和溫度進行識別，其每一個傳感點只能檢測到布控點周圍的局部空間，對于開放空間等特殊場合難以發(fā)揮作用。為了克服傳統(tǒng)火災檢測存在的誤報率高等缺點，文中提出一種基于煙霧多特征融合技術的圖像型火災檢測方法。該方法首先利用背景減除法獲取普通CCD攝像機拍攝的疑似火災煙霧區(qū)域，然后再從時域和頻域著手，提取火災煙霧的輪廓不規(guī)則特征、背景模糊度特征和紋理特征作為神經網絡的輸入信號，同時采用sigmoid函數(shù)將輸出歸一化，最后通過對BP神經網絡訓練完成火災煙霧的多特征融合，并對來自網絡的火災視頻進行測試。實驗結果表明：圖像型火災檢測方法能夠準確快速地識別火災煙霧，達到早期預警的目的。

煙霧檢測；輪廓不規(guī)則特征；模糊度特征；紋理特征；特征融合

0 引 言

火災的發(fā)生在時間和空間上表現(xiàn)為無規(guī)律性，是一種反人類意識的行為，傳統(tǒng)的火災探測方法具有一定的局限性，往往出現(xiàn)誤報或漏報的情況。隨著數(shù)字圖像處理技術在計算機領域的不斷發(fā)展，圖像型火災探測技術越來越廣泛地應用于火災檢測領域[1]。在煙霧圖像處理方面，Shu Xueming等提出了基于粒子成像系統(tǒng)、光散射系統(tǒng)和煙霧通道系統(tǒng)的火災檢測方法[2]。袁非牛等[3-4]提出了基于主運動方向和累積量的視頻煙霧檢測算法。Khananian等提出了將遙感技術和神經網絡技術相結合的檢測林火煙霧的方法[5]。Chen等[6]提出了基于煙霧靜態(tài)特性和動態(tài)特性的檢測算法。這些方法都具有一定的局限性。其中，Shu Xueming和Khananian等提出的方法造價較高，不易推廣，袁非牛和Chen等提出的方法易受環(huán)境等因素的影響，檢測效果不佳。

因此，文中根據(jù)煙霧圖像檢測在復雜多變環(huán)境下的高隨機性，從經濟實用的角度出發(fā)，提出了基于煙霧多特征融合技術的圖像型火災檢測方法。該方法通過對指定場景進行實時監(jiān)測,并對疑似火災煙霧區(qū)域進行特征融合判定，達到早期發(fā)現(xiàn)火險并準確定位火情的目的。

1 運動檢測

運動檢測是實現(xiàn)煙霧檢測的前提,文中選取背景減除法對運動區(qū)域進行檢測。背景減除法首先在Kalman濾波的基礎上根據(jù)時域遞歸低通濾波對背景進行更新和提取，再使用帶閾值的背景差分法獲取運動目標[7]。

圖1顯示了火災煙霧圖像的區(qū)域運動分割過程。

圖1 運動區(qū)域分割示

2 特征提取

2.1 煙霧輪廓不規(guī)則特征提取

火災發(fā)生時，在熱氣流的影響下，煙霧從著火點開始不斷向周圍擴散；煙霧的邊界呈現(xiàn)出一種不規(guī)則的狀態(tài)，而行人、汽車和動物的邊界看起來更規(guī)則，可將這一特性作為檢測煙霧和非煙物體的一個依據(jù)。

一般來說，面積相同的圖形，邊界區(qū)域越不規(guī)則其邊界長度越大。文中將圓形度[8]作為檢測煙霧和非煙物體的依據(jù)。圓形度定義為：

(1)

式中，A為圖形面積；L為圖形周長。

文中采用8向鏈碼提取周長L和面積A。通過8向鏈碼求取區(qū)域周長L的方法為：將區(qū)域像素看成點，將周長L定義為區(qū)域邊界像素的8鏈碼長度和[9]，其表達式為：

(2)

通過邊界鏈碼求取區(qū)域面積A的方法為：

(1)令點(x,y)為鏈碼起點，取橫坐標x為長度起點，縱坐標y為第一高度，并對鏈碼初始化，使長度終點等于起點。

(2)取一個新點(x1,y1)，判斷縱坐標y1是否等于y，若等于轉到步驟3，若不等于轉到步驟4。

(3)存儲y1作為新高度，并取x1作為此高度的長度起點，對鏈碼初始化，使長度終點等于長度起點。

(4)用x1與點(x1,y1)的高度的起點和終點進行比較，若x1小于起點，則將x1作為新起點；若x1大于終點，則將x1作為新終點；否則轉到步驟5。

(5)判斷是否到達鏈碼終點，若是轉到步驟6，否則進入步驟2。

(6)對每一個高度求其長度，面積等于每個高度的長度之和。

表1為部分煙霧圖像和干擾物圖像的圓形度數(shù)據(jù)。

表1 樣本圖像圓形度統(tǒng)計表

由上述數(shù)據(jù)可以發(fā)現(xiàn)；由于煙霧運動區(qū)域的無規(guī)則性，其圓形度通常大于3；行人、車輛和動物等規(guī)則物體的圓形度一般小于3；因此，可將圓形度作為BP神經網絡的第一個輸入特征用于融合判斷。

2.2 煙霧模糊特征提取

空氣中的細小顆粒不斷聚集形成了煙霧，隨著煙霧濃度的不斷增大，圖像背景開始變得模糊；在頻域上，煙霧的這種性質將會引起高頻信號的衰減[10]。因此，可將這一特性作為檢測煙霧和非煙物體的一個依據(jù)。通常，利用二維離散小波變換提取這一特征，一幅圖像經過二維離散小波變換后分解為四個四分之一大小的圖像，包括一幅低頻分量子圖像和三幅高頻分量子圖像。其中，三幅高頻分量子圖像分別體現(xiàn)了豎直方向(LH)、水平方向(HL)和對角方向(HH)的紋理信息。其中，低頻分量子圖像可以較完整地體現(xiàn)出原圖像的特征，而高頻分量子圖像只體現(xiàn)了原圖像的部分特征。

設一幅圖像經過二維離散小波變換得到三幅高頻分量子圖像的小波系數(shù)分別為LHn(x,y)、HLn(x,y)和HHn(x,y)，用Wn(x,y)表示三幅高頻分量子圖像的復合能量值，其公式為：

(3)

文中通過定義高頻能量衰減率來表示物體背景變模糊的程度，公式如下：

(4)

其中，en表示圖像中疑煙區(qū)域第n幀的高頻能量值；ebn表示疑煙區(qū)域對應背景圖像經二維離散小波變換后的高頻能量值；當視頻中出現(xiàn)煙霧時，隨著邊緣變平滑，細節(jié)信息減少，通常會使三幅高頻分量子圖像的能量值減少[11]。

表2給出了部分煙霧圖像和干擾物圖像的高頻能量衰減率數(shù)據(jù)。

表2 樣本圖像高頻能量衰減率統(tǒng)計

由上述數(shù)據(jù)可以發(fā)現(xiàn)：由于煙霧運動區(qū)域的模糊性，其高頻衰減率遠大于汽車、行人和動物等剛性物體。一般，煙霧的高頻衰減率在0.1～0.5之間；行人、汽車和動物等剛性物體的高頻衰減率小于0.1，二者具有很好的區(qū)分度。因此，可將高頻衰減率作為BP神經網絡的第二個輸入特征用于融合判斷。

2.3 煙霧紋理特征提取

紋理體現(xiàn)了物體表面共有的內在特征，被定義為一個區(qū)域內的屬性，反映了圖像中同質現(xiàn)象的視覺特性。火災煙霧在熱氣流的影響下，做著小尺度，快速的隨機運動，并會產生漂移、閃爍、擴散和相位起伏等現(xiàn)象，從而引起圖像序列灰度值的空間變化[12]。因此，文中選擇基于統(tǒng)計法中的灰度共生矩陣法提取樣本的紋理特征值，該方法是建立在圖像的二階組合條件概率密度基礎上的，具有較好的鑒別能力。

(5)

其中，#代表像元個數(shù)；k、l和m、n在各自所選的窗口內變化；一般來說位移方向有4種，即0°、45°、90°和135°，當距離為d時，其計算公式如下：

(6)

(7)

(8)

(9)

實驗表明，當灰度級L=16時，計算速度不至于太慢同時也能夠表達足夠的紋理信息，此時利用灰度共生矩陣可以得到一系列的紋理統(tǒng)計量[13],根據(jù)火災煙霧紋理的無方向性和像素灰度的高隨機性，選擇更能有效反映火災煙霧特征的能量和對比度作為紋理特征，其計算公式為：

(10)

(11)

文中分別計算出火災煙霧圖像和樣本圖像在0°、45°、90°和135°方向上的灰度共生矩陣，再計算出每一個方向上的能量和對比度，最后取每一個特征量在4個方向上的平均值作為識別火災煙霧的判據(jù)。部分實驗數(shù)據(jù)見表3和表4。

表3 樣本圖像能量值統(tǒng)計表

表4 樣本圖像對比度統(tǒng)計表

由表中數(shù)據(jù)可以發(fā)現(xiàn)：

(1)反映紋理粗糙程度的能量較小，且紋理越粗糙，能量越大；其中，火災煙霧的能量最大，動物的最小。

(2)反映紋理溝紋深淺的對比度較大，且溝紋越深，視覺效果越清晰，對比度越大；其中，火災煙霧的對比度最小，動物的最大。

(3)數(shù)據(jù)特點都符合圖像的紋理特征，并且能量和對比度都有一定的可分性，可以作為區(qū)分火災煙霧和其他干擾物的特征量。因此，將紋理中的能量和對比度作為煙霧特征進行融合判定可以更好地實現(xiàn)煙霧檢測。

3 實驗過程

BP神經網絡在特征融合方面具有很強的魯棒性、容錯性和準確性，并且可以處理不完整的模糊信號[14]。為了應對火災發(fā)生環(huán)境的復雜多樣性，文中將BP神經網絡用于視頻煙霧檢測，可以實現(xiàn)系統(tǒng)的準確性和實時性的統(tǒng)一。

3.1 煙霧檢測的BP神經網絡設計

文中采用含有一個輸入層、一個隱含層和一個輸出層的BP神經網絡。其中，輸入層節(jié)點數(shù)與樣本特征數(shù)保持一致，因此得到四個信號作為BP神經網絡的輸入信號；輸出層節(jié)點數(shù)由研究對象本身決定，文中選擇節(jié)點數(shù)為一，并采用sigmoid激發(fā)函數(shù)將輸出結果歸一化。用Y表示輸出結果，根據(jù)經驗數(shù)據(jù)，人為劃定期望輸出Y：Y∈[0,0.8]系統(tǒng)判定為正常，Y∈[0.8，1]系統(tǒng)判定為火災；隱含層節(jié)點數(shù)由公式計算得到，結果為7。公式如下：

隱含層節(jié)點數(shù)=輸入層節(jié)點數(shù)×輸出層節(jié)點數(shù)×2-1

選取各種場合下拍攝的早期火災煙霧及干擾現(xiàn)象的視頻序列作為學習樣本，其中含煙霧的視頻20個，行人視頻3個，動物視頻3個，車流視頻4個，每個視頻提取兩組數(shù)據(jù)，共得到60組輸入樣本。其中，序號1～40為煙霧圖像樣本，序號40～60為干擾物圖像樣本。學習訓練時，設置系統(tǒng)目標誤差為10-5，步長為0.001。輸入學習樣本后，使用反向傳播算法對網絡的權值和偏差進行反復的調整訓練，使輸出的向量與期望輸出向量盡可能地接近，當網絡輸出的誤差平方和小于10-5時訓練完成，保存網絡權值的偏差。表5給出了訓練樣本的部分數(shù)據(jù)；其訓練結果如圖2所示。對訓練結果觀察可得，擬合值和真實值基本吻合，其精度可以達到系統(tǒng)要求。

圖2 神經網絡訓練擬合圖 表5 部分神經網絡訓練樣本

樣本序號特征分量圓形度高頻能量衰減率能量對比度模式類型17.72240.26180.08261.2329(1)27.82410.28240.09491.7869(1)37.03260.32160.07272.1234(1)47.43340.38120.09201.9206(1)58.63570.27240.07481.8166(1)68.83820.32620.06241.8166(1)77.62120.42180.05371.6329(1)87.52370.44260.06862.6143(1)96.92690.21720.07290.9928(1)107.02740.24060.08361.3247(1)………………367.61790.29260.07272.0349(1)376.82070.37260.06921.4929(1)386.92320.40120.08141.6260(1)397.93120.19140.07921.7217(1)408.03410.22000.08182.1318(1)412.80860.05480.03275.4728(0)422.70780.07210.03866.2460(0)432.54720.06270.03126.2342(0)………………572.12210.04180.02189.0317(0)582.41820.05180.02149.3418(0)592.22100.04720.02269.9272(0)602.39210.04020.02129.2217(0)

經過樣本訓練得到輸入層和隱含層的權值系數(shù)矩陣為：

隱含層閾值矩陣為：

[-2.270 5 1.408 2 -0.809 2 -0.460 0 1.084 3 1.676 3 2.397 6]T

隱含層和輸出層的鏈接權值矩陣為：

[-0.652 0 -0.107 1 -0.928 4 -0.056 9

-0.413 4 0.022 8 0.010 3]

輸出層閾值矩陣為：

該樣本的實際輸出為：

3.2 測試樣本及數(shù)據(jù)分析

為了驗證文中BP神經網絡融合煙霧特征方法的有效準確性，利用訓練好的BP神經網絡對訓練樣本之外的3個火災煙霧視頻和2個干擾視頻進行測試，每個視頻提取2組數(shù)據(jù)，共得到輸入數(shù)據(jù)10組，測試數(shù)據(jù)如表6所示。

表6 測試樣本數(shù)據(jù)

由實際輸出結果可以看出，火災煙霧視頻的輸出都大于0.8小于1，其余干擾視頻的輸出都遠遠小于0.8，說明已訓練好的BP神經網絡用來檢測火災煙霧具有一定的準確性和可靠性。

4 結束語

文中基于傳統(tǒng)火災探測技術在某些場合的應用弱點，提出了基于視頻的火災煙霧檢測方法。首先通過運動檢測提取疑似火災煙霧區(qū)域；然后在頻域和時域的基礎上，提取出煙霧的輪廓不規(guī)則特征、模糊特征和紋理特征；最后用三層BP神經網絡對提取的特征進行融合，并對網絡視頻和拍攝視頻進行測試。

實驗結果表明：該方法具有較高的火災識別能力，利用其綜合處理的圖像輸入信號可以改進火災探測過程中信號不匹配的問題，使火災探測系統(tǒng)具有了自我學習自我適應的能力，即在得到樣本數(shù)據(jù)后，可以自動建立輸入與輸出的關系。同時，由于火災煙霧先與火焰出現(xiàn)在人們的視線里,因此，相比于傳統(tǒng)的火焰檢測，煙霧檢測能更早地發(fā)現(xiàn)火情，將損失降到最低，具有更高的可靠性和實用性。

[1] 練秋生，李 黨.融合多種特征的煙霧圖像檢測算法[J].光學技術,2009,35(4):523-528.

[2] Zhao J, Tow J, Katupitiya J.On-tree fruit recognition using texture properties and color data[C]//Proc of 2005 IEEE/RSJ international conference on intelligent robots and systems.[s.l.]:[s.n.],2005:263-268.

[3] Yuan Feiniu. A fast accumulative motion orientation model based on integral image for video smoke detection[J].Pattern Recognition Letters,2008,29(7):925-932.

[4] 袁非牛，張永明，劉士興,等.基于累積量和主運動方向的視頻煙霧檢測方法[J].中國圖象圖形學報，2008,13(4):808-813.

[5] Mena J B,Malpica J A.Color image segmentation based on three levels of texture statistical evaluation[J].Applied Mathematics and Computation,2005,161(1):1-17.

[6] Chen Thou-Ho,Yin Yen-Hui,Huang Shifeng,et al.The smoke detection for early fire-alarming system base on video processing[C]//Proceeding of the 2006 international conference on intelligent information hiding and multimedia signal processing.[s.l.]:[s.n.],2006:427-430.

[7] 嚴 勇，黃席樾，劉愛君.Kalman濾波在運動圖像背景提取及更新中的應用[J].自動化與儀器儀表，2006(2):28-30.

[8] 龔聲蓉，劉聲平，王 強.數(shù)字圖像處理與分析[M].北京:清華大學出版社,2006:213-215.

[9] Freeman H.On the encoding of arbitrary geometric configurations[J].IEEE Trans on Electronic Computers,1961，EC-10(2):260-268.

[10] Toreyin B U,Dedeoglu Y,Cetin A E.Wavelet based real-time smoke detection in video[C]//Proc of 13th European signal processing conference.[s.l.]:[s.n.],2005:653-695.

[11] 閆建強.基于DM642和圖像分析的林火煙霧檢測系統(tǒng)研究[D].杭州：杭州電子科技大學，2010.

[12] 冉海潮，孫麗華.基于煙氣湍流效應的火災判據(jù)[J].傳感技術學報,2001,14(1):72-74.

[13] 白雪冰，王克奇，王 輝.基于灰度共生矩陣的木材紋理分類方法的研究[J].哈爾濱工業(yè)大學學報,2005,37(12):1667-1670.

[14] 劉永鋒，李潤祥，李純斌,等.BP神經網絡和支持向量機在積溫插值中的應用[J].干旱區(qū)資源與環(huán)境，2014，28(5)：158-165.

Video Smoke Detection Based on Multi Feature Fusion Technology

LI Yue-hua,SHAN Lei,TIAN Zhong-fu,ZHU Zi-min

(College of Mechanical and Electrical Engineering,Northeast Forestry University,Harbin 150040,China)

The smoke detection is very important for the prevention of early fire,the traditional fire detection is a technology that uses a sensor to identify the flame and temperature,each sensor can only detect dispatched around the local space,for the open space and other special occasions,difficult to play a role.In order to overcome the defects of traditional fire detection has disadvantage of high false alarm rate,a fusion technology of image fire detection method based on multi feature of smoke was proposed.The method uses background subtraction method to obtain the ordinary CCD camera shooting suspected fire smoke regions at first.Then from time domain and frequency domain,the fire smoke irregular contour feature,background extraction fuzzy features and texture features are extracted as the input signals of neural network,also with the sigmoid function will output a normalized.Finally through the training of BP neural network,complete fire smoke multi feature fusion,and carry on the test of fire video network.The results show that image based fire detection method can accurately and quickly identify the fire smoke,and achieve the purpose of early warning.

smoke detection;irregular contour feature;ambiguity characteristics;texture feature;feature fusion

2015-04-01

2015-07-08

時間：2016-01-04

黑龍江省自然科學基金項目(C201244)

黎粵華(1972-)，女，副教授，研究方向為信息與網絡安全、數(shù)字圖像處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1608.074.html

TP39

A

1673-629X(2016)01-0129-05

10.3969/j.issn.1673-629X.2016.01.027