張 彤， 王 倩，2， 范九倫， 劉 穎，2

(1.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121； 2.公安部電子信息現(xiàn)場勘驗應(yīng)用技術(shù)重點實驗室， 陜西 西安 710121)

基于時空局部二值模式的火災(zāi)視頻識別

張 彤1， 王 倩1，2， 范九倫1， 劉 穎1，2

(1.西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121； 2.公安部電子信息現(xiàn)場勘驗應(yīng)用技術(shù)重點實驗室， 陜西 西安 710121)

為了獲得較高識別率，引入時空局部二值模式，用以識別火災(zāi)視頻。先以時空局部二值模式提取視頻中的表觀特征和運動特征后，再利用支持向量機對多種場景的火災(zāi)視頻進行分類識別。針對白天火災(zāi)、夜晚火災(zāi)、室內(nèi)火災(zāi)、室外火災(zāi)、森林火災(zāi)五種場景進行測試實驗，結(jié)果顯示，對夜晚火災(zāi)視頻和室外火災(zāi)視頻識別率可達到100%，對白天火災(zāi)、室內(nèi)火災(zāi)、森林火災(zāi)視頻的識別率分別為94.117 6%、95.238 1%、94.444 4%,這表明所提方法有效，其識別率不易受場景光照條件或復(fù)雜背景影響，具有魯棒性。

時空局部二值模式；火災(zāi)視頻；支持向量機；分類識別

常用的火災(zāi)檢測識別方法主要分為兩類：一是基于傳感器原理的火災(zāi)探測器檢測方法，二是基于視頻圖像處理技術(shù)[1-2]的火災(zāi)識別方法。感煙、感光等基于傳感器原理的火災(zāi)探測器一般只能適用于密閉空間，而且在大空間場景中，無法迅速收集火災(zāi)發(fā)出的煙溫變化信息，難以滿足早期探測的要求?；谝曨l圖像處理技術(shù)的火災(zāi)識別方法可以彌補這些不足，但是普通的圖像或視頻的識別方法大都只考慮了火焰的靜態(tài)特征，例如顏色信息和輪廓形狀[3-5]。當(dāng)被檢測圖像或視頻序列中含有顏色或輪廓與火相似的物體時，很容易發(fā)生誤報。

提取疑似火焰區(qū)域輪廓的傅里葉變換系數(shù)，以此系數(shù)作為火焰輪廓形狀特征來進行識別[6]，該方法識別率較高，但由于傅里葉變換系數(shù)的時窗尺寸難以選擇，并且對環(huán)境的要求也相對較高，所以適用范圍非常有限。通過時域小波變換和空間域小波變換來分析火焰的閃動情況及火焰內(nèi)部顏色變化情況，以達到識別火災(zāi)的目的[7],該方法簡單，但很容易發(fā)生誤判。

火焰是一種典型的動態(tài)紋理，可以看作是二維空間的火焰靜態(tài)紋理在三維時空域的擴展。自然界中普遍存在的一些現(xiàn)象，包括飄動的煙、流動的水以及移動的人群等等，都屬于動態(tài)紋理,它們的共同特征是具有不確定的時空性[8]。動態(tài)紋理序列也可以被看作是一個具有統(tǒng)計特性的多維隨機信號，其變化在時間和空間上會呈現(xiàn)出某些規(guī)律性[9]。特征提取的主要目的是表征火焰的不確定時空紋理特性，時空局部二值模式(Volume Local Binary Pattern, VLBP)[10]是將局部二值模式(Local Binary Patten, LBP)[11]的思想擴展在時空域上，針對融合動態(tài)紋理時間域和空間域特性提出的，能夠有效提取視頻中的表觀特征和運動特征，對灰度尺度變化、旋轉(zhuǎn)、平移具有一定的魯棒性。

為了更好的提高各種場景下的火災(zāi)識別率，本文擬采用基于VLBP特征提取算法與支持向量機(Support Vector Machine, SVM)相結(jié)合的方法來實現(xiàn)對火災(zāi)視頻的分類識別。利用VLBP算法表征視頻中的火焰動態(tài)紋理，并使用SVM分類器進行分類識別。

1 火焰動態(tài)紋理特征提取

1.1 數(shù)據(jù)預(yù)處理

由于視頻中所包含的信息量較大，為了降低整個算法的復(fù)雜度，需要對視頻進行預(yù)處理。VLBP具有良好的抗干擾能力，可以不用對其進行目標(biāo)追蹤、分割等一系列常規(guī)視頻圖像處理的環(huán)節(jié),就可以達到較好的實驗效果。在預(yù)處理部分，主要對視頻幀序列進行圖像標(biāo)準(zhǔn)化處理。

步驟1 將視頻轉(zhuǎn)化為視頻幀序列，每一個視頻幀序列單獨的存放在一個文件夾下。

步驟2 將存在顛倒問題的視頻調(diào)整為正確方向。

步驟3 將彩色幀序列轉(zhuǎn)換成灰度幀序列，完成灰度歸一化處理。

步驟4 使用雙線性插值法[12]將視頻幀序列的大小統(tǒng)一為160×110，完成尺寸歸一化處理。

1.2 特征提取方法

特征提取是火災(zāi)識別中的關(guān)鍵環(huán)節(jié)，有效的特征是火災(zāi)識別的前提。

VLBP算法是對視頻序列中每一幀圖像的每個像素點進行特征提取。VLBP的立體鄰域由3幀組成，每一幀的幀內(nèi)中心點的鄰域點數(shù)為4個，對于VLBP來說，鄰域點的總數(shù)為5+4+5=14個[11]。若直接對視頻序列提取VLBP特征，特征維數(shù)將會很大，不僅運算量大，且對后期的數(shù)據(jù)處理會有一定的影響，因此采用旋轉(zhuǎn)不變VLBP特征。

設(shè)3幀體積中心c在當(dāng)前幀所處時間點tc的像素灰度值為gtc,c，則前后2幀中心像素灰度值分別為gtc-L,c，gtc+L,c。其中L表示時間間隔。計算3幀中鄰域點與中心點的差值，將大于或等于0的標(biāo)記為1，小于0的標(biāo)記為0，則動態(tài)紋理的一個局部鄰域組成一個動態(tài)紋理序列

V=v(s(gtc-L,c-gtc,c),s(gtc-L,0-gtc,c),…,s(gtc-L,P-1-gtc,c),s(gtc,0-gtc,c),…,s(gtc,P-1-gtc,c),s(gtc+L,0-gtc,c),…,s(gtc+L,P-1-gtc,c),s(gtc+L,c-gtc,c)),

其中

于是VLBP的特征值可以表示為

其中q表示對應(yīng)像素點的位置編號,2q為權(quán)重，P表示鄰域點數(shù)，R表示鄰域半徑。對于每一幀的LBP特征可表示為

其中

t=tc-L, tc, tc+L。

VLBP算法是將火焰紋理建模成一個三維的立體模型，考慮的是其三維各個像素間的運動關(guān)系?；鹧嫒紵龝r是有方向性的，在視頻中難免發(fā)生旋轉(zhuǎn)，因此采用旋轉(zhuǎn)不變VLBP特征[11]

其中ror(x,i)是將二進制數(shù)x按位向右移動i位，rol(x,i)是將二進制數(shù)x按位向左移動i位。旋轉(zhuǎn)不變VLBP特征計算方法的實質(zhì)就是同步的旋轉(zhuǎn)彼此獨立的3幀，將取得的最小值作為最終旋轉(zhuǎn)不變VLBP的值。

2 SVM訓(xùn)練與識別

SVM的基本思想是構(gòu)建一個兩類問題的最優(yōu)分類器，使這兩類問題盡量無錯誤的分開，且類間間距最大[13-14]。

對于兩類線性可分的情況，SVM的作用就是尋找最優(yōu)分類面[15]。設(shè)輸入向量(x1,y1),(x2,y2),…,(xi,yi)為訓(xùn)練樣本，其中xi∈n為n維訓(xùn)練樣本，yi∈{+1,-1}表示訓(xùn)練樣本xi的類別。對最優(yōu)分類面

ωxi+b=0

進行歸一化可得

yi(ωxi+b)-1≥0 (i=1,2,…,n)。

最終的判別函數(shù)為

按以下步驟，對火災(zāi)進行SVM分類。

步驟1 提取火災(zāi)視頻序列和非火災(zāi)視頻序列的旋轉(zhuǎn)不變VLBP特征。

步驟2 將訓(xùn)練樣本帶入最終判別函數(shù)，可得SVM分類器α*,b*的解。

步驟3 將α*,b*帶入原判別函數(shù)，即可對輸入的測試樣本進行分類識別。

3 實驗結(jié)果

實驗所用視頻數(shù)據(jù)中，火災(zāi)視頻數(shù)據(jù)共27段，非火災(zāi)視頻數(shù)據(jù)35段。視頻數(shù)據(jù)來源如表1所示。視頻大小均為160×110。圖1為火焰和非火焰視頻幀序列樣本。

表1 視頻數(shù)據(jù)來源

(a) 火災(zāi)視頻幀序列

(b) 非火災(zāi)視頻幀序列

基于VLBP算法的火災(zāi)識別實驗流程如圖2所示。實驗均在Matlab(R2012a)仿真平臺下完成。實驗選取RBF函數(shù)作為SVM分類器核函數(shù)。為了使分類器具有較好的分類性能，使用交叉驗證 (K-fold Cross Validation，K-CV)法得到分類模型參數(shù)。該方法的原理是[18]：將原始數(shù)據(jù)平均分成K份，選取其中一份作為測試數(shù)據(jù)，剩余K-1份作為訓(xùn)練數(shù)據(jù)進行訓(xùn)練，如此循環(huán)K遍，使每一份都做一次測試數(shù)據(jù)，得到K個模型。取這K個模型最終測試結(jié)果的平均值作為該K-CV分類器的性能指標(biāo)。表2表示K取不同值時的識別率，其中c為懲罰因子，g為RBF核參數(shù)因子。

表2 不同K下的識別率

懲罰因子c的作用為在確定的數(shù)據(jù)子空間中調(diào)節(jié)學(xué)習(xí)機器的置信區(qū)間的范圍。不同的數(shù)據(jù)子空間，最優(yōu)懲罰因子c的數(shù)值一般不同。核函數(shù)參數(shù)因子g即為線性分類面的最大VC維[19]，它表示的是樣本數(shù)據(jù)子空間分布的復(fù)雜程度。由表2數(shù)據(jù)可知，當(dāng)K=3時，分類識別效果最好。因此選K=3，此時向訓(xùn)練好的分類器中輸入測試視頻序列，表3表示各種情況下的識別率。

圖2 基于VLBP算法的火災(zāi)識別實驗流程

對于白天火災(zāi)，一共有12段相應(yīng)視頻，選取其中5段作為測試樣本，其它作為訓(xùn)練樣本，由表3結(jié)果可知，該算法取得了良好的效果，火災(zāi)視頻都被正確檢測到，只有一段非火災(zāi)視頻被識別為火災(zāi)視頻。與白天火災(zāi)的識別方法一樣，用于室內(nèi)火災(zāi)，室外火災(zāi)，夜晚火災(zāi)和林火的測試樣本分別為2段、10段、7段、4段。表3的結(jié)果表示，該方法對于室外火災(zāi)和夜晚火災(zāi)的效果顯著，均可達100%，這也說明該方法對外界環(huán)境具有很好抗干擾能力，且對手動拍攝引起的微小抖動和光照的變化不敏感。

表3 火災(zāi)視頻識別結(jié)果

針對林火部分，識別效果沒有以上四種情況穩(wěn)定。林火視頻共7段，隨機從各類火災(zāi)樣本中選取15段作為訓(xùn)練樣本，4段林火樣本作為測試樣本，測試結(jié)果顯示，有一段訓(xùn)練樣本，如圖3(a)所示，對測試結(jié)果影響較大，將其標(biāo)記為A段。含有A段的4段林火測試結(jié)果如表4所示。

表4 含有A段的4段林火樣本測試結(jié)果

如果將訓(xùn)練樣本中對結(jié)果影響較大的A段隨機換成另一段火災(zāi)視頻，如圖3(b)所示，則誤報全部為0。若將測試樣本的段數(shù)換為3段，將訓(xùn)練樣本的段數(shù)增加至4段，識別率可得到大幅提高。結(jié)果如表5所示。

(a) 訓(xùn)練樣本中對測試結(jié)果影響較大的視頻截圖

(b) 隨機選取的一段訓(xùn)練樣本視頻截圖

表5 不含A段的3段林火樣本測試結(jié)果

由表3、表4和表5可知，對于除林火以外的四種情況，該方法均可得到較高和較穩(wěn)定的識別率。對于林火，識別率不穩(wěn)定主要是由于目前還沒有專用的火災(zāi)測試數(shù)據(jù)庫，關(guān)于林火的視頻非常少，不能對其進行充分的訓(xùn)練。根據(jù)表4和表5可知，當(dāng)增加一段到訓(xùn)練樣本后，林火的識別率得到了很大提升，如果有更多的關(guān)于林火的訓(xùn)練樣本，相信可以取得非常好的效果。因此在訓(xùn)練樣本并不多的情況下，會有一些影響到識別率。

4 結(jié)語

將動態(tài)紋理的思想引入到火災(zāi)視頻的分類識別當(dāng)中，結(jié)合VLBP特征提取與SVM訓(xùn)練識別并實施判決的檢測機制，可很好地實現(xiàn)火災(zāi)分類識別。實驗結(jié)果表明，這種方法對不同場景下的火災(zāi)視頻識別率高，均可達到94%以上，特別是對于室外火災(zāi)和夜晚火災(zāi)，識別率可達到100%，但對于林火，識別結(jié)果跟選取的訓(xùn)練樣本的個數(shù)有關(guān)，在數(shù)據(jù)資源不充分的情況下，識別率沒有前幾種情況高。

[1] 許志杰,王晶,劉穎,等. 計算機視覺核心技術(shù)現(xiàn)狀與展望[J].西安郵電學(xué)院學(xué)報，2012, 17(6):1-8.

[2] 劉穎,范九倫.基于內(nèi)容的圖像視頻檢索綜述[J].西安郵電學(xué)院學(xué)報，2012,17(2): 1-8.

[3] Phillips W III, Shah M, Lobo N V. Flame recognition in video[J].Pattern Recognition Letters,2002,23(1/2/3):319-327.

[4] Celik T, Demirel H, Ozkaramanli H, et al. Fire detection using statistical color model in video sequences[J].Journal of Visual Communication and Image Representation,2007,18(2):176-185.

[5] Hideaki Y, Junichi Y. Fire flame detection algorithm using a color camera[C]//Proceeding of International Symposium on Micromechatronics and Human Science.Nagoya:IEEE,1999:255-260.

[6] Liu Chebin, Ahujia N. Vision based fire detection[C]//Proceedings of IEEE International Conference on Pattern Recognition. Toyota:IEEE,2004:134-137.

[7] Toreyin B, Dedeoglu Y, Gudukbay U, et al. Real-time fire and flame detection in video[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. PA Philadelphia:IEEE,2005:669-672.

[8] Nelson R C, Polana R. Qualitative recognition of motion using temporal texture[J].CVGIP: Image Understand,1992, 56(1): 78-89.

[9] 盧宗慶.運動圖像分析中的光流計算方法研究[D].西安：西安電子科技大學(xué)，2007：5-36.

[10] Zhao Guoying, Pietikainen M. Dynamic texture recognition using local binary patterns with an application to facial expressions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007，29(6): 915-928.

[11] Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray scale and rotation invariant texture analysis with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002,24(7):971-987. [12] 李玲.基于視頻圖像的火災(zāi)識別研究[D].廣州：華南理工大學(xué)，2012:9-15.

[13] Shao Xuhui, Cherkassky V, William L. Measuring the VC-Dimension Using Optimized Experimental Design[J].Neural Computation， 2000,12(8): 1969-1986.

[14] Chen Xiujuan, Li Yong, Harrison R. et al. Type-2 fuzzy logic based classifier fusion for support vector machines[J].Applied Soft Computing,2008,8(3):1222-1231.

[15] 張正榮,李榮剛.基于支持向量機的火災(zāi)探測技術(shù)[J].微型機與應(yīng)用，2010,29(24):70-72．

[16] 孫剛.基于SVM的入侵檢測系統(tǒng)研究[D].北京：北京郵電大學(xué)，2007:28-33.

[17] 李盼池,許少華.支持向量在模式識別中的核函數(shù)特性分析[J].計算機工程與設(shè)計，2005,26(2):302-304.

[18] Zhang Yumin.Comparative analysis of different cross-validation bandwidth selectors in kernel regression estimators[C]//Proceeding of 2013 International Conference on Machine Learning and Cybernetics.Tianjin: IEEE,2013:502-509.

[19] 鄧乃揚,田英杰.數(shù)據(jù)挖掘中的新方法:支持向量機[M].北京: 科學(xué)出版社，2004：17-56.

[責(zé)任編輯:瑞金]

Fire video recognition based on volume local binary pattern

ZHANG Tong1, WANG Qian1,2, FAN Jiulun1, LIU Ying1,2

(1.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China;2. China National Lab of the Ministry of Public Security-Electronic Information Processing Techniques in Criminal Investigation Applications, Xi’an 710121, China)

In order to get higher recognition rate for fire video, an approach based on Volume Local Binary Pattern (VLBP) is proposed. Firstly, the features of fire video are modeled with VLBP by combining appearance and motion. Secondly, Support Vector Machine (SVM) is used to classify the fire video under various scenes. Test experiments results for five scenes of daytime fire, nighttime fire, indoor fire, outdoor fire and forest fire show that the recognition rate for nighttime fire and outdoor fire can reach 100%, and the recognition rate of daytime fire, indoor fire, forest fire are 94.117 6%, 95.238 1%, 94.444 4%, respectively. It shows that the proposed algorithm can be used to classify fire video and also the recognition rate will not be influenced by the changes of the light condition and the complex background. This shows that the algorithm is robust.

volume local binary patterns, fire video, support vector machine, recognition

2014-11-03

國家自然科學(xué)基金資助項目(61202183，61340040)；陜西省國際科技合作計劃資助項目(2013KW04-05)

張彤(1989-)，女，碩士研究生，研究方向為視頻圖像識別。E-mail: Tracy_0603@163.com 王倩(1983-),女，博士，講師，從事模式識別與圖像處理研究。E-mail：xinrzhsh24@163.com

10.13682/j.issn.2095-6533.2015.03.013

TP391.4

A

2095-6533(2015)03-0076-05