趙亞琴

（南京林業(yè)大學(xué) 機(jī)械電子工程學(xué)院，江蘇 南京210037）

0 引 言

目前已有很多學(xué)者對(duì)火焰視頻識(shí)別進(jìn)行深入研究，主要是利用靜態(tài)特征和動(dòng)態(tài)特征進(jìn)行火焰識(shí)別。靜態(tài)特征主要有 顏 色［1］、紋 理［2］、幾 何 形 狀［3］和 能 量［4］等 特 征；動(dòng) 態(tài)特征分析主要是根據(jù)火焰的蔓延性和閃爍性，如陳磊等［5］利用小波變換提取火焰的時(shí)空能量信息；Anton等［6］研究火焰視頻的5個(gè)閃爍性特征。上述火焰識(shí)別算法通常都需要先檢測(cè)疑似火焰區(qū)域，如果疑似火焰區(qū)域檢測(cè)不準(zhǔn)確，就直接影響到特征值的計(jì)算和火焰識(shí)別的性能。由于受光照、動(dòng)態(tài)變化背景對(duì)象等干擾的影響，疑似火焰區(qū)域的檢測(cè)準(zhǔn)確率并不總是令人滿意?；鹧媸菍儆诜莿傂晕矬w，很適合應(yīng)用動(dòng)態(tài)紋理來(lái)分析。Li等［7］提出一種基于光流法的火焰動(dòng)態(tài)紋理檢測(cè)方法，研究建筑物內(nèi)的火災(zāi)視頻識(shí)別；邵婧等［8］運(yùn)用線性動(dòng)力系統(tǒng) （LDS）模型分析火焰的動(dòng)態(tài)紋理特征，但由于LDS模型采用的是簡(jiǎn)單的線性維數(shù)約減策略，使它在分析復(fù)雜的、或場(chǎng)景變化較大的火災(zāi)監(jiān)控視頻時(shí)顯得捉襟見(jiàn)肘，因?yàn)檫@些復(fù)雜的圖像流體通常表現(xiàn)出非線性。本文提出一種基于旅行者行為圖論的火災(zāi)視頻動(dòng)態(tài)紋理分析方法，運(yùn)用旅行者行為圖在3個(gè)正交平面定義了火焰視頻動(dòng)態(tài)紋理函數(shù)，并由此推導(dǎo)了動(dòng)態(tài)紋理特征提取的公式，進(jìn)而建立火焰動(dòng)態(tài)紋理特征向量，并詳細(xì)討論了公式中參數(shù)的選擇方案和原則。

1 火焰視頻旅行者行為圖的建立

Andre等［9］提出一種基于確定地部分自回避行為圖的圖像靜態(tài)紋理分析方法，定義了像素點(diǎn)的統(tǒng)計(jì)位置 （表示圖像中接點(diǎn)的連通性）和分散測(cè)度 （表示相互連接的2接點(diǎn)的連通關(guān)系），生成紋理特征向量。本文以火焰圖像的像素點(diǎn)為參觀景點(diǎn)，給出旅行者行為圖建立的規(guī)則如下［9，10］：

（1）對(duì)于一個(gè)像素點(diǎn)Vi（旅游景點(diǎn)），它有8領(lǐng)域像素點(diǎn) （相鄰的8個(gè)旅游景點(diǎn)），從點(diǎn)Vi出發(fā)，按照距離最近（或最遠(yuǎn)）的規(guī)則 （原則一旦確定，對(duì)所有像素都適用）決定下一個(gè)要參觀的相鄰像素點(diǎn)；

（2）設(shè)p 為旅行者記憶的最近參觀的像素點(diǎn)數(shù)目，則旅行者不再返回到這前p 個(gè)像素點(diǎn)；

（3）如果有幾個(gè)像素點(diǎn)同時(shí)滿足要求，順時(shí)針?lè)较虻南袼貎?yōu)先，如圖1所示。

圖1 8鄰域點(diǎn)參觀順序

根據(jù)以上規(guī)則，以像素點(diǎn)為旅行者行為圖的景點(diǎn)，兩個(gè)像素點(diǎn)Vi和Vj之間的路徑作為行為圖的邊，用eij來(lái)表示，就可以得到旅行者行為圖。如果以規(guī)定以最近距離為原則，且p＝2，用圖2來(lái)解釋旅行者行為圖的建立過(guò)程［11］：

（1）出發(fā)點(diǎn)的像素值為 “52”，根據(jù)規(guī)則 （1），第二個(gè)參觀像素點(diǎn)為 “60”；

（2）接下來(lái)有兩個(gè)像素點(diǎn)的灰度值相同，同時(shí)滿足距離最小，根據(jù)規(guī)則 （3），選擇第3個(gè)參觀點(diǎn)為右側(cè) “68”；

（3）與參觀點(diǎn) “68”距離最近的8－近鄰點(diǎn)為 “60”，但是由于p ＝2，根據(jù)規(guī)則 （2），不能再返回到已經(jīng)參觀過(guò)的前1個(gè)點(diǎn) “60”，因此，第4個(gè)參觀的像素點(diǎn)為 “100”；

（4）以后依次為 “121”，“80”，“40”，“31”，最后又回到 “68”。

2 火焰動(dòng)態(tài)紋理特征向量的生成

2.1 紋理分布函數(shù)

圖2 （b）中，旅行者行為圖的邊連接兩個(gè)接點(diǎn)，對(duì)每個(gè)像素點(diǎn)，都進(jìn)行旅行者行為搜索，路徑開(kāi)始是單向的，稱為transient路徑，用實(shí)線箭頭的表示，transient路徑邊的數(shù)目Si＝2。從第3個(gè)點(diǎn)開(kāi)始，經(jīng)過(guò)幾個(gè)點(diǎn)后，又回到第3個(gè)點(diǎn)，然后一直循環(huán)下去，稱為cycle路徑，用虛線箭頭表示，cycle路徑邊的數(shù)目Ci＝6。則旅行者行為圖的邊反映了圖像紋理，因此，定義紋理分布函數(shù)為［11］

圖2 旅行者行為

2.2 火焰動(dòng)態(tài)紋理特征提取

火焰在燃燒過(guò)程中，不僅表現(xiàn)為顏色、紋理、形狀等靜態(tài)特征，而且還表現(xiàn)出復(fù)雜的動(dòng)態(tài)特征，如蔓延性和閃爍性，因此，應(yīng)該從視頻大粒度角度進(jìn)行分析。本文將火焰視頻劃分為16×16×t的時(shí)空視頻塊，考慮到火焰的閃爍性特征，設(shè)定t＝Frate，F(xiàn)rate表示一個(gè)幀率。利用式 （1），定義時(shí)空視頻塊在3個(gè)正交平面XY、XT 和YT 上的紋理分布函數(shù) 分 別 為（Si，Ci），（Si，Ci）和（Si，Ci），正交平面XY的紋理函數(shù)（Si，Ci）描述了火焰的空間特征，XT和YT上的紋理分布函數(shù)（Si，Ci）和（Si，Ci）描述了火焰的動(dòng)態(tài)特征，圖3給出一個(gè)時(shí)空火焰視頻塊的3個(gè)正交平面，及其在3個(gè)正交平面的紋理分布圖。

下面介紹利用動(dòng)態(tài)紋理函數(shù)定義動(dòng)態(tài)紋理特征向量的方法，以正交平面XY 為例，如果S＋C 是定值，則式 （1）就變?yōu)榻y(tǒng)計(jì)滿足Si＋Ci＝S＋C 的像素點(diǎn)的數(shù)目，則對(duì)于不同的S＋C 值，根據(jù)式 （1），定義動(dòng)態(tài)紋理概率函數(shù)

式中：N——圖像中的像素點(diǎn)數(shù)目，p 和rule 定義與式（1）相同，δSi，S、δCi，C——克羅內(nèi)克δ函數(shù)。因此，我們可以得到紋理特征向 量TPXY＝｛（0），（1），…，（n）｝，又由第1 節(jié)的旅行規(guī)則 （2）知，旅行者不能返回到最近參觀過(guò)的前p 個(gè)點(diǎn)，因此，cycle路徑邊的數(shù)目滿足Ci≥p＋1，對(duì)于某一個(gè)p 值，紋理特征向量可寫(xiě)為

圖3 時(shí)空視頻塊的3個(gè)正交平面及紋理分布

同理，可得到XT 和YT 平面上的紋理特征向量，一個(gè)火焰時(shí)空視頻塊的動(dòng)態(tài)紋理特征向量為TP＝ ｛TPXY，TPXT，TPYT｝。圖4所示為在正交平面XT 上，當(dāng)p＝1，rule為最大距離時(shí)，常見(jiàn)的疑似火焰視頻樣本的TPXTp，rule與m 的關(guān)系曲線圖，由圖4知，火焰視頻的TPXTp，rule與類火焰顏色對(duì)象的視頻有明顯區(qū)別，說(shuō)明本文提取的動(dòng)態(tài)紋理特征的可行性。

2.3 火焰動(dòng)態(tài)紋理特征向量參數(shù)的取值

式 （3）涉及3個(gè)參數(shù)，分別是p、rule和m。rule為決定下一個(gè)旅游景點(diǎn)的規(guī)則，距離最小原則側(cè)重于強(qiáng)調(diào)像素間的相似性，而距離最大原則更側(cè)重像素間的相異性，本文取距離最大原則；p 為旅行者記憶的最近參觀的像素點(diǎn)數(shù)目，對(duì)于特殊情況p＝0，旅行者好像失憶一樣，連當(dāng)前觀察的景點(diǎn)都不記得，如果根據(jù)距離最近原則，只能參觀當(dāng)前景點(diǎn)，對(duì)于分析紋理沒(méi)有太大的意義，因此，在本文中，令p≥1，本文取p＝1，2，…，5。m 的取值不易太大，由于紋理分析主要是分析火焰圖像的局部特性，過(guò)大的m 不僅對(duì)識(shí)別性能無(wú)益，而且會(huì)增加計(jì)算量，因此，本文取m＝4。在第4節(jié)的實(shí)驗(yàn)中，對(duì)p 和rule 的不同取值進(jìn)行實(shí)驗(yàn)對(duì)比。由于p＝1，2，…，5且m＝4，根據(jù)式 （3）知，TPXY的維數(shù)是20維，因此，火焰視頻塊的動(dòng)態(tài)紋理特征向量TP 的維數(shù)d＝60維。

2.4 計(jì)算復(fù)雜度

圖4 疑似火焰視頻的TPXTp，rule（S＋C）與m 的關(guān)系曲線

基于旅行者行為圖的XY 平面的紋理特征計(jì)算復(fù)雜度為O（N（S＋C）），其中N 為圖像幀的像素?cái)?shù)目，S 和C 分別為transient路徑和cycle路徑的數(shù)目，在本文中，S＋C的最大值為（p＋m）＝9，本文的動(dòng)態(tài)紋理分析運(yùn)用了3個(gè)正交平面，因此，計(jì)算復(fù)雜度為O（3 N（S＋C）），本文提出的火焰動(dòng)態(tài)特征提取算法計(jì)算復(fù)雜度低。

3 火焰視頻識(shí)別

提出檢測(cè)火焰像素的RGB模型，火焰的顏色特征滿足3個(gè)規(guī)則，本文利用前2個(gè)規(guī)則：規(guī)則1：R＞G≥B 規(guī)則2：R＞TR。其中，TR為R 通道的閾值，S 指像素的飽和度，當(dāng)R＝TR時(shí)，飽和度閾值TS＝（255－R）×SR／TR。規(guī)則1和規(guī)則2說(shuō)明火焰的顏色以紅色分量為主，而且與其它對(duì)象相比，火焰的R 值更大。因?yàn)榛馂?zāi)監(jiān)控視頻中的圖像幀數(shù)目是海量的，而火焰又有明顯的顏色特征，因此，為降低計(jì)算量，本文運(yùn)用規(guī)則1和規(guī)則2，粗略地檢測(cè)疑似火焰視頻，去除大量的無(wú)關(guān)視頻。然后對(duì)標(biāo)記為疑似火焰的視頻片段進(jìn)行基于旅行者行為圖的火焰識(shí)別。

由于火焰視頻搜集困難，樣本較少，且特征向量的維數(shù)較大，因此，本文選擇SVM 作為分類器，本文提出的火焰視頻識(shí)別算法如圖5所示。

圖5 基于動(dòng)態(tài)紋理分析的火焰視頻識(shí)別算法

4 實(shí)驗(yàn)結(jié)果與分析

火焰檢測(cè)實(shí)驗(yàn)數(shù)據(jù)一部分是自己在室外拍著的火焰視頻和干擾視頻，另一部分來(lái)自于開(kāi)放的火焰視頻數(shù)據(jù)庫(kù)網(wǎng)站http：／／imagelab.ing.unimore.it／visor，圖 像 的 大 小 為320×240，共有26個(gè)不同的場(chǎng)景視頻，包含14 個(gè)正例視頻和12個(gè)反例視頻，隨機(jī)選擇其中的14 個(gè)視頻 （7 個(gè)正例，7個(gè)反例）作為訓(xùn)練樣本，剩余的12個(gè)視頻 （7 個(gè)正例，5個(gè)反例）作為測(cè)試視頻。

4.1 參數(shù)p 和rule 的選擇

為選擇合適的參數(shù)p 和rule，因?yàn)闀r(shí)空視頻塊的大小為16×16×t，在一個(gè)視頻塊的某個(gè)正交平面中，p 的最大值只能為16，所以分別取p＝1，2，…，16，rule分別為最小距離、最大距離、最大和最小距離結(jié)合。例如當(dāng)選擇p＝1，rule為最小距離時(shí)，則動(dòng)態(tài)紋理特征向量為12維；當(dāng)選擇p＝1，rule為最大和最小距離結(jié)合時(shí)，則動(dòng)態(tài)紋理特征向量為24維，圖6顯示了當(dāng)選擇不同的參數(shù)p 和rule時(shí)，本文提出算法的準(zhǔn)確率曲線。從圖6 可以看出，隨著參數(shù)p 的增加，算法的識(shí)別準(zhǔn)確率逐漸下降，當(dāng)p＝6時(shí)，算法的最高識(shí)別準(zhǔn)確率僅為47.1%。參數(shù)rule最小距離的識(shí)別準(zhǔn)確率最低，與單一采用最大距離相比，最大和最小距離結(jié)合的識(shí)別率稍高些。因此，本文選擇p＝1，2，3，4，5，考慮到減少計(jì)算量，參數(shù)rule選擇最大距離。

圖6 參數(shù)p和rule取不同值時(shí)的火焰視頻識(shí)別準(zhǔn)確率

從圖6也可以看出，參數(shù)p 取單一固定值，算法的火焰識(shí)別準(zhǔn)確率并不是很高，因此，本文將不同的p 值生成的特征向量結(jié)合，結(jié)合方式分別為p＝（1，2），p＝（1，2，3），p＝（1，2，3，4），p＝（1，2，3，4，5），實(shí)驗(yàn)結(jié)果如圖7所示。從圖7知，p＝（1，2，3，4，5）時(shí)火焰識(shí)別的正確識(shí)別率最高和誤報(bào)率最低，因此，本文選擇p＝（1，2，3，4，5）生成60維的動(dòng)態(tài)紋理特征向量。

4.2 與其它算法的比較

圖7 不同的p 值組合的識(shí)別結(jié)果

現(xiàn)有文獻(xiàn)能較好描述火災(zāi)火焰視頻的動(dòng)態(tài)特征的方法主要有和閃爍特征［6］和光流法［7］等方法，文獻(xiàn) ［8］采用LDS模型分析火焰紋理特征，因此，為驗(yàn)證本文提出的基于旅行者圖的火焰動(dòng)態(tài)紋理特征提取方法的有效性，與文獻(xiàn)［6－8］的動(dòng)態(tài)特征提取方法進(jìn)行比較，對(duì)于文獻(xiàn) ［6］，選擇性能最好的3個(gè)閃爍特征。4種算法的火焰識(shí)別準(zhǔn)確率和誤報(bào)率實(shí)驗(yàn)結(jié)果分別見(jiàn)表1和表2。本文算法的火焰平均正確識(shí)別率為96.9%，平均誤報(bào)率為3.1%，優(yōu)于其它3種算法，而且對(duì)于火焰區(qū)域較小的視頻Video6，如圖8（a）所示，也達(dá)到了88.1%的識(shí)別率，提高了9.8%，對(duì)于與火焰靜態(tài)、動(dòng)態(tài)特征都很相似的干擾視頻Video10，誤報(bào)率僅為5.7%，降低了5.3%，圖8所示為視頻Video6和Video10的一幀。

表1 4種方法的火焰正例視頻正確識(shí)別率比較

表2 4種算法的反例視頻誤報(bào)率

圖8 Video6和Video10的視頻幀

由2.4節(jié)的分析知，本文提出的動(dòng)態(tài)紋理分析算法的計(jì)算復(fù)雜度很低，為進(jìn)一步驗(yàn)證算法的運(yùn)算效率，與上述4種動(dòng)態(tài)特征提取方法的計(jì)算時(shí)間做了比較，結(jié)果如圖9所示，圖9的橫坐標(biāo)表示12個(gè)測(cè)試視頻片段，縱坐標(biāo)為火焰識(shí)別的運(yùn)行時(shí)間，從圖9可以看出，本文的算法對(duì)于幀數(shù)目多的視頻如Video1和Video8，運(yùn)算時(shí)間明顯低于其余3種算法，因此，本文的算法適合于應(yīng)用在視頻數(shù)據(jù)巨大的火災(zāi)視頻監(jiān)控系統(tǒng)。

圖9 4種算法的計(jì)算時(shí)間比較

5 結(jié)束語(yǔ)

本文運(yùn)用旅行者行為圖的原理，提出一種基于圖論的火焰紋理分布分析方法，并從視頻片段大粒度角度出發(fā)，在3個(gè)正交平面推導(dǎo)出火焰視頻動(dòng)態(tài)紋理特征向量提取公式，并詳述了參數(shù)的選擇方案，動(dòng)態(tài)特征提取不依賴于疑似火焰區(qū)域的檢測(cè)。實(shí)驗(yàn)結(jié)果表明，對(duì)于具有挑戰(zhàn)性的火焰視頻，本文提出的動(dòng)態(tài)紋理特征提取方法在提高火焰識(shí)別準(zhǔn)確率的同時(shí)降低火災(zāi)誤報(bào)率，而且本文的方法計(jì)算復(fù)雜度較低，因此，適合應(yīng)用于火災(zāi)視頻監(jiān)控現(xiàn)場(chǎng)。

［1］Truong Tung Xuan，Kim Jong Myon.Fire flame detection in video sequences using multi－stage pattern recognition techniques［J］.Engineering Applications of Artificial Intelligence，2012，25 （7）：1365－1372.

［2］Zhao Jianhui，Zhang Zhong，Han Shizhong，et al.SVM based forest fire detection using static and dynamic features［J］.Computer Science and Information Systems，2011，8（3）：821－841.

［3］Kalpana Y，Padmaa M.An efficient edge detection algorithm for flame and fire image processing［C］／／International Conference on Communication and Signal Processing，2014：696－700.

［4］CHEN Lei，HUANG Jifeng.Flame detection method based on video［J］.Computer Engineering and Design，2014，35 （9）：669－672 （in Chinese）.［陳磊，黃繼風(fēng).基于視頻的火焰檢測(cè)方法 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2014，35 （9）：669－672.］

［5］Panagiotis Barmpoutis，Kosmas Dimitropoulos，Nikos Grammalidis.Real time video fire detection using spatio－temporal consistency energy［C］／／10th IEEE International Conference on Advanced Video and Signal Based Surveillance，2013：365－370.

［6］Anton Stadler，Tjark Windisch，Klaus Diepold.Comparison of intensity flickering features for video based flame detection algorithms［J］.Fire Safety Journal，2014，66：1－7.

［7］Li Xiaobai，Hua Ying，Xia Ning.Fire detecting technology based on dynamic textures ［J］.Procedia Engineering，2013，52：186－195.

［8］SHAO Jing，WANG Guanxiang，GUO Wei.Fire detection based on video dynamic texture ［J］.Journal of Image and Graphics，2013，18 （6）：647－653 （in Chinese）. ［邵婧，王冠香，郭蔚.基于視頻動(dòng)態(tài)紋理的火災(zāi)檢測(cè) ［J］.中國(guó)圖象圖形學(xué)報(bào)，2013，18 （6）：647－653.］

［9］Andre R Backes，Alexandre S Martinez，Odemir M Bruno.Texture analysis using graphs generated by deterministic partially self－avoiding walks［J］.Pattern Recognition，2011，44：1684－1689.

［10］Wesley Nunes Gonalves，Odemir Martinez Bruno.Dynamic texture analysis and segmentation using deterministic partially self－avoiding walks ［J］.Expert Systems with Applications，2013，40 （11）：4283－4300.

［11］Wesley Nunes Gonalves，Odemir Martinez Bruno.Dynamic texture segmentation based on deterministic partially self－avoiding walks［J］.Computer Vision and Image Understanding，2013，117 （9）：1163－1174.