王向軍，杜志偉，高 超

〈圖像處理與仿真〉

基于約束非均勻形變特征的小尺度火焰識別方法研究

王向軍1,2，杜志偉1,2，高 超3

（1. 天津大學 精密測試技術及儀器國家重點實驗室，天津 300072；2. 天津大學 微光機電系統(tǒng)技術教育部重點實驗室，天津 300072；3. 天津大學 智能與計算學部軟件學院，天津 300072）

基于視覺的火焰檢測是一種靈活、低成本的火焰檢測方式，但現(xiàn)階段常用的火焰特征不能對火焰和干擾物進行有效的區(qū)分，有較大的誤警率。本文基于目標輪廓的時序行為特征，將火焰的閃爍描述為一種有約束的非均勻形變過程，結合隱馬爾可夫模型和傳統(tǒng)幾何特征對火焰和干擾物進行更準確地區(qū)分。實驗表明，通過引入補充的火焰特征顯著提高了火焰檢測的準確率，有效減少了復雜環(huán)境下干擾物引起的虛警。

火焰檢測；特征提??；主曲線；隱馬爾可夫模型

0 引言

火災是受到廣泛重視的災害之一，對火焰進行快速、準確的檢測是保證消防安全，降低火災危害的關鍵。傳統(tǒng)的火災檢測方法如煙霧傳感器、溫度傳感器等通常針對特定的位置進行監(jiān)測，存在范圍小、響應慢等問題，對應用環(huán)境有較高的要求。隨著計算機視覺的發(fā)展，基于視頻的火焰檢測方法（video-based fire detection，VFD）成為火災檢測的一種重要途徑[1]?；谝曨l可以對火災進行遠距離、大范圍的持續(xù)監(jiān)測，同時可以對火災進行準確的定位，對火焰的起始位置、規(guī)模、增長速率、傳播方向等進行分析，作為確定消防方案的依據(jù)。

基于視頻的火焰檢測方案通常分為可見光波段的火焰檢測和紅外波段的火焰檢測兩類，根據(jù)火焰顏色和形狀及其隨時間的變化趨勢進行檢測。可見光波段可以取到清晰、準確的火焰邊界，具有豐富的幾何信息和紋理信息，但數(shù)據(jù)量大，抗干擾性較差。相比可見光波段，在紅外波段進行檢測可以降低干擾物數(shù)量，簡化目標特征的提取過程，減輕環(huán)境變化如光照、氣候的影響，且對煙霧遮擋具有較好的穿透性，較可見光波段更適用于火焰的檢測，本文采用紅外波段作為火焰檢測的波段。

火焰檢測常用描述特征包括其輪廓的變換域描述子、幾何特征、形狀描述矩、運動特征等[2-5]。其中閃爍現(xiàn)象作為火焰特有的運動特征，可以有效地對火焰和常見形變干擾物進行區(qū)分。本文在傳統(tǒng)特征的基礎上，對火焰的閃爍過程進行了更準確的描述，顯著提高了識別算法的準確率。

1 火焰閃爍特性分析

火焰的閃爍過程指在燃燒過程中由于熱對流、重力、湍流等共同作用產(chǎn)生的復雜現(xiàn)象，表現(xiàn)為火焰形狀高頻率的無序變化，是火焰燃燒不穩(wěn)定性的反映[6-7]。閃爍在一定程度上反映了火焰的燃燒特性，其中伸展閃爍與火焰的燃燒面積有較好的相關性[8-9]。火焰燃燒過程中的空氣來自外部環(huán)境空氣的擴散，其中心區(qū)域所需的空氣經(jīng)過四周火焰并被不斷消耗。隨著火焰面積的增加，環(huán)境空氣的擴散行程和擴散損耗增大，火焰中心的空氣積蓄過程更加緩慢，火焰更加穩(wěn)定，閃爍頻率降低。Takahashi[10]等對不同尺度火焰的燃燒和閃爍現(xiàn)象進行了分析，得到如(1)所述的經(jīng)驗公式：

式中：為火源等效燃燒直徑，根據(jù)該公式可以通過測量的閃爍頻率對火焰的真實尺度進行估計。

現(xiàn)階段對火焰閃爍頻率的描述通?；谝晥鰞?nèi)像素的整體特征，如面積、周長等幾何特征，累計灰度變化、灰度直方圖等像素統(tǒng)計特征，輪廓變換域描述子等整體形狀特征[6,8-9,11-12]。這類描述方式通常基于目標的全局特性，忽略了火焰像素的局部差異性，抗干擾性較差，特別是對復雜背景環(huán)境下的紅外形變干擾物如動物、遮擋熱源等缺乏有效的區(qū)分能力。本文基于火焰邊緣像素的運動特征和分布概率構造了閃爍的非均勻形變模型，對火焰的閃爍過程進行了更準確的描述，增強了對火焰和形變、運動干擾物的區(qū)分能力，同時結合隱馬爾科夫模型對火焰的閃爍頻率進行了計算，以對火焰真實尺度進行粗略估計。

2 閃爍過程的約束非均勻形變特征

采用圖1(a)中方框區(qū)域的火焰作為示例目標。該測試視頻中包括兩個微小火源和一個規(guī)則干擾物。直接采用Canny算子提取的邊緣如圖1(b)所示，大量無關干擾邊緣也被提取了出來，這增大了后續(xù)處理的數(shù)據(jù)量，降低了火焰目標檢測和識別的效率。本文在Canny算子的基礎上增加了鄰域灰度約束條件，對提取的邊緣進行篩選，得到的實際輪廓如圖1(c)所示，圖中的3個輪廓分別為火點1、火點2、大面積干擾物。對左側火點(火點1)進行進一步分析，該火點的像面尺寸為10×15像素，如圖1(d)為該火焰目標在連續(xù)20幀內(nèi)輪廓的變化過程，可以看出其幀間輪廓變化不具有規(guī)律性，但整體上具有約3次完整的漲落過程，且具有穩(wěn)定的漲落邊界。

2.1 輪廓像素的時域分布特征分析

如圖2(a)為1s內(nèi)目標火焰的輪廓像素序列，可以看出火焰輪廓在該時間區(qū)間內(nèi)持續(xù)變化，輪廓的變化過程通常發(fā)生在火焰的鋒面區(qū)域，其基部輪廓像素通常保持穩(wěn)定。因此火焰的輪廓像素在其閃爍過程中的變化具有非均勻性，基部區(qū)域火焰輪廓像素較為穩(wěn)定，鋒面區(qū)域火焰輪廓像素存在劇烈的變化。

圖1 紅外視頻及火焰閃爍輪廓序列

對火焰輪廓像素在時域進行積分，得到圖2(b)所示的輪廓像素積分概率圖，可以看出其輪廓像素的累計概率具有獨特的分布特征。火焰基部的輪廓像素具有較大的累計概率，且截面寬度較小，這表明該部分輪廓像素在當前時間區(qū)間內(nèi)持續(xù)穩(wěn)定存在，不具有明顯的變化，幀間波動被限制在一個較狹窄的范圍內(nèi)；而火焰鋒面的輪廓像素累計概率值較低，截面寬度較大，具有較為分散的分布。整體上看越接近基部區(qū)域，輪廓像素的時域分布越集中；越接近鋒面區(qū)域，輪廓像素的時域分布越分散。這一分布特征可以作為火焰和形變干擾物區(qū)分的依據(jù)。

2.2 基于輪廓像素時域積分分布特征的火焰識別

2.2.1 輪廓點概率分布主曲線擬合

為描述目標輪廓分布的非均勻性，需要對分散分布的離散輪廓點云進行擬合，得到軸線輪廓作為輪廓描述的基準。該軸線輪廓可以通過主曲線擬合方法得到。主曲線指穿過一組離散點樣本中心的自相合光滑曲線，給定數(shù)據(jù)點圍繞該曲線近似對稱，因而可以將該曲線作為點云分布的擬合表示。

傳統(tǒng)無參數(shù)主曲線擬合方法魯棒性較差，計算復雜，Kegl等[13]引入了主曲線，基于多邊形逼近的方法對主曲線進行擬合，并引入長度約束條件和最小距離期望條件對逼近過程進行約束，增強了主曲線擬合過程的收斂性和無偏性，對給定樣本點集X，規(guī)定長度小于等于給定長度的階曲線簇為S，則的階主曲線f*滿足最小平方距離期望條件，即有：

式中：()表示階曲線內(nèi)的任意點。其擬合過程如下：

1） 初始化，提取包含所有可能投影點的最短主成分線段1,n作為初始曲線；

2）樣本點投影，區(qū)別于樣本點到主曲線的投影方法，主曲線擬合根據(jù)樣本點到階多邊形各個頂點1,…,v＋1和邊1,…,s的距離將樣本點集X投影到2＋1個獨立的集合中，得到投影子集1,…,V＋1和1,…,S；

3）頂點坐標優(yōu)化，遍歷當前頂點，對閉合擬合多邊形曲線的頂點v，根據(jù)樣本點{:?S－1,V,S}計算擬合誤差E，調(diào)整v使擬合誤差最??；

圖2 火焰輪廓像素時域分布特性

5）重復2）3）4）過程，直到滿足迭代終止條件；

為提高算法效率，本文基于輪廓像素分布點云最大內(nèi)接多邊形、最小外接多邊形對應頂點的平均坐標構造了多邊形f0,n，替代1,n作為初始擬合曲線。且適當增加了單次迭代過程的補充頂點數(shù)?？紤]到真實輪廓點為離散坐標點，對擬合主曲線進行離散坐標近似，得到圖3所示的擬合輪廓。其中紅色離散點為擬合輪廓點，與輪廓像素分布的實際中心線較為接近。

圖3 K主曲線擬合平均輪廓線

2.2.2 擬合輪廓點鄰域分布特征提取

對擬合輪廓上的各像素點，可以通過其鄰域像素的統(tǒng)計特征描述火焰輪廓在該區(qū)域的存在概率分布特性。從鋒面輪廓到基部輪廓的邊緣像素點積分概率增大，截面寬度減小，法向概率梯度增大。計算輪廓點鄰域像素分布特征需要對鄰域像素點進行提取，對擬合輪廓點(x,y)，其法向鄰域點(x,y)應該滿足式(3)：

式中：dir表示當前輪廓點的法向矢量方向。

由于真實圖像采用離散坐標形式表述，采用上述直線方程提取鄰域像素需要進行坐標近似。為了對鄰域像素進行更準確的提取，構造離散化鄰域像素模板以簡化擬合輪廓點鄰域像素的提取過程，同時對鄰域點樣本數(shù)量做出規(guī)范，如圖4所示。模板包括中心像素在內(nèi)共21個樣本點，其中黑色像素為當前輪廓點，灰色像素為提取的法向鄰域像素。

圖4 離散鄰域像素提取模板

2.2.3 基于法向梯度分布的非均勻性表征

對典型火焰和干擾物的紅外視頻進行分析，對比其輪廓像素在時域行為上的差異，所選樣本的輪廓像素時域積分圖如圖6(a)所示，像素灰度值反應了當前像素的累計出現(xiàn)概率。樣本從左到右依次為真實火焰、穩(wěn)定熱源、運動熱源、動態(tài)遮擋的熱源，其法向梯度分布如圖(b)～(d)左側圖所示?？梢钥闯?，真實火焰的梯度分布表現(xiàn)出顯著的的單峰特性，即有且僅有一段連續(xù)分布的穩(wěn)定邊緣區(qū)，且該穩(wěn)定邊緣長度有限；穩(wěn)定熱源的輪廓邊緣全局穩(wěn)定，部分區(qū)域存在邊緣誤差引起的微小波動；運動熱源與遮擋熱源的輪廓分布有較高的無序性，梯度通常表現(xiàn)為多峰分布。通過對梯度分布的單峰特征進行描述，可以對火焰和此類干擾物進行有效區(qū)分。

采用極大值、方差、峰度特征等統(tǒng)計特征描述目標擬合輪廓全局梯度分布與去峰梯度分布的統(tǒng)計差異，其中峰度特征用于描述數(shù)據(jù)分布的起伏程度，表示為如下形式：

式中：x表示第個輪廓點的法向梯度值。全局統(tǒng)計特征根據(jù)當前所有有效輪廓點計算，去峰統(tǒng)計特征為去除最高峰部分輪廓后剩余樣本點的統(tǒng)計特征。根據(jù)峰值和全局統(tǒng)計特征動態(tài)確定峰值區(qū)域的前后輪廓邊界，可以較完整地去除最穩(wěn)定的連續(xù)輪廓，去峰梯度分布如圖6(b)～(e)右側所示。

圖5 擬合輪廓鄰域點統(tǒng)計特征

上述樣本的全局統(tǒng)計特征和去峰統(tǒng)計特征如表1所示，樣本1、2、3、4分別為真實火焰，穩(wěn)定熱源，運動熱源，動態(tài)遮擋熱源。真實火焰的分布具有明顯的單峰性，因此其全局分布特征和去峰分布特征具有顯著的差異性，去峰分布的峰值、方差、峰度均明顯下降；其他干擾物通常不具有唯一、連續(xù)的峰值區(qū)域，去除最大峰值區(qū)域?qū)φw分布特征的影響較小，統(tǒng)計特征不具有顯著的變化。因此根據(jù)全局梯度分布與去峰后梯度分布的統(tǒng)計特征差異可以對火焰和干擾物做出有效的區(qū)分。

表1 不同樣本全局分布與去峰分布統(tǒng)計特征

3 基于隱馬爾科夫模型的閃爍頻率估計

火焰的閃爍頻率通常采用火焰高度或面積時域變化曲線的頻域峰值進行計算[6]。該方式在室內(nèi)穩(wěn)定環(huán)境下對單束火焰有較好的計算效果，但自然環(huán)境下的火焰具有隨機的伸展方向和不穩(wěn)定的閃爍頻率，其漲落間隔通常在區(qū)間范圍內(nèi)隨機變化，這導致傳統(tǒng)的變換域方法無法提取準確的峰值頻率。

4 實驗及結果分析

5 結束語

本文算法通過引入非均勻形變約束條件，對火焰輪廓像素的時域行為做出了更準確的描述。算法顯著降低了識別算法的虛警率，提高了檢測的準確性和可信性，降低了實際應用場景中對人工復核的依賴程度，有較大的使用價值。但對存在嚴重遮擋的火焰識別能力有限，還有進一步改進的空間。

表2 不同特征檢測結果對比

[1] ?etin A E, Dimitropoulos K, Gouverneur B, et al. Video fire detection -review[J]., 2013, 23(6): 1827-1843.

[2] Owrutsky J C, Steinhurst D A, Minor C P, et al. Long wavelength video detection of fire in ship compartments[J]., 2006, 41(4): 315-320.

[3] Toreyin B U, Cinbis R G, Dedeoglu Y, et al. Fire detection in infrared video using wavelet analysis[J]., 2007, 46(6): 067204.

[4] 李濤, 向濤, 黃仁杰, 等. 基于新的運動特征的火焰檢測方法[J]. 計算機仿真, 2014, 31(9): 392-396.

LI Tao, XIANG Tao, HUANG Renjie, et al. Fire detection method based on new moving feature[J]., 2014, 31(9): 392-396.

[5] 朱思思, 丁德紅, 陳朝迎, 等. 基于圖像處理的森林火災識別方法研究[J]. 紅外技術, 2016, 38(5): 440-446.

ZHU Sisi, DING Dehong, CHEN Zhaoying, et al. The research of forest fire recognition method based on image processing[J]., 2016, 38(5): 440-446.

[6] 陳娟. 基于多特征融合的視頻火焰探測方法研究[D]. 北京: 中國科學技術大學, 2009.

CHEN Juan. Study on Method of Multi-Feature Fusion Based Video Flame Detection[D]. Beijing: University of Science and Technology of China, 2009.

[7] CHEN J H, Im H G. Correlation of flame speed with stretch in turbulent premixed methane/air flames[J].(International), 1997, 27(1): 819-826.

[8] Hamins A, Yang J C, Kashiwagi T, An experimental investigation of the pulsation frequency of flames[J].(International), 1992, 24(1): 1695-1702.

[9] Chaconmurguia M I, Perezvargas F J. Thermal video analysis for fire detection using shape regularity and intensity saturation features [C]//, 2011: 118-126.

[10] Takahashi N, Suzuki M, Dobashi R, et al. Behavior of luminous zones appearing on plumes of large-scale pool fires of kerosene[J]., 1999, 33(1): 1-10.

[11] 程鑫, 王大川, 尹東良. 圖像型火災火焰探測原理[J]. 火災科學, 2005(4): 239-245,196.

CHENG Xin, WANG Dachuan, YIN Dongliang. Image type fire flame detecting principle[J]., 2005(4): 239-245, 196.

[12] Paresh P A, Parameswaran L. Vision-based algorithm for fire detection in smart buildings[C]//, 2018: 1029-1038.

[13] Kegl B, Krzyzak A, Linder T, et al. A polygonal line algorithm for constructing principal curves[C]//, 1998: 501-507.

[14] WU Z, Fuller N W, Theriault D H, et al. A thermal infrared video benchmark for visual analysis[C]//, 2014: 201-208.

Small Scale Fire Identification Based on Constrained Inhomogeneous Deformation Feature

WANG Xiangjun1,2，DU Zhiwei1,2，GAO Chao3

(1.,,300072,;2.,,300072,;3.,,300072,)

Video based fire detection(VFD) is a convenient, low-cost method widely used in fire detection. However, it’s not credible enough to distinguish true fire from possible disruptors by traditional fire features. This paper extract two new features to analyze the time series behavior of fire based on the motion of edge pixels. The inter frame behavior of edge pixels is regarded as a nonuniformty constrained deformation procedure. Combined with HMM and additional geometric features to distinguish true fire from possible disruptors, the accuracy of fire detection is greatly improved and the false alarm rateis efficiently reduced.

fire detection, feature extraction, principal curves, HMM

TP391.4

A

1001-8891(2021)02-0145-08

2019-10-11；

2020-12-30.

王向軍（1955-），男，博士，教授，主要研究方向為光電探測與測量和圖像測量與計算機視覺。E-mail：tjuxjw@126.com。