徐兵榮 葉炯耀

(華東理工大學(xué)信息科學(xué)與工程學(xué)院 上海 200237)

0 引 言

早期，人們使用傳統(tǒng)的感煙、感光、感溫傳感器[1]進(jìn)行火災(zāi)檢測，但在煙霧顆?；驘崃繑U(kuò)散到達(dá)一定程度之前，傳感器不會發(fā)出警報，因此導(dǎo)致火災(zāi)探測的大幅延遲，無法應(yīng)用于大型空間和開放式場所。近年來隨著計算機(jī)圖像處理技術(shù)的成熟，基于視頻圖像的火焰檢測技術(shù)受到極大關(guān)注，圖像型火焰檢測技術(shù)克服了傳感器火災(zāi)探測系統(tǒng)結(jié)構(gòu)單一、實(shí)時性差、準(zhǔn)確率較低的缺點(diǎn)，通過對火焰動、靜態(tài)等特征提取并進(jìn)行多特征融合實(shí)現(xiàn)火焰檢測，是火焰檢測技術(shù)的重要突破。

目前，視頻圖像火焰檢測技術(shù)主要從火焰靜態(tài)特征和動態(tài)特征兩個方面進(jìn)行分析。靜態(tài)特征中最具代表性的是火焰顏色空間特征，顏色空間主要包括RGB[2]、HIS[3]、YCbCr[4]等。Wang等[5]提出了基于火焰顏色色散模型的火焰檢測方法，該方法根據(jù)火焰溫度和顏色，將火分為焰心、內(nèi)焰和外焰。通過計算藍(lán)色分量B標(biāo)準(zhǔn)差的閾值排除常見干擾和噪聲的影響，能夠在室內(nèi)環(huán)境下準(zhǔn)確檢測出圖像中的火災(zāi)區(qū)域。Chen等[6]結(jié)合RGB與HIS顏色模型對火焰進(jìn)行靜態(tài)分析，通過R分量和飽和度來提取火焰特征像素，當(dāng)火焰噪聲干擾較大時，該方法誤報率較大。Turgay等[7]提出了一種基于YCbCr顏色空間的火焰檢測算法，并利用大量的樣本圖像測試算法的性能，該方法的總體檢測率較高。

僅利用單一特征的火災(zāi)檢測方法存在準(zhǔn)確率低、誤報率高等缺點(diǎn)，因此許多研究進(jìn)一步分析了火焰的動態(tài)特征并融合火焰靜、動態(tài)特征以降低火焰檢測誤報率。Lascio等[8]利用監(jiān)控攝像機(jī)提取火焰顏色和運(yùn)動特征來檢測火災(zāi)區(qū)域，該算法可靠性較高。Foggia等[9]提出了一種基于顏色、形狀變化和運(yùn)動結(jié)合的火災(zāi)檢測方法，該方法在準(zhǔn)確性和誤報率方面表現(xiàn)較好。張進(jìn)華等[10]提出了一種基于置信度理論的靜態(tài)和動態(tài)火焰特征相結(jié)合的火災(zāi)探測算法，該算法的處理速度很快，但是不能有效地排除噪聲和類似火的物體的干擾。Wang等[11]提出了一種火焰檢測特征融合方法，該算法融合了火焰顏色、移動和區(qū)域變化來檢測視頻圖像中的火災(zāi)。Ali等[12]利用顏色和運(yùn)動模型分別檢測出煙霧和火災(zāi)區(qū)域，并通過二維小波分析消除運(yùn)動物體的干擾。該算法可以有效減少火災(zāi)誤報。Habiboglu等[13]提出了一種基于顏色、空間等特征的視頻火災(zāi)檢測方法，利用支持向量機(jī)(SVM)對提取的特征進(jìn)行訓(xùn)練和測試，該系統(tǒng)在沒有固定攝像機(jī)的情況下表現(xiàn)出良好的檢測性能。Wang等[14]提出了一個新穎的視頻火焰檢測系統(tǒng)來識別火焰，該系統(tǒng)融合了火焰顏色、相似度和質(zhì)心運(yùn)動特征，在室內(nèi)環(huán)境下整體精度較高，能夠排除大部分疑似火焰干擾物。但是在室外或者強(qiáng)烈光照干擾下會把一些光源誤判為火焰，同時不能檢測出特殊燃料如鎂、磷、銅等產(chǎn)生的火焰?；鹧娴牧Ⅲw特征也被用于火災(zāi)探測，Ko等[15]提出了基于雙目攝像機(jī)的火災(zāi)探測方法，該方法利用顏色和背景差異模型提取候選火災(zāi)區(qū)域，將火焰的大小、形狀和運(yùn)動變化通過模糊邏輯方法進(jìn)行實(shí)時火災(zāi)驗證，并且通過計算攝像機(jī)與火焰的距離重建了火焰的三維表面。

針對最新的視頻圖像火焰檢測方法[14]中存在的火焰誤判和漏檢等問題。本文提出一種基于火焰視覺虛化性的多特征融合火焰檢測系統(tǒng)，通過雙目攝像頭與激光測距配合提取火焰視覺虛化性特征?；鹧嬉曈X虛化性一方面可以準(zhǔn)確地排除燈泡、反光、紅色滅火器等干擾，降低誤判率。另一方面可以檢測出各種燃料產(chǎn)生的火焰，降低漏檢率。最后通過MES融合火焰視覺虛化性與視頻圖像火焰特征。實(shí)驗結(jié)果表明，該系統(tǒng)能夠準(zhǔn)確地檢測出火焰。

1 火焰檢測模型

1.1 多特征融合系統(tǒng)模型

本文采用多特征融合技術(shù)進(jìn)行火焰檢測，在本文提出的新的火焰視覺虛化性基礎(chǔ)上，建立多特征融合系統(tǒng)，系統(tǒng)結(jié)構(gòu)如圖1所示，本文算法包括以下流程：

1) 利用RGB-HIS顏色模型分割疑似火焰區(qū)域。

2) 通過雙目與激光深度信息測量提取火焰視覺虛化性特征。

3) 結(jié)合圖像型火焰顏色色散、質(zhì)心運(yùn)動、相似性特征。

4) MES多專家決策機(jī)制進(jìn)行多特征融合，識別火焰。

圖1 多特征融合火焰檢測系統(tǒng)

為了分割疑似火焰區(qū)域，使用火焰顏色特征作為先決條件，火焰燃燒由紅變黃，對應(yīng)RGB顏色空間，滿足R>G>B，由于火焰燃燒時紅色分量特征明顯，設(shè)置紅色分量閾值R>RT可以排除其他顏色物體。火焰飽和度高，設(shè)置火焰飽和度閾值ST可以避免如紅色行人、紅墻等飽和度低的背景物的影響。根據(jù)以上火焰特征，Chen等[6]提出RGB-HIS顏色模型分割疑似火焰區(qū)域，公式如下：

R>G>B

(1)

R>RT

(2)

S>(255-R)×ST/RT

(3)

式中：R、G、B分別為火焰紅、綠、藍(lán)色分量；RT是紅色分量閾值；ST是飽和度的值，飽和度將隨著R分量的增加而降低，R分量朝著最大值255增大，飽和度S將減小至零。RT和ST范圍為55～65和115～135[6]，在本文中設(shè)定RT=55，ST=125。

1.2 火焰視覺虛化性特征

火焰視覺虛化性是指火焰灼熱發(fā)光的氣化部分人眼可以觀測、攝像頭可見光能夠捕捉，但是激光等特殊光源穿透火焰，不能得到反射，火焰整體呈現(xiàn)出虛化的狀態(tài)。而常見的干擾物基本都是實(shí)體狀態(tài)，不具備視覺虛化性。

受復(fù)雜環(huán)境和不同燃燒材料的干擾，僅將火焰的顏色、運(yùn)動等視頻圖像特征作為火焰檢測特征依據(jù)，仍舊存在較高的誤檢率。為了提高火焰檢測的準(zhǔn)確率，本文加入了火焰視覺虛化性這一新型的火焰特征，并結(jié)合雙目與激光測距檢測火焰視覺虛化性，

首先使用預(yù)先校準(zhǔn)的可變基線雙目攝像機(jī)(HNY-CV-002)測量火焰深度信息，根據(jù)雙目(CCD)[15]測量原理：兩個攝像頭同時從兩個不同的位置觀察火焰，利用三角形幾何原理計算圖像像素之間的位置偏差，即視差d，得到被測目標(biāo)三維信息，即點(diǎn)P三維坐標(biāo)，如圖2所示。P(X0,Y0,Z0)為被測目標(biāo)火焰像素點(diǎn)，Ol和Or分別是左右兩個相機(jī)的光心。pl(xl,yl)和pr(xr,yr)分別是點(diǎn)P在左右相機(jī)成像平面上的投影點(diǎn)。

圖2 雙目測量火焰原理

根據(jù)三角形相似原理，可得：

式中:X0、Y0、Z0為點(diǎn)P在xl-Ol-z坐標(biāo)系中的坐標(biāo)；xl為pl在xl-Ol-z坐標(biāo)系中的x坐標(biāo)；xr為pr在xr-Or-z坐標(biāo)系中的x坐標(biāo)。重新排列公式可得：

令d=xr-xl，可得：

式中：d為視差。由式(8)可知，當(dāng)b、f固定時，坐標(biāo)Z0與視差d成反比，則從雙目到火焰的距離可以表示為:

激光測距(TOF)[16]的原理如圖3所示，通過發(fā)射脈沖掃描被測物體的時間或相位差獲得距離觀測值S,根據(jù)水平方向和豎直方向的掃描角度觀測值α和β獲取任意一個被測點(diǎn)P′并生成三維點(diǎn)云圖，X軸位于橫向掃描面內(nèi)，Y軸在橫向掃描面內(nèi)垂直于X軸，Z軸垂直于橫向掃描面，激光測量火焰時穿透火焰像素點(diǎn)P，射向墻體、地面等背景物某點(diǎn)P′。

圖3 激光測距原理

被測點(diǎn)P′的三維坐標(biāo)為P′(Xc,Yc,Zc)，公式如下：

Xc=Scosβcosα

(10)

Yc=Scosβsinα

(11)

Zc=Scosβ

(12)

激光測量系統(tǒng)測得深度信息depth′為：

depth′=S

(13)

為了分析火焰視覺虛化性，本文建立圖4所示雙目CCD與激光TOF火焰深度信息對比模型并作以下幾種情況分析。

(a) α=0°測量火焰

(b) α不同角度測量火焰

(c) 測量干擾物圖4 雙目-激光火焰深度信息對比模型

1) 如圖4(a)所示，系統(tǒng)與火焰同處水平位置α=0°，且無背景障礙物時，激光穿過火焰射向無窮遠(yuǎn)，τ→∞。

2) 如圖4(b)所示，系統(tǒng)測量角度α∈(0,90°)，系統(tǒng)懸掛高度在實(shí)際場景中固定為h，火焰距離系統(tǒng)水平距離為s。

由三角形原理可得：

由梯形原理可得：

式中：h′=h-stanα。式(15)可以轉(zhuǎn)化為：

令兩個系統(tǒng)測量距離差為τ：

τ的值隨著α角度變化而改變，α越大τ越大，α越小τ越小。

3) 如圖4(c)所示，系統(tǒng)無論從什么角度和位置測量燈泡、行人等干擾物時，激光不會穿透干擾物，系統(tǒng)測得的距離值不考慮器材物理差異，理論上是一致的，因此，τ=0。

本文選取了8個視頻作為深度信息檢測數(shù)據(jù)集，包含4個火焰視頻4個非火焰視頻，視頻的樣本示例如圖5所示。

圖5 雙目與激光測距數(shù)據(jù)樣本(視頻1-視頻8)

表1是所選取的8個視頻場景描述。場景分布包括室內(nèi)室外、行人、閃爍車燈、燈泡、飄動紅旗。

表1 火焰與非火焰視頻場景描述

雙目與激光探測系統(tǒng)檢測到的火焰和非火焰深度信息以及距離差值τ如表2、表3所示。

表2 α=0°系統(tǒng)深度信息對比 單位：m

表3 α不同角度系統(tǒng)深度信息對比 單位：m

續(xù)表3

表2中，系統(tǒng)測量角度α=0°時，系統(tǒng)與火焰同處水平位置，在室內(nèi)環(huán)境下，火焰存在墻壁等背景物，因此系統(tǒng)測得的距離差值τ為有限值，此外，τ的值取決于火焰到系統(tǒng)的距離以及火焰與背景物的距離。在室外空曠環(huán)境下，系統(tǒng)測量火焰的距離差值τ→∞。對于干擾物，τ≈0。

表3中，當(dāng)α為30°、45°等不同角度時，激光穿透火焰射向地面，隨著α角度增大，τ增大。對于干擾物，τ≈0。

在實(shí)際環(huán)境中，攝像頭懸掛角度一般為30°到45°之間，根據(jù)雙目與激光TOF可以重建物體三維表面[16]的原理，對特征像素點(diǎn)組成的疑似火焰區(qū)域，通過雙目與激光測量區(qū)域內(nèi)特征像素點(diǎn)深度信息。其中τ≈0的像素點(diǎn)區(qū)域為干擾物，而火焰區(qū)域內(nèi)τ為有限值或為無窮，通過對N個火焰像素點(diǎn)i距離差τi取均值，并設(shè)定閾值τ>τT可以提高系統(tǒng)的準(zhǔn)確性?；谝陨?，提出火焰的視覺虛化性模型。

根據(jù)實(shí)際場景中的實(shí)驗樣本和數(shù)據(jù)分析設(shè)定本文的τT=0.61。

1.3 火焰色散、相似性、質(zhì)心運(yùn)動特征

1) 顏色色散?；鹧嫒紵龝r的不同部位燃燒程度和溫度都不同，表現(xiàn)為一定程度的色散,色散由顏色分量的標(biāo)準(zhǔn)差定義[5],火焰的藍(lán)色成分是由燃燒氧氣產(chǎn)生的，在不同的火焰部位，藍(lán)色分量的差異很大，因此B分量標(biāo)準(zhǔn)差較大。而非火焰物體的B分量通常是由光決定的，在小范圍內(nèi)沒有色散，標(biāo)準(zhǔn)差非常小。設(shè)定B分量的標(biāo)準(zhǔn)差的閾值可以區(qū)分火焰和非火焰：

Bstd>BT

(19)

式中：Bstd為藍(lán)色分量標(biāo)準(zhǔn)差；BT為閾值，參考文獻(xiàn)[5]，BT=11。

為了驗證RGB-HIS顏色模型和B分量色散的可靠性，本文在實(shí)驗室環(huán)境下的火焰圖像分割結(jié)果如圖6所示，RGB-HIS顏色模型提取的輪廓非常清晰準(zhǔn)確，沒有忽略任何可疑的火焰區(qū)域，比YCbCr顏色空間效果要好得多。同時B分量可以有效地排除地板反光。

(a) 原始圖像(b) YCbCr顏色空間分割

(c) RGB-HIS顏色空間分割(d) B分量分割圖6 火焰圖像分割

假設(shè)質(zhì)心距離最小的兩個區(qū)域為相鄰幀同一可疑區(qū)域的對應(yīng)區(qū)域。

式中：Ωi和Ωi-1分別為第i和第i-1幀需要進(jìn)行度量的連通區(qū)域?；鹧娴南嗨贫戎饕植荚?.6到0.9之間，而焊接光等干擾物大部分等于0。

3) 質(zhì)心運(yùn)動。火焰在一定時間內(nèi)不斷閃爍，質(zhì)心以重復(fù)的方式運(yùn)動，因此火焰區(qū)域質(zhì)心總位移與質(zhì)心運(yùn)動總距離之比RD小于一定的閾值。常見的干擾源，如移動的手電筒在短時間內(nèi)質(zhì)心呈現(xiàn)出統(tǒng)一的運(yùn)動，所以比值較大。

同時，由于火焰的閃爍是周期性的，所以火焰質(zhì)心運(yùn)動距離與其面積的平方根之比BMS會在一定的范圍內(nèi)。相反，對于靜止干擾源，運(yùn)動的絕對值幾乎可以忽略，因此其比值也很小。RD和BMS計算如下：

式中：DS為N幀質(zhì)心運(yùn)動總位移；ZD為N幀質(zhì)心運(yùn)動總距離；MS為疑似火災(zāi)區(qū)域的平均面積。設(shè)定閾值RD>RDT和BMS>BMST，可以區(qū)分火焰與干擾物。

1.4 MES多特征融合系統(tǒng)

MES多專家決策機(jī)制廣泛應(yīng)用于圖像識別領(lǐng)域，盡管多特征融合有許多方法，但加權(quán)分類是解決多特征融合最有效的方法之一，MES通過分割特征向量并采用一組分類器，每個分類器針對一個特征集進(jìn)行裁剪，然后將其訓(xùn)練為某個特征空間的專家。通過結(jié)合不同的單一分類器的結(jié)果來進(jìn)行決策，MES多專家決策系統(tǒng)性能在絕大多數(shù)情況下優(yōu)于單個最優(yōu)分類器。因此本文采用MES多專家決策機(jī)制進(jìn)行多特征融合。根據(jù)Foggia等[9]提出MES系統(tǒng)的原理和公式，本文建立如圖7所示基于火焰視覺虛化性特征的MES系統(tǒng)。

圖7 MES系統(tǒng)模型

圖7中，DE表示顏色專家，SE表示相似度專家，VE表示質(zhì)心運(yùn)動專家，IE表示視覺虛化性專家，

式中：M為類的數(shù)量；cij為分類矩陣的值。最終的決策通過最大化整個MES的可靠性來識別特定的類，屬于第i類的blobs的可靠性是由投票加權(quán)計算得出：

c的決策最終通過最大化不同類的可靠性得出：

評估MES每個專家，如果滿足給定閾值或者區(qū)間條件，則將輸入的blobs分類為火焰，否則為非火焰：

2 實(shí)驗驗證

2.1 實(shí)驗數(shù)據(jù)集

目前大多數(shù)的火焰檢測方法，仍然是通過視頻圖像數(shù)據(jù)集來訓(xùn)練檢測火焰。Toreyin等[17]制作了大量的火災(zāi)和煙霧探測視頻，本文從中獲取并創(chuàng)建了一個由36 700幀組成的新數(shù)據(jù)集，部分?jǐn)?shù)據(jù)集如圖8所示。前4個視頻包含不同環(huán)境下的火災(zāi)場景，后4個視頻不包含火災(zāi)場景，但視頻中的干擾物有可能被誤判為火焰。尤其是基于顏色特征和運(yùn)動的火焰檢測算法都有可能把干擾物如閃爍燈源、強(qiáng)烈的光照誤判為火焰。本文選用的數(shù)據(jù)集盡可能地包含了火焰場景與誤判較高的干擾物場景，以體現(xiàn)火焰檢測的環(huán)境復(fù)雜性，以便更好測試系統(tǒng)性能。

圖8 火焰與干擾物視頻樣本

2.2 實(shí)驗數(shù)據(jù)標(biāo)準(zhǔn)

根據(jù)準(zhǔn)確率的概念，定義真陽性率TPR、真陰性率TNR、假陽性率FPR、假陰性率FNR，公式如下:

FNR=1-TPR

(33)

FPR=1-TNR

(34)

式中：TP表示真陽性，即當(dāng)檢測到真實(shí)火災(zāi)為火災(zāi)時，TP的數(shù)量加1;FP表示假陽性，當(dāng)誤判干擾物為火焰時，F(xiàn)P的數(shù)量加1;TN表示真陰性，當(dāng)檢測到干擾物為非火焰時，TN數(shù)加1;FN表示假陰性，當(dāng)誤判火焰為干擾物時，F(xiàn)N的個數(shù)加1。

為了樣本計算。定義平均準(zhǔn)確率為：

2.3 實(shí)驗結(jié)果與分析

利用數(shù)據(jù)集20%的隨機(jī)視頻對多專家系統(tǒng)進(jìn)行訓(xùn)練。訓(xùn)練結(jié)果如表4所示。

表4 多專家系統(tǒng)訓(xùn)練結(jié)果(%)

因此，三個專家的權(quán)重可以定義為：

由于假陰性在火焰檢測中造成的代價比假陽性大得多，本文將假陰性權(quán)重設(shè)為假陽性權(quán)重的10倍，每種方法的另一個目標(biāo)函數(shù)可設(shè)為:

F=Recognition-10×error=

(TP+TN)-10×FN

(37)

式中：Recognition表示陽性；error表示陰性。

由表5可知，本文提出的火焰視覺虛化性特征IE的假陰性率在單個特征中最低，平均準(zhǔn)確率達(dá)到了88.51%。同時，本文MES多特征融合算法的假陰性率在較低(0.46%)基礎(chǔ)上，平均準(zhǔn)確率(95.86%)和F(1.90)均達(dá)到最佳。

表5 本文與其他方法的準(zhǔn)確率、假陽性率、假陰性率、F對比

表5還將本文算法和文獻(xiàn)[6，9，12-14]中基于顏色、運(yùn)動和形狀等特征組合的方法作比較。文獻(xiàn)[14]建立的結(jié)合顏色、相似度和質(zhì)心運(yùn)動特征的多特征融合系統(tǒng)，在準(zhǔn)確率和假陰性率上都優(yōu)于前四種方法。然而，文獻(xiàn)[14]中仍然存在缺陷，本文相比于文獻(xiàn)[14]有以下改進(jìn)：

首先是假陽性率，假陽性率即誤判率，在室外環(huán)境以及強(qiáng)光照干擾下，文獻(xiàn)[14]基于視頻圖像火焰特征的多特征融合算法假陽性率較高，會將強(qiáng)烈的光源以及閃爍車燈誤判為火焰，因為道路上的雙向車燈會有閃爍，形成了類似火焰的明亮區(qū)域。但本文的基于火焰視覺虛化性的多特征融合算法可以準(zhǔn)確地檢測出實(shí)體干擾物，并將其排除。其次是假陰性率，假陰性率即漏檢率，雖然文獻(xiàn)[14]假陰性率較低，但對于鎂磷燃燒時的白色火焰，銅燃燒時的綠色火焰，文獻(xiàn)中的顏色模型和B分量會漏判火焰，但本文火焰視覺虛化性不受顏色和運(yùn)動條件的干擾，能夠檢測各種燃料產(chǎn)生的虛化火焰，進(jìn)一步降低假陰性率。本文算法不能將假陰性率降低到0，因為當(dāng)火焰貼墻或者火焰距離系統(tǒng)太近時，系統(tǒng)的精度受到干擾。

此外，與文獻(xiàn)[14]中提出的多特征融合方法相比，本文的火焰視覺虛化性、顏色、相似度、質(zhì)心運(yùn)動多特征融合算法平均準(zhǔn)確度更高?；跀?shù)據(jù)集的實(shí)驗結(jié)果表明，本文基于火焰視覺虛化性的多特融合MES火焰決策方法在平均準(zhǔn)確率、假陰性率、F等方面均優(yōu)于其他五種方法。

3 結(jié) 語

本文提出一種基于火焰視覺虛化性多特征融合的火焰檢測方法，利用雙目視覺和激光檢測火焰的深度信息，并通過對比實(shí)際場景中的兩個系統(tǒng)深度信息來建立火焰視覺虛化性模型。在顏色、相似度、質(zhì)心運(yùn)動等圖像型火焰特征基礎(chǔ)上，融合本文提出的火焰視覺虛化性特征并輸入MES進(jìn)行火焰決策，大量數(shù)據(jù)集的測試結(jié)果表明，本文的MES多特征融合系統(tǒng)實(shí)現(xiàn)了火焰檢測假陽性率與假陰性率的平衡，在整體精度方面達(dá)到了最佳，并有效降低了火災(zāi)誤判率和漏檢率。實(shí)驗中，火焰深度信息探測系統(tǒng)檢測火焰時的角度和距離需要進(jìn)一步考慮，此外人工神經(jīng)網(wǎng)絡(luò)也可以考慮用來進(jìn)行多特征融合。