趙 亮 駱炎民 黃德天 歐陽怡 徐志通

?

一種基于碼本背景建模和多特征融合的火災(zāi)煙霧檢測算法*

趙 亮1駱炎民1黃德天2歐陽怡1徐志通1

1.華僑大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院 2.華僑大學(xué)工學(xué)院

該文提出一種基于碼本模型和多特征融合的火災(zāi)煙霧檢測算法。主要步驟是：首先，利用碼本模型提取出視頻中運(yùn)動的前景像素；然后，結(jié)合暗通道先驗知識對前景像素進(jìn)行過濾，消除部分干擾像素；最后，統(tǒng)計疑似煙霧區(qū)域的顏色直方圖、紋理直方圖和邊緣方向直方圖特征，利用多特征融合的方式加以分類識別。多個視頻場景測試結(jié)果表明，該算法具有良好的煙霧檢測能力和抗干擾能力，可以基本滿足實時性的要求，具有一定的實際推廣價值。

碼本模型 暗通道先驗 直方圖 多特征融合 煙霧檢測

1 概述

傳統(tǒng)的火災(zāi)探測器大多是通過檢測燃燒物產(chǎn)生的顆粒、火焰周圍溫度的升高或者周圍環(huán)境濕度變化等原理進(jìn)行工作的，這類探測器因價格便宜而被廣泛采用。由于這類探測器必須靠近火源才能正常工作，在很大程度上限制了其應(yīng)用范圍?；谝曨l的火災(zāi)檢測可以很好地解決類似缺陷，相比于傳統(tǒng)的火災(zāi)探測器，基于視頻的檢測設(shè)備不受空間范圍的影響并且可以迅速響應(yīng)。此外，還可以為安全人員提供火災(zāi)現(xiàn)場的實時信息[1]。近年來，隨著模式識別和計算機(jī)視覺等領(lǐng)域的發(fā)展，基于視頻的火災(zāi)檢測得到快速發(fā)展，可以分為基于火焰檢測和煙霧檢測兩類，本文主要針對后一類進(jìn)行論述。

火災(zāi)發(fā)生早期一般火焰較小，但這時候煙霧卻很明顯，所以基于視頻的煙霧檢測方法被廣泛提出。Toreyin等[2]提出了一種基于小波變換的視頻煙霧檢測算法，通過融合煙霧的運(yùn)動、閃爍和邊緣模糊等特征實現(xiàn)判別，但是該方法在復(fù)雜場景下容易丟失邊緣信息，誤檢率會明顯上升。Gubbi等[3]提出了一種基于小波和支持向量機(jī)的視頻煙霧檢測算法，通過提取三層小波變換圖像的統(tǒng)計信息加以分類識別，統(tǒng)計信息包含算術(shù)平均值、幾何平均值、標(biāo)準(zhǔn)差、偏度、峰值和熵，但是小波變換非常耗時。Fujiwara等[4]根據(jù)自相似分形理論，從圖像中直接提取煙霧區(qū)域。這一方法的缺點(diǎn)是，對于對比度較低和分辨率較低的煙霧圖像，提取的分形特征不夠穩(wěn)定，效果有限。Yuan[5]提出一種利用累積量估算主運(yùn)動方向的方法檢測視頻煙霧，同時采用分塊的算法。該算法根據(jù)煙霧的運(yùn)動特征，分析煙霧主運(yùn)動方向向上運(yùn)動特性，提高了檢測效率；在大風(fēng)等惡劣天氣條件下，該算法不能保證檢測的準(zhǔn)確率。Ko等人[6]提出了一種基于時空特征的BoF模型提取直方圖特征，該方法實現(xiàn)了靜態(tài)與動態(tài)特征的結(jié)合，然后通過隨機(jī)森林分類器做判別，檢測效果較好，具有一定的參考價值。Luo等[7]提出了一種較新穎的煙霧檢測方法，該方法通過時間壓縮圖像將煙霧視頻沿時間分別向x方向和y方向投影、累加，得到x-t和y-t圖像，然后根據(jù)時間壓縮軌跡，利用色彩、半透明、紋理和形狀等特性做綜合判斷。該算法環(huán)境適應(yīng)能力好，但對于較遠(yuǎn)或者擴(kuò)散緩慢的煙霧將無法檢測。

由于各種煙霧的差異比較大，現(xiàn)有基于視頻的檢測方法依然存在誤檢率較高或者檢測率較低的問題，對煙霧準(zhǔn)確檢測依然面臨著很大的挑戰(zhàn)。其主要原因是[8]：（1）很多非煙霧物體具有和煙霧一樣的顏色特征；（2）煙霧的紋理和形狀總在不規(guī)則地改變；（3）由于分辨率問題，在某些場景下很難提取出可靠的特征；（4）前景物體的遮擋。為此，本文提出了一種基于碼本模型和多特征融合的火災(zāi)煙霧檢測算法，該算法利用碼本模型提取出前景像素，然后根據(jù)煙霧的暗通道像素值偏高的特點(diǎn)，從前景像素中篩選出疑似煙霧區(qū)域。綜合煙霧的顏色直方圖、紋理直方圖和邊緣方向直方圖特征進(jìn)行分類識別，實現(xiàn)煙霧的檢測。結(jié)果表明，算法在室外光照強(qiáng)度大、存在多種干擾的復(fù)雜環(huán)境下，該方法對較典型的煙霧檢測算法有較高的識別率。

2 運(yùn)動前景檢測

火災(zāi)煙霧檢測的監(jiān)控設(shè)備，多數(shù)情況是靜止的，本文提出的算法也是只針對靜止條件。在監(jiān)控設(shè)備靜止的情形下，運(yùn)動前景的檢測方法目前很多，主要有背景減除法、幀差法和光流法以及相應(yīng)的改進(jìn)算法等。這些算法大多對于剛性物體都有一定的檢測能力，但是對于無外力作用緩慢擴(kuò)散的煙霧檢測效果明顯下降，容易出現(xiàn)空洞的現(xiàn)象，不能提取出比較完整的煙霧區(qū)域，對疑似煙霧區(qū)域的特征提取和識別產(chǎn)生嚴(yán)重影響。

本文采用碼本模型對煙霧區(qū)域進(jìn)行提取，碼本模型是Kim[9]提出來的，模型針對每一個像素點(diǎn)連續(xù)采樣值的顏色距離和亮度范圍為每個像素點(diǎn)生成一個碼本，然后對視頻圖像序列中每一個像素點(diǎn)進(jìn)行學(xué)習(xí)，根據(jù)前景點(diǎn)和背景點(diǎn)在碼本序列中的變化特性分離出背景碼字，構(gòu)建出碼本背景模型，再利用常見的背景減除法提取出運(yùn)動的前景像素。該算法抗干擾能力強(qiáng)，不僅對快速擴(kuò)散和緩慢擴(kuò)散的煙霧有一定的檢測效果，實時性也較好。

2.1 碼本背景模型

顏色失真度定義為：

亮度函數(shù)定義為

碼本的訓(xùn)練過程也是每個像素點(diǎn)的采樣過程，具體的步驟可以描述為：

(4)

(6)

那么該碼字更新為：

4）訓(xùn)練結(jié)束后，計算每個像素點(diǎn)的碼字的最大時間間隔，對于每個碼字，

(8)

2.2 基于碼本模型的前景檢測

(10)

從碼本M中找出與當(dāng)前像素x相匹配的碼字c，如果匹配，則設(shè)置相應(yīng)的，否則置為0，對應(yīng)的前景像素可以表示為：

圖1(b)為通過碼本模型檢測出的前景像素，可以看出，碼本模型可以很好地檢測出運(yùn)動前景像素，其中包括運(yùn)動的行人，可以根據(jù)煙霧的暗通道像素值偏高特性做進(jìn)一步的篩選以確定疑似煙霧區(qū)域。

（a）原始圖像?????（b）前景像素

圖1 碼本模型前景檢測結(jié)果

3 疑似煙霧區(qū)域確定

3.1 暗通道先驗

暗通道的概念由He[10]提出，大量實驗結(jié)果表明，在絕大數(shù)非天空的局部區(qū)域中，圖像在RGB顏色空間中總有一個顏色通道的灰度值很低，接近于0。換言之，該區(qū)域光強(qiáng)度的最小值很小。上述先驗知識在自然場景中表現(xiàn)為：顏色鮮艷的物體，比如樹葉、行人、汽車等的暗通道像素值很低；而類似煙霧、天空或者白色物體的暗通道像素值偏高。根據(jù)這個先驗知識，在很大程度上可以在前景像素中過濾掉多數(shù)干擾像素。首先給出暗通道的公式定義：

（a）暗通道圖像?????（b）疑似區(qū)域

圖2 疑似煙霧區(qū)域

3.2 疑似煙霧區(qū)域

從暗通道圖像可以看出，穿藍(lán)色上衣和黑色褲子的行人在圖像中灰度值變成0，而煙霧區(qū)域保持為255，對比碼本模型提取的前景像素，可以達(dá)到過濾效果，得到圖2（b）所示的結(jié)果。當(dāng)然圖1（a）是一個特例，過濾后只剩下煙霧區(qū)域，在某些特殊場景下會出現(xiàn)類似煙霧顏色的白色運(yùn)動物體，上述提到的過濾方法會失效，因此需要進(jìn)一步的特征提取和判斷。

4 煙霧特征分析

4.1 顏色直方圖

煙霧的顏色特征是區(qū)別于其它物體的重要特性，Chen[11]通過大量實驗統(tǒng)計分析煙霧像素點(diǎn)的顏色特征建立了煙霧的色彩模型，結(jié)果發(fā)現(xiàn)煙霧圖像在RGB顏色空間中三個通道的灰度值較平均，大致分布在80～220之間，而其它物體的顏色灰度值則沒有規(guī)律，分布比較隨機(jī)。因此，本文通過分別統(tǒng)計三個顏色通道的灰度直方圖來描述煙霧的顏色特征，具體描述為，，。

4.2 紋理分析

紋理分析在煙霧檢測中是一種有效的方法，但是大多數(shù)方法對于旋轉(zhuǎn)和光照較敏感?；叶裙采仃囀且环N對旋轉(zhuǎn)不敏感的紋理分析方法，但容易受到光照的影響。通過直方圖均衡化在一定程度上可以消除部分影響，可同時會減少圖像本身的信息。

Ojala等人[12]提出了局部二值模式（LBP），LBP是一種灰度紋理算子，對旋轉(zhuǎn)和光照不敏感，它是通過比較一個像素與其領(lǐng)域像素的灰度值計算該像素的模式值，然后統(tǒng)計每個像素模式值的直方圖，達(dá)到對紋理特征的描述。計算方法為：

(14)

其中，g為區(qū)域灰度圖的中心像素，g代表鄰域像素灰度值，表示鄰域像素點(diǎn)個數(shù)，表示鄰域半徑，即中心像素到鄰域點(diǎn)的歐氏距離。圖3所示為兩種LBP算子。

?????

Ojala等提出了3種不同模式，分別為等價模式、旋轉(zhuǎn)不變模式和等價旋轉(zhuǎn)不變模式，本文選擇等價模式（ULBP）。Ojala等認(rèn)為，在實際圖像中，絕大多數(shù)LBP模式最多只包含兩次從1到0或從0到1的跳變。因此，Ojala將ULBP定義為：當(dāng)某個LBP所對應(yīng)的循環(huán)二進(jìn)制數(shù)從0到1或從1到0最多有兩次跳變時，該LBP所對應(yīng)的二進(jìn)制就稱為一個等價模式類。如00000000和11111111有0次跳變，而00000111、10001111和10010111分別有1、2和4次跳變，U分別為1、2和4。U可定義為：

當(dāng)滿足U≤2的模式稱為等價模式，這樣模式值個數(shù)會被壓縮到59，即紋理直方圖可以表示為。

4.3 邊緣方向直方圖

梯度特征是用來檢測圖像邊緣的，一般出現(xiàn)在物體的邊緣，或者灰度值跳變較大的分界處，從表面觀察，煙霧具有明顯的邊緣輪廓。HOG是用于梯度特征提取的常見方法。HOG特征提取較復(fù)雜且特征向量多長，本文采用邊緣方向直方圖（EOH）特征進(jìn)行邊緣特征提取[13]。對圖像提取EOH特征，首先利用Sobel算子對圖像進(jìn)行濾波操作，得到梯度圖像，其中是水平分量，是垂直分量；然后將梯度圖像轉(zhuǎn)換為極坐標(biāo)形式，分別得到梯度大小和方向：

(17)

4.4 特征直方圖

將上述提取的煙霧顏色直方圖、紋理直方圖和邊緣方向直方圖串聯(lián)（首尾連接）起來，得到特征直方圖序列，特征直方圖長度為，然后通過計算機(jī)視覺庫提供的最近鄰分類器進(jìn)行分類識別。

5 實驗結(jié)果

（a）視頻1?????（b）視頻2

（c）視頻3?????（d）視頻4

（e）視頻5?????（f）視頻6

為了比較同類算法之間的性能，將Yuan[14]提供的算法記為算法1，本文算法記為算法2；為了更好地比較算法本身的性能，不考慮算法1中的動態(tài)分析，實驗詳細(xì)結(jié)果如表1、表2所示。從中可見，算法2對于稀薄煙霧檢測效果較好，在煙霧較濃時，兩個算法的性能相當(dāng)，總體而言算法2適用范圍更廣。綜合表2可以看出，算法1和算法2對樹枝搖擺所產(chǎn)生的干擾有良好的抗干擾能力；對于夜晚燈光的影響，算法2表現(xiàn)更好；在視頻5中由于霧氣的影響，算法1會一直報警，而算法2則不會出現(xiàn)。由此可見，算法2的綜合性能更優(yōu)。

表1 有煙霧視頻的檢測結(jié)果

表2 無煙霧視頻的誤檢結(jié)果

6 結(jié)束語

為了提高煙霧檢測的準(zhǔn)確率，本研究首先利用碼本模型提取前景像素，然后依據(jù)暗通道先驗知識對前景像素進(jìn)行篩選，以確定疑似煙霧區(qū)域，最后得到煙霧的多特征直方圖，采用最近鄰分類器進(jìn)行分類識別。實驗結(jié)果表明，該算法可以在多種場景下準(zhǔn)確檢測出煙霧區(qū)域，而且對于各種干擾具有較低的誤檢率，由于碼本模型運(yùn)行速度較快，一定程度上提高了算法的處理速度。但本文提出的算法對于黑色煙霧的處理效果較差，今后的工作重點(diǎn)需要放在建立更加本質(zhì)的煙霧特征模型上。

參考文獻(xiàn)：

[1] 羅勝, Yuzheng J. 視頻檢測煙霧的研究現(xiàn)狀[J]. 中國圖象圖形學(xué)報, 2013, 18(10): 1225-1236.

[2] Toreyin B U, Dedeoglu Y, Cetin A E. Wavelet based real-time smoke detection in video[C]//European Signal Processing Conference, 2005: 759-763.

[3] Gubbi J, Marusic S, Palaniswami M. Smoke detection in video using wavelets and support vector machines[J]. Fire Safety Journal, 2009, 44(8): 1110-1115.

[4] Fujiwara N, Terada K. Extraction of a smoke region using fractal coding[C] //IEEE International Symposium on Communications and Information Technology, 2004: 808-814.

[5] 袁非牛, 張永明, 劉士興. 基于累積量和主運(yùn)動方向的視頻煙霧檢測方法[J]. 中國圖象圖形學(xué)報, 2008, 13(4): 808-813.

[6] Ko B, Park J, Nam J-Y. Spatiotemporal bag-of-features for early wildfire smoke detection[J]. Image and Vision Computing, 2013, 31(10): 786-795.

[7] Luo S, Yan C, Wu K, et al. Smoke detection based on condensed image[J]. Fire Safety Journal, 2015, 75: 23-35.

[8] Yuan F, Fang Z, Wu S, et al. Real-time image smoke detection using staircase searching-based dual threshold AdaBoost and dynamic analysis[J]. Iet Image Processing, 2015, 9(10): 849-856.

[9] Kim K, Chalidabhongse T H, Harwood D, et al. Background modeling and subtraction by codebook construction[C]//International Conference on Image Processing, 2004: 3061-3064.

[10] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12): 2341-2353.

[11] Chen T-H, Wu P-H, Chiou Y-C. An early fire-detection method based on image processing[C]//International Conference on Image Processing, 2004: 1707-1710.

[12] Ojala T, Pietik?inen M, M?enp?? T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(7): 971-987.

[13] 李紅娣, 袁非牛. 采用金字塔紋理和邊緣特征的圖像煙霧檢測[J]. 中國圖象圖形學(xué)報, 2015, 20(6): 772-780.

[14] Yuan F. A double mapping framework for extraction of shape-invariant features based on multi-scale partitions with AdaBoost for video smoke detection[J]. Pattern Recognition, 2012, 45(12): 4326-4336.

* 華僑大學(xué)研究生科研創(chuàng)新能力培育計劃資助項目階段性成果之一。