聶建豪,李士進

(河海大學 計算機與信息學院，江蘇 南京 210098)

基于圖像識別的秸稈焚燒事件檢測

聶建豪,李士進

(河海大學 計算機與信息學院，江蘇 南京 210098)

針對傳統(tǒng)火災檢測存在的對周圍環(huán)境要求比較高，且研究對象多數(shù)屬于室內(nèi)或者商業(yè)設施等現(xiàn)象，提出了基于滑動窗口圖像特征提取的多特征融合和SVM相結合的秸稈焚燒火災檢測算法。首先在YCbCr空間模型下使用Otsu(大津算法)對火焰圖像進行前景檢測，再對所檢測到的前景使用顏色判別方法，得到候選火焰區(qū)域，然后使用滑動窗口在這些區(qū)域上進行移動，在每一個窗口內(nèi)提取HOG特征、灰度共生矩陣特征、顏色矩特征，將這些特征分別送入SVM訓練得到不同的分類器進行秸稈焚燒事件檢測。最后根據(jù)投票方法將三種特征進行融合，最終檢測出是否發(fā)生火災。實驗結果表明，該算法實現(xiàn)簡單，識別率高，可達到86.67%。且由于算法基于火災的靜態(tài)特征，更能體現(xiàn)火焰的固有圖像特征，與其他類型的火焰檢測相比，適用性更強。

顏色模型；滑動窗口；單一特征提取；多特征融合

0 引 言

火災在日常生活中發(fā)生頻繁，對人們的生命和財產(chǎn)安全構成了嚴重危害。而農(nóng)田秸稈焚燒會污染空氣，并產(chǎn)生大量有毒有害物質，甚至引發(fā)火災。國內(nèi)從1999年就明令禁止秸稈焚燒，但是至今仍屢禁不止。秸稈焚燒可能有深刻的社會原因，暫不考慮，僅僅從技術角度對秸稈焚燒造成的火災進行警報，從而遏制火災的危害。

為了對秸稈焚燒造成的火災進行預防和警報，科研人員進行了大量研究。早期，人們依靠傳統(tǒng)的感煙、感光、感溫的探測器來檢測火焰，從而降低生活中的損失。但是由于傳統(tǒng)的火災檢測器對環(huán)境要求苛刻，也不適合對廣闊的空間進行火焰檢測，所以迫切需要更合理的方式進行火災檢測。隨著信息技術的發(fā)展，火災探測正在逐步向圖像化和智能化轉變。

這些新型方式大多使用了圖像特征提取結合模式識別的方式進行火災檢測。在這些提取的圖像特征中，顏色特征是火焰檢測中必不可少的一項，因為它包含了火焰最為基本的信息。文獻[1-4]分別基于YCbCr、CIE LAB、HSV、Ohta顏色空間提取了火焰的顏色特征。閆紅梅等[4]提取了火焰變化的動態(tài)特征結合BP網(wǎng)絡對火焰進行識別。包晗等[5]提取了火焰圖像序列的面積重疊率和中心相對移動率等特征，并結合學習向量量化(LVQ)神經(jīng)網(wǎng)絡融合技術對視頻序列中的火焰進行自動檢測。邵婧等[6]使用基于動態(tài)紋理的特征，建立線性動力系統(tǒng)，最后使用Adaboost分類器判斷火災是否存在。張開生等[7]首先對采集到的圖像進行K-means分割，然后用改進的顏色分類模型進行辨識，最后將分割后的圖像進行火焰和煙霧特征提取并輸入到RBF神經(jīng)網(wǎng)絡進行最終識別。WangD等[8]使用顏色特征和運動概率特征來衡量視頻圖像中是否含有火焰。吳茜茵等[9]提出了一種融合圓形度、矩形度和重心高度系數(shù)的火焰檢測算法，然后將融合后的火焰特征輸入支持向量機(SVM)進行分類。由于農(nóng)田秸稈焚燒火災與一般火災在可燃物、燃燒環(huán)境上的不同都會導致檢測效果發(fā)生偏差，所以上述方法在農(nóng)田秸稈焚燒火災上有一定的局限性。但是，農(nóng)田秸稈焚燒的可燃物的紋理特征有其獨特之處，因此考慮火焰紋理和顏色特征相結合的檢測方式。嚴云洋等[10]采用局部二值模式方法提取疑似火焰區(qū)域的多尺度紋理特征，并輸入到支持向量機進行識別。LeiW等[11]結合紋理、面積變化等特征，采用貝葉斯分類器進行火焰識別。XiZ等[12]利用傅里葉描述子提取輪廓特征，然后進行檢測。這些方法在各自的范圍內(nèi)取得了不錯的成果，但是在秸稈焚燒中不太適用。

因此，針對農(nóng)田秸稈焚燒事件，提出了一種新型的基于滑動窗口的火焰檢測算法。算法分析了給定圖像的顏色特征，將其轉換到YCbCr空間，利用Otsu(大津法)分割出火焰候選區(qū)。在火焰候選區(qū)中移動滑動窗口，在每個滑動窗口中提取HOG特征、灰度共生矩陣紋理特征、顏色矩特征，分別將三類特征作為SVM的輸入，經(jīng)過學習訓練，判斷所給定的圖像中是否發(fā)生了火災。然后根據(jù)投票方法將三種特征進行融合，最終檢測出是否發(fā)生火災。

1 顏色分割

在火焰檢測中，火焰的顏色和周圍環(huán)境的區(qū)分度受到環(huán)境明亮度的影響。為了排除非火焰顏色物體對火焰檢測的干擾，特別引入火焰顏色分割模型。而各種色彩模式下的火焰顏色有很大的區(qū)分度，對火焰檢測的影響關系重大，甚至決定了火焰檢測的成敗。很多參考文獻都有詳盡的描述，Celik等[13]通過將普通RGB顏色空間進行歸一化來減輕亮度對火焰顏色的影響；陳天炎等[14]使用基于YCbCr以及相對應的增加約束條件大大增加了火焰檢測的正確率。盡管標準化后的RGB在一定程度上減輕了這種影響，但是對于檢測結果的誤差來說，仍舊影響很大。隨后Celik等[1]又提出了YCbCr的顏色空間模型，從而將亮度和色度區(qū)分開。而在RGB空間中，R、G、B分別對應于紅色通道、綠色通道、藍色通道。而在YCbCr空間中，Y、Cb、Cr分別對應于亮度通道、色度藍通道、色度紅通道。為了解決RGB圖像在色彩分離現(xiàn)象中的不明朗問題，特別引入YCbCr顏色空間對火焰進行檢測。這樣能夠排除環(huán)境因素對火焰的影響。原始RGB空間圖像轉化為YCbCr空間的計算公式如下：

(1)

原始圖像RGB及其單通道圖像和原始圖像的YCbCr圖像及其單通道圖像如圖1所示。其中，上面四幅圖分別為RGB原始圖像、R通道圖像、G通道圖像和B通道圖像；下面分別為YCbCr原始圖像、Y通道圖像、Cb通道圖像和Cr通道圖像。

圖1 原始RGB圖像和YCbCr圖像及其單通道圖像

使用較大顏色區(qū)分度的YCbCr顏色空間對圖像進行色彩空間轉換，然后對其進行Otsu分割，獲取可疑的火焰區(qū)域，以便后續(xù)步驟對待檢測區(qū)域進行特征提取和火焰檢測。

2 火焰特征提取

2.1 HOG特征

HOG特征[15]是一種局部區(qū)域描述符，它通過計算局部區(qū)域上的梯度方向直方圖來構成火焰特征。HOG反映了火焰在局部區(qū)域的重復性質的紋理特征。對于火焰檢測來說，HOG特征是針對火焰圖像某個矩形區(qū)域中的梯度方向與強度的統(tǒng)計信息而提取的一種特征。輸入圖像中像素點(x,y)的梯度為：

(2)

其中，GX(x,y),GY(x,y),H(x,y)分別表示像素點(x,y)處的水平方向梯度、垂直方向梯度和像素值。

像素點(x,y)處的梯度幅值和梯度方向分別為：

(3)

(4)

2.2 灰度共生矩陣

灰度共生矩陣表達了圖像信息的紋理結構特征，但是一般不直接使用灰度共生矩陣作為紋理特征，而是使用一些更直觀的參數(shù)。如ASM能量(Angular Second Moment)，表達了圖像灰度分布的均勻性，即紋理的厚度；慣性矩(Moment of inertia CON),表達了圖像紋理的干凈度，即溝壑紋理的程度；相關性和(Correlation COR)，表達了圖像紋理在水平方向和豎直方向的強相關性；Entropy ENT，表達了灰度共生矩陣包含的信息總量，即原始圖像的紋理復雜度。使用灰度共生矩陣特征來描述火焰的紋理特征。

(5)

(6)

(7)

(8)

其中，P(i,j)為某個角度某個距離處像素點的總個數(shù)；i,j分別表示矩陣位置值；μ1,μ2分別為平均值；σ1,σ2分別為方差值。

2.3 顏色矩特征

使用色矩代表圖像的顏色分布是由Stricker和Orengo提出的。大多數(shù)的顏色分布信息可以使用以下三個中心矩進行表達，如式(9)～(11)所示。

(9)

(10)

(11)

其中，Pij為第i個通道的第j個像素值；Ei,σi,Si分別為一階中心距，二階中心距，三階中心距。

3 分類器設計

3.1 分類器的訓練

為了獲得準確的實驗結果，訓練分類器時采用了如下的訓練方法：

手動提取700個48×48火焰的燃燒區(qū)域和900個48×48的非火焰燃燒區(qū)域，對火焰訓練樣本標記為1，非火焰訓練樣本標記為0，訓練火焰分類器，然后對已分類過的48×48的測試圖像進行測試，根據(jù)結果調(diào)整訓練參數(shù)，以使測試圖像效果達到最優(yōu)。

3.2 分類器的測試

實驗采用SVM分類器，與一般的分類器不同的是，為了預測出最終結果，首先使用單個特征分別訓練出最終的分類器，然后再用投票方式確定最終的分類器。訓練單個分類器時，調(diào)整參數(shù)，使該特征下達到最佳分類效果。分別記其準確率為Ai，得出分類器對每一個圖像的分類結果Ri(Ri的取值為0或1)，如果判斷為火則Ri為1，否則為0。設定最終分類的數(shù)字為Rx，HOG特征、灰度共生矩陣特征、顏色矩特征三種類型分類器下的準確率分別為A1,A2,A3，對一張圖像的分類結果為R1,R2,R3，那么有：

Rx=A1×R1+A2×R2+A3×R3

(12)

設定判斷火焰和非火的閾值為T，將火焰的最終識別結果規(guī)整為0和1，那么有：

(13)

通過這種方式得到最終的火焰檢測結果。

4 火焰檢測

4.1 實驗環(huán)境和方案設計

系統(tǒng)使用VS2010+OpenCV-2.4.11實現(xiàn)程序。收集了39幅農(nóng)田火災照片和39幅正常農(nóng)田的圖像進行測試，涵蓋各種農(nóng)田場景的秸稈焚燒火焰圖像。圖像的大小不等，清晰度各異。

部分秸稈焚燒場景圖像如圖2所示，非秸稈焚燒場景圖像如圖3所示。

圖2 秸稈焚燒場景

圖3 非秸稈焚燒場景

為了驗證梯度直方圖特征、灰度共生矩陣紋理特征、顏色矩特征等特征在火焰檢測中的有效性，做了多組對比實驗：

(1)單特征下的分類效果檢驗，分別在梯度直方圖特征、灰度共生矩陣紋理特征、顏色矩特征下進行火焰檢測；

(2)多特征融合下的分類效果檢驗，將三種特征融合后進行檢驗。

對實驗的對比分析分為兩部分，以梯度直方圖特征的火焰檢測為例進行詳細的實驗分析，對整個實驗進行總結和歸納。

4.2 火焰檢測效果

檢測效果采用準確率指標進行衡量，以便提高檢測精度。對所提取的梯度直方圖特征、灰度共生矩陣紋理特征、顏色矩特征以及融合后的特征，使用SVM分類器進行檢測以獲取檢測結果。經(jīng)過多次實驗，調(diào)整參數(shù)，得到的實驗結果如表1所示。

表1 分類結果

通過表1可以得出，在單特征檢測模式下，基于梯度直方圖特征的火焰檢測效果最好，能達到79.49%。在單特征檢測中效果最差的屬于灰度共生矩陣特征，說明在秸稈焚燒的火焰檢測中，灰度共生矩陣特征與火焰的本質特征密切程度相對較低。

實驗結果證明，融合后的火焰檢測特征比單特征對火焰檢測有更好的效果。證明提出的基于滑動窗口圖像特征提取的多特征融合和SVM相結合的火災檢測算法在秸稈焚燒火焰檢測上有較高的準確率。

5 結束語

在火災發(fā)生初期檢測出火災能夠將其帶來的損失降到最小，這也是火災檢測的根本目的。針對農(nóng)田秸稈焚燒現(xiàn)象進行了研究，提出了基于滑動窗口圖像特征提取和SVM相結合的火災檢測算法。通過實驗分別驗證了在HOG特征、灰度共生矩陣特征以及顏色矩特征等單特征情況下的檢測結果，充分證明了三種特征在農(nóng)田秸稈焚燒中火災檢測的有效性。為了提高火焰檢測的準確率，做了三種特征的融合實驗。結果表明，多特征融合的火焰檢測較單特征有了很大提高，達到了86.67%，算法能夠有效提高火災檢測效率和檢測精確度。由于基于靜態(tài)特征的火焰檢測同樣適用于動態(tài)視頻，所以提出的方法比基于動態(tài)的火焰檢測方法適用性廣泛。為了進一步提高檢測效率，可以通過PCA降維方式降低火焰特征的維度，為了增大火焰檢測的準確率，可以引入煙霧檢測對火焰檢測的結果進行校正。

[1] Celik T,Demirel H.Fire detection in video sequences using a generic color model[J].Fire Safety Journal,2009,44(2):147-158.

[2] Truong T X,Kim J M.Fire flame detection in video sequences using multi-stage pattern recognition techniques[J].Engineering Applications of Artificial Intelligence,2012,25(7):1365-1372.

[3] 楊 俊,王潤生.基于計算機視覺的視頻火焰檢測技術[J].中國圖象圖形學報,2008,13(7):1222-1234.

[4] 閆紅梅,李白萍.視頻監(jiān)控系統(tǒng)中的火災監(jiān)測算法研究[C]//第17屆全國圖像圖形學術會議論文集.出版地不詳:出版者不詳,2012.

[5] 包 晗,康泉勝,周 明.一種基于LVQ神經(jīng)網(wǎng)絡與圖像處理的火焰識別算法[J].中國安全科學學報,2011,21(6):60-64.

[6] 邵 婧,王冠香,郭 蔚.基于視頻動態(tài)紋理的火災檢測[J].中國圖象圖形學報,2013,18(6):647-653.

[7] 張開生,張盟蒙.基于K-means和顏色模型的林火辨識方法研究[J].電子技術應用,2015,41(2):163-166.

[8]WangD,CuiX,ParkE,etal.Adaptiveflamedetectionusingrandomnesstestingandrobustfeatures[J].FireSafetyJournal,2013,55:116-125.

[9] 吳茜茵,嚴云洋,杜 靜,等.多特征融合的火焰檢測算法[J].智能系統(tǒng)學報,2015,10(2):240-247.

[10] 嚴云洋,唐巖巖,劉以安,等.使用多尺度LBP特征和SVM的火焰識別算法[J].山東大學學報:工學版,2012,42(5):47-52.

[11]LeiW,LiuJ.Earlyfiredetectionincoalminebasedonvideoprocessing[C]//Proceedingsofthe2012internationalconferenceoncommunication,electronicsandautomationengineering.Berlin:Springer,2013:239-245.

[12]XiZ,FangX,ZhenS,etal.Videoflamedetectionalgorithmbasedonmulti-featurefusiontechnique[C]//24thChinesecontrolanddecisionconference.[s.l.]:IEEE,2012:4291-4294.

[13]CelikT,DemirelH,OzkaramanliH.Automaticfiredetectioninvideosequences[C]//14thEuropeansignalprocessingconference.[s.l.]:IEEE,2006:1-5.

[14] 陳天炎,曾思通,吳海彬.基于YCbCr顏色空間的火焰圖像分割方法[J].傳感器與微系統(tǒng),2011,30(10):62-64.

[15]DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection[C]//IEEEcomputersocietyconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2005:886-893.

Detection of Straw Burning Event Based on Image Recognition

NIE Jian-hao,LI Shi-jin

(College of Computer and Information,Hohai University,Nanjing 210098,China)

The traditional fire detection system has higher requirements of the surrounding environment,and research objects belongs to indoor or commercial facilities mostly.In order to solve the problem,a fire detection algorithm based on multi-feature fusion of image feature extraction of sliding window and the SVM classifier is proposed.First,in the YCbCr color space model,Otsu is used to detect the foreground from the flame image and the foreground is inspected by the color feature to obtain the fire candidate regions.Then three kinds of flame features including HOG,gray level co-occurrence matrix and color moment are extracted by using the sliding widow moved on the fire candidate regions,which are put into the SVM classifier to classify the window whether there is a fire.The final result based on the method of voting is gained.The experimental results show that the algorithm is simple and has higher recognition rate,more than 86.67%.Because it is based on the static features of the fire,it shows inherent image characteristics of fire.Compared with other fire detection algorithms,it has wider application range.

color model;sliding window;single feature extraction;multi-feature fusion

2016-07-17

2016-10-25 網(wǎng)絡出版時間：2017-03-07

江蘇省重點研發(fā)計劃項目(BE2015707)；江蘇省水利科技項目資金資助項目(2012034)

聶建豪(1990-),男,碩士,研究方向為模式識別與圖像處理;李士進,博士,教授,研究方向為模式識別與數(shù)據(jù)挖掘。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170307.0922.100.html

TP181

A

1673-629X(2017)05-0069-04

10.3969/j.issn.1673-629X.2017.05.015