楊秋霞,羅傳文 (東北林業(yè)大學林學院,黑龍江哈爾濱150040)
森林作為人類社會最重要的自然資源,經(jīng)常受到多種因素的破壞,其中森林火災所帶來的危害和損失巨大,是最危險的因素之一。為了保護森林資源,降低森林火災的損失,需要加強林火監(jiān)控,將火險控制在萌芽狀態(tài)。近年來,基于視頻圖像的林火監(jiān)控技術(shù)因具有實時監(jiān)控功能,可以獲得清晰且直觀的圖像,預警時間短,能夠?qū)α只疬M行早期預報等[1],已經(jīng)成為主要的監(jiān)控方法。智能視頻林火監(jiān)控系統(tǒng)實現(xiàn)的核心模塊是林火的自動識別,即將林火與疑似林火物體進行分類識別。目前研究中主要的識別方法有神經(jīng)網(wǎng)絡和支持向量機等,在識別中為了得到較好的識別效果,需要進行參數(shù)優(yōu)化。
稀疏表示理論來源于信號處理領(lǐng)域,主要是用盡可能少的非零系數(shù)表示信號來達到壓縮表示信號的目的,從而可以簡化信號處理過程。2009年,Wright等應用稀疏表示分類器成功實現(xiàn)了在多種干擾情況下人臉的正確識別,將稀疏表示理論引入到模式識別領(lǐng)域[2]。稀疏表示理論成功應用于人臉識別后,一些研究人員嘗試將其用于其他問題的分類[3-7]。
為此,筆者嘗試將稀疏表示理論應用于林火火焰圖像的識別研究中。從視頻圖像序列中選取林火火焰圖像及疑似林火火焰的干擾圖像,提取其靜態(tài)特征和動態(tài)特征,運用稀疏表示方法進行林火火焰識別,探討稀疏表示理論在林火識別領(lǐng)域的應用方法。
1.1 試驗數(shù)據(jù) 到目前為止沒有可用于對森林火災進行模式識別研究的比較完整和權(quán)威的數(shù)據(jù)集,因此該研究所用視頻數(shù)據(jù)來自Bilkent大學火災視頻庫、互聯(lián)網(wǎng)和自行錄制視頻。視頻圖像包括林火火焰圖像和5組疑似火焰的干擾物體圖像,共6組。設(shè)置干擾源為林區(qū)中可能存在的夕陽、車燈、住戶燈光、泛紅物體(以紅旗為例)等疑似林火物體。為驗證該研究算法可行性,同時選取非林火火焰(燭火)作為干擾對象,對研究視頻進行分幀處理,獲得單幀圖像。從每類研究視頻中隨機選取50幀圖像,共300幀圖像組成訓練樣本;隨機選取150幀圖像,共900幀圖像組成測試樣本。
1.2 圖像特征參數(shù)提取 首先對樣本圖像中疑似火焰區(qū)域進行分割,然后對分割區(qū)域提取靜態(tài)及動態(tài)特征參數(shù)。靜態(tài)特征包括顏色特征、紋理特征和形狀特征。火焰的顏色特征較為明顯,可以將林火火焰和大部分背景加以區(qū)別。用于表示顏色的模型有很多,該研究選取HSI顏色模型。HSI顏色模型基于人類的視覺系統(tǒng)對顏色的感知機理來定義和描述顏色,HSI模型描述顏色時利用3個量即色調(diào)(Hue)、飽和度(Saturation)和強度(Intensity)[8]。林火視頻監(jiān)控獲取的圖像一般為RGB彩色圖像,所以需要將火焰圖像的顏色模式由RGB模式轉(zhuǎn)換為HSI模式。在描述林火火焰的顏色特征時采用HSI顏色模型色調(diào)分量的一階顏色矩,公式為:
式中,M表示一階顏色矩;n表示分割圖像區(qū)域像素總數(shù);H(pi)表示圖像區(qū)域p的第i個像素的色調(diào)分量值。
紋理特征選取由Haralick等提出的灰度共生矩陣(Gray level co-occurrence matrix,GLCM)得到紋理特征統(tǒng)計量。GLCM能夠有效地提取圖像的紋理特征,已廣泛地應用在眾多領(lǐng)域?;叶裙采仃嚳商崛?4個紋理特征[9],該研究選取了對比度、相關(guān)、能量和逆差矩4個統(tǒng)計特征。
首先將原始圖像灰度化,為了減少計算量,將圖像灰度級壓縮為16級,然后取 0°、45°、90°和135°4 個方向生成共生矩陣,分別計算4個共生矩陣的主要統(tǒng)計特征,每個特征取4個方向的均值作為最終的林火火焰紋理特征。
形狀特征選取圓形度,描述研究對象的形狀與圓形的接近程度,計算公式為:
式中,C表示圓形度;A表示分割圖像區(qū)域面積;L表示分割圖像區(qū)域周長。
動態(tài)特征選取圖像序列中相鄰兩幀圖像的面積變化率來表示,公式為:
式中,R表示面積變化率;Ai和Ai-1表示相鄰兩幀圖像中疑似火焰部分面積。
1.3 基于稀疏表示方法的林火火焰識別模型 稀疏表示的基本思想就是所有的測試樣本都可以由1個用訓練樣本構(gòu)建的過完備字典中的原子的稀疏線性組合來表示。其中,與測試樣本類別相同的原子的系數(shù)不為0,而其他系數(shù)為0。因此,訓練樣本字典關(guān)系到稀疏表示分類的性能。
利用稀疏表示方法進行林火火焰的識別時,首先要構(gòu)造訓練樣本特征字典。對每個訓練樣本分割提取的疑似火焰區(qū)域分別求得7個特征參數(shù),并形成描述每個訓練樣本的特征向量,特征向量可由下式列向量表示:
式中,F(xiàn)i,j表示第i類樣本中的第j個樣本的特征描述向量;f1表示樣本的顏色特征即一階顏色矩;f2、f3、f4、f5分別代表對比度、相關(guān)、能量和逆差矩紋理特征;f6表示形狀特征即圓形度;f7表示動態(tài)特征即面積變化率。每類圖像訓練樣本為隨機選取50幀圖像,則50個樣本的特征向量組成每類樣本的類特征矩陣,第k類樣本的特征矩陣Dk表示為:
所有6組訓練樣本的類特征矩陣構(gòu)成訓練樣本矩陣D,即:
矩陣D為所有訓練樣本構(gòu)成的特征字典,其大小為7×300。用同樣的方法構(gòu)建測試樣本矩陣。
對于來自某類的一個測試樣本向量y,根據(jù)稀疏表示最重要的思想,即在訓練樣本充足的條件下,對于某一個類別的測試樣本,可以大致地由訓練樣本空間中具有相同類別的樣本子空間線性表示,此時測試樣本的類別未知,因此可以將稀疏表示抽象成如下方程式:
式中,x為投影系數(shù),由下述列向量表示:
式中,xi,j表示測試樣本y在第i類第j個訓練樣本上的投影系數(shù)。由于x是稀疏的,所以與測試樣本y具有相同類別的訓練樣本獲得的投影系數(shù)不為0,而在與y不同類的訓練樣本上的系數(shù)為0,對x的近似解的計算可使用x的0范數(shù),即:
求解0范數(shù)是一個NP-hard問題,因此在滿足x是足夠稀疏的條件下,將求解x的0范數(shù)轉(zhuǎn)化為求解1范數(shù),即:
以上的求解都是在沒有任何干擾的情況下,而圖像一般都會有噪聲存在,因此需要考慮誤差項,即y=Dx+ε。此時,x的近似解可由下式計算:
式中,αi(^x)表示與第i類訓練樣本相關(guān)的系數(shù),ri(y)表示用第i類訓練樣本重構(gòu)y的殘差,測試樣本y歸屬于具有最小殘差值樣本類別。
綜上所述,該研究算法主要步驟如下:①采集視頻圖像并進行預處理,提取疑似火焰區(qū)域,得到可供后續(xù)試驗的訓練樣本和測試樣本;②計算訓練樣本和測試樣本的各項特征參數(shù);③由訓練樣本特征參數(shù)構(gòu)建特征矩陣D,測試樣本特征參數(shù)構(gòu)建測試樣本矩陣Y;④對每一個測試樣本利用式(11)求解l1最小化范數(shù),得到^x(設(shè)置誤差閾值ε為0.001,迭代次數(shù)為400);⑤對每一測試樣本根據(jù)式(12)計算用每類訓練樣本重構(gòu)的殘差值,其中具有最小重構(gòu)殘差的訓練樣本所屬的類型,即殘差最小的類別即為該測試樣本所屬類別。
利用該研究提出的基于稀疏表示的林火火焰識別算法實現(xiàn)了林火數(shù)據(jù)分類。試驗硬件配置為雙核2.40GHz Intel Core i5處理器、4GB內(nèi)存,軟件采用matlab R2012b,計算l1最小化范數(shù)使用Koh等研制的Matlab軟件包[10],同時設(shè)計BP神經(jīng)網(wǎng)絡和支持向量機分類模型與該研究算法進行比較。BP神經(jīng)網(wǎng)絡方法采用Matlab軟件提供的工具箱,支持向量機方法采用Libsvm軟件包[11]。
試驗選用300個訓練樣本、900個測試樣本。圖1是利用該研究提出的稀疏表示分類識別算法進行識別的一個實例。實例中,測試樣本為隨機選取的林火火焰y,訓練樣本共有6類300個,構(gòu)成特征字典,類別及樣本編號分別為:第1類林火火焰(編號1~50)、第2類夕陽(編號51~100)、第3類車燈(編號101~150)、第4類住戶燈(編號151~200)、第5類紅旗(編號201~250)、第6類燭火(編號251~300)。圖1(a)為測試樣本y在字典上的投影系數(shù)。研究表明,該測試樣本在所屬類別即林火火焰訓練樣本(編號1~50)上的投影系數(shù)較大,而在其他類別上的投影系數(shù)多數(shù)為0,由于噪聲的存在,也有較少的不為0,但較小,稀疏性得到驗證。圖1(b)顯示了6個類別的殘差計算值,比較得到最小的殘差值所屬類別即林火火焰為該測試樣本所屬類別。
圖1 基于稀疏表示方法識別林火火焰舉例
對于分類識別方法性能采用3個指標來評價,分別為識別率、漏識率和誤識率,計算公式為:
式中,Ra表示識別率,即林火火焰與干擾因素被正確識別的樣本數(shù)占測試樣本總數(shù)的百分率;nr表示正確識別的樣本數(shù);na表示測試樣本總數(shù);Rma表示漏識率,即未能被正確識別的林火火焰樣本百分率;nm表示未能正確識別的林火火焰樣本數(shù);nt表示實際林火火焰樣本數(shù);Rwa表示誤識率,即將非林火火焰樣本誤識別為林火火焰樣本的百分率;nw表示非林火火焰被識別為林火火焰樣本數(shù);nf表示非林火火焰的樣本數(shù)。
基于BP神經(jīng)網(wǎng)絡、支持向量機和稀疏表示3種分類方法的識別結(jié)果如表1所示。表1表明,稀疏表示方法識別效果優(yōu)于BP神經(jīng)網(wǎng)絡和支持向量機,對林火火焰的識別率即正確識別的林火火焰樣本數(shù)與林火火焰樣本總數(shù)的比率為95.33%,總的識別率可達93.56%。使用BP神經(jīng)網(wǎng)絡和支持向量機方法進行分類識別時,需要選取和設(shè)定參數(shù),同時需要經(jīng)過多次訓練優(yōu)化才能獲取較好的識別效果。應用稀疏表示方法進行識別過程中,只需考慮求解l1最小化范數(shù)時需要設(shè)置的兩個參數(shù),即誤差閾值和迭代次數(shù),識別過程簡單,穩(wěn)定性好。
表1 不同分類器對林火火焰識別情況對比 %
該研究將稀疏表示理論引入到林火火焰模式識別研究中。首先提取了研究樣本的靜態(tài)及動態(tài)特征參數(shù),使用這些參數(shù)構(gòu)成特征向量來描述不同的樣本數(shù)據(jù),由訓練樣本構(gòu)建字典,通過計算測試樣本在訓練樣本特征字典上的投影系數(shù)以及重構(gòu)殘差來進行識別。稀疏表示和BP神經(jīng)網(wǎng)絡、支持向量機(SVM)等方法相比,無需參數(shù)優(yōu)化,具有更強的魯棒性。對該研究數(shù)據(jù)分類識別結(jié)果表明,識別率可以達到93.56%,為林火火焰的識別提供了一種新的思路和方法。
[1]饒裕平,柴紅玲.林火視頻監(jiān)控中煙識別方法概述[J].林業(yè)調(diào)查規(guī)劃,2009,30(1):59 -62.
[2]WRIGHT J,YANG A Y,GANESH A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210 -227.
[3]楊蜀秦,寧紀鋒,何東健.基于稀疏表示的大米品種識別[J].農(nóng)業(yè)工程學報,2011,27(3):191 -195.
[4]ZHANG L,DING Z,LI H,et al.3D Ear Identification Based on Sparse Representation[J].PloSOne,2014,9(4):95506.
[5]CAOH,DENG H W,LI M,et al.Classification of multicolor fluorescence in situ hybridization(M-FISH)images with sparse representation[J].IEEE Transactions on Nanobioscience,2012,11(2):111 -118.
[6]杜彥良,侯哲哲,趙維剛.一種基于稀疏表示的重載鐵路路基病害快速識別方法[J].土木工程學報,2013,46(11):138 -144.
[7]SONGB,LIJ,DALLA MURA M,et al.Remotely sensed image classification using sparse representations of morphological attribute profiles[J].IEEE Transactions on Geoscience and Remote Sensing,2014,52(8):5122-5136.
[8]梁杰,張麗紅,李林.HSI和區(qū)域生長結(jié)合的火災圖像分割方法[J].計算機技術(shù)與發(fā)展,2012,22(1):191 -194.
[9]HARALICK R M,SHANMUGAM K,DINSTEIN I H.Textural features for image classification[J].IEEE Transactions on Systems,Man and Cybernetics,1973(6):610 -621.
[10]KOH K,KIM SJ,BOYD S.Simple matlab solver for l1-regularized least squares problems[EB/OL].(2008 -05 -15)http://www.stanford.edu/~boyd/l1_ls.
[11]CHANG C C,LIN C J.LIBSVM:A library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology(TIST),2011,2(3):27.