王曉薇, 張笑語, 孫 可, 殷守林

(沈陽師范大學(xué) 軟件學(xué)院, 沈陽 110034)

0 引 言

當(dāng)今自然界所面臨的災(zāi)難性毀滅事件之一是野火造成的。因此,在早期檢測到這類野火對(duì)于防止由野火引起的災(zāi)害是至關(guān)重要的,從而防止全球變暖、拯救人類生命和他們的財(cái)產(chǎn)不受破壞。文獻(xiàn)[1-3]研究的重點(diǎn)是檢測火勢,但從最近幾年開始,由于煙霧是火災(zāi)的早期跡象,因此它已經(jīng)轉(zhuǎn)移到早期的煙霧檢測上。因此,檢測煙霧比檢測火焰要更能警示人們。檢測火災(zāi)和煙霧有很多不同的方法,這借助于計(jì)算機(jī)視覺技術(shù),這種技術(shù)是在攝像機(jī)或在煙霧和火災(zāi)報(bào)警的幫助下使用非光學(xué)傳感器。火災(zāi)和煙霧報(bào)警器是光學(xué)煙霧檢測器,這些容器包括發(fā)光二極管(LED)、光電池和用于煙霧顆粒入口的底座開口。在這種情況下,光束在LED和光電池之間不斷地發(fā)射,這顯示了報(bào)警內(nèi)部的完整電路的指示。當(dāng)發(fā)生火災(zāi)時(shí),煙霧從警報(bào)的底座開口進(jìn)入,并中斷電路,這被認(rèn)為是觸發(fā)警報(bào)的一個(gè)條件。利用這些警報(bào)器進(jìn)行火災(zāi)和煙霧檢測總是能給出準(zhǔn)確的結(jié)果,但也存在許多缺點(diǎn)。首先,它們的區(qū)間僅限于一個(gè)房間或一個(gè)大廳,因此不適合檢測野火煙霧;其次,當(dāng)一些碳粒子到達(dá)傳感器時(shí),煙霧和火焰警報(bào)器工作正常,只有警報(bào)才會(huì)觸發(fā)。因此,在森林、丘陵等廣泛的環(huán)境區(qū)域安裝警報(bào)器是不可行的。

而在基于視覺的煙霧檢測中,該技術(shù)可以通過從監(jiān)控?cái)z像機(jī)中獲取圖像來實(shí)現(xiàn)對(duì)煙霧進(jìn)行實(shí)時(shí)檢測。安裝在山頂或一些移動(dòng)塔上的監(jiān)控?cái)z像頭可以覆蓋幾公里,以便在早期階段檢測到煙霧。使用這種設(shè)置的另一個(gè)優(yōu)點(diǎn)是,與基于傳感器的檢測系統(tǒng)相比,安裝起來更便宜、更容易。

近幾十年來,人們提出了多種基于視頻的煙霧檢測方法。因?yàn)闊熿F具有非常清晰的特征,可以區(qū)別于其他物體,例如它的顏色、紋理和運(yùn)動(dòng)狀態(tài)。比如文獻(xiàn)[5-9]采用RGB顏色模型和HSV的顏色空間來找出每個(gè)幀的煙霧特征。文獻(xiàn)[10-16]利用相關(guān)的均勻局部二值模式(ULBP)和YCbCr顏色空間,結(jié)合基于顯著性的煙霧檢測算法,來進(jìn)行煙霧檢測。

因此,采用各種基于運(yùn)動(dòng)的模型、基于顏色的模型及基于空間和時(shí)間特征的模型來確定煙霧的特征。

在本文中,提出的方法主要集中利用煙霧的3個(gè)主要特征,即運(yùn)動(dòng)、紋理和煙霧的顏色。背景減法算法用于高運(yùn)動(dòng)區(qū)域的提取。在該區(qū)域上,發(fā)現(xiàn)基于顏色的特征有2個(gè)不同的顏色子空間。文獻(xiàn)[4]利用HSV顏色空間,不僅提取了煙霧的紋理,而且提取了煙霧的強(qiáng)度和顏色。文中創(chuàng)新點(diǎn)是采用DBN進(jìn)行分類,使用局部二進(jìn)制方法同時(shí)檢測紋理和煙霧強(qiáng)度。目前,深度信念網(wǎng)絡(luò)很少被用于煙霧檢測。

1 本文提出的方法

提出的方法包括以下主要步驟:

1) 通過使用背景減除算法來確定移動(dòng)目標(biāo)區(qū)域。

2) 煙霧顏色檢測,這部分主要通過融合RGB顏色空間和YCbCr顏色空間,確定在高運(yùn)動(dòng)區(qū)域存在的煙霧顏色像素。

3) 對(duì)于前景目標(biāo)區(qū)域,計(jì)算出局部二進(jìn)制特征,主要是為煙霧提供紋理和強(qiáng)度特征。

4) 最后,采用DBN用于煙霧和非煙霧像素的分類。

所提出的方法如圖1所示。

圖1 提出的方法Fig.1 The proposed method

1.1 移動(dòng)目標(biāo)檢測

背景減除算法采用幀差分方法[17]用于計(jì)算高運(yùn)動(dòng)區(qū)域。使用背景減法算法的關(guān)鍵是,運(yùn)動(dòng)是煙霧的一種特殊特征,不同于其他類似的物體,如云和霧,它們在紋理和外觀上可能是相似的。因此,背景減法結(jié)合了重要屬性。該算法背后的方法是通過計(jì)算當(dāng)前幀和參考幀之間的差異來檢測運(yùn)動(dòng)對(duì)象。在該方法中,估計(jì)了當(dāng)前圖像幀在In-1和參考圖像幀之間的絕對(duì)差,用于遞歸計(jì)算背景圖像Bn-1,即

Bn+1=|In+1-In|

(1)

其中n是幀的總數(shù)。該運(yùn)動(dòng)判定算法不足以決定煙霧的存在,因此還考慮了煙霧的顏色和紋理等其他性質(zhì)。

1.2 顏色檢測

以RGB命名的加性顏色模型之一,構(gòu)成了范圍廣泛的真顏色(紅色、藍(lán)色和綠色)的組合。在顯示器、移動(dòng)電話等各種電子系統(tǒng)中,圖像的表示描述了RGB顏色模型的使用。RGB顏色模型的有效性隨著光譜含量的增加而增強(qiáng)。盡管RGB顏色模型是最流行的顏色模型之一,并且在許多應(yīng)用中使用,但是高冗余性和相關(guān)性是與它們相關(guān)聯(lián)的問題。在這里,相關(guān)性一詞是指對(duì)亮度信息的強(qiáng)調(diào),從而顯著地降低編碼效率。YCbCr是另一種與人類視覺系統(tǒng)密切相關(guān)的顏色模型。這里,亮度和色度靈敏度被等同地指定,并且YCbCr模型的該屬性被認(rèn)為是與其他顏色模型相比增加的優(yōu)點(diǎn)。YCbCr顏色模型的3個(gè)組分分別是以Y、CB和Cr為代表的亮度、色度-藍(lán)色和色度-紅色。而組分亮度是眾所周知的,色度-藍(lán)色和色度-紅色分別區(qū)分了與亮度的藍(lán)色和紅色的差異。

在提出的方法中,將2種不同顏色模型的特性結(jié)合起來,以從不同顏色空間的不同方法獲得強(qiáng)烈的煙霧特征。通過觀察視頻中的許多潛在幀,得到了RGB空間中方程(2)、(3)和(4)所表示的條件:

其中τ是閾值。在實(shí)驗(yàn)中,設(shè)置τ的值為20。用上述方程來找出煙霧的顏色。因此,通過各種實(shí)驗(yàn),發(fā)現(xiàn)閾值為20時(shí)更有效地檢測到了煙霧的灰白色。在此之后,根據(jù)方程(2)、(3)和(4)提取了顏色的特征。

確定煙霧顏色特征的詳細(xì)步驟如下:

1) 對(duì)于移動(dòng)目標(biāo)區(qū)域,根據(jù)方程(2)、(3)和(4)找到相應(yīng)的紅色、綠色和藍(lán)色值,即RGB顏色空間值。

2) 在相同的條件下,利用RGB到Y(jié)CbCr顏色空間的轉(zhuǎn)換,計(jì)算煙霧的亮度和色度值。

3) 通過將RGB和YCbCr顏色空間值除以255,將RGB和YCbCr顏色空間的值歸一化到[0,1]。

4) 將RGB顏色和YCbCr顏色空間值合并成一個(gè)特征矩陣。

1.3 基于局部極值共生模式的紋理強(qiáng)度檢測

為了提取圖像中的顯著特征,計(jì)算機(jī)視覺中著名的方法之一是紋理分析。水面上的漣漪、煙霧、飄動(dòng)的旗子等就是一些紋理的例子。本文利用局部二進(jìn)制特征,確定煙霧的紋理和HSV顏色空間,該空間利用圖像的強(qiáng)度、顏色和亮度。利用局部極值模式提取局部方向信息,借助灰度共生矩陣,計(jì)算特征值。

在LBPS中,中心像素值及其參考鄰域值根據(jù)強(qiáng)度進(jìn)行比較,而在局部極值模式中,邊緣信息是在不同方向和局部二進(jìn)制模式下提取的。像素值在0、45、90和135中與中心像素值進(jìn)行比較,如果比較像素位于與中心像素比較大或小于的方向,則賦值1。如果比較像素具有相對(duì)性質(zhì)的值,即一個(gè)像素小于中心像素,而另一個(gè)像素大于中心像素,則賦值0。局部極值模式計(jì)算如下:

(5)

式(7)用于計(jì)算局部極值模式(LEPs),公式(8)計(jì)算LEPs的直方圖,φ代表局部極值模式的角度。

1.4 基于深度信念網(wǎng)絡(luò)的煙霧檢測

文獻(xiàn)[14]給出的DBN是高連接概率生成模型,具有大量的隱藏層,它們之間具有很強(qiáng)的相關(guān)性。這個(gè)意義上的概念是基于逐層的貪婪算法,這種算法是以無監(jiān)督的方式學(xué)習(xí)的。DBN背后的基本思想是一種對(duì)數(shù)線性馬爾可夫隨機(jī)場(MRF),稱為受限玻爾茲曼機(jī)(RBM),它將每一層內(nèi)層視為RBM。RBM具有隱藏和可見的連接。在RBMS中,用能量函數(shù)E(v,h;θ)描述聯(lián)合分布P(v,h;θ),其中v是可見單元,h是隱單元,θ是給定的模型參數(shù)。聯(lián)合參數(shù)在方程(9)中有數(shù)學(xué)描述。

(9)

(10)

對(duì)于RBM,基于伯努利函數(shù)(可見)和伯努利函數(shù)(隱藏)的能量由以下公式計(jì)算:

(11)

其中ai和bj是偏差,vi和hj是可見和隱藏單元,wij對(duì)應(yīng)于vi和hj之間的對(duì)稱交互項(xiàng)?？梢砸詳?shù)學(xué)方式計(jì)算條件概率:

其中σ(X)=1/(1+exp(X)),同樣,基于高斯-伯努利方程的RBM計(jì)算能量如下:

(14)

并且上述條件概率變?yōu)?/p>

圖2 包含2個(gè)RBM層的DBN分類器Fig.2 DBN classifier with two RBM layers

2 實(shí)驗(yàn)分析

為了說明提出算法的有效性,該方法已在不同來源的公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。在訓(xùn)練和測試階段,從17個(gè)視頻中選擇了10 000個(gè)幀,其中10個(gè)是含煙視頻,7個(gè)是非煙視頻。從含有煙霧的視頻中提取了5 000幀,并從非煙霧視頻中提取了5 000幀。因?yàn)閿?shù)據(jù)集由10 000幀組成,煙霧和非煙霧類的分布是相等的。其中,70%的幀用于訓(xùn)練,而其余的幀用于測試。訓(xùn)練和測試的選擇標(biāo)準(zhǔn)必須是連續(xù)的,以便保留幀內(nèi)的時(shí)間信息,作為特征進(jìn)行提取。然后將這些幀序列裁剪并標(biāo)記為煙霧和非煙霧。取7 000幀用于訓(xùn)練,3 000幀用于測試。含有煙霧的視頻有不同類型的煙霧,從非常濃密的煙霧(如野火中的煙霧)到非常輕的煙霧(如室內(nèi)或室外煙霧)。非煙視頻的背景與含煙視頻相似。視頻的幀速率為30 Hz,而每個(gè)輸入幀的大小為320×240pixel。

根據(jù)圖像等級(jí)評(píng)估(即煙霧和非煙霧圖像分類精度)來評(píng)估精度。由于沒有標(biāo)準(zhǔn)的煙霧檢測數(shù)據(jù)集,將結(jié)果與2個(gè)同類別的不同分類器——Artifificial Neural Network(ANN)和帶有DBNs的自動(dòng)編碼器進(jìn)行了比較,數(shù)據(jù)集中的不同分類器的結(jié)果如表1、2、3,分別對(duì)應(yīng)于Epoch值1、20和50。結(jié)果表明,對(duì)于100個(gè)隱單元和時(shí)間值為50的,基于DBN分類的分類精度為99.51%。

表1 Epoch值為1的不同分類器的結(jié)果比較Table 1 Comparison of results of different classifiers with Epoch value of 1

表2 Epoch值為20不同分類器的結(jié)果比較Table 2 Comparison of results of different classifiers with Epoch value of 20

表3 Epoch值為50的不同分類器的結(jié)果的比較Table 3 Comparison of results of different classifiers with Epoch value of 50

表4 Epoch值為50的極具挑戰(zhàn)性的無煙數(shù)據(jù)集方法的評(píng)價(jià)Table 4 Evaluation of a challenging smokeless dataset method with an Epoch value of 50

2.1 極具挑戰(zhàn)性的無煙數(shù)據(jù)集方法評(píng)價(jià)

在這一節(jié)中,對(duì)所提出的方法在極具挑戰(zhàn)性的無煙數(shù)據(jù)集上進(jìn)行了評(píng)價(jià)。這些無煙的視頻非常類似于含有煙霧的視頻,視頻包括霧、蒸汽、沙塵暴和云。在這種情況下,也遵循與前幾節(jié)所述的訓(xùn)練和測試相同的程序。本節(jié)的結(jié)果如表4所示。此數(shù)據(jù)集中評(píng)價(jià)的結(jié)果表明,2種形式具有相同的顏色、紋理和運(yùn)動(dòng),由于該方法不能在蒸汽和煙霧之間判別,因此精度降低。在其他情況下,例如霧、云和沙塵暴,該方法也表現(xiàn)得很好。這是因?yàn)闊熿F的另一種特性,它總是處于運(yùn)動(dòng)狀態(tài)。

2.2 野火煙和近距離煙霧檢測的精度對(duì)比

在這個(gè)場景中,使用了5個(gè)野火煙霧視頻和7個(gè)非煙霧視頻。在野火煙霧視頻中,增加5 000幀,并從非煙霧視頻中提取5 000幀。連續(xù)取出這些幀,以便可以從先前幀獲取關(guān)于高運(yùn)動(dòng)區(qū)域的時(shí)間信息。然后將這些幀序列剪切并標(biāo)記為有煙霧和無煙。因此,本方法共使用10 000幀,其中7 000幀用于訓(xùn)練,3 000幀用于測試。同樣,對(duì)于近距離不受控制的煙霧,也遵循同樣的程序。結(jié)果如表5和表6所示。

表5 Epoch值為50的野火煙霧檢測精度評(píng)價(jià)Table 5 Evaluation of detection accuracy of wild fire smoke with Epoch value of 50

表6 Epoch值為50的近距離煙霧檢測精度評(píng)價(jià)Table 6 Evaluation of detection accuracy of close range smoke with Epoch value of 50

3 結(jié) 論

本文提出了一種基于DBN區(qū)域的煙霧檢測系統(tǒng)。煙霧的3個(gè)重要特征,即顏色、運(yùn)動(dòng)和紋理,用來檢測煙霧的疑似區(qū)域。該方法還可以擴(kuò)展到火焰檢測,并且具有足夠的魯棒性。與其他煙霧檢測技術(shù)相比,所提出的技術(shù)有很高的精確檢測效率。