王衛(wèi)兵 徐倩 韓再博
摘要:針對傳統(tǒng)光流法不適用于氣體和液體等圖像檢測的問題,提出了使用最優(yōu)質(zhì)量傳輸光流作為復(fù)雜過程的低維描述符用于火焰和煙霧檢測的方法。檢測過程可以抽象成一種關(guān)于時空像素鄰域的監(jiān)督式貝葉斯分類問題,其特征矢量是由最優(yōu)質(zhì)量傳輸光流速度和R、G、B顏色通道構(gòu)成的,并采用單隱層神經(jīng)網(wǎng)絡(luò)分類器進行特征提取,最后通過分析像素概率來判斷屬于火焰或者是煙霧。實驗結(jié)果表明,該方法成功的區(qū)分了煙霧和顏色相似的白云,同樣區(qū)分了火焰和與火焰顏色相似的背景,具有較強的魯棒性。
關(guān)鍵詞:最優(yōu)質(zhì)量傳輸,神經(jīng)網(wǎng)絡(luò),視頻檢測,監(jiān)督式分類
中圖分類號:TP183 文獻標志碼:A 文章編號:1007-2683(2017)01-0086-05
0 引言
目前,火焰檢測大多是通過使用點式光電感煙探測技術(shù)來執(zhí)行的。這些方法在大的,開放空間和有固定延時的情況下檢測效果不好,這是因為燃燒粒子所到達傳感器所用時間的影響。文僅使用像素的顏色信息最為特征來檢測。文中的檢測方法使用傅里葉描述符來描述火焰的邊界。在文中,使用小波分析來解決FFT執(zhí)行時窗口的選擇問題。這種方法依賴于小波能量,尋找小波能量最低且對噪聲是敏感的點。文中,作者提出一種系統(tǒng),這種系統(tǒng)建?;鹧嫦袼刈鳛橐环N固定空間像素小波系數(shù)的隱馬爾科夫模型,這種固定空間像素是在三中狀態(tài)之間變化的變量。此外,他們使用邊界區(qū)域光滑作為分類變量。這兩個屬性相結(jié)合作為一個弱分類器。在文中非煙區(qū)域使用背景估計和顏色信息進行濾波。然后,計算Lucas-Ka-nade光流并且使用流的統(tǒng)計信息來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
這些方法有一個共同點,就是不試圖區(qū)分類獨立的像素。本文為了檢測火焰和煙霧,同樣不去使用獨立的像素,以利于與火焰、火災(zāi)煙霧顏色相近的實物的區(qū)分?;谠撝饕芯磕康?,提出了基于最優(yōu)質(zhì)量傳輸光流法的檢測算法,并結(jié)合神經(jīng)網(wǎng)絡(luò),對火焰和煙霧進行檢測。
1 分類器特征選擇
目前大多數(shù)的檢測方法都是基于啟發(fā)式模型,這種模型描繪火或者煙的大約特征,但這往往不是最優(yōu)的。一個最基本的方法是從描述煙或者火的訓(xùn)練數(shù)據(jù)中學(xué)習(xí),訓(xùn)練一個分類器如神經(jīng)網(wǎng)絡(luò)等。訓(xùn)練和測試的原理如圖1所示。
計算一個圖像序列的光流,而不是簡單的幀差,這允許考慮成像過程所期望的屬性;接下來會討論原因,基于最優(yōu)質(zhì)量傳輸?shù)墓饬鞅挥嬎阌糜诨鸬姆诸?,Horn-Schunck光流用于煙霧區(qū)域的分類。
圖1(a)通過人工標記樣本圖像序列創(chuàng)建訓(xùn)練數(shù)據(jù)。樣本含有時空像素鄰域,這個鄰域被標記是否含有火,煙或者二者都沒有。通過系數(shù)矩陣有限差分求解器來計算最優(yōu)質(zhì)量傳輸光流。特征矢量是由含有R、G、B顏色通道和光流速度形成的,且特征矢量通過一個反向傳播神經(jīng)網(wǎng)絡(luò)分類器進行分類處理。
圖1(b)在一個新的視頻幀中使用訓(xùn)練的分類器權(quán)重為每個像素鄰域創(chuàng)建特征適量測試分類器。最終的輸出含有每個像素類成員的概率(煙、火都沒有)。
1.1 最優(yōu)質(zhì)量傳輸
最優(yōu)質(zhì)量傳輸問題起初是由Gaspar Monge在1781年提出的,且關(guān)注尋找將一堆土從一個地點移動到另一個地點最優(yōu)的方式,其意義在于最小化傳輸成本。這個問題在Kantorovich研究中被給出一種數(shù)學(xué)構(gòu)造,這就是熟知的Monge-Kantorovich問題。
我們現(xiàn)在給出Monge-Kantorovich問題的構(gòu)造。令Ω0和Ω1是Rd的兩個子域,擁有光滑的邊界,每個有一個正的密度函數(shù),分別是μ0和μ1。我們假設(shè)
這項總的相同質(zhì)量是與Ω0和Ω1有關(guān)的。我們認為微分同胚映射u是從(Ω0,μ0)到(Ω1,μ1),微分同胚映射的意義是映射一個密度到其他的密度
(1)
也許有許多這樣的映射,并且從某種意義上來說我們想要選擇一種最優(yōu)的。因此,定義LPKantorovich-Wasserstein度量標準如下:
(2)
(3)式中|Hω|表示ω的海森行列式。
因此,Kantorovich-Wasserstein度量定義兩個質(zhì)量密度的距離,通過考慮式(2)給出的公式計算從一個域到另一個域最便宜的方式,最優(yōu)傳輸映射在p=2是情況下,是某一種函數(shù)的梯度。這個結(jié)果的新穎之處在于,它像平面上的Riemann映射理論,這個過程指出一個特定的偏愛幾何學(xué)的映射。
1.2 光流法
光流是一種計算方法來計算在很短時間差內(nèi)一組圖像間運動。主要的思想是每個圖像的灰度值在兩幀圖像間是不變的。這導(dǎo)出光流約束方程
(4)
(5)
注意方程(5)的一個潛在的假設(shè)是亮度恒定。在這種假設(shè)下,一個物體的亮度從一幀到另一幀是恒定的。這個假設(shè)適用于一個朗伯表面剛性物體但不是用于氣體和液體材料。在計算機視覺中,這些通過所謂的動態(tài)紋理建模。煙和火的典型的動態(tài)紋理具有內(nèi)在動態(tài),所以不能通過標準光流方法來進行捕獲。同時,煙/火區(qū)域流的速度比周圍地區(qū)的速度快的多,通過公式(5)給出的模型可能又會產(chǎn)生很多錯誤結(jié)果。
這篇文章的目標是獲得更好的光流場模型用于火和煙霧檢測。這樣做的一個方法是基于在這些過程中物理屬性的光流。一個簡單的屬性是火和煙大約使亮度守恒作為一個廣義質(zhì)量并且以文中的最優(yōu)方法進行移動。因此,一個恰當?shù)臄?shù)學(xué)上的光約束不是強度守恒而且質(zhì)量守恒或者亮度守恒。這個模型被寫為
(6)
理由如下:
這意味著區(qū)域強度的總的變化率僅通過一個光流表示(邊界上進入或者出去的)。這是一個守恒定律。但是通過散度定理
這是一個精確無窮小亮度(質(zhì)量)守恒條件。
下面是前面部分的解釋,本文提出了用于動態(tài)紋理分割的光流:
第一項是優(yōu)化問題,代表移動圖像的總質(zhì)量,第二項是質(zhì)量守恒光流方程。
2 神經(jīng)網(wǎng)絡(luò)分類分類器
煙霧檢測可以抽象為兩種模型,其檢測結(jié)果由給定的像素決定屬于有煙的情況或是無煙的情況。神經(jīng)網(wǎng)絡(luò)的最小二乘計算模型滿足貝葉斯判別式。輸出的結(jié)果是關(guān)于一個像素屬于某一特定類的概率,因此決定像素屬于有煙情況或是無煙情況的閾值是使用者根據(jù)其期望設(shè)定的。根據(jù)貝葉斯定理,多個事件的后驗概率公式可以寫成如下形式:
(8)
上式中的x由Ck類滿足判別式y(tǒng)k(x,w)具有最大值時確定。如果x屬于Ck則目標值tk(x)=l,否則都為零。神經(jīng)網(wǎng)絡(luò)每次輸出的誤差如下式所示:
(9)
當樣本數(shù)量趨近無限大時,在文中可以看出,反向傳播算法最小化下面的式(10)來縮小由神經(jīng)網(wǎng)絡(luò)來產(chǎn)生的誤差
(10)式中的n代表類的數(shù)量。上式表明當數(shù)據(jù)點的數(shù)量趨近與無窮時,輸出的結(jié)果的判別式等價于后驗概率中)yk(x,ω)≈P(Ck|x)。因此,把x指定給類Ck,也就是映射具有最大值的判別式函數(shù),相當于把x指定為具有最大后驗概率的這個類。
根據(jù)貝葉斯原理,確定判別式的形式。后驗概率如下式:
(11)
將文中ak=ln(p(x|Ck)p(Ck))的替換,式(11)也稱為softmax函數(shù)。此式恰恰是神經(jīng)網(wǎng)絡(luò)使用的激勵函數(shù)。
假設(shè)類的條件概率密度p(x|Ck)屬于分布的限制指數(shù)族,則采用下面的形式:
(12)
將上式的密度代入式(11),得到的等式是關(guān)于ak(x)與x成線性關(guān)系:
(13)
因此,判別式采用激勵函數(shù)的形式,當非線性函數(shù)φ(x)的線性組合為變量時如下:
(14)式中f(·)為激勵函數(shù)。
在神經(jīng)網(wǎng)絡(luò)中的非線性函數(shù)組成了隱藏單元,這些非線性函數(shù)是根據(jù)具體情況選擇的,而且它們是關(guān)于輸入的線性組合的函數(shù)。
(15)其中h(·)是一個柔性最大值(softmax)函數(shù)。本文所使用的神經(jīng)網(wǎng)絡(luò)是完全被連接的,并且由一個含有20個隱藏單元的單隱層構(gòu)成的,這個隱藏單元在隱藏層和輸出使用softmax非線性。
3 實驗結(jié)果
為了獲得如下結(jié)果,只需要6幀圖片來訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器。包括手動描繪的有火、無火、有煙和無煙的區(qū)域。樣本的數(shù)量要小并且出自同一視頻中。通過提供更多明顯的樣本,例如來自不同的視頻資源的有用和沒用的數(shù)據(jù)樣本。可以使分類器檢測更多的視頻。
神經(jīng)網(wǎng)絡(luò)分類器的輸出結(jié)果為每個像素的后驗概率p(Ck|x),這里的類Ck指的是有火或煙和無火或煙,x是給定像素的特征向量,圖2中顯示了分類器的一個樣本輸出中一幀圖像的所有像素。根據(jù)閾值可以選擇像素的類,圖2顯示的是煙,圖3顯示的是火。
對圖2所示的圖片進行特征向量提取和相鄰時空像素最優(yōu)質(zhì)量傳輸光流速度值計算,并提供給神經(jīng)網(wǎng)絡(luò)分類器。輸出的每個像素的概率屬于煙的類。如圖2(b)所示,這種選擇是根據(jù)閾值概率做出的??梢姲谉熓菑陌讐χ袇^(qū)分出來的。
將圖3所示的一組圖像序列提供給神經(jīng)網(wǎng)絡(luò)分類器,這個分類器已經(jīng)通過有火和無火的圖像訓(xùn)練過。這時,分類器通過給定的閾值概率來標記圖像中火焰。
4 結(jié)論
基于視頻的火焰和煙霧檢測是一種非常關(guān)鍵且重要的檢測方法,它允許一個相機覆蓋較大的檢測面積,且很容易集成到現(xiàn)有的視頻監(jiān)控系統(tǒng)中。對于視頻火焰和煙霧檢測,為解決傳統(tǒng)光流法不適用于氣體和液體等圖像檢測的問題,本文提出了一種基于最優(yōu)質(zhì)量傳輸光流計算方法,該方法將檢測過程抽象為一種關(guān)于時空像素鄰域的監(jiān)督式貝葉斯分類問題,其特征矢量由最優(yōu)質(zhì)量傳輸光流速度和R、G、B顏色通道構(gòu)成,并采用單隱層神經(jīng)網(wǎng)絡(luò)分類器進行特征提取,最后通過分析像素概率來判斷屬于火焰或者是煙霧。這種方法涉及到轉(zhuǎn)換過程的物理性質(zhì),這種性質(zhì)通過訓(xùn)練一個分類器來檢測火焰和煙霧,而不是傳統(tǒng)的通過創(chuàng)建一個啟發(fā)式的檢測方法。實驗結(jié)果表明,該方法成功的區(qū)分了煙霧和顏色相似的白云,同樣區(qū)分了火焰和與火焰顏色相似的背景,具有較強的魯棒性。
(編輯:溫澤宇)