劉 愷，劉 湘，常麗萍，陳 濱，吳哲夫?

(1.浙江工業(yè)大學(xué)信息工程學(xué)院，杭州310023；2.浙江工業(yè)大學(xué)設(shè)計(jì)藝術(shù)學(xué)院，杭州310023)

傳統(tǒng)火災(zāi)探測器通過分析燃燒物產(chǎn)生煙霧的成分、濃度或火焰周圍溫度升高等原理進(jìn)行工作，這類探測器必須靠近火源才能正常工作，限制了其應(yīng)用范圍[1]。隨著圖像處理技術(shù)的日趨成熟，基于視頻監(jiān)控的火災(zāi)檢測技術(shù)受到了廣泛關(guān)注并進(jìn)行了相關(guān)研究[2]。

火災(zāi)發(fā)生初期煙霧比火焰更明顯，煙氣顆粒團(tuán)聚效應(yīng)使煙霧區(qū)域產(chǎn)生較大的亮度和色度‘突變’，這可作為火災(zāi)煙霧檢測的判決[3]。因此基于視頻的火災(zāi)煙霧檢測算法得到了廣泛關(guān)注。Gubbi、Chunyu、Feiniu 等[4－6]分別使用小波變換、灰度共生矩陣、局部二進(jìn)制模式方法提取煙霧特征，然后支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等分類器進(jìn)行分類識(shí)別，這些方法提取的特征單一，在復(fù)雜環(huán)境中識(shí)別效果不是很理想。因此之后的一些研究者，提出了一些多特征融合煙霧檢測方法；ByoungChuld等[7]將顏色、小波系數(shù)、運(yùn)動(dòng)方向和方向梯度直方圖等時(shí)空特征組成新的融合煙霧特征；Prema等[8]將小波能量衰減、灰度共生對(duì)比度等值融合作為煙霧特征提出了種基于圖像濾色和多特征的煙霧檢測算法；趙亮等人[9]則將煙霧的顏色、旋轉(zhuǎn)不變LBP紋理和HOG特征等特征為新的煙霧特征；這些方法在一定程度上提高了煙霧檢測準(zhǔn)確性但其特征易被環(huán)境影響，因此在復(fù)雜環(huán)境中依舊存在高誤報(bào)和高漏報(bào)。

近年來，深度學(xué)習(xí)的算法在人臉識(shí)別、朝向檢測[10]等領(lǐng)域已經(jīng)取得了顯著成果，同樣也被引入到火災(zāi)煙霧識(shí)別領(lǐng)域。Sebastien等人[11]提出了一種基于卷積神經(jīng)網(wǎng)(CNN)的火災(zāi)識(shí)別方法，通過卷積神經(jīng)網(wǎng)絡(luò)提取特征并進(jìn)行分類；ZHIJIAN等人[12]也提出了基于深度歸一化和卷積神經(jīng)網(wǎng)絡(luò)的圖像煙霧檢測算法，該方法中傳統(tǒng)的卷積層被歸一化和卷積層多替代，實(shí)現(xiàn)自動(dòng)特征提取和分類；陳俊周等人[13]在卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上提出了基于級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)用于視頻動(dòng)態(tài)煙霧檢測，可以提取煙霧靜態(tài)和動(dòng)態(tài)紋理特征，從而最終實(shí)現(xiàn)動(dòng)態(tài)煙霧檢測。卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法進(jìn)行煙霧檢測無需人工選擇煙霧特征和分類器，但其需要進(jìn)行大量卷積和池化計(jì)算，大量商場、車站、倉庫等場景中已有設(shè)備的處理能力較低，這導(dǎo)致基于深度學(xué)習(xí)的煙霧檢測方法應(yīng)用于這些場景依舊困難。

本文提出一種基于YUV顏色空間和多特征融合的視頻煙霧檢測算法，相比已有煙霧檢測算法，其主要有以下優(yōu)勢：①將高斯混合模型應(yīng)用于運(yùn)動(dòng)物體檢測時(shí)同時(shí)與提出的YUV顏色過濾規(guī)則結(jié)合確定疑似煙霧區(qū)域，減少后續(xù)處理數(shù)據(jù)量同時(shí)保證提取的紋理特征僅用來區(qū)分疑似煙霧物體；②均勻局部二進(jìn)制模式提取圖像空域的靜態(tài)紋理，并將其與離散小波變換的頻域整體紋理特征融合，使融合后的特征更穩(wěn)定；③將AdaBoost的改進(jìn)分類器Real AdaBoost應(yīng)用于煙霧融合特征分類，有效的提高了分類的準(zhǔn)確性，算法流程如圖1所示。

圖1 視頻煙霧檢測算法流程

1 疑似煙霧區(qū)域檢測

1.1 運(yùn)動(dòng)區(qū)域檢測

高斯混合模型GMM(Gaussian Mixture Model)是一種基于像素級(jí)別的背景建模方法，通過將圖像的每一個(gè)像素建立若干個(gè)高斯分布模式，并對(duì)高斯模型進(jìn)行動(dòng)態(tài)更新，從而可以通過均值和標(biāo)準(zhǔn)差來判定運(yùn)動(dòng)像素[14]，該方法適合檢測緩慢移動(dòng)物體。設(shè)在t時(shí)刻，圖像幀I的像素點(diǎn)(x，y)處的概率分布估計(jì)為P[It(x，y)]，可表示為：

式中：K為組成混合高斯的單高斯分布的個(gè)數(shù)，其取值通常取3～5，該值越大代表模型處理復(fù)雜場景的能力就越強(qiáng)，同時(shí)運(yùn)算量也會(huì)隨之增加；ωi，t、μi，t分別代表了在時(shí)刻高斯混合模型中第i個(gè)單高斯分布的權(quán)重和均值；∑i，t則代表了第i個(gè)高斯分布的協(xié)方差矩陣；η為高斯分布的概率密度函數(shù)，由下式給出：

在RGB顏色空間中，可以認(rèn)為三個(gè)顏色通道像素是獨(dú)立的，因此有相同的方差，其協(xié)方差矩陣可表示為：

高斯混合模型通過更新參數(shù)來幫助學(xué)習(xí)背景圖像，背景隨著時(shí)間的推移而變，符合任何高斯分布的像素被認(rèn)為是前景像素，所有的前景像素組成該幀圖像運(yùn)動(dòng)區(qū)域。高斯混合模型檢測運(yùn)動(dòng)物體效果如圖2所示。

圖2 高斯混合模型檢測的運(yùn)動(dòng)區(qū)域

1.2 YUV顏色空間濾色

運(yùn)動(dòng)區(qū)域檢測雖然確定了火災(zāi)煙霧的區(qū)域，但這些區(qū)域通常還會(huì)包含由于運(yùn)動(dòng)而產(chǎn)生的非煙霧區(qū)域，直接將所有運(yùn)動(dòng)區(qū)域進(jìn)行特征提取、識(shí)別將會(huì)耗費(fèi)大量資源，還可能影響煙霧檢測及時(shí)性，因此去除這些非煙霧區(qū)域是必要的。顏色是識(shí)別煙霧的重要屬性[15]，在低溫環(huán)境下煙霧的顏色大多為藍(lán)白色與黑色，當(dāng)溫度升高它的顏色從灰黑色到黑色。在火災(zāi)發(fā)生初期由于溫度較低煙霧顏色大多為白色到灰白色，本文針對(duì)早期煙霧檢測因此僅對(duì)白色到灰白色煙霧進(jìn)行分析檢測。在YUV顏色空間中，顏色信息不受照明亮度變化，因此可以對(duì)YUV顏色空間執(zhí)行濾色，RGB轉(zhuǎn)換為YUV顏色空間的標(biāo)準(zhǔn)矩陣為：

YUV顏色空間中，Y是亮度分量，U，V是色度分量。在煙霧區(qū)域中，U和V分量之間的差異比其他非煙色區(qū)域大得多，非煙霧區(qū)域像素值范圍被壓縮。為此本文提出了YUV顏色空間像素濾色規(guī)則：

式中： U(x，y)和 V(x，y)是(x，y)處像素點(diǎn)的 U 分量和V分量值；Irgb(x，y)為(x，y)處像素點(diǎn)在 RGB顏色空間中的像素值；Tmax、Tmin為閾值，在本文中Tmin可取63，Tmax可取178。圖 3顯示運(yùn)動(dòng)區(qū)域經(jīng)YUV顏色空間濾色后確定疑似煙霧區(qū)域。

圖3 疑似煙霧區(qū)域

2 紋理特征分析

通過疑似煙霧區(qū)域階段檢測，可以消除大部分運(yùn)動(dòng)極慢、顏色與煙霧有明顯差異等物體的干擾，然而依舊存在例如白色汽車、穿白色衣服的行人等物體的干擾，這類物體理論上可以通過運(yùn)動(dòng)速度、方向、形狀、面積等特征區(qū)分，但這些特征會(huì)隨風(fēng)或者拍攝角度影響。紋理體現(xiàn)了物體表面共有的內(nèi)在特征，被定義為一個(gè)區(qū)域內(nèi)的屬性，不同物體具有不同的紋理結(jié)構(gòu)[16]，因此在復(fù)雜環(huán)境中通過紋理特征來鑒別煙霧與非煙霧物體具有很大的優(yōu)勢。

疑似煙霧區(qū)域一般為不規(guī)則的，直接提取紋理特征難度較大，常用的方法是將圖像進(jìn)行分割后再進(jìn)行紋理特征提取。文獻(xiàn)[4]將疑似煙霧區(qū)域進(jìn)行32×32像素大小分割，文獻(xiàn)[6]將疑似煙霧區(qū)域進(jìn)行100×100像素大小分割，分割后的圖像為處理塊。火災(zāi)早期疑似煙霧區(qū)域面積很小，過大的分割尺寸將可能導(dǎo)致處理塊包含大量背景區(qū)域，而較小的分割尺寸則將導(dǎo)致紋理信息缺失，本文將疑似煙霧區(qū)域分割48?48像素大小分割。

離散小波變換可以對(duì)圖像進(jìn)行多分辨率分析和時(shí)頻分解，從而獲得頻域特征；均勻局部二值模式則描述了圖像像素的空間紋理特征。因此，將兩者融合為增強(qiáng)特征可以更有效表達(dá)煙霧特征，從而更好的鑒別煙霧和非煙霧物體。

2.1 離散小波分析

處理塊經(jīng)過一層離散小波變換DWT(Discrete Wavelet Transform)后分解成四個(gè)部分，即處理塊圖像水平方向細(xì)節(jié)子圖HL1、對(duì)角線方向細(xì)節(jié)子圖HH1、垂直方向細(xì)節(jié)子圖LH1和一個(gè)低頻部分處理塊圖像的近似子圖LL1，隨著分解級(jí)數(shù)增加，將獲得更多圖像信息，這為特征提取提供有力的條件[17]。離散小波變換分解獲得子帶系數(shù)直接作為煙霧特征會(huì)耗費(fèi)大量時(shí)間，通過計(jì)算子帶系數(shù)的派生特征是一個(gè)可行的方法，既能保留子帶系數(shù)的大量信息也能減少特征數(shù)量。從樣本集中隨機(jī)選取了同等數(shù)量的非煙霧圖片和煙霧圖片，選取均值、幾何均值、峰值、標(biāo)準(zhǔn)差和熵等派生特征進(jìn)行測試。HH2頻帶部分測試結(jié)果如圖4所示，圖中顯示煙霧圖片HH2子帶系數(shù)的均值、幾何平均值、標(biāo)準(zhǔn)偏差和熵均在較小范圍波動(dòng)，而非煙霧圖片則較為分散，這說明利用子帶系數(shù)計(jì)算出的派生特征理論上是可以對(duì)煙霧圖片進(jìn)行識(shí)別。同理，我們分析了煙霧塊和非煙霧塊的其他高頻子帶和低頻子帶，最終選擇計(jì)算各子帶系數(shù)的均值、幾何平均值、標(biāo)準(zhǔn)差和熵等作為派生特征，將高頻部分派生特征組成的小波特征向量：

低頻部分派生特征組成的小波特征向量：

式(6)中i取H、V、D分別表示水平、垂直、對(duì)角線方向；j＝1，2，分別表示一級(jí)和二級(jí)離散小波分解。

圖4 煙霧圖片和非煙霧圖片小波子帶系數(shù)的派生特征對(duì)比

2.2 均勻局部二進(jìn)制模式

Ojala等[18]提出的局部二進(jìn)制模式LBP(Local Binary Pattern)是一種灰度紋理算子，通過比較一個(gè)像素與其領(lǐng)域像素灰度值計(jì)算該像素的模式值，然后統(tǒng)計(jì)每個(gè)像素模式值的直方圖達(dá)到對(duì)紋理特征的描述。設(shè)圖像像素點(diǎn)(x，y)灰度值為ic，其鄰域的第p個(gè)像素的灰度值為ip，比較ic與ip的值，則有

式中：s()為符號(hào)函數(shù)。通過逆序計(jì)算中心像素點(diǎn)與鄰域所有像素的比較結(jié)果賦值的2p權(quán)值來進(jìn)行加權(quán)求和，其和值則為中心像素點(diǎn)的LBP值：

式中：P表示鄰域像素點(diǎn)個(gè)數(shù)，即中心像素到鄰域點(diǎn)的歐氏距離，R為鄰域半徑。LBP特征維數(shù)過高，Ojala等又提出了均勻局部二值模式(ULBP)，該模式將LBP的二值模式看作一個(gè)首尾相連的環(huán)形，當(dāng)其相鄰兩位從0/或1/0的跳變次數(shù)U不超過2次時(shí)稱該模式為均勻模式，其余歸為非均勻模式。ULBP的U值表示LBP模式中在圓周上相鄰兩個(gè)二元值0/1或1/0轉(zhuǎn)移次數(shù)，因此U值能反應(yīng)局部結(jié)構(gòu)的一種均勻性度量，U值越大表示結(jié)構(gòu)趨向于不均勻且變化頻率較高[19]。ULBP直方圖比LBP直方圖擁有更少的維數(shù)，這意味著特征量更少，因此在提取煙霧紋理特征時(shí)使用均勻局部二進(jìn)制模式提取煙霧空間域特征可以提高后續(xù)分類效率。ULBP直方圖U值可由下式計(jì)算：

當(dāng)P＝8，R＝1時(shí)，ULBP有58種均勻模式和1種非均勻模式，共59種模式，通過統(tǒng)計(jì)圖像中ULBP的相同U值數(shù)量并將其作為對(duì)應(yīng)模式或非均勻模式的特征值，因此ULBP將獲取59個(gè)煙霧紋理特征。圖5(b)和5(d)為煙霧圖像和非煙霧圖像的ULBP中各模式的概率分布。

圖5 均勻局部二值模式值對(duì)比結(jié)果

3 特征分類器

AdaBoost算法由Freund等人[20]提出，主要思想是利用一個(gè)分量分類器，從而可根據(jù)分類器訓(xùn)練后的輸出結(jié)果自適應(yīng)改變樣本權(quán)重，把較大的權(quán)值賦給被錯(cuò)分樣本。經(jīng)過反復(fù)迭代，最后根據(jù)分類器結(jié)果加權(quán)投票給出最終的判決結(jié)果。Hidenori等人[21]將AdaBoost用于煙霧特征分類，由于AdaBoost的輸出值為{＋1，－1}存在局限性，將 Schapire等人[22]提出的改進(jìn)的Real AdaBoost算法用于我們的融合煙霧特征分類，該算法將AdaBoost算法從處理二值判定推廣到具有連續(xù)的置信度[－1，1]輸出，使得更精確地刻畫分類邊界，因此可針對(duì)訓(xùn)練樣本調(diào)整分類閾值，使分類器分類效果最優(yōu)。將28個(gè)二維小波派生特征和59個(gè)均勻局部二值模式特征線性融合并輸入Real Adaboost訓(xùn)練獲取分類模型，分類器訓(xùn)練迭代次數(shù)為300次，選用決策樹作為弱分類器，該弱分類器最大分支數(shù)量為3。

4 實(shí)驗(yàn)分析與結(jié)果

本文實(shí)驗(yàn)數(shù)據(jù)的處理分析基于MATLAB R2016a環(huán)境，計(jì)算機(jī)處理器配置為Intel Core i5－3210M＠2.5 GHz，內(nèi)存為8.00 GB。

首先，實(shí)驗(yàn)選取了三種人工提取煙霧特征的檢測算法作為參考比較，其描述如表1所示。測試數(shù)據(jù)集描述如表2。

表1 人工提取煙霧特征的煙霧檢測算法描述

表2 測試數(shù)據(jù)集描述

每個(gè)數(shù)據(jù)集訓(xùn)練圖像集和測試圖像構(gòu)建如下(以計(jì)算真陽性比值(TPR)為例)：

①選定數(shù)據(jù)集編號(hào)m，統(tǒng)計(jì)其煙霧圖像數(shù)量X和非煙霧圖像數(shù)量Y。

②第n次隨機(jī)選擇煙霧圖像X中的70%煙霧圖像和非煙霧圖像Y中70%非煙霧圖像組成數(shù)據(jù)集m的訓(xùn)練圖像集TR，對(duì)應(yīng)數(shù)據(jù)集剩余的都作為測試圖像集TE，將該次訓(xùn)練集用作訓(xùn)練得到分類器模型，之后根據(jù)該模型得到測試圖像集分類真陽性比值(TPR)TPRn 等值；n∈{1，…，5}。

③重復(fù)②步驟，得到 TPR1，…，TPR5等值，之后求其均值記為TPR。

圖6 ROC曲線對(duì)比結(jié)果

根據(jù)平均真陽性比值(TPR)和假陽性比值(FPR)制作ROC曲線圖。數(shù)據(jù)集1、2測試結(jié)果ROC曲線圖如圖6(a)和圖6(b)所示。ROC曲線越靠近左上角，分類識(shí)別準(zhǔn)確性就越高，由圖6(a)、圖6(a)中，很明顯觀察到本文方法曲線相比文獻(xiàn)[8]和文獻(xiàn)[5]明顯更靠近左上角，這說明我們的煙霧檢測算法分類性能比兩者更好，從圖中局部放大子圖中可觀察到本文方法相比文獻(xiàn)[6]算法分能性能也略靠左上，因此我們的算法比上述三者分類更準(zhǔn)確。單一數(shù)據(jù)集測試可能的偶然性，由圖6(b)中可以明顯觀察到提出的算法識(shí)別準(zhǔn)確性更高，且對(duì)比圖6(a)和6(b)可觀察到各算法曲線軌跡發(fā)生了變化，最靠近左上的位置也發(fā)生了變化，但本文方法其曲線包圍的面積相比三者依舊大且曲線趨勢變化最小，這說明本文方法在數(shù)據(jù)集改變的情況下，分類效果依舊最好且具有很好的穩(wěn)定性，從因此本文方法相比已有人工提取煙霧特征的煙霧檢測算法更優(yōu)秀。

另外，選取一些基于深度學(xué)習(xí)的煙霧檢測算法與本文方法進(jìn)行分類對(duì)比，這些算法如表3所示，這些算法均在caffe框架下實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行特征提取和分類，結(jié)果如圖7所示。如圖7所示，本文提出算法在數(shù)據(jù)集1和2上都具有比文獻(xiàn)[11]和文獻(xiàn)[13]準(zhǔn)確率更高，與文獻(xiàn)[11]準(zhǔn)確率略低，但文獻(xiàn)[12]的算法提取的特征相當(dāng)于2 048個(gè)，而本文算法提取特征僅僅只有87個(gè)，因此計(jì)算量更少，設(shè)備性能要求更低。

表3 基于深度學(xué)習(xí)的煙霧檢測算法描述

圖7 與基于深度學(xué)習(xí)的算法實(shí)驗(yàn)對(duì)比結(jié)果

更進(jìn)一步，我們進(jìn)行了多場景視頻的煙霧檢測實(shí)驗(yàn)，將本文算法與文獻(xiàn)[9]煙霧檢測算法了對(duì)比，視頻信息及結(jié)果如表4所示。

表4 煙霧視頻實(shí)驗(yàn)結(jié)果

圖8為視頻序列對(duì)應(yīng)的煙霧物體和非煙霧物體幀，其中視頻編號(hào)6、11、12來源于江西財(cái)經(jīng)大學(xué)袁非牛個(gè)人主頁 http：//staff.ustc.edu.cn/～yfn/vsd.html，其余視頻則是實(shí)驗(yàn)拍攝所得。實(shí)驗(yàn)選擇了7個(gè)煙霧視頻測試首次報(bào)警情況，另外選擇5個(gè)非煙霧視頻測試誤檢情況。從表4可以看出，文獻(xiàn)[9]和本文算法都能在風(fēng)的干擾下檢測到視頻中的煙霧，煙霧擴(kuò)散快慢對(duì)兩種算法干擾較小。由視頻編號(hào)1、3、4實(shí)驗(yàn)結(jié)果可以得到文獻(xiàn)[9]比本文算法能更快檢測到煙霧存在，而視頻編號(hào)2、6、7實(shí)驗(yàn)結(jié)果中本文算法比文獻(xiàn)[9]能更快檢測到煙霧。出現(xiàn)這種情況是因?yàn)橐曨l1、3、4中煙霧濃度及其稀薄，而視頻 2、6、7 煙霧濃度高，這說明文獻(xiàn)[9]能在煙霧較少時(shí)進(jìn)行快速識(shí)別，而本文算法則比較適合初始煙霧較濃時(shí)的快速檢測。另一方面，表5非煙霧視頻實(shí)驗(yàn)結(jié)果顯示，文獻(xiàn)[9]的算法會(huì)把大量的非煙霧物體識(shí)別為煙霧，因此導(dǎo)致大量的誤檢幀，而本文算法幾乎不會(huì)發(fā)生誤檢。

圖8 測試視頻編號(hào)序列

表5 非煙霧視頻實(shí)驗(yàn)結(jié)果

綜上所述，本文算法和文獻(xiàn)[9]的算法都能快速檢測到煙霧視頻中的煙霧，兩者都不會(huì)把煙霧視頻識(shí)別為非煙霧視頻，發(fā)生漏報(bào)情況都較低。但是，文獻(xiàn)[9]算法的缺點(diǎn)是會(huì)將非煙霧物體識(shí)別為煙霧，從而導(dǎo)致大量誤報(bào)；而本文算法擁有極低的誤報(bào)率，在多種復(fù)雜環(huán)境中既能快速進(jìn)行煙霧檢測又能防止非煙霧物體的干擾，因此本文算法文獻(xiàn)[9]更適合應(yīng)用于復(fù)雜環(huán)境。

5 結(jié)論

本文提出了基于YUV顏色空間和多特征融合的視頻煙霧檢測算法，利用高斯混合模型運(yùn)動(dòng)區(qū)域檢測

與YUV顏色濾色規(guī)則確定疑似煙霧區(qū)域提高檢測效率和抗干擾能力；使用離散小波變化和均勻局部二進(jìn)制模式上提取煙霧靜態(tài)紋理特征，保證了煙霧特征有效；使用Real AdaBoost進(jìn)行特征分類提高特征分類準(zhǔn)確性。靜態(tài)樣本分類實(shí)驗(yàn)結(jié)果表明，本文方法比已有煙霧檢測算法具有更低的漏報(bào)率和誤報(bào)率；多場景視頻實(shí)驗(yàn)結(jié)果表明，本文方法可以在火災(zāi)場景下準(zhǔn)確快速檢測出煙霧區(qū)域，在非火災(zāi)復(fù)雜場景中幾乎不會(huì)產(chǎn)生誤報(bào)，具有較強(qiáng)的抗干擾能力。