胡燕，王慧琴，姚太偉，賈陽(yáng)

1.西安建筑科技大學(xué)管理學(xué)院，西安 710055

2.西安建筑科技大學(xué)信息與控制工程學(xué)院，西安 710055

基于Harris特征點(diǎn)檢測(cè)與跟蹤的火災(zāi)煙霧識(shí)別

胡燕1，2，王慧琴1，2，姚太偉2，賈陽(yáng)2

1.西安建筑科技大學(xué)管理學(xué)院，西安 710055

2.西安建筑科技大學(xué)信息與控制工程學(xué)院，西安 710055

針對(duì)現(xiàn)有的視頻火災(zāi)煙霧探測(cè)方法實(shí)時(shí)性差，誤報(bào)率和漏報(bào)率都比較高的問(wèn)題，在深入分析煙霧圖像特征的基礎(chǔ)上，發(fā)現(xiàn)早期煙霧運(yùn)動(dòng)緩慢且主要運(yùn)動(dòng)方向呈向上趨勢(shì)，在連續(xù)幀中像素的強(qiáng)度變化具有一致性的特點(diǎn)，通過(guò)Harris檢測(cè)算法找到強(qiáng)度變化劇烈和圖像邊緣的特征點(diǎn)，根據(jù)光流場(chǎng)與運(yùn)動(dòng)場(chǎng)的對(duì)應(yīng)關(guān)系由成像平面中光流的變化估計(jì)煙霧的相對(duì)運(yùn)動(dòng)，計(jì)算運(yùn)動(dòng)矢量信息，實(shí)現(xiàn)多特征煙霧檢測(cè)。該算法是基于煙霧灰度變化的特征點(diǎn)作為檢測(cè)對(duì)象，大大減少了待處理的數(shù)據(jù)量，縮短了算法處理時(shí)間，綜合了煙霧的局部特性和全局特性，具有較強(qiáng)的魯棒性和較高的檢測(cè)準(zhǔn)確率。

Harris；特征點(diǎn)；Lucas-Kanade目標(biāo)跟蹤；煙霧特征；煙霧識(shí)別

1 引言

近年來(lái)，隨著經(jīng)濟(jì)的發(fā)展和城市化進(jìn)程加快，大空間等高層建筑不斷出現(xiàn)，帶來(lái)了實(shí)用美觀、通透性和采光性好的同時(shí)，也帶來(lái)了新的消防隱患?？焖贉?zhǔn)確地實(shí)現(xiàn)大空間火災(zāi)探測(cè)成為研究的熱點(diǎn)問(wèn)題?；谝曨l的火災(zāi)探測(cè)技術(shù)是通過(guò)現(xiàn)有監(jiān)控系統(tǒng)采集圖像，分析火焰和煙霧圖像變化特征探測(cè)火災(zāi)是否發(fā)生，是火災(zāi)探測(cè)領(lǐng)域新的研究方向，克服了傳統(tǒng)火災(zāi)探測(cè)技術(shù)在大空間應(yīng)用的局限。

火災(zāi)形成初期，大多數(shù)情況下并沒(méi)有明顯的火焰信號(hào)，只存在陰燃，并伴隨大量煙霧產(chǎn)生，因此通過(guò)煙霧檢測(cè)能更早地實(shí)現(xiàn)火災(zāi)的早期預(yù)警。目前，國(guó)內(nèi)外對(duì)視頻煙霧檢測(cè)技術(shù)的研究尚處于初級(jí)階段。大部分檢測(cè)方法使用了煙霧的可視化特征，如顏色特征、紋理特征、邊緣不規(guī)則特征、半透明性特征、面積增長(zhǎng)特征等，并結(jié)合信息融合技術(shù)，如SVM、模糊推理、BP神經(jīng)網(wǎng)絡(luò)等，實(shí)現(xiàn)火災(zāi)煙霧識(shí)別。文獻(xiàn)[1-5]提出了采用固定閾值的背景差分法提取前景目標(biāo)。事實(shí)上，煙霧往往需要經(jīng)過(guò)一定的時(shí)間才能使前景和背景之間累計(jì)足夠的差異形成潛在目標(biāo)，差分閾值選取過(guò)大或過(guò)小均會(huì)造成過(guò)分割或漏分割。文獻(xiàn)[6-8]通過(guò)對(duì)煙霧像素建立一套色彩模型提取疑似區(qū)域，對(duì)疑似區(qū)域進(jìn)行靜態(tài)和動(dòng)態(tài)特性分析實(shí)現(xiàn)煙霧檢測(cè)。當(dāng)煙霧顏色與背景對(duì)比度較低，易出現(xiàn)火災(zāi)誤判，且難以區(qū)分顏色相近的目標(biāo)。文獻(xiàn)[2]提取煙霧邊緣不規(guī)則性、面積增長(zhǎng)特性和濃度變化特性，用訓(xùn)練樣本構(gòu)造煙霧識(shí)別SVM分類器。文獻(xiàn)[9]設(shè)計(jì)了用小波變換提取煙霧紋理特征作為神經(jīng)網(wǎng)絡(luò)輸入量實(shí)現(xiàn)煙霧分類識(shí)別的方法。因煙霧目標(biāo)具有離散性和時(shí)變性，很難選擇合理的訓(xùn)練樣本，算法的準(zhǔn)確性難以保證。文獻(xiàn)[10]提出的基于混合高斯模型定位目標(biāo)圖像再用灰度共現(xiàn)矩陣法提取煙霧紋理特征的算法只能對(duì)靜止背景中的目標(biāo)圖像進(jìn)行分割，要區(qū)分其他運(yùn)動(dòng)物體，需結(jié)合諸如顏色、輪廓等特征，并且該方法不滿足視頻火災(zāi)探測(cè)對(duì)實(shí)時(shí)性的要求。

為了提高煙霧識(shí)別精度和抗干擾性，本文提出了基于Harris特征點(diǎn)檢測(cè)與跟蹤的火災(zāi)煙霧識(shí)別方法。首先用Harris[11]算法搜索只保存圖像部分?jǐn)?shù)據(jù)，卻攜帶了圖像大部分信息的特征點(diǎn)[12]，然后用Lucas-Kanade[13]光流算法跟蹤這些特征點(diǎn)，獲取其運(yùn)動(dòng)平均偏移量，相位角分布比例和質(zhì)心相對(duì)運(yùn)動(dòng)作為煙霧識(shí)別依據(jù)，判斷監(jiān)控區(qū)域是否有火災(zāi)發(fā)生。該算法不需要圖像的先驗(yàn)知識(shí)，能消除光照、噪聲以及背景紋理的影響，對(duì)強(qiáng)度變化劇烈和圖像邊緣的特征點(diǎn)進(jìn)行跟蹤研究，極大提高了檢測(cè)算法的魯棒性和實(shí)時(shí)性。

2 基于Harris特征點(diǎn)檢測(cè)與跟蹤的火災(zāi)煙霧識(shí)別

煙霧是一種非剛性物體，由懸浮在空中的微小顆粒構(gòu)成，在熱氣流的作用下運(yùn)動(dòng)相對(duì)緩慢和穩(wěn)定，整體呈現(xiàn)向上升騰狀態(tài)。通過(guò)深入分析煙霧與干擾在圖像上表現(xiàn)的特征差異，采用特征點(diǎn)檢測(cè)與Lucas-Kanade光流跟蹤技術(shù)在限定區(qū)域連續(xù)跟蹤目標(biāo)，得到相鄰幀特征點(diǎn)的運(yùn)動(dòng)矢量作為煙霧和干擾的分類依據(jù)。

2.1 Harris特征點(diǎn)檢測(cè)

特征點(diǎn)是圖像的一種重要局部特征，是二維圖像強(qiáng)度變化劇烈或圖像邊緣曲線上曲率極大值的點(diǎn)[14]。Harris特征點(diǎn)檢測(cè)通過(guò)計(jì)算灰度自相關(guān)函數(shù)曲率確定角點(diǎn)位置，即在鄰域Ω內(nèi)使得式（3）取得最小值的點(diǎn)為跟蹤目標(biāo)。此方法利用圖像像素點(diǎn)本身的特性直接提取特征點(diǎn)，不依賴于圖像的其他局部特征，速度快、實(shí)時(shí)性強(qiáng)。閾值T的選擇是Harris檢測(cè)法得到較理想特征點(diǎn)的前提，取值過(guò)大或過(guò)小均會(huì)嚴(yán)重影響下一步特征點(diǎn)匹配[15]。本文設(shè)定搜索窗口為5，T分別取800，200，100，處理結(jié)果如圖1所示。

圖1 T=800，200，100時(shí)特征點(diǎn)檢測(cè)結(jié)果

當(dāng)T=800時(shí)，特征點(diǎn)分布密集，產(chǎn)生聚簇現(xiàn)象，數(shù)據(jù)冗余度增加。T=100時(shí)，特征點(diǎn)分布分散，數(shù)量太少，不能表征整個(gè)圖像特征。T=200時(shí)，特征點(diǎn)分布集中，數(shù)量適中，能夠完整表征整個(gè)圖像特征，容易在下一幀圖像中找到，便于目標(biāo)跟蹤。

2.2 Lucas-Kanade目標(biāo)跟蹤

Lucas-Kanade稀疏光流法是建立在灰度保持恒定、運(yùn)動(dòng)保持連續(xù)和空間保持一致的三個(gè)假設(shè)的基礎(chǔ)上。假設(shè)在t時(shí)刻圖像中點(diǎn)(x，y)的灰度為I(x，y，t)，在t+Δt時(shí)刻移動(dòng)的位移為(Δx，Δy)，對(duì)應(yīng)灰度為I(x+Δx，y+Δy，t+Δt)。當(dāng)Δt很小時(shí)，根據(jù)灰度恒定假設(shè)條件，得到光流基本約束方程：

約束方程假設(shè)在圖像幀中點(diǎn)(x，y)處的光流為(u，v)，并假設(shè)在該點(diǎn)的一個(gè)小鄰域Ω內(nèi)各點(diǎn)的光流基本相同。即鄰域內(nèi)每一點(diǎn)的光流都可以用(u，v)近似，可通過(guò)Ω領(lǐng)域內(nèi)不同點(diǎn)的權(quán)重計(jì)算該點(diǎn)的光流。

求解點(diǎn)(x，y)處Lucas-Kanade光流的過(guò)程就是使式（3）在(x，y)鄰域Ω內(nèi)取得最小值(u，v)的過(guò)程。設(shè)鄰域Ω內(nèi)共有n個(gè)像素點(diǎn)，使用加權(quán)最小二乘法得到點(diǎn)(x，y)處Lucas-Kanade光流方程組為：

其中Ixi、Iyi、Iti分別為鄰域Ω內(nèi)第i個(gè)像素在x、y、t方向上的梯度值；wi為鄰域Ω內(nèi)第i個(gè)像素權(quán)重。

當(dāng)(ATA)滿秩時(shí)，(ATA)可逆，反映在圖像上是邊緣的角點(diǎn)。當(dāng)跟蹤窗口的中心在圖像的角點(diǎn)區(qū)域時(shí)，(ATA)特性最好。正因?yàn)?ATA)在角點(diǎn)處有兩個(gè)大的特征向量，所以這些角點(diǎn)是可用于跟蹤的良好特征點(diǎn)。Lucas-Kanade目標(biāo)跟蹤算法流程圖如圖2所示。

圖2 基于Lucas-Kanade的特征點(diǎn)跟蹤算法流程圖

2.3 運(yùn)動(dòng)目標(biāo)參數(shù)提取

相鄰幀的煙霧圖像滿足Lucas-Kanade光流算法的三個(gè)假設(shè)，而且煙霧邊緣很不規(guī)則，有很多適合跟蹤的特征點(diǎn)。通過(guò)對(duì)這些跟蹤特征點(diǎn)運(yùn)動(dòng)參數(shù)的計(jì)算判斷是否有火災(zāi)產(chǎn)生。

（1）平均偏移量：利用運(yùn)動(dòng)分割算法獲取可疑煙霧目標(biāo)，并對(duì)前后兩幀運(yùn)動(dòng)目標(biāo)的特征點(diǎn)進(jìn)行跟蹤，得其運(yùn)動(dòng)偏移量。假定某一區(qū)域內(nèi)有n個(gè)特征點(diǎn)，第i個(gè)特征點(diǎn)前后兩幀的坐標(biāo)分別為(xi，yi)，(x′i，y′i)。偏移量記為L(zhǎng)i，則則這一目標(biāo)區(qū)域的平均偏移量Lˉ為：

（2）相位角分布比例：目標(biāo)區(qū)域的運(yùn)動(dòng)趨勢(shì)可以通過(guò)統(tǒng)計(jì)這一區(qū)域目標(biāo)特征點(diǎn)的速度矢量在[0，2π)相位區(qū)間分布情況來(lái)確定，以π/4為間隔，逆時(shí)針?lè)较蛞来螌0，2π)分為8個(gè)區(qū)間。假定某一特征點(diǎn)i的運(yùn)動(dòng)矢量被分解成水平速度u和垂直速度v，其反正切值θi= arctan表示該特征點(diǎn)的相位角。再統(tǒng)計(jì)所有特征點(diǎn)的分布情況，由于煙霧運(yùn)動(dòng)基本上呈現(xiàn)向上運(yùn)動(dòng)的趨勢(shì)，反應(yīng)在相位空間中是運(yùn)動(dòng)矢量主要集中在，即劃分的2，3區(qū)間。通過(guò)統(tǒng)計(jì)占這兩個(gè)區(qū)間的特征點(diǎn)的比例確定該目標(biāo)的主運(yùn)動(dòng)趨勢(shì)：

其中λi為分布在第i(i=2，3)個(gè)區(qū)間特征點(diǎn)的個(gè)數(shù)，S為可疑目標(biāo)相位角分布比例。

（3）質(zhì)心相對(duì)運(yùn)動(dòng)：隨著舊燃燒物燃盡和新的燃燒物被點(diǎn)燃，煙霧區(qū)域不斷擴(kuò)散并移動(dòng)著位置，但是這種移動(dòng)是非跳躍的，而是連續(xù)的、平滑的，相對(duì)穩(wěn)定的，用此特征可以排除運(yùn)動(dòng)較快的干擾以及微風(fēng)帶來(lái)的影響。該區(qū)域在前后幀質(zhì)心相對(duì)運(yùn)動(dòng)坐標(biāo)(ΔX，ΔY)為：

2.4 煙霧檢測(cè)準(zhǔn)則

為了保證算法的抗干擾性和穩(wěn)定性，統(tǒng)計(jì)連續(xù)10幀圖像的運(yùn)動(dòng)目標(biāo)參數(shù)均值，煙霧識(shí)別規(guī)則為：

3 仿真實(shí)驗(yàn)及數(shù)據(jù)分析

為了驗(yàn)證算法的性能，分別在有煙和行人干擾的情況下進(jìn)行了仿真實(shí)驗(yàn)，視頻格式為AVI，采樣率為25 frame/s，分辨率大小為320×240，如圖3所示，運(yùn)動(dòng)目標(biāo)參數(shù)統(tǒng)計(jì)如表1所示。

從表1分析可知，在一段時(shí)間內(nèi)，圖3（a）運(yùn)動(dòng)目標(biāo)參數(shù)分別為：60%滿足煙霧檢測(cè)規(guī)則；而圖3（b）運(yùn)動(dòng)參數(shù)分別為：不滿足式（7）。雖然行人所穿的衣服與煙霧的顏色相近，在分割時(shí)都會(huì)當(dāng)做可疑運(yùn)動(dòng)目標(biāo)被提取出來(lái)，但是行人運(yùn)動(dòng)的速度相對(duì)煙霧運(yùn)動(dòng)速度較快，在計(jì)算特征點(diǎn)的平均偏移量和質(zhì)心相對(duì)運(yùn)動(dòng)坐標(biāo)的橫、縱坐標(biāo)值大于閾值，同時(shí)，行人在鏡頭前是由近到遠(yuǎn)運(yùn)動(dòng)，表現(xiàn)在圖像上其的主要運(yùn)動(dòng)方向朝下，與煙霧在熱量的驅(qū)使下主運(yùn)動(dòng)方向朝上相違背，即＜80%。

圖3 火災(zāi)煙霧與行人運(yùn)動(dòng)矢量圖

表1 火災(zāi)煙霧和行人圖像運(yùn)動(dòng)矢量參數(shù)對(duì)比表

為了測(cè)試算法的性能，進(jìn)行了模擬火災(zāi)場(chǎng)景的現(xiàn)場(chǎng)實(shí)驗(yàn)。實(shí)驗(yàn)條件如下：（1）室外白天，強(qiáng)光直射；（2）終端處理系統(tǒng)鏡頭的垂直高度為9 m；（3）探測(cè)器與火源的水平距離為25 m；（4）攝像機(jī)鏡頭為4 mm；（5）燃燒盤(pán)規(guī)格為30 cm×30 cm；（6）燃燒材料：棉絮、塑料泡沫、紙質(zhì)物品和樹(shù)葉；（7）干擾源：穿著與煙霧顏色相近的行人、水蒸氣。測(cè)試結(jié)果如表2所示。

表2 煙霧探測(cè)算法測(cè)試結(jié)果

實(shí)驗(yàn)結(jié)果表明，該煙霧探測(cè)算法能較準(zhǔn)確地檢測(cè)到四種點(diǎn)火材料產(chǎn)生的煙霧，響應(yīng)時(shí)間均小于20 s，其中棉絮產(chǎn)生的煙霧出現(xiàn)了2次漏報(bào)，這主要是因?yàn)槊扌醍a(chǎn)生的煙霧偏白，在白天強(qiáng)光下易與背景融為一體，較難被檢測(cè)到。穿著與煙霧顏色相近的行人因其運(yùn)動(dòng)速度比煙霧的運(yùn)動(dòng)速度快，用式（7）易于排除；水蒸氣無(wú)論在形態(tài)還是顏色方面都與煙霧非常相似，在實(shí)際的檢測(cè)中易出現(xiàn)誤報(bào)。因此在以后的研究中可以考慮提高水蒸氣的檢測(cè)率。

4 結(jié)束語(yǔ)

傳統(tǒng)的火災(zāi)煙霧探測(cè)是對(duì)分割后的可疑目標(biāo)區(qū)域所有像素進(jìn)行分析研究，往往比較耗時(shí)。本文通過(guò)對(duì)能夠表征圖像強(qiáng)度變化劇烈和邊緣的特征點(diǎn)進(jìn)行跟蹤，減少了待處理的數(shù)據(jù)，提高了算法的實(shí)時(shí)性。同時(shí)對(duì)連續(xù)10幀圖像疑似目標(biāo)特征點(diǎn)計(jì)算運(yùn)動(dòng)參數(shù)，可有效排除諸如光線、陰影等干擾帶來(lái)的突發(fā)影響，確保了火災(zāi)煙霧識(shí)別精度。

[1]Xu Zhengguang，Xu Jialin.Automatic fire smoke detection based on image visual features[C]//International Conference on Computational Intelligence and Security Workshops，2007：316-319.

[2]Yang Jing，Chen Feng，Zhang Weidong.Visual-based smoke detecion using support vector machine[C]//Fourth International Conference on Natural Computation，2008：301-305.

[3]Toreyin B U，Dedeoglu Y，Cetin A E.Wavelet based realtime smoke detection in video[C]//13th European Signal Process Conference，2005.

[4]吳愛(ài)國(guó)，杜春燕，李明.基于混合高斯模型與小波變換的火災(zāi)煙霧探測(cè)[J].儀器儀表學(xué)報(bào)，2008（8）：1622-1626.

[5]Han Dongil，Lee B.Flame and smoke detection method for early real-time detection of a tunnel fire[J].Fire Safety Journal，2009，44：951-961.

[6]Thou Ho-chen，Yen Hui-yin，Shi Feng-huang，et al.The smoke detection for early fire-alarming system based on video processing[C]//Proceedings of the 2006 International Conference on Intelligent Information Hiding and Multimedia Signal Processing，2006：427-430.

[7]Yuan Feiniu.A fast accumulative motion orientation model based on integral image for video smoke detection[J]. Pattern Recognition Letters，2008，29（7）.

[8]Chen T H，Yin Y H，Huang S F，et al.The smoke detection for early fire-alarming system based on video processing[C]//Proc of Intelligent Information Hiding and Multimedia Signal，2006.

[9]Cui Yu，Dong Hua，Zhou Enze.An early fire detection method based on smoke texture analysis and discrimination[C]//Congress on Image and Signal Processing，2008：95-99.

[10]任厚平，張永明，張維農(nóng)，等.基于混合高斯模型定位的火災(zāi)煙霧紋理特征提取[J].微計(jì)算機(jī)信息，2005，21（11）：83-85.

[11]王葳，唐一平，任娟莉，等.一種改進(jìn)的Harris角點(diǎn)提取算法[J].光學(xué)精密工程，2008，16（10）：1995-2001.

[12]李文，郭立，袁紅星，等.多視環(huán)境下特征點(diǎn)提取的并行實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2012，38（1）：182-184.

[13]于仕琪.學(xué)習(xí)OpenCV（中文版）[M].北京：清華大學(xué)出版社，2009：356-362.

[14]李淑尚，李雷達(dá)，何霽野，等.結(jié)合特征點(diǎn)與極諧變換的圖像拼接[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（3）：234-237.

[15]李歡歡，黃山，張洪斌.基于Harris與SIFT算法的自動(dòng)圖像拼接[J].計(jì)算機(jī)工程與科學(xué)，2012，34（11）：104-108.

HU Yan1，2,WANG Huiqin1，2,YAO Taiwei2,JIAYang2

1.School of Management,Xi’an University of Architecture and Technology,Xi’an 710055,China
2.School of Information and Control Engineering,Xi’an University of Architecture and Technology,Xi’an 710055,China

Aiming at the problem of lower real time,higher false alarm rate and miss rate in the existing video fire smoke detection methods,the feature that early smoke movement is slow,main movement trend is upward and pixel intensity change is consistent in successive frames is found after depth analysis of smoke image characteristics.Multiple feature smoke detection is realized through the Harris detection algorithm to find intensity changes and image edge feature point, based on the optical flow and the motion field correspondence by imaging plane optical flow estimation smoke changes in relative motion,calculation of motion vector information.This algorithm based on the smoke intensity change feature point as detection object greatly reduces the amount of data and shortens processing time.Because the smoke local and global characteristics are studied and applied,the proposed algorithm has the strong robustness and high detection accuracy rate.

Harris;feature point;Lucas-Kanade target tracking;smoke features;smoke recognition

A

TP391.41

10.3778/j.issn.1002-8331.1211-0362

HU Yan,WANG Huiqin,YAO Taiwei,et al.Fire smoke recognition based on Harris feature point detection and tracking.Computer Engineering and Applications,2014,50（21）：180-183.

高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金項(xiàng)目（No.20126120110008）；陜西省教育廳專項(xiàng)科研計(jì)劃項(xiàng)目（No.14JK1438）；西安建筑科技大學(xué)青年科技基金項(xiàng)目（No.QN1125）。

胡燕（1981—），女，博士研究生，工程師，主要研究方向：信息安全和數(shù)字圖像處理；王慧琴（1970—），女，博士后，教授，博士生導(dǎo)師，主要研究方向：數(shù)字圖像處理、計(jì)算機(jī)與通信網(wǎng)絡(luò)安全、智能信息處理；姚太偉（1985—），男，碩士研究生，主要研究方向：數(shù)字圖像處理；賈陽(yáng)（1988—），女，碩士研究生，主要研究方向：數(shù)字圖像處理。E-mail：huyan.nancy@163.com

2012-11-29

2013-04-11

1002-8331（2014）21-0180-04