楊述斌，周敏瑞，潘 偉

（1.武漢工程大學(xué) 電氣信息學(xué)院，武漢430205；2.智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，武漢430205）

火災(zāi)的發(fā)生具有突發(fā)性、破壞性等特點(diǎn)，不論何地，造成的損失和傷害是難以估計(jì)的。因此，及時(shí)發(fā)現(xiàn)火災(zāi)是十分重要的，火災(zāi)的預(yù)警與防護(hù)不僅能保護(hù)人類(lèi)生命財(cái)產(chǎn)安全，還能阻止環(huán)境污染[1]。如今，人們也越來(lái)越重視火災(zāi)的預(yù)警與防護(hù)。

在火災(zāi)發(fā)生初期，燃燒物與氧氣接觸不完全，火焰通常較小且燃燒不充分，處于陰燃狀態(tài)，且煙霧比較明顯，因此，利用煙霧作為火災(zāi)監(jiān)測(cè)對(duì)象具有重要的應(yīng)用價(jià)值?；馂?zāi)煙霧報(bào)警器有多種類(lèi)型，有感溫報(bào)警器、感煙探測(cè)器等，且價(jià)格低廉，應(yīng)用廣泛。但在應(yīng)用中，感煙探測(cè)器根據(jù)火災(zāi)產(chǎn)生的煙霧判斷火災(zāi)發(fā)生與否，對(duì)環(huán)境要求高，還需要經(jīng)常清潔維護(hù)，否則會(huì)降低它對(duì)火災(zāi)的響應(yīng)速度和準(zhǔn)確率；感溫探測(cè)器根據(jù)環(huán)境變化判斷周?chē)h(huán)境是否有火災(zāi)發(fā)生，會(huì)受到蒸汽影響而判斷錯(cuò)誤。這兩種探測(cè)器均需要接觸待檢測(cè)物，適用于房間、倉(cāng)庫(kù)等場(chǎng)所[2]。通過(guò)視頻監(jiān)控方式獲取圖像進(jìn)行火災(zāi)煙霧探測(cè)和預(yù)警成為該領(lǐng)域的一個(gè)新的研究方向，此方法可應(yīng)用到大空間中，克服了感煙探測(cè)器的空間限制。

對(duì)于火災(zāi)產(chǎn)生的煙霧，如何能夠有效且準(zhǔn)確地區(qū)分，成為火災(zāi)煙霧檢測(cè)的難點(diǎn)之一。比如，煙霧的顏色特性信息，存在疑似煙霧顏色物，給檢測(cè)的實(shí)現(xiàn)造成障礙。由此，特征是準(zhǔn)確和有效檢測(cè)煙霧的重要步驟。運(yùn)用煙霧特征的提取達(dá)到準(zhǔn)確而有效的火災(zāi)煙霧識(shí)別是一個(gè)不錯(cuò)的解決方法[3]。

當(dāng)前，由于視頻監(jiān)控具有能夠用于多種空間場(chǎng)景和不限距離的優(yōu)勢(shì)，在此基礎(chǔ)上進(jìn)行火災(zāi)煙霧檢測(cè)的方法受到越來(lái)越多的國(guó)內(nèi)外研究者的注意?；跓熿F識(shí)別的火災(zāi)探測(cè)技術(shù)大致上可分為運(yùn)動(dòng)目標(biāo)檢測(cè)、相關(guān)目標(biāo)的特征提取及識(shí)別3 個(gè)步驟，其中，特征提取是關(guān)鍵步驟，提取方法有圖像識(shí)別處理[4]、顯著特征、多特征融合、深度神經(jīng)網(wǎng)絡(luò)等方式。文獻(xiàn)[5]提出一種融合多種特征的方法檢測(cè)早期煙霧，為提高森林環(huán)境下的火災(zāi)檢測(cè)準(zhǔn)確性。文獻(xiàn)[6]提出多種靜態(tài)特征結(jié)合的方法提取煙霧特征，進(jìn)行測(cè)試及識(shí)別。面對(duì)復(fù)雜的外部空間環(huán)境，文獻(xiàn)[7]提出利用VGG-16 網(wǎng)絡(luò)模型，對(duì)經(jīng)過(guò)同構(gòu)的數(shù)據(jù)進(jìn)行特征遷移學(xué)習(xí)，從而得到深度網(wǎng)絡(luò)遷移的煙霧識(shí)別模型。

煙霧特征常用的描述方法有統(tǒng)計(jì)特征、局部特征、變換域特征。文獻(xiàn)[8]通過(guò)將統(tǒng)計(jì)量特征與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合方法實(shí)現(xiàn)視頻煙霧分析與檢測(cè)。文獻(xiàn)[9]為提高火災(zāi)探測(cè)的準(zhǔn)確性，提出利用不同尺度圖像的紋理特征和煙霧運(yùn)動(dòng)特征相結(jié)合的“靜-靜-動(dòng)”識(shí)別模型。為了及早發(fā)現(xiàn)森林火災(zāi)，文獻(xiàn)[10]提出一種多種靜態(tài)特征和動(dòng)態(tài)特征相結(jié)合的煙霧識(shí)別方法，利用顏色、紋理、區(qū)域生長(zhǎng)特征等相結(jié)合作為判別依據(jù)。

基于視頻圖像的煙霧檢測(cè)技術(shù)不斷有新算法提出，但此領(lǐng)域仍有進(jìn)步空間。由于煙霧以不規(guī)則方式向多個(gè)方向擴(kuò)散運(yùn)動(dòng)，且速度難以確定，利用算法來(lái)確定煙霧區(qū)域，可能使煙霧候選區(qū)域不完整或者多個(gè)離散區(qū)域?，F(xiàn)有的提取動(dòng)態(tài)目標(biāo)的算法將這部分像素判定為背景，造成誤判現(xiàn)象，還將影響提取煙霧特征，且最終影響對(duì)煙霧區(qū)域的檢測(cè)。煙霧特征的有效提取是實(shí)現(xiàn)火災(zāi)檢測(cè)和預(yù)警的重要步驟之一，能夠提高煙霧識(shí)別的準(zhǔn)確率。通過(guò)運(yùn)用改進(jìn)后的幀間差分法、背景減除法和光流法3 種特征提取技術(shù)在火災(zāi)煙霧檢測(cè)中的應(yīng)用，分析各自的特點(diǎn)并得出場(chǎng)景的適用性結(jié)論。

1 相關(guān)工作

火災(zāi)發(fā)生早期，一般先陰燃，有煙霧產(chǎn)生，隨著溫度逐漸攀升，火焰逐漸產(chǎn)生。早期的煙霧常常呈現(xiàn)為白色或者灰白色，隨著時(shí)間推移和燃燒的加劇，煙霧逐漸由輕薄煙霧轉(zhuǎn)為濃厚的煙霧，伴隨著環(huán)境因素和燃燒物熱氣影響，其運(yùn)動(dòng)逐漸加劇，不斷擴(kuò)散，且煙霧的面積會(huì)隨著時(shí)間不斷變化。通過(guò)使用動(dòng)態(tài)特征提取方法，處理連續(xù)視頻幀圖像信息，區(qū)分出運(yùn)動(dòng)前景與背景。運(yùn)動(dòng)目標(biāo)的檢測(cè)方法主要有光流法[11]、背景減除法[12]和幀間差分法[13-14]。光流法由物體和相機(jī)的相對(duì)運(yùn)動(dòng)產(chǎn)生，在極短的時(shí)間內(nèi)，反映出物體的圖像像素的運(yùn)動(dòng)方向和速度，以實(shí)現(xiàn)目標(biāo)檢測(cè)，但此算法的運(yùn)算量大，在視頻流中檢測(cè)速度慢。背景減除法，或稱(chēng)為背景差分法，先構(gòu)建初始化背景，利用當(dāng)前圖像與背景圖像對(duì)應(yīng)像素點(diǎn)的灰度差值計(jì)算，再利用模型更新，通過(guò)合適的閾值處理得到目標(biāo)區(qū)域，由于精確的背景模型的建立需要足夠的數(shù)據(jù)且需要恰當(dāng)?shù)木駬瘢羰墙５谋尘皵?shù)據(jù)不足，會(huì)導(dǎo)致結(jié)果不佳或者誤檢。幀間差分法利用視頻中的不同幀圖像作差分計(jì)算獲得運(yùn)動(dòng)目標(biāo)，因相鄰幀圖像之間的灰度值差別小，取得的差分結(jié)果常會(huì)不全且分布多個(gè)離散區(qū)域。上述幾種方法均存在不足。由此，本研究提出了一種結(jié)合運(yùn)動(dòng)目標(biāo)面積變化和幀差法相結(jié)合的動(dòng)態(tài)多幀差法的檢測(cè)方法，能夠較好地運(yùn)用幀差法，保留較為完整的運(yùn)動(dòng)目標(biāo)。

幀間差分法是在視頻中的靜態(tài)場(chǎng)景圖像中進(jìn)行前景分割的一種極為流行的方法，利用圖像連續(xù)序列幀中的相鄰兩幀或者三幀圖像的對(duì)應(yīng)像素值相減做差分，再對(duì)差值圖像進(jìn)行閾值化處理，得到圖中的運(yùn)動(dòng)區(qū)域。該算法對(duì)兩幀圖像間前景灰度值變化較大，即運(yùn)動(dòng)目標(biāo)變化快速情況下，取得變化區(qū)域效果較好，但是，對(duì)灰度值變化緩慢，取得變化區(qū)域待提升，且這種固定幀差提取方法會(huì)造成較多的區(qū)域缺失。因此，提出一種根據(jù)運(yùn)動(dòng)區(qū)域面積變化為條件，實(shí)現(xiàn)動(dòng)態(tài)間隔變化的幀差法。該改進(jìn)的幀差法簡(jiǎn)述如下：假設(shè)fk（x，y）、fk-ai（x，y）、fk-bi（x，y）、fk-ci（x，y）分別為某一圖像序列的第k 幀，第k-ai幀，第k-bi 幀，第k-ci 幀，其中，a，b，c 分別為根據(jù)面積比率變化的取值，則它們的差分圖像可表示為

式中：（x，y）表示離散圖像坐標(biāo)；Dk為動(dòng)態(tài)間隔的連續(xù)幀間圖像的對(duì)應(yīng)像素值的差值；areaj和areaj-1為j 時(shí)刻和j-1 時(shí)刻圖像前景的面積值；為面積值比率，根據(jù)面積比率變化調(diào)整幀數(shù)變化；T0和T1為連續(xù)幀間隔分割判斷值。然后，對(duì)差分后的圖像選取合適的閾值T 進(jìn)行二值化處理，判斷圖像中的各像素點(diǎn)是前景還是背景，對(duì)差分圖像的賦值規(guī)則如下：

式中：Gk為二值圖像；T 為分割閾值。若是像素值高于閾值，則被認(rèn)為是前景點(diǎn)；若像素值低于閾值，則被認(rèn)為是背景點(diǎn)。分割閾值T 對(duì)后續(xù)的運(yùn)動(dòng)目標(biāo)的處理有一定影響。

隨著燃燒物與空氣接觸越來(lái)越充分，火災(zāi)依靠自身熱量、風(fēng)等影響不斷擴(kuò)散，使煙霧面積不斷擴(kuò)大，而一些干擾物，如行人、車(chē)等外形輪廓固定，因此，使用面積增長(zhǎng)比作為判別幀數(shù)差的依據(jù)。由于，煙霧可能受到天氣因素的影響，煙霧面積變小，出現(xiàn)負(fù)增長(zhǎng)現(xiàn)象，增加計(jì)算難度，由此，提出區(qū)域面積比分析方法。

計(jì)算連續(xù)視頻幀圖像中的疑煙區(qū)面積公式為

式中：areaj-1為j 時(shí)刻連續(xù)n 幀煙區(qū)區(qū)域的面積之和；sn為第n 幀煙霧區(qū)域的面積。

計(jì)算疑似煙區(qū)的面積比公式為

由式（5）得到的煙霧面積比作為閾值。

2 動(dòng)態(tài)多幀差法算法流程

本研究改進(jìn)的算法主要有3 個(gè)步驟：

步驟1提取視頻序列幀圖像，對(duì)圖像進(jìn)行濾波處理，提高圖像清晰度，降低噪聲的影響，再進(jìn)行形態(tài)學(xué)處理。

步驟2對(duì)圖像進(jìn)行幀差操作，獲取到的連續(xù)幀的運(yùn)動(dòng)目標(biāo)求面積，且對(duì)連續(xù)面積結(jié)果作比，根據(jù)比例數(shù)值為閾值來(lái)選取合適的幀間隔數(shù)作差分。

步驟3對(duì)得到的結(jié)果進(jìn)行形態(tài)學(xué)操作與輪廓提取，得到結(jié)果。通過(guò)以上3 個(gè)步驟后可得到較為合適的運(yùn)動(dòng)前景。算法的煙霧檢測(cè)流程如圖1所示。

圖1 煙霧檢測(cè)流程Fig.1 Smoke detection flow chart

該算法整體流程共包含4 個(gè)模塊：

（1）預(yù)處理

（2）疑似煙霧確定

使用以面積比率為閾值的動(dòng)態(tài)多幀差法獲取疑似煙霧。

（3）特征提取

再提取疑似煙區(qū)的面積、周長(zhǎng)。

（4）確定煙區(qū)

根據(jù)提取的疑似煙區(qū)的面積與周長(zhǎng)變化來(lái)綜合判別此區(qū)域是否為煙霧區(qū)域。

3 仿真實(shí)驗(yàn)及分析

視頻煙霧檢測(cè)尚沒(méi)有像人臉檢測(cè)領(lǐng)域的統(tǒng)一的公開(kāi)數(shù)據(jù)庫(kù)。文中使用的視頻數(shù)據(jù)來(lái)自韓國(guó)啟明大學(xué)實(shí)驗(yàn)室（http：//cvpr.kmu.ac.kr/）及視頻拍攝。文中實(shí)驗(yàn)使用的機(jī)器為Core i5 3.4 GHz，內(nèi)存為8 GB，操作系統(tǒng)為Windows10，使用的軟件環(huán)境為python3.7和OpenCV4.5.0 計(jì)算機(jī)視覺(jué)庫(kù)。

阿箬只顧歡喜，根本未察覺(jué)青櫻的神色：“所以呀，小主一定會(huì)被封為僅次于皇后的皇貴妃，位同副后。再不濟(jì)，總也一定是貴妃之位。若等小主生下皇子，太子之位還指不定是誰(shuí)的呢……”

圖2 分別為原視頻序列幀圖2（a）和經(jīng)過(guò)二幀差法處理后的煙霧檢測(cè)圖2（b）。圖2（b）與圖2（a）對(duì)比，煙霧濃厚處變化不明顯，而煙霧稀薄處變化明顯，說(shuō)明煙霧在擴(kuò)散過(guò)程中，連續(xù)幀間的變化較為微小，發(fā)生灰度值變化的區(qū)域較少，提取的特征不完整的可能性極大。

圖2 煙霧提取Fig.2 Smoke extraction

圖3 分別為原視頻幀、背景差分法得到的結(jié)果、經(jīng)光流法得到的結(jié)果、煙霧視頻經(jīng)過(guò)本文算法處理后的結(jié)果。圖3（b）提取到的結(jié)果存在多處殘缺不全且處于分散狀態(tài)，說(shuō)明背景建模不佳及更新不及時(shí)，圖3（c）提取到的結(jié)果存在較多非煙霧的噪聲干擾，存在很大程度上的提取失誤；而經(jīng)過(guò)本研究算法處理后能夠提高煙區(qū)完整度且去除了噪聲干擾子，如圖3（d）提取到的煙霧圖像。

圖3 三種算法測(cè)試結(jié)果對(duì)比Fig.3 Comparison of test results of three algorithms

為驗(yàn)證本算法的適用性，取來(lái)網(wǎng)站上公開(kāi)的三段視頻數(shù)據(jù)，分辨率均為320*240，視頻1 為近景拍攝的樓前煙霧視頻，煙霧較為濃厚，存在風(fēng)，擴(kuò)散較快，視頻2 為中遠(yuǎn)景拍攝的山坡煙霧圖，煙霧稀薄，且伴隨微風(fēng)，煙霧擴(kuò)散較慢，視頻3 為遠(yuǎn)景拍攝的森林與樓房的交界處，煙霧由稀少到稀薄，存在細(xì)微風(fēng)，分別對(duì)三種算法進(jìn)行對(duì)比。結(jié)果見(jiàn)表1。

表1 煙霧測(cè)試視頻對(duì)比Tab.1 Smoke test video comparison

從表1 中可看出，相對(duì)于算法1 背景減除法和算法2 光流法，本文算法能夠較早的檢測(cè)到煙霧。在煙霧擴(kuò)散較快時(shí)，如視頻1，三種算法耗時(shí)分別為20 s、73 s 和33 s，本文算法與算法1 和算法2 均能較快地檢測(cè)到煙霧。表明本文算法可用于近景且煙霧擴(kuò)散快的場(chǎng)景。在距離較遠(yuǎn)，如視頻2，煙霧擴(kuò)散較慢的場(chǎng)景，本文算法用時(shí)最短且在第30 幀檢測(cè)到煙霧，僅需要50 s，其他兩種算法耗時(shí)超過(guò)百秒，表明本文算法能夠較快地檢測(cè)到煙霧。本文算法可判別出煙霧像素，防止融于背景，并且，面積增長(zhǎng)特征可在煙霧較少時(shí)，區(qū)分出煙霧和剛性物體。

在煙霧稀薄的場(chǎng)景中，如視頻3，本文算法能檢測(cè)出煙霧，而算法1 和算法2 均為檢測(cè)到煙霧，且存在雜物影響，這是因?yàn)闊熿F稀薄且擴(kuò)散緩慢。

通過(guò)比較發(fā)現(xiàn)，本文算法可用于室外的森林、街道等場(chǎng)景中，有較好的檢測(cè)效果，且具有一定的抗干擾能力。

4 結(jié)語(yǔ)

針對(duì)現(xiàn)有的算法基于視頻的煙霧檢測(cè)存在的問(wèn)題，根據(jù)煙霧運(yùn)動(dòng)特點(diǎn)，對(duì)現(xiàn)有的動(dòng)態(tài)特征提取算法進(jìn)行改進(jìn)，并結(jié)合煙霧面積特性，能持續(xù)提出較為完整的煙霧區(qū)域。實(shí)驗(yàn)驗(yàn)證了該方法的可行性，且計(jì)算量比較小，易于實(shí)現(xiàn)。

通過(guò)利用3 種火災(zāi)煙霧動(dòng)態(tài)特征提取方法的具體過(guò)程，進(jìn)行了相關(guān)的實(shí)驗(yàn)對(duì)比分析。通過(guò)實(shí)驗(yàn)表明，在煙霧動(dòng)態(tài)特征提取速度方面，本文算法對(duì)視頻圖像的處理速度快于其他兩種方法，從側(cè)面表明本文算法的計(jì)算復(fù)雜度是其中最低的；在煙霧動(dòng)態(tài)特征提取的完整度方面，幀差法提取出的煙霧存在“空洞”現(xiàn)象，而本文算法大大地提高了其完整度，且提取效果高于背景減除法和光流法。也表明燃燒程度不同，煙霧飄動(dòng)的劇烈程度存在差別，提取出的特征也有所不同。