張謙　張勇衛(wèi)　劉琴

摘要：基于機(jī)器視覺的火災(zāi)識別技術(shù)對于智慧消防具有極為重要的意義。針對火焰容易受到復(fù)雜背景、不同攝像角度等因素影響，本文提出一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)高精度識別算法。算法將火災(zāi)識別任務(wù)分解成前景提取與精準(zhǔn)識別兩個階段。在前景提取階段，算法結(jié)合火焰運(yùn)動性特點(diǎn)，使用幀差法對火災(zāi)候選區(qū)域進(jìn)行快速提取。在精準(zhǔn)識別階段，算法引入空間金字塔池化模塊，設(shè)計多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行火災(zāi)識別，實(shí)現(xiàn)對不同火焰尺度圖像的高精度檢測。在實(shí)際數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)，本文所提出算法在圖像和視頻領(lǐng)域分別取得93.6%和94.9%的火災(zāi)識別準(zhǔn)確率，這有力證明了本文算法的有效性。

關(guān)鍵詞：火災(zāi)識別；多尺度卷積神經(jīng)網(wǎng)絡(luò)；空間金字塔池化；幀差法

引言

隨著社會的不斷發(fā)展與變遷，以火災(zāi)識別[1]為代表的消防安全問題呈現(xiàn)日益復(fù)雜的趨勢。在這種大背景下，傳統(tǒng)的火災(zāi)識別技術(shù)體系難以滿足現(xiàn)代化消防的需求，如果不對火災(zāi)識別系統(tǒng)進(jìn)行技術(shù)更新與優(yōu)化，不僅會給消防安全帶來隱患，而且還會影響社會的繁榮與穩(wěn)定。近年來，以深度學(xué)習(xí)為代表的人工智能技術(shù)快速發(fā)展，并給機(jī)器視覺、電力調(diào)度、物流管理等眾多領(lǐng)域帶來巨大進(jìn)步。因此，信息時代下智慧消防無疑是當(dāng)今消防安全管理工作的發(fā)展趨勢。如何更好將人工智能技術(shù)應(yīng)用于消防領(lǐng)域，進(jìn)而實(shí)現(xiàn)火災(zāi)報警智能化，是當(dāng)前消防部門和公共安全領(lǐng)域?qū)W者專家的研究重點(diǎn)。而基于機(jī)器視覺的火災(zāi)識別技術(shù)作為消防安全領(lǐng)域的重要方向，可以為火災(zāi)檢測報警提供信息化支撐，提高現(xiàn)代社會消防監(jiān)督與管理水平，提升智慧城市的綜合防火能力，具有極為重要的社會效益和應(yīng)用前景。

一、關(guān)鍵技術(shù)研究：基于兩階段式的火災(zāi)識別算法

火焰容易受到復(fù)雜空間環(huán)境、物體遮擋、光線強(qiáng)弱等因素的影響，造成識別難度提高；同時，火焰在不同位置、不同角度、不同相機(jī)等圖像傳感器中獲取的圖像視頻信息會呈現(xiàn)不同的大小，造成火焰圖像的多尺度性，為火災(zāi)精準(zhǔn)識別帶來挑戰(zhàn)。為解決上述兩個問題，本文提出兩階段式的火災(zāi)識別模型，將火災(zāi)識別任務(wù)分成前景提?。ɑ蚍Q為快速定位）和精準(zhǔn)識別兩個階段。具體而言，首先使用計算資源占用小的幀差法進(jìn)行圖像的前景提取，之后設(shè)計包含金字塔結(jié)構(gòu)的多尺度卷積神經(jīng)網(wǎng)絡(luò)對前景提取出的候選區(qū)進(jìn)行精準(zhǔn)分類[2]。

（一）基于幀差法的前景提取模型

場景相機(jī)等視頻監(jiān)控設(shè)備采集的視頻序列具有連續(xù)性特點(diǎn)，即運(yùn)動目標(biāo)之外的背景變化一般較小，因此可以采用運(yùn)動目標(biāo)檢測來消除絕大部分的靜止背景，進(jìn)而實(shí)現(xiàn)前景（火災(zāi)候選區(qū)）提取。主流的運(yùn)動目標(biāo)檢測算法有背景消減法、光流法和幀差法。由于以高斯混合模型為代表的背景消減法和以Lucas-Kanade模型為代表的光流法存在計算資源開銷大、實(shí)時性差的問題，本文采用高效簡潔的幀差法進(jìn)行圖像的前景提取，極大提高算法的速度，以滿足火災(zāi)實(shí)時檢測識別需求。

對于連續(xù)時間視頻序列中任意第n-1幀和第n幀的圖像，兩幀之間對應(yīng)相同位置的像素值為fn-1（x，y）和fn（x，y），兩幀相減取絕對值得到連續(xù)幀的差分圖像Dn（x，y）。結(jié)合差分圖像二值化所選取的閾值T，當(dāng)差分圖像像素大于閾值時，該像素點(diǎn)為前景，即火災(zāi)候選區(qū)，否則為背景，進(jìn)而得到差分圖像二值圖Vn（x，y）。將二值圖映射到原圖像中，得到包含完整運(yùn)動目標(biāo)的火災(zāi)候選區(qū)域，即前景Fn（x，y）。

式中，Rn（x，y）、Gn（x，y）、Bn（x，y）分別表示圖像像素點(diǎn)的紅、綠、藍(lán)分量值，也就是基于運(yùn)算量較小的RGB顏色空間，最大程度保證原始圖像中的真實(shí)信息，高效輕量化提取火災(zāi)前景信息[3]。

（二）基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)精準(zhǔn)識別模型

考慮到火焰在不同場景、不同位置、由不同設(shè)置參數(shù)的攝像機(jī)所拍攝得到的圖像呈現(xiàn)不同的大小尺度，本文提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)精準(zhǔn)識別模型，引入空間金字塔池化模塊，來提高模型在任何形狀、尺寸輸入下的火災(zāi)識別精度。

本文所提出模型使用交替放置的兩層卷積層和池化層來進(jìn)行特征提取，卷積核尺寸逐步減小但深度逐漸增加，之后引入空間金字塔結(jié)構(gòu)，不同維度的級聯(lián)特征通過空間金字塔池化模塊得到固定維度（長度）的特征向量，之后使用固定維度的連續(xù)兩層全連接層進(jìn)行映射，最后得到該圖像區(qū)域存在火災(zāi)的概率。具體而言，多尺度卷積網(wǎng)絡(luò)的第一層卷積層包含32個卷積核，而第二層卷積層包含64個卷積核。兩層卷積層之后均跟隨一層最大池化層，以提取圖像中更多的紋理特征。空間金字塔池化模塊包含4種不同的特征提取尺度，但特征尺度總和保持維不變，即空間金字塔模塊輸出的維度固定。后置的兩層全連接層均為512維，并且在全連接層后端引入Softmax激活函數(shù)，用以輸出網(wǎng)絡(luò)判斷該圖像區(qū)域存在火災(zāi)的概率[4]。

空間金字塔池化模塊的引入有效解決了傳統(tǒng)卷積網(wǎng)絡(luò)需要輸入圖像尺度相近的限制，可以更加高效提取輸入圖像中的火災(zāi)語義信息，實(shí)現(xiàn)對多種多樣的火焰進(jìn)行更高精度識別，同時網(wǎng)絡(luò)的魯棒性也更強(qiáng)。

二、實(shí)驗(yàn)分析

提升本文所提出的火災(zāi)識別算法設(shè)計與搭建、模型訓(xùn)練與測試等實(shí)驗(yàn)均基于Windows系統(tǒng)，使用TensorFlow深度學(xué)習(xí)框架和Python3.8.0編程語言來實(shí)現(xiàn)。同時，本文所使用計算機(jī)的硬件配置為Intel（R）Core（TM）i7-9700KF@3.60GHz處理器，8G內(nèi)存和英偉達(dá)GeForceGTX1060顯卡[5]。

（一）數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文結(jié)合土耳其比爾肯大學(xué)火災(zāi)數(shù)據(jù)集和中國某省份消防系統(tǒng)內(nèi)部數(shù)據(jù)集，構(gòu)建含11000張圖片的火焰數(shù)據(jù)集。其中，隨機(jī)選擇10000張圖片進(jìn)行模型訓(xùn)練，余下1000張圖片進(jìn)行模型測試。在視頻識別方面，選取韓國啟明大學(xué)公開的5個視頻序列進(jìn)行實(shí)驗(yàn)。

在本文實(shí)驗(yàn)中，多尺度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)由Adam優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)置為0.01，每10個訓(xùn)練輪次學(xué)習(xí)率減半。訓(xùn)練批量大小設(shè)置為8，共進(jìn)行250輪訓(xùn)練。此外，針對本文所提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)，對輸入圖像進(jìn)行預(yù)處理，采樣得到360×640、300×453、400×600、300×400、330×252五種分辨率尺度，并在訓(xùn)練過程中將五種預(yù)設(shè)尺度的圖像間隔性迭代訓(xùn)練。每個輪次固定訓(xùn)練一個尺度，按照訓(xùn)練輪次進(jìn)行循環(huán)切換，這樣保證網(wǎng)絡(luò)能同時學(xué)習(xí)到不同尺度大小的火焰特征信息，實(shí)現(xiàn)多尺度卷積神經(jīng)網(wǎng)絡(luò)的多尺度訓(xùn)練[6]。

（二）火災(zāi)圖像識別

將本文提出的模型與通用卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)算法共同在10000張訓(xùn)練圖像上進(jìn)行訓(xùn)練，可以發(fā)現(xiàn)本文算法取得最高的火災(zāi)識別準(zhǔn)確率93.6%，比卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)算法分別高3.1%和9.8%。為了更清晰展示整個訓(xùn)練過程，本文展示三種算法在訓(xùn)練過程中的火災(zāi)識別準(zhǔn)確率，如圖1所示?？梢钥吹?，本文算法經(jīng)過10個輪次，準(zhǔn)確率達(dá)到80%以上；經(jīng)過50個輪次，準(zhǔn)確率達(dá)到85%以上；經(jīng)過120個輪次，準(zhǔn)確率達(dá)到90%以上，并最終達(dá)到93.6%。

測試階段，本文所提出的算法取得91.7%的識別準(zhǔn)確率。相比而言，通用的卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分別取得88.7%和82.1%的識別準(zhǔn)確率?？梢?，本文算法有著更好的火災(zāi)識別能力[7]。

（三）火災(zāi)視頻識別

針對視頻序列數(shù)據(jù)，模型先使用幀差法進(jìn)行前景提取，即確定火災(zāi)可能的獲選區(qū)域，再使用多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行高精度火災(zāi)識別。為充分驗(yàn)證算法的有效性，本文選取包含了庭院火焰、荒野火焰和室內(nèi)火焰三種場景的火焰視頻以及城市公路場景燈光與真實(shí)火焰相似的兩個非火災(zāi)視頻進(jìn)行實(shí)驗(yàn)測試。

表1展示了本文所提出算法與通用的卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)進(jìn)行火災(zāi)視頻識別的精度對比。整體來看，本文所提出算法在5個視頻場景中均取得最高的火災(zāi)識別準(zhǔn)確率。以場景1為例，本文算法的火災(zāi)識別準(zhǔn)確率是95.8%，比通用的卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分別高2.0%和4.2%；以場景5為例，本文算法的識別準(zhǔn)確率是92.5%，優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)89.3%的準(zhǔn)確率和支持向量機(jī)87.1%的準(zhǔn)確率。因此，實(shí)驗(yàn)證明本文算法具有較強(qiáng)的火災(zāi)識別能力，為智慧消防的發(fā)展提供堅實(shí)基礎(chǔ)[8]。

結(jié)語

基于機(jī)器視覺的火災(zāi)識別技術(shù)對于火災(zāi)精準(zhǔn)防控與智慧消防具有重要意義。針對火災(zāi)圖像容易受到復(fù)雜環(huán)境背景、光線強(qiáng)度、相機(jī)拍攝尺度角度等因素影響，本文提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的兩階段式火災(zāi)識別模型，將火災(zāi)檢測任務(wù)分解成前景提取與精準(zhǔn)識別兩個階段。在前景提取階段，使用幀差法快速高效提取火災(zāi)候選區(qū)域；之后在精準(zhǔn)識別階段，設(shè)計多尺度卷積神經(jīng)網(wǎng)絡(luò)對不同尺度的火焰圖像進(jìn)行精準(zhǔn)識別。仿真結(jié)果表明，本文提出算法具有較好的火災(zāi)識別能力，在火災(zāi)圖像和視頻數(shù)據(jù)集上分別取得93.6%和94.9%的準(zhǔn)確率，遠(yuǎn)高于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)算法。這有力證明了本文算法的有效性。此外，在未來研究工作中，可以針對本文算法識別錯誤的圖像，對這些難于識別的圖像使用數(shù)據(jù)增強(qiáng)算法，利用微調(diào)的方式對原算法進(jìn)行遷移訓(xùn)練，旨在提高算法的識別準(zhǔn)確率。

參考文獻(xiàn)

[1]劉曉薇，雷蕾.智慧消防發(fā)展現(xiàn)狀研究[J].消防界（電子版），2022，8（01）：1922.

[2]徐梓涵，劉軍，張?zhí)K沛，等.一種基于MobileNet的火災(zāi)煙霧檢測方法[J].武漢工程大學(xué)學(xué)報，2019，41（06）：580-585.

[3]李成美，白宏陽，郭宏偉，等.一種改進(jìn)光流法的運(yùn)動目標(biāo)檢測及跟蹤算法[J].儀器儀表學(xué)報，2018，39（05）：249-256.

[4]朱磊，馮成濤，張繼，等.動態(tài)背景下運(yùn)動目標(biāo)檢測算法[J].現(xiàn)代電子技術(shù)，2022，45（06）：148-152.

[5]楊婷，趙楊輝.基于團(tuán)塊標(biāo)記的火災(zāi)識別算法[J].黑龍江科技大學(xué)學(xué)報，2022，32（02）：263-268.

[6]陳培豪，肖鐸，劉泓.基于深度學(xué)習(xí)的視頻火災(zāi)識別算法[J].燃燒科學(xué)與技術(shù)，2021，27（06）：695-700.

[7]李杰，邱選兵，張恩華，等.基于卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)識別算法[J].計算機(jī)應(yīng)用，2020，40（S2）：173-177.

[8]陳培豪，肖鐸，李晨輝.多傳感器融合的火災(zāi)識別算法研究[J].消防科學(xué)與技術(shù)，2020，39（06）：810-813.

作者簡介：張謙（1988- ），男，漢族，四川資陽人，本科，中級職稱，研究方向：消防。