張謙　張勇衛(wèi)　劉琴

摘要：基于機(jī)器視覺(jué)的火災(zāi)識(shí)別技術(shù)對(duì)于智慧消防具有極為重要的意義。針對(duì)火焰容易受到復(fù)雜背景、不同攝像角度等因素影響，本文提出一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)高精度識(shí)別算法。算法將火災(zāi)識(shí)別任務(wù)分解成前景提取與精準(zhǔn)識(shí)別兩個(gè)階段。在前景提取階段，算法結(jié)合火焰運(yùn)動(dòng)性特點(diǎn)，使用幀差法對(duì)火災(zāi)候選區(qū)域進(jìn)行快速提取。在精準(zhǔn)識(shí)別階段，算法引入空間金字塔池化模塊，設(shè)計(jì)多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行火災(zāi)識(shí)別，實(shí)現(xiàn)對(duì)不同火焰尺度圖像的高精度檢測(cè)。在實(shí)際數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)，本文所提出算法在圖像和視頻領(lǐng)域分別取得93.6%和94.9%的火災(zāi)識(shí)別準(zhǔn)確率，這有力證明了本文算法的有效性。

關(guān)鍵詞：火災(zāi)識(shí)別；多尺度卷積神經(jīng)網(wǎng)絡(luò)；空間金字塔池化；幀差法

引言

隨著社會(huì)的不斷發(fā)展與變遷，以火災(zāi)識(shí)別[1]為代表的消防安全問(wèn)題呈現(xiàn)日益復(fù)雜的趨勢(shì)。在這種大背景下，傳統(tǒng)的火災(zāi)識(shí)別技術(shù)體系難以滿足現(xiàn)代化消防的需求，如果不對(duì)火災(zāi)識(shí)別系統(tǒng)進(jìn)行技術(shù)更新與優(yōu)化，不僅會(huì)給消防安全帶來(lái)隱患，而且還會(huì)影響社會(huì)的繁榮與穩(wěn)定。近年來(lái)，以深度學(xué)習(xí)為代表的人工智能技術(shù)快速發(fā)展，并給機(jī)器視覺(jué)、電力調(diào)度、物流管理等眾多領(lǐng)域帶來(lái)巨大進(jìn)步。因此，信息時(shí)代下智慧消防無(wú)疑是當(dāng)今消防安全管理工作的發(fā)展趨勢(shì)。如何更好將人工智能技術(shù)應(yīng)用于消防領(lǐng)域，進(jìn)而實(shí)現(xiàn)火災(zāi)報(bào)警智能化，是當(dāng)前消防部門和公共安全領(lǐng)域?qū)W者專家的研究重點(diǎn)。而基于機(jī)器視覺(jué)的火災(zāi)識(shí)別技術(shù)作為消防安全領(lǐng)域的重要方向，可以為火災(zāi)檢測(cè)報(bào)警提供信息化支撐，提高現(xiàn)代社會(huì)消防監(jiān)督與管理水平，提升智慧城市的綜合防火能力，具有極為重要的社會(huì)效益和應(yīng)用前景。

一、關(guān)鍵技術(shù)研究：基于兩階段式的火災(zāi)識(shí)別算法

火焰容易受到復(fù)雜空間環(huán)境、物體遮擋、光線強(qiáng)弱等因素的影響，造成識(shí)別難度提高；同時(shí)，火焰在不同位置、不同角度、不同相機(jī)等圖像傳感器中獲取的圖像視頻信息會(huì)呈現(xiàn)不同的大小，造成火焰圖像的多尺度性，為火災(zāi)精準(zhǔn)識(shí)別帶來(lái)挑戰(zhàn)。為解決上述兩個(gè)問(wèn)題，本文提出兩階段式的火災(zāi)識(shí)別模型，將火災(zāi)識(shí)別任務(wù)分成前景提?。ɑ蚍Q為快速定位）和精準(zhǔn)識(shí)別兩個(gè)階段。具體而言，首先使用計(jì)算資源占用小的幀差法進(jìn)行圖像的前景提取，之后設(shè)計(jì)包含金字塔結(jié)構(gòu)的多尺度卷積神經(jīng)網(wǎng)絡(luò)對(duì)前景提取出的候選區(qū)進(jìn)行精準(zhǔn)分類[2]。

（一）基于幀差法的前景提取模型

場(chǎng)景相機(jī)等視頻監(jiān)控設(shè)備采集的視頻序列具有連續(xù)性特點(diǎn)，即運(yùn)動(dòng)目標(biāo)之外的背景變化一般較小，因此可以采用運(yùn)動(dòng)目標(biāo)檢測(cè)來(lái)消除絕大部分的靜止背景，進(jìn)而實(shí)現(xiàn)前景（火災(zāi)候選區(qū)）提取。主流的運(yùn)動(dòng)目標(biāo)檢測(cè)算法有背景消減法、光流法和幀差法。由于以高斯混合模型為代表的背景消減法和以Lucas-Kanade模型為代表的光流法存在計(jì)算資源開(kāi)銷大、實(shí)時(shí)性差的問(wèn)題，本文采用高效簡(jiǎn)潔的幀差法進(jìn)行圖像的前景提取，極大提高算法的速度，以滿足火災(zāi)實(shí)時(shí)檢測(cè)識(shí)別需求。

對(duì)于連續(xù)時(shí)間視頻序列中任意第n-1幀和第n幀的圖像，兩幀之間對(duì)應(yīng)相同位置的像素值為fn-1（x，y）和fn（x，y），兩幀相減取絕對(duì)值得到連續(xù)幀的差分圖像Dn（x，y）。結(jié)合差分圖像二值化所選取的閾值T，當(dāng)差分圖像像素大于閾值時(shí)，該像素點(diǎn)為前景，即火災(zāi)候選區(qū)，否則為背景，進(jìn)而得到差分圖像二值圖Vn（x，y）。將二值圖映射到原圖像中，得到包含完整運(yùn)動(dòng)目標(biāo)的火災(zāi)候選區(qū)域，即前景Fn（x，y）。

式中，Rn（x，y）、Gn（x，y）、Bn（x，y）分別表示圖像像素點(diǎn)的紅、綠、藍(lán)分量值，也就是基于運(yùn)算量較小的RGB顏色空間，最大程度保證原始圖像中的真實(shí)信息，高效輕量化提取火災(zāi)前景信息[3]。

（二）基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)精準(zhǔn)識(shí)別模型

考慮到火焰在不同場(chǎng)景、不同位置、由不同設(shè)置參數(shù)的攝像機(jī)所拍攝得到的圖像呈現(xiàn)不同的大小尺度，本文提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)精準(zhǔn)識(shí)別模型，引入空間金字塔池化模塊，來(lái)提高模型在任何形狀、尺寸輸入下的火災(zāi)識(shí)別精度。

本文所提出模型使用交替放置的兩層卷積層和池化層來(lái)進(jìn)行特征提取，卷積核尺寸逐步減小但深度逐漸增加，之后引入空間金字塔結(jié)構(gòu)，不同維度的級(jí)聯(lián)特征通過(guò)空間金字塔池化模塊得到固定維度（長(zhǎng)度）的特征向量，之后使用固定維度的連續(xù)兩層全連接層進(jìn)行映射，最后得到該圖像區(qū)域存在火災(zāi)的概率。具體而言，多尺度卷積網(wǎng)絡(luò)的第一層卷積層包含32個(gè)卷積核，而第二層卷積層包含64個(gè)卷積核。兩層卷積層之后均跟隨一層最大池化層，以提取圖像中更多的紋理特征?？臻g金字塔池化模塊包含4種不同的特征提取尺度，但特征尺度總和保持維不變，即空間金字塔模塊輸出的維度固定。后置的兩層全連接層均為512維，并且在全連接層后端引入Softmax激活函數(shù)，用以輸出網(wǎng)絡(luò)判斷該圖像區(qū)域存在火災(zāi)的概率[4]。

空間金字塔池化模塊的引入有效解決了傳統(tǒng)卷積網(wǎng)絡(luò)需要輸入圖像尺度相近的限制，可以更加高效提取輸入圖像中的火災(zāi)語(yǔ)義信息，實(shí)現(xiàn)對(duì)多種多樣的火焰進(jìn)行更高精度識(shí)別，同時(shí)網(wǎng)絡(luò)的魯棒性也更強(qiáng)。

二、實(shí)驗(yàn)分析

提升本文所提出的火災(zāi)識(shí)別算法設(shè)計(jì)與搭建、模型訓(xùn)練與測(cè)試等實(shí)驗(yàn)均基于Windows系統(tǒng)，使用TensorFlow深度學(xué)習(xí)框架和Python3.8.0編程語(yǔ)言來(lái)實(shí)現(xiàn)。同時(shí)，本文所使用計(jì)算機(jī)的硬件配置為Intel（R）Core（TM）i7-9700KF@3.60GHz處理器，8G內(nèi)存和英偉達(dá)GeForceGTX1060顯卡[5]。

（一）數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本文結(jié)合土耳其比爾肯大學(xué)火災(zāi)數(shù)據(jù)集和中國(guó)某省份消防系統(tǒng)內(nèi)部數(shù)據(jù)集，構(gòu)建含11000張圖片的火焰數(shù)據(jù)集。其中，隨機(jī)選擇10000張圖片進(jìn)行模型訓(xùn)練，余下1000張圖片進(jìn)行模型測(cè)試。在視頻識(shí)別方面，選取韓國(guó)啟明大學(xué)公開(kāi)的5個(gè)視頻序列進(jìn)行實(shí)驗(yàn)。

在本文實(shí)驗(yàn)中，多尺度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)由Adam優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)置為0.01，每10個(gè)訓(xùn)練輪次學(xué)習(xí)率減半。訓(xùn)練批量大小設(shè)置為8，共進(jìn)行250輪訓(xùn)練。此外，針對(duì)本文所提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)，對(duì)輸入圖像進(jìn)行預(yù)處理，采樣得到360×640、300×453、400×600、300×400、330×252五種分辨率尺度，并在訓(xùn)練過(guò)程中將五種預(yù)設(shè)尺度的圖像間隔性迭代訓(xùn)練。每個(gè)輪次固定訓(xùn)練一個(gè)尺度，按照訓(xùn)練輪次進(jìn)行循環(huán)切換，這樣保證網(wǎng)絡(luò)能同時(shí)學(xué)習(xí)到不同尺度大小的火焰特征信息，實(shí)現(xiàn)多尺度卷積神經(jīng)網(wǎng)絡(luò)的多尺度訓(xùn)練[6]。

（二）火災(zāi)圖像識(shí)別

將本文提出的模型與通用卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)算法共同在10000張訓(xùn)練圖像上進(jìn)行訓(xùn)練，可以發(fā)現(xiàn)本文算法取得最高的火災(zāi)識(shí)別準(zhǔn)確率93.6%，比卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)算法分別高3.1%和9.8%。為了更清晰展示整個(gè)訓(xùn)練過(guò)程，本文展示三種算法在訓(xùn)練過(guò)程中的火災(zāi)識(shí)別準(zhǔn)確率，如圖1所示?？梢钥吹剑疚乃惴ń?jīng)過(guò)10個(gè)輪次，準(zhǔn)確率達(dá)到80%以上；經(jīng)過(guò)50個(gè)輪次，準(zhǔn)確率達(dá)到85%以上；經(jīng)過(guò)120個(gè)輪次，準(zhǔn)確率達(dá)到90%以上，并最終達(dá)到93.6%。

測(cè)試階段，本文所提出的算法取得91.7%的識(shí)別準(zhǔn)確率。相比而言，通用的卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分別取得88.7%和82.1%的識(shí)別準(zhǔn)確率。可見(jiàn)，本文算法有著更好的火災(zāi)識(shí)別能力[7]。

（三）火災(zāi)視頻識(shí)別

針對(duì)視頻序列數(shù)據(jù)，模型先使用幀差法進(jìn)行前景提取，即確定火災(zāi)可能的獲選區(qū)域，再使用多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行高精度火災(zāi)識(shí)別。為充分驗(yàn)證算法的有效性，本文選取包含了庭院火焰、荒野火焰和室內(nèi)火焰三種場(chǎng)景的火焰視頻以及城市公路場(chǎng)景燈光與真實(shí)火焰相似的兩個(gè)非火災(zāi)視頻進(jìn)行實(shí)驗(yàn)測(cè)試。

表1展示了本文所提出算法與通用的卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)進(jìn)行火災(zāi)視頻識(shí)別的精度對(duì)比。整體來(lái)看，本文所提出算法在5個(gè)視頻場(chǎng)景中均取得最高的火災(zāi)識(shí)別準(zhǔn)確率。以場(chǎng)景1為例，本文算法的火災(zāi)識(shí)別準(zhǔn)確率是95.8%，比通用的卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)分別高2.0%和4.2%；以場(chǎng)景5為例，本文算法的識(shí)別準(zhǔn)確率是92.5%，優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)89.3%的準(zhǔn)確率和支持向量機(jī)87.1%的準(zhǔn)確率。因此，實(shí)驗(yàn)證明本文算法具有較強(qiáng)的火災(zāi)識(shí)別能力，為智慧消防的發(fā)展提供堅(jiān)實(shí)基礎(chǔ)[8]。

結(jié)語(yǔ)

基于機(jī)器視覺(jué)的火災(zāi)識(shí)別技術(shù)對(duì)于火災(zāi)精準(zhǔn)防控與智慧消防具有重要意義。針對(duì)火災(zāi)圖像容易受到復(fù)雜環(huán)境背景、光線強(qiáng)度、相機(jī)拍攝尺度角度等因素影響，本文提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的兩階段式火災(zāi)識(shí)別模型，將火災(zāi)檢測(cè)任務(wù)分解成前景提取與精準(zhǔn)識(shí)別兩個(gè)階段。在前景提取階段，使用幀差法快速高效提取火災(zāi)候選區(qū)域；之后在精準(zhǔn)識(shí)別階段，設(shè)計(jì)多尺度卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同尺度的火焰圖像進(jìn)行精準(zhǔn)識(shí)別。仿真結(jié)果表明，本文提出算法具有較好的火災(zāi)識(shí)別能力，在火災(zāi)圖像和視頻數(shù)據(jù)集上分別取得93.6%和94.9%的準(zhǔn)確率，遠(yuǎn)高于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)算法。這有力證明了本文算法的有效性。此外，在未來(lái)研究工作中，可以針對(duì)本文算法識(shí)別錯(cuò)誤的圖像，對(duì)這些難于識(shí)別的圖像使用數(shù)據(jù)增強(qiáng)算法，利用微調(diào)的方式對(duì)原算法進(jìn)行遷移訓(xùn)練，旨在提高算法的識(shí)別準(zhǔn)確率。

參考文獻(xiàn)

[1]劉曉薇，雷蕾.智慧消防發(fā)展現(xiàn)狀研究[J].消防界（電子版），2022，8（01）：1922.

[2]徐梓涵，劉軍，張?zhí)K沛，等.一種基于MobileNet的火災(zāi)煙霧檢測(cè)方法[J].武漢工程大學(xué)學(xué)報(bào)，2019，41（06）：580-585.

[3]李成美，白宏陽(yáng)，郭宏偉，等.一種改進(jìn)光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)及跟蹤算法[J].儀器儀表學(xué)報(bào)，2018，39（05）：249-256.

[4]朱磊，馮成濤，張繼，等.動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].現(xiàn)代電子技術(shù)，2022，45（06）：148-152.

[5]楊婷，趙楊輝.基于團(tuán)塊標(biāo)記的火災(zāi)識(shí)別算法[J].黑龍江科技大學(xué)學(xué)報(bào)，2022，32（02）：263-268.

[6]陳培豪，肖鐸，劉泓.基于深度學(xué)習(xí)的視頻火災(zāi)識(shí)別算法[J].燃燒科學(xué)與技術(shù)，2021，27（06）：695-700.

[7]李杰，邱選兵，張恩華，等.基于卷積神經(jīng)網(wǎng)絡(luò)的火災(zāi)識(shí)別算法[J].計(jì)算機(jī)應(yīng)用，2020，40（S2）：173-177.

[8]陳培豪，肖鐸，李晨輝.多傳感器融合的火災(zāi)識(shí)別算法研究[J].消防科學(xué)與技術(shù)，2020，39（06）：810-813.

作者簡(jiǎn)介：張謙（1988- ），男，漢族，四川資陽(yáng)人，本科，中級(jí)職稱，研究方向：消防。