許文倩

（福建省特種設(shè)備檢驗研究院，福州 350008）

應(yīng)急管理部消防救援局在2021年2月1日發(fā)布了2020年全國火災(zāi)情況：2020年全年全國消防救援隊共接報火災(zāi)25.2萬起，死亡1183人，受傷775人，直接財產(chǎn)損失40.09億元. 為了減少火災(zāi)對生命與財產(chǎn)造成的損失，在火災(zāi)初期發(fā)現(xiàn)火源、定位火源具有重大意義.

現(xiàn)階段普遍采取煙霧報警器、紅外探測器以及人工監(jiān)控等方法對火災(zāi)進行預(yù)警以及識別. 然而，此類檢驗方法存在滯后性，傳統(tǒng)監(jiān)控方法對濃煙等模糊環(huán)境易形成誤判，在有可燃氣體、可燃物的環(huán)境中對點火、抽煙此類微小火源或動作等所導(dǎo)致的火災(zāi)常常出現(xiàn)漏判等等問題. 近年來，隨著計算機視覺（computer version）以及深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks）等算法的蓬勃發(fā)展，此類微小或復(fù)雜的火源圖像特征可通過深層神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練或?qū)W習(xí)，從而提高模型對現(xiàn)實的表達能力［1-4］. 因此，本研究通過初步分析火焰結(jié)構(gòu)、采用特征融合等方法［5-6］搭建多層卷積神經(jīng)網(wǎng)絡(luò)，將火源作為火災(zāi)引發(fā)的重要因素，在傳統(tǒng)監(jiān)控、中控系統(tǒng)加入機器視覺的方法對目標(biāo)進行跟蹤檢測，如圖1所示. 當(dāng)監(jiān)控系統(tǒng)檢測到火源時將信號反饋回中控并報警，使工作人員迅速獲取火源信息. 該系統(tǒng)有助于在火源初期進行定位與預(yù)警，正確合理輔助滅火救援，從源頭控制火災(zāi)發(fā)生與火勢蔓延，避免人員以及財產(chǎn)損失.

圖1 火源預(yù)警監(jiān)控系統(tǒng)Fig.1 Fire source warning and monitoring system

該系統(tǒng)的檢測核心為搭建針對火源的目標(biāo)檢測算法，目前常用的目標(biāo)檢測方法有R-CNN（Regions with Convolutional Neural Network）、Fast R-CNN（Fast Regions with Convolutional Neural Network）、SSD（Single Shot Detector）、YOLO（You Only Look Once）等. 其中YOLO 系列網(wǎng)絡(luò)可將整張圖片作為網(wǎng)絡(luò)的輸入，結(jié)果返回輸出層所回歸的邊界框位置及其所屬類別，該方法是目前業(yè)界最先進的物體檢測的方法之一. 它具有處理速度快、檢測精度高，并且能完成不同尺度大小的目標(biāo)檢測的能力［7］. 該方法已用于安全帽佩戴檢測［8-10］、遙感影像目標(biāo)檢測［11］、道路信息檢測［12-13］、行人檢測［14-15］、工件零件識別［16］等. YOLO 系列第三版檢測算法YOLO v3，在小目標(biāo)檢測精度上有顯著提高［17］. 因此，本研究采用基于YOLO v3 網(wǎng)絡(luò)結(jié)構(gòu)，以火源作為目標(biāo)搭建檢測系統(tǒng)，從而提高火源檢測的準確度.

此外，在數(shù)據(jù)集收集方面，采樣火源樣本以及火災(zāi)現(xiàn)場存在危險性，使得采樣難度大、數(shù)據(jù)集稀少，對算法優(yōu)化造成了困難. 因此，研究采用虛擬現(xiàn)實仿真技術(shù)，模擬真實環(huán)境靜態(tài)和動態(tài)特性［18］，選用Unity 3D仿真軟件對火源場景進行模擬，增加數(shù)據(jù)樣本，提高收集數(shù)據(jù)的效率，并為樣本的多樣性提供了有力支持.

由于傳統(tǒng)監(jiān)控系統(tǒng)配置圖形處理器（GPU）存在升級費用高、改造難度大等問題. 因此，研究采用python 作為控制語言，搭建一種基于YOLO v3、可嵌入中央處理器（CPU）運行監(jiān)控、中控的火源預(yù)警監(jiān)控系統(tǒng)，系統(tǒng)設(shè)計具體過程如圖2所示. 通過現(xiàn)實與虛擬仿真采樣數(shù)據(jù)集，根據(jù)火源圖像特征進行圖像增強，構(gòu)建目標(biāo)檢測網(wǎng)絡(luò)，基于QT搭建監(jiān)控軟件接口，對危險火源進行預(yù)警，并記錄預(yù)警時間信息. 實驗結(jié)果表明，該軟件具有較高準確率，可在CPU環(huán)境下運行檢測，并滿足火源檢測預(yù)警的需求.

圖2 監(jiān)控系統(tǒng)結(jié)構(gòu)Fig.2 Structure of warning and monitoring system

1 數(shù)據(jù)集采樣與處理

1.1 網(wǎng)絡(luò)數(shù)據(jù)采樣

樣本收集采用虛擬現(xiàn)實混合方法進行，其中現(xiàn)實樣本數(shù)據(jù)主要來源于百度開放數(shù)據(jù)集（https：//aistudio.baidu.com/）、fire image data set for dunnings 2018 study（https：//collections.durham.ac.uk/）等互聯(lián)網(wǎng)數(shù)據(jù). 對部分火源火災(zāi)視頻樣本采用OpenCV分割視頻幀，將其改變?yōu)閳D片格式的數(shù)據(jù)樣本［19］.

1.2 現(xiàn)場仿真

由于火源情況多變，且室內(nèi)事故現(xiàn)場樣本稀少. 為此，采用Unity 3D 對事故進行仿真（圖3）從而增加樣本數(shù)據(jù)量，擴大火源種類覆蓋率.

圖3 火災(zāi)現(xiàn)場室內(nèi)仿真案例Fig.3 Indoor simulation of fire scenes

1.3 圖像增廣

由于現(xiàn)實監(jiān)控中，監(jiān)控圖像分析對火源探測存在小樣本以及模糊樣本的問題. 為了使火源在火苗階段即可檢測預(yù)警，在研究中對該類現(xiàn)象進行模擬仿真，將部分數(shù)據(jù)集濾波并進行圖像模糊. 圖像濾波變換如公式（1）：

其中：f(x,y)為原始圖像；g(x,y)為濾波圖像；k為模糊核（傳遞函數(shù)）；n為其他視覺噪聲［20］.

將圖像中每一個像素f(xi,yi)的取值重置為周邊相關(guān)像素的均值、中位值等.γ為該像素取值與周邊像素的模糊半徑，則像素f(xi,yi)相關(guān)取值的像素點為f(xi±γ,yi±γ)，當(dāng)γ=1 時，與像素f(xi,yi)相關(guān)取值的像素點為f(xi±1,yi±1). 因此，γ越大，圖像失真越嚴重，對應(yīng)的視覺效果越模糊，從而實現(xiàn)圖像增廣的目的［21］.模糊案例如圖4所示，將原始樣本進行了均值濾波，左圖原始圖片，右圖為模糊效果圖.

圖4 測試樣本模糊處理Fig.4 Blur processing of test sample

1.4 數(shù)據(jù)集標(biāo)注

在數(shù)據(jù)集標(biāo)注方面，采用圖像標(biāo)注工具labelme 對火源圖片進行打標(biāo). 現(xiàn)實火源以及火災(zāi)現(xiàn)場中，火焰與傳播媒介、煙霧等會同時存在，木柴等引火物體作為火源標(biāo)定誤判的影響因素，標(biāo)定期間盡量避免框入檢測范圍. 此外，增加類火顏色物體，如發(fā)光物，木色、黃色物品等圖片的采樣與仿真，并針對性地對火焰區(qū)域進行標(biāo)注，從而避免此類情況引起的誤報.

2 目標(biāo)檢測算法

研究采用了YOLO v3作為檢測主干網(wǎng)絡(luò)，采用多尺度融合結(jié)構(gòu)，保障大小物體識別率，在檢測前期對監(jiān)控圖像進行增強預(yù)處理，提高識別效果.

2.1 圖像預(yù)處理

在監(jiān)控狀態(tài)下，室內(nèi)、夜晚等環(huán)境狀態(tài)圖片存在光線不明、像素較低等問題. 因此，增強圖片對比度與亮度有助于提高識別效果. 火源作為火災(zāi)引發(fā)的導(dǎo)火索，在火焰中心普遍比周圍亮度高. 因此，采用線型變化增強方法將輸入網(wǎng)絡(luò)圖片進行預(yù)處理，如式（2）所示：

式中：I(r,c)為原始圖片像素點；O(r,c)為增強圖片像素點；H、W分別為圖像高度與寬度. 研究設(shè)置a=1.2增強對比度，b=10 提高亮度從而提高火源提取效果.

2.2 火源檢測網(wǎng)絡(luò)

主干網(wǎng)絡(luò)采用YOLO v3，Darknet53 作為特征提取網(wǎng)絡(luò)主體［17］，包含53 個卷積層. 為了避免梯度消失和梯度爆炸的問題，借鑒了殘差網(wǎng)絡(luò)（residual network）結(jié)構(gòu)，在層間設(shè)置快捷鏈路（shortcut connections）. Darknet53網(wǎng)絡(luò)殘差單元由ResX以1、2、8、8、4的數(shù)量組成5個殘差模塊堆疊而成. 殘差模塊ResX由DBL 單元和若干個Resunit 組合而成，其中，DBL 為深度卷積，Resunit 將輸入的特征圖進行兩次卷積堆疊.

輸入的樣本圖片經(jīng)過大小重塑，統(tǒng)一尺寸為416×416，經(jīng)過5 個步長為2 的殘差模塊下采樣，分別得到5 個尺度的特征圖. 為了加強算法對小目標(biāo)檢測的精確度，采用類似特征金字塔FPN（feature pyramid networks）的upsample和融合方法，輸出為13×13×1024的特征圖. 融合多層特征，預(yù)測層的特征圖深度按式3×（5+C）計算，5表示預(yù)測框的寬度、高度、中心點橫縱坐標(biāo)以及網(wǎng)格置信度，C表示總類別數(shù)［17］. 研究中火源作為被測目標(biāo)，即C=1，因此，檢測網(wǎng)絡(luò)將在y1（18，13，13）、y2（18，26，26）、y3（18，52，52）共3個不同尺度的特征圖上完成檢測. 其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.

圖5 YOLO v3 檢測結(jié)構(gòu)［9］Fig.5 The structure of YOLO v3

網(wǎng)絡(luò)采用目標(biāo)邊界預(yù)測方法，如圖6所示，以特征圖左上角為原點，預(yù)測框位置偏移量為cx、cy，每個小格的長度為1. 在416×416尺度下對目標(biāo)框中心點橫、縱坐標(biāo)偏移值，寬度與高度尺度縮放網(wǎng)絡(luò)預(yù)測輸出的大小為(tx,ty,tw,th)，pw與ph為目標(biāo)框的映射寬與高. 采用sigmoid函數(shù)(σ)對tx、ty進行歸一化處理，通過tw、th與pw、ph相互作用后，轉(zhuǎn)換預(yù)測框為相對于圖片的坐標(biāo)(bx,by,bw,bh). 預(yù)測結(jié)果按下式計算：

圖6 邊框位置預(yù)測示意圖Fig.6 Schematic diagram of bounding box position prediction

此外，YOLO v3 預(yù)測采用錨框計算方法，利用K均值聚類（kmeans clustering）粒子群，為每類下采樣設(shè)定3種先驗框尺寸［17］，總共聚類出9種尺寸的錨框，研究依據(jù)火源識別數(shù)據(jù)集進行維度重聚類，采用的9個錨框分別為（10，14）（19，16）（23，31）（37，64）（38，14）（43，46）（51，32）（76，60）（109，98）.

3 實驗設(shè)計、效果

研究采用Anaconda 環(huán)境，Python3.7 語言，PyCharm 編輯器進行，基于Keras并可以在CPU模式運行. 算法采用仿真圖片與現(xiàn)實采樣相結(jié)合進行訓(xùn)練與驗證，共使用4540 張訓(xùn)練樣本，600 張優(yōu)化集以及125 張測試樣本，識別效果如圖7所示. 經(jīng)驗證，該算法的火源識別MAP可達87.2%，該網(wǎng)絡(luò)具有良好的泛化能力和健壯性，在滿足檢測要求的前提下，具有較高的檢測精度，滿足應(yīng)用要求.

圖7 火源檢測效果圖Fig.7 Fire detection results of test samples

此外，研究基于QT設(shè)計軟件接口，連接傳統(tǒng)監(jiān)控系統(tǒng)并測試檢測性能如圖8所示. 使用訓(xùn)練好的模型來檢測火源以及火災(zāi)險情，當(dāng)檢測出火焰出現(xiàn)于監(jiān)控檢測的視野中，系統(tǒng)將發(fā)出預(yù)警，警告時間、內(nèi)容將被用戶記錄保存. 測試證明，該方法檢測精度較好，對火災(zāi)險情有預(yù)警作用.

圖8 報警和檢測系統(tǒng)的檢測軟件界面（左：待檢狀態(tài)，右：檢測狀態(tài)）Fig.8 The detection interfaces of the warning and monitoring system（left：initial state，right：inspecting state）

4 結(jié)論與展望

研究設(shè)計基于YOLO v3的火源預(yù)警監(jiān)控系統(tǒng)，有效升級傳統(tǒng)監(jiān)控系統(tǒng)，數(shù)據(jù)集采用仿真結(jié)合實際混合采樣增廣方法，可實現(xiàn)針對多場景小目標(biāo)火源進行檢測，并采用圖像增強預(yù)處理方法，有效增強識別火源能力，有助于防范火災(zāi)于未然.

由于目前火源數(shù)據(jù)圖片較少，下一步將繼續(xù)根據(jù)研究提出的仿真以及添加不同濾波方法進行圖像增廣，從而提升網(wǎng)絡(luò)系統(tǒng)識別能力. 此外，預(yù)警監(jiān)控系統(tǒng)將結(jié)合煙霧報警器、探測系統(tǒng)等傳感器，進行多傳感器融合分析，進一步提高目標(biāo)檢測精度和檢測速度.