喻麗春，劉金清

1.福州外語外貿學院 理工學院，福州 350202

2.福建師范大學 光電與信息工程學院，福州 350007

1 引言

在各種威脅社會公眾安全的主要災害中，火災是其中最普遍常見的災害之一，每年發(fā)生的火災給人們帶來了嚴重的損失。隨著科學技術的發(fā)展，智能檢測、智能監(jiān)控技術在火災預警系統(tǒng)中被廣泛應用?；鹧娴淖R別和檢測是火災報警系統(tǒng)中最關鍵的環(huán)節(jié)。近年來，國內外研究人員對火災檢測技術進行了大量研究，取得了大量成就。目前已有的火災檢測技術總體可以分為兩大類，一是基于紅外、煙感等傳感器的火災檢測[1-4]。這類技術在檢測室內火災是簡單有效，但在室外空間較大的場所，由于溫度、煙霧等信息不易采集，傳感器也容易老化，漏報和誤報情況較高。二是基于人工選擇特征模型的視頻圖像火災檢測[5-6]。這種方法對人工選擇特征具有較大依賴，由于人工選擇特征具有主觀性和盲目性，泛化能力較差，會影響到火災檢測的準確率。因此如何提升火焰圖像檢測的泛化能力和準確率，是當前亟待解決的一個重要問題。

目前深度學習和計算機視覺技術在圖像分割和圖像識別領域廣泛應用，特別是基于深度學習的目標檢測算法迅速發(fā)展，在圖像語義分割識別上逐步替代了傳統(tǒng)的分割識別技術。相對于傳統(tǒng)算法，深度學習算法降低了硬件成本，不依賴人工特征工程。將深度學習應用于火焰圖像檢測，可以讓模型自我學習煙火特征，及時檢測識別火焰圖像，實現(xiàn)火災預警[7-8]。Mask R-CNN（Region-based Convolutional Neural Network）算法是當前最優(yōu)秀的目標檢測深度學習算法之一，它在圖像目標檢測上表現(xiàn)優(yōu)異，本文通過改進Mask R-CNN 算法，將其應用于火焰圖像檢測，通過仿真實驗對比已有的算法，改進后算法提高了檢測準確率。

圖1 Mask R-CNN框架結構圖

2 Mask R-CNN介紹

Mask R-CNN 是 He 等[9]于 2017 年提出的物體檢測新算法，是R-CNN 深度學習網(wǎng)絡框架系列的最新框架。Mask R-CNN 的特點是在進行目標檢測的同時進行實例分割，該算法取得了微軟大型圖像數(shù)據(jù)集（Microsoft Common Objects in Context，MS COCO）2016 比賽的冠軍。Mask R-CNN 的網(wǎng)絡總體包含三個部分：目標定位、目標分類、掩膜預測。Mask R-CNN的框架結構圖如圖1 所示，其骨干網(wǎng)絡由殘差網(wǎng)絡（Residual Network，ResNet）和特征金字塔網(wǎng)絡（Feature Pyramid Network，F(xiàn)PN）組成。圖片輸入后，首先通過骨干網(wǎng)絡提取多尺度特征圖，然后根據(jù)區(qū)域建議網(wǎng)絡（Region Proposal Network，RPN）選擇出候選區(qū)域目標，接著使用softmax分類器區(qū)分前景目標和背景目標，同時使用邊框回歸器修正候選框位置，生成最終候選框。最后使用全卷積網(wǎng)絡進行掩膜預測，分類網(wǎng)絡使用特征圖和候選區(qū)域實現(xiàn)最終目標分類預測。

2.1 特征金字塔網(wǎng)絡

Mask R-CNN 的骨干網(wǎng)絡由殘差網(wǎng)絡和特征金字塔網(wǎng)絡FPN結合而成。特征金字塔網(wǎng)絡包含三個部分，一個是自底向上的線路，一個是自頂向下的線路，一個是橫向鏈接[10]，如圖2所示。

（1）自底向上線路網(wǎng)絡在前向傳播過程中，特征圖的尺寸大小在經過某些層會發(fā)生改變，而在經過另外一些層不會改變，將沒有改變的特征層歸為一個stage。每次抽取的特征就是一個stage 最后一層的輸出，不同stage生成的特征輸出構成特征金字塔。

（2）自頂向下線路自頂向下時采用上采樣，橫向鏈接將上采樣的結果和自底向上生成相同大小的特征進行融合，融合后再用3×3的卷積核對每個融合結果進行卷積，消除混疊效應，得到最終特征圖。

圖2 特征金字塔網(wǎng)絡

2.2 區(qū)域建議網(wǎng)絡

區(qū)域建議網(wǎng)絡RPN是在Faster R-CNN算法中首次提出[11]，其功能是用來產生可能的目標候選區(qū)域，以解決傳統(tǒng)選擇搜索生成候選框耗時較多的問題。RPN 根據(jù)卷積神經網(wǎng)絡生成的特征圖，在原圖的尺度上，采用滑動窗口的方式，每個滑動窗口生成k個錨點（anchor），然后對生成的anchor 分別進行分類和回歸。分類分為前景目標和背景目標，回歸層共產生2k個評分。每個錨點進行邊框回歸時，因為每個邊框有四個坐標，因此會有4k個坐標輸出，具體如圖3所示。

圖3 區(qū)域建議網(wǎng)絡

2.3 興趣區(qū)域對齊

興趣區(qū)域（Region of Interest Align，ROI Align）是Mask R-CNN相對于Faster R-CNN網(wǎng)絡的一個改進點。Faster R-CNN 存在的問題是：特征圖與原始圖像是不對準的（mis-alignment），所以會影響檢測精度。而MaskR-CNN 提出了RoI Align 的方法來取代ROI pooling，ROI Align可以保留大致的空間位置。

ROI Align取消了量化操作，不再進行四舍五入，由于目標位置的邊界可能不是整數(shù)，使用雙線插值的方式獲得坐標為浮點數(shù)的像素點上的圖像數(shù)值。首先遍歷每一個候選區(qū)域，保持浮點數(shù)邊界，降候選區(qū)域分割成k×k單元，每個單元邊界也不做量化，在每個單元中計算固定的四個坐標位置，用雙線性內差法計算四個位置的值，然后進行最大池化操作。ROI Align 有效解決了原始圖像與特征圖不對準的問題。

2.4 分類邊框及掩膜生成

ROI Align輸出后，分為兩個分支，一個分支是通過7×7×256 的卷積核，在經過兩個1 024 特征向量的全連接層，完成分類和邊框回歸。另一個分支是通過5次的14×14 的卷積核運算，再利用2×2 的反卷積采樣生成28×28 的特征圖，在經過1×1 的卷積和激活函數(shù)后得到28×28的輸出，輸出中每個點代表物體形狀的前景和背景置信度。用0.5 為置信度閾值得到物體掩膜，具體如圖4所示。

圖4 分類邊框及掩膜生成

3 基于改進Mask R-CNN的火災檢測

Mask R-CNN 是當前物體檢測中最優(yōu)秀的深度學習檢測算法之一?；馂臋z測的主要任務是要檢測出火焰和煙霧，如果直接將Mask R-CNN 應用于火災檢測，存在如下問題：

（1）由于特征金字塔網(wǎng)絡底層特征與高層特征的融合路徑較長，導致底層特征信息在前向傳播的過程中損失嚴重，進而影響后續(xù)的邊框分類，掩膜生成，導致部分火焰或者煙霧漏檢。

（2）MaskR-CNN 的損失函數(shù)包括分類誤差、檢測誤差、分割誤差。其分割誤差為平均交叉熵損失函數(shù)，該函數(shù)在分割任務中依賴于區(qū)域信息，忽略了邊界區(qū)域，因此對邊界分割準確度不高，導致火焰或煙霧目標誤檢。

針對以上問題，可以通過改進Mask R-CNN特征金字塔網(wǎng)絡和損失函數(shù)來改進算法，提升識別火災檢測準確率。

3.1 改進特征金字塔網(wǎng)絡

由于特征金字塔網(wǎng)絡在提取特征信息時，底層特征損失嚴重，為了在提取特征時充分保留特征金字塔的底層特征，引入一條自底向上的路徑來加強底層特征的信息，建立底層特征和高層特征的特征融合路徑。

FPN 輸出P2、P3、P4、P5特征映射層后，P2和N2相同，將N2與步長為2的3×3的卷積核縮小尺寸，下采樣為原來的一半，通過橫向連接與P3按元素相加，再通過3×3的卷積核得到N3，接著再將N3與步長為2的3×3的卷積核卷積結果逐元素與P4相加，再通過3×3的卷積核卷積得到N4，如此依次迭代，得到N5。特征映射層的生成公式如下所示：

生成的N2、N3、N4、N5融合特征主要以本層特征為主的同時，還融合了頂層特征和底層特征，形成了一個新的金字塔結構網(wǎng)絡，N2、N3、N4、N5每層特征輸出圖保持256 的通道輸出，而每次卷積后，接線性整流函數(shù)（Rectified Linear Unit，ReLU），這樣特征圖輸出能夠在后續(xù)網(wǎng)絡共享一個分類層。改進后的特征金字塔網(wǎng)絡如圖5 所示。其中圖5（a）右側虛線框部分為新增的特征融合路徑，特征融合操作細節(jié)如圖5（b）所示。

圖5 引入自底向上特征融合路徑

3.2 改進損失函數(shù)

MaskR-CNN 的損失函數(shù)由三部分組成，分別為分類誤差、檢測誤差、分割誤差。公式如下：

在進行分割任務時，Lmask為平均二值交叉熵損失函數(shù)，其計算公式如下：其中，y表示二值化后的實際分割結果輸出，y表示二值化后的預測分割結果輸出。

損失函數(shù)依賴于區(qū)域信息，對分割結果上對邊界的分割準確度不高。為了提高分割結果準確度，在Lmask加入邊界加權損失函數(shù)[12]。訓練時，利用距離損失對分割位置、形狀、連續(xù)性進行正則化，優(yōu)化后公式如下：

其中，β表示權重系數(shù)，y表示二值化后的預測分割結果輸出，B表示分割結果的邊界，p表示點集B中包含分割結果的邊界點的點數(shù)。R表示整個分割區(qū)域。Mdist表示相對準確分割邊框的距離。

4 仿真實驗及分析

4.1 實驗環(huán)境

實驗環(huán)境使用深度學習框架Tensorflow1.4[13]來實現(xiàn)本文算法，使用的顯卡為NVIDIARTX2080Ti，操作系統(tǒng)是Windows 10，內存8 GB。使用Microsoft VS Code為開發(fā)環(huán)境，進行相關代碼的訓練和測試。

4.2 數(shù)據(jù)集

目前火災數(shù)據(jù)集還沒比較權威的公用數(shù)據(jù)集，因此實驗數(shù)據(jù)集為通過互聯(lián)網(wǎng)搜索后，人工篩選，得到約1 000多張火焰圖片，圖片樣本如圖6所示。通過圖像標注工具VIA-2.0.8（VGG Image Annotator）對圖片進行人工標注，標注框為矩形。標注時，應盡可能減少背景信息，以免進行模型訓練時，將背景信息當作火焰特征進行訓練，造成模型收斂困難，導致誤檢率增高。圖像樣本集包含火焰訓練圖片800張，驗證圖片100張，測試圖片100張，共1 000張。

圖6 圖像樣本集

4.3 模型訓練

實驗采用隨機梯度下降的方法來訓練優(yōu)化模型。首先將數(shù)據(jù)集統(tǒng)一分辨率為400×400，然后使用Microsoft COCO 的預訓練模型初始化網(wǎng)絡參數(shù)。權重為1，動量系數(shù)為0.9，初始學習率為0.002。

為了驗證模型，采用準確率P，召喚率R，以及精確率均值F1 等多個指標對檢測模型進行評價。F1 計算公式如式（7）所示。Macro-F1值為多個類別F1 值的平均值，如式（8）所示。

1906年12月，汪優(yōu)游、朱雙云、王幻身等在上海創(chuàng)立開明演劇會?！笆悄辏?906年）江皖患水，餓殍載道。雙云、優(yōu)游輩，謀有以賑之者，乃發(fā)起開明演劇會，演劇助賑?！盵2]541907年2月，開明演劇會在上?？h城舉行賑災公演，歷時5天，受到上海市民的歡迎，成為清末民初上海學生演劇活動成功的范例之一。[2]52在汪優(yōu)游撰寫的《我的俳優(yōu)生活》一文中也有開明演劇會的詳細記錄：

其中，TP表示實際為正確檢測出目標圖像的樣本個數(shù)，F(xiàn)P為實際不是目標圖像，卻被檢測為目標圖像的樣本個數(shù)。FN為實際為目標，被當作背景沒檢測出來的樣本個數(shù)。

訓練時，每迭代1 000 次，對火焰圖像進行一次預測。經過15 000次的迭代后，訓練網(wǎng)絡初步具備識別火焰目標能力，并可以給出目標是否是火焰的概率。網(wǎng)絡訓練過程損失和識別精度如表1 所示。從表1 可以看出，經過5 000 次迭代后，訓練得到有效收斂并逐步下降，在15 000 次左右平穩(wěn)，說明網(wǎng)絡得到了有效學習。訓練網(wǎng)絡的識別精確率也隨之提升，達90%以上。

表1 訓練網(wǎng)絡損失和識別精確率

為了充分評估檢測模型優(yōu)化的有效性，分別構建如下四種模型。

（1）Mask R-CNN。

（2）Mask R-CNN 算法基礎上改進特征金字塔網(wǎng)絡，簡稱為Mask RCNN-A。

（3）Mask R-CNN 算法基礎上改進損失函數(shù)，簡稱為Mask R-CNN-B。

（4）Mask R-CNN算法基礎上同時改進特征金字塔網(wǎng)絡和損失函數(shù)。簡稱為Mask R-CNN-C。

針對四種模型分別進行三次訓練，形成三個獨立的模型參數(shù)，分別測試模型的定位準確率和檢測準確率。目標檢測定位準確性，一般使用模型預測的候選框和原標記框的交并比（Intersection-Over-Union，IOU）指標來進行評價。各模型定位準確率測試結果如表2所示。

表2 模型定位準確率測試結果%

F1 值充分考慮了模型的準確率和召回率，因此實驗選擇F1 值來評價模型檢測率的高低。模型檢測準確率測試結果如表3所示。

表3 模型檢測準確率測試結果%

從以上網(wǎng)絡模型測試結果可以看出，算法Mask RCNN在分別單獨改進特征金字塔網(wǎng)絡結構和損失函數(shù)后，定位準確率IOU和精確率F1 值均有一定提升，其中同時改進FPN 網(wǎng)絡和損失函數(shù)的模型算法對提升效果最佳，說明改進有效。同時改進FPN網(wǎng)絡和損失函數(shù)后，定位平均精度達90%以上，Macro-F1值達到92%以上。

4.4 實驗對比

為了驗證本文改進算法模型的有效性，將改進后的模型同其他優(yōu)秀算法進行對比。網(wǎng)絡模型選擇如下：

（1）YOLOv3模型算法[14]。

（2）SSD模型算法[15]。

（3）Mask R-CNN算法基礎上同時改進特征金字塔網(wǎng)絡和損失函數(shù)。簡稱為Mask R-CNN-C。

如表4 所示，相對于識別算法YOLOv3 和SDD，改進后算法Mask R-CNN-C 的Macro-F1 值提高了2.94%和4.29%，同時針對檢測目標分割也更精確，具體如圖8所示。少數(shù)較小的火焰目標，改進后算法能夠準確定位，而原算法漏檢。這是由于算法引入了底層特征信息和頂層特征的融合，同時改進了損失函數(shù)的效果。

表4 檢測算法對比%

圖7 檢測效果對比

5 結束語

針對目前火焰圖像檢測算法依賴人工特征工程，泛化能力差導致檢測率不高的問題，本文提出一種基于改進Mask R-CNN 的火焰圖像檢測算法。算法為了改善特征金字塔網(wǎng)絡低層次過于粗糙的問題，引入自下而上的特征融合路徑，增強了特征信息圖的細節(jié)，改善了火焰目標的檢測定位。在構建的測試數(shù)據(jù)集上，通過仿真實驗與其他優(yōu)秀算法的對比，改進后算法的檢測準確率更高，同時也降低了誤報率和損失率。