侯易呈，王慧琴，王 可

(西安建筑科技大學(xué) 信息與控制工程學(xué)院，陜西 西安 710055)

1 引 言

傳統(tǒng)火災(zāi)檢測方法使用感溫、感煙傳感器采集火焰數(shù)據(jù)的靜態(tài)或動態(tài)特征進行火焰檢測，對手動提取目標特征的依賴性較高?，F(xiàn)階段，通過圖像處理進行目標識別的技術(shù)[1]和基于機器視覺的目標檢測技術(shù)不斷發(fā)展[2]，并且已開始應(yīng)用到火災(zāi)檢測領(lǐng)域。

傳統(tǒng)方法在火焰識別任務(wù)中，多注重人工對火焰目標進行特征提取以及分類器的設(shè)計[3-5]。蔡敏[6]將運動分割分為運用目標檢測和圖像分割兩個方面，并提出對VIBE算法的兩點改進，用于森林火災(zāi)視頻檢測。劉宇欣[7]將人工蜂群算法圖像處理分割方法、邊緣檢測技術(shù)以及特征融合等技術(shù)應(yīng)用于礦用帶式輸送機的火災(zāi)檢測中。苗續(xù)芝[8]和王中林[9]分別改進了果蠅優(yōu)化SVM模型和增量支持向量機算法，提高了火災(zāi)檢測識別的準確率。相比較于傳統(tǒng)檢測方法，深度學(xué)習(xí)方法能夠自動提取目標特征，在圖像識別領(lǐng)域得到了廣泛的應(yīng)用[10-12]。同時，也有學(xué)者將深度學(xué)習(xí)方法應(yīng)用到了火焰識別檢測任務(wù)中。任嘉峰[13]提出一種引入K-means聚類算法的YOLOV3算法進行火焰識別檢測，通過遷移學(xué)習(xí)實現(xiàn)了對小樣本的識別分類。徐登[14]使用改進的雙流卷積神經(jīng)網(wǎng)絡(luò)，提高了火焰目標識別率。段鎖林[15]對火焰區(qū)域的RGB通道做灰度處理和二值化處理，形成9通道的三維數(shù)據(jù)輸入，并且對Relu激活函數(shù)進行了修改，以平衡特征數(shù)量?；靥靃16]提出基于Faster R-CNN的火焰識別檢測方法，使用AlexNet作為基礎(chǔ)特征提取網(wǎng)絡(luò)，通過遷移學(xué)習(xí)完成對不同類別火焰樣本的識別與分類。

利用卷積神經(jīng)網(wǎng)絡(luò)進行火焰識別的過程中，隨著網(wǎng)絡(luò)卷積層數(shù)的加深，火焰特征的語義信息變抽象，分辨率降低，火焰深層特征中的火焰目標細節(jié)信息減少，同時提取到了與火焰目標低相關(guān)性的冗余特征，導(dǎo)致火焰識別率不高。本文提出了一種基于Faster R-CNN[17]網(wǎng)絡(luò)的火焰識別檢測方法，使用深度殘差網(wǎng)絡(luò)(Residual Network,ResNet)[18]進行特征提取，添加壓縮和激勵網(wǎng)絡(luò)(Squeeze-and-Excitation Networks,SENet)模塊[19]減少低相關(guān)度冗余特征，然后使用多尺度特征融合結(jié)構(gòu)，通過通道疊加補充深層特征中特征信息的不足，為具有抽象語義信息的深層特征添加具有豐富細節(jié)信息的淺層特征。該方法可以提升火焰目標檢測的精度。

2 Faster R-CNN算法

2.1 Faster R-CNN簡介

Faster R-CNN目標檢測模型是通過優(yōu)化R-CNN和Fast R-CNN模型而來的高性能模型，圖1為Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)，主要由4部分組成：特征提取網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)、興趣池化網(wǎng)絡(luò)(Region of interest pooling Network,RoI)和分類回歸網(wǎng)絡(luò)，其圖像處理步驟為：

圖1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Faster R-CNN network structure diagram

Step 1.將原始圖片處理為224×224大小輸入網(wǎng)絡(luò)，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[20]提取圖像特征，將圖片信息編碼到深層維度，提取到的特征圖作為區(qū)域建議網(wǎng)絡(luò)和平均池化網(wǎng)絡(luò)的共享特征層。

Step 2.區(qū)域建議網(wǎng)絡(luò)[21]通過在共享特征圖上添加滑動窗口將空間窗口映射到低維向量，在每個滑動的位置都會預(yù)測出k個區(qū)域建議框。然后連接兩個并行的全連接層，分別得到2k個對應(yīng)的分類層輸出和4k個對應(yīng)的回歸層輸出。接著采用非極大抑制法以交并比作為分類指標選取得分排名前300的目標建議框。

Step 3.平均池化網(wǎng)絡(luò)將共享特征層和目標建議框作為輸入，將不同大小的感興趣區(qū)域通過池化操作降維成7×7尺寸的特征向量，使得輸入圖片不要求固定尺寸。

Step 4.利用Softmax損失函數(shù)完成分類任務(wù)，利用smoothL1損失函數(shù)完成回歸定位任務(wù)。

2.2 RPN網(wǎng)絡(luò)損失函數(shù)

區(qū)域建議網(wǎng)絡(luò)總體損失函數(shù)的定義如下所示：

(1)

分類損失函數(shù)Lcls的定義如下所示：

(2)

回歸損失函數(shù)Lreg的定義如下所示：

(3)

其中，R為smoothL1函數(shù)，其公式如下所示：

(4)

3 基于Faster R-CNN的多尺度改進實現(xiàn)

本文在Faster R-CNN中使用ResNet50作為特征提取網(wǎng)絡(luò)，并添加注意力機制模塊增加火焰相關(guān)特征通道重要性，然后通過多尺度結(jié)構(gòu)在深層特征中添加淺層特征，增強火焰特征表達能力，以提高火焰識別精度。

3.1 改進殘差網(wǎng)絡(luò)

深度學(xué)習(xí)中，加深網(wǎng)絡(luò)深度會遇到梯度爆炸和梯度消失問題。傳統(tǒng)對于該問題的解決方法主要是對數(shù)據(jù)進行初始化和正則化，但是此方法伴隨著網(wǎng)絡(luò)深度的加深，誤報率和錯報率提升，造成網(wǎng)絡(luò)性能的退化。何凱明在使用多達152層的ResNet網(wǎng)絡(luò)在ImageNet上進行實驗，結(jié)果表明深度殘差網(wǎng)絡(luò)在深度增加的情況下，有效提高了準確率，解決了因深度增加造成的梯度消失和網(wǎng)絡(luò)性能退化的問題。本文特征提取網(wǎng)絡(luò)部分采用ResNet50網(wǎng)絡(luò)進行特征提取，增加SENet注意力機制模塊，簡稱為SE-RCSNet50,ResNet和SE-ResNet模塊分別如圖2、圖3所示。

圖2 ResNet模塊Fig.2 Block diagram of ResNet module

圖3 SE-ResNet模塊Fig.3 Block diagram of SE-ResNet module

在深度殘差網(wǎng)絡(luò)模塊中，存在兩種映射關(guān)系，一種為恒等映射，指的是把當(dāng)前網(wǎng)絡(luò)輸入當(dāng)作輸出直接傳輸?shù)较乱粚泳W(wǎng)絡(luò)中，跳過當(dāng)前網(wǎng)絡(luò)。另一種為殘差映射，最終的輸出為H(x)=F(x)+x，此時當(dāng)F(x)=0時，則H(x)=x。在此基礎(chǔ)上，改變了殘差網(wǎng)絡(luò)的學(xué)習(xí)目標，直接學(xué)習(xí)H(x)和x的差值，就是殘差映射F(x)=H(x)-x。

本文在深度殘差模塊中添加了SENet注意力機制模塊，通過學(xué)習(xí)的方式自動獲取每個特征通道的重要程度，并且根據(jù)該通道的重要程度提升有用特征，抑制無用特征，以此來使提取到的特征具有更強的表征能力。壓縮和激勵網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 注意力機制模塊Fig.4 Block diagram of attention mechanism module

壓縮和激勵網(wǎng)絡(luò)執(zhí)行步驟如下：

(1)首先對特征U進行擠壓(Squeeze)操作，該操作通過全局平均池化(Global average pooling)將二維特征壓縮成一個1×1×C的實數(shù)數(shù)列。該實數(shù)數(shù)列在一定意義上具有全局感受野，使得低層網(wǎng)絡(luò)也可以具有全局信息。全局平均池化計算方式為：

(5)

(2)接入激勵(Excitation)操作，自主學(xué)習(xí)每個特征通道之間的非線性交互關(guān)系，根據(jù)重要性的不同賦予不同的權(quán)重。先通過全連接層，減少計算量，然后連接ReLu函數(shù)，使得輸出的維度不變。激勵操作計算方式為：

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))).

(6)

(3)經(jīng)過重新賦值(Reweight)操作，如式(7)所示，經(jīng)過激勵操作后的結(jié)果輸出可以看作是經(jīng)過特征選擇后的每個特征通道的重要性，然后通過乘法將每個通道加權(quán)到之前的特征上，完成對原始特征的重新賦值，實現(xiàn)注意力機制。

(7)

uc表示u中第c個二維矩陣，sc表示激勵操作的輸出權(quán)重。

3.2 多尺度網(wǎng)絡(luò)結(jié)構(gòu)

由于卷積神經(jīng)網(wǎng)絡(luò)通過逐層抽象的方式來提取目標的特征，提取到的高層特征的感受野比較大，語義信息表征能力強，但是特征分辨率小，幾何信息的表征能力弱，適合處理大目標；而提取到的低層特征的感受野比較小，語義信息表征能力弱，但是特征分辨率大，幾何信息的表征能力強，適合處理小目標。為了節(jié)省計算量，使用Block4特征圖進行火焰目標檢測，Block5用做最后的分類和回歸。Block4層特征圖的語義信息較為豐富，能更好地反映火焰圖像全局特征，但是分辨率低，細節(jié)信息表征能力弱，所以不能精確地對火焰進行檢測。通過分析，本文提出一種基于Faster R-CNN的多尺度特征融合算法，通過在深層特征上添加淺層特征信息進行特征增強，提高對火焰目標的識別檢測準確率。

網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，分別對Block1,2,3的輸出用1×1的卷積做通道變換，將其通道數(shù)從64，256，512變換為256，512，1 024，并引入批規(guī)范化(Batch Normalization，BN)處理，將數(shù)據(jù)規(guī)范到N(0，1)的正態(tài)分布，然后將Block2，3，4的輸出分別和上一層進行通道變化后的輸出進行concatenate通道相加，然后使用Rule函數(shù)進行激活，以此作為Block2，3，4的輸出。利用該結(jié)構(gòu)，能夠增強火焰目標的特征表達能力，并且任意下一層的輸入都來自前面兩層的輸出，加強了對特征的重用[22]，使得網(wǎng)絡(luò)更利于訓(xùn)練，具有一定的正則化效果，緩解了梯度消失和模型退化問題。同時引入批規(guī)范化處理，能夠加快訓(xùn)練速度，并提高網(wǎng)絡(luò)泛化能力。

圖5 多尺度結(jié)構(gòu)Fig.5 Block diagram of muti-scale feature fusisn mechanism

4 實驗與結(jié)果分析

本文所使用的主要硬件參數(shù)為：操作系統(tǒng)為Windows10 64 bit，內(nèi)存為8 GByte，GPU設(shè)備為GTX2070，使用python3.6語言，搭建平臺為Keras，訓(xùn)練和測試軟件為Pycharm。

4.1 數(shù)據(jù)集處理

在實際情況中，火焰圖片都是采集于視覺模塊。通過查找有關(guān)火焰檢測實驗的公開數(shù)據(jù)集，并且添加從不同角度拍攝的火焰圖像數(shù)據(jù)，擴充原本公開數(shù)據(jù)集以作為本文的實驗數(shù)據(jù)集，使得該樣本數(shù)據(jù)集更接近實際數(shù)據(jù)。由于原始圖像的尺寸過大，在進行模型訓(xùn)練時導(dǎo)致計算量增加，在不影響整體細節(jié)的情況下，將圖像裁剪為224×224像素大小，并將格式轉(zhuǎn)變PNG格式，按照PSACAL VOC格式構(gòu)建火焰數(shù)據(jù)集。本次實驗共采用數(shù)量為10 078的火焰圖像數(shù)據(jù)集，從擴充以后的圖像數(shù)據(jù)中隨機選擇8 163圖像作為訓(xùn)練集，907張作為驗證集，剩余1 008張作為測試集。

4.2 評價指標

深度學(xué)習(xí)中對分類器模型進行評估主要使用精確率(Precision)和召回率(Recall)。通過混淆矩陣進行計算，混淆矩陣如表1所示。

表1 混淆矩陣Tab.1 Confusion matrix

表中，TP(True Positive)表示將正類預(yù)測為正類數(shù)；TN(True Negative)表示將負類預(yù)測為負類數(shù)；FP(False Positive)表示將負類預(yù)測為正類數(shù)，也稱為誤報率；FN(False Negative)表示將正類預(yù)測為負類數(shù)，也成為漏報率。

精確率表示預(yù)測為正的樣本中有多少為正確的預(yù)測，如下所示：

(8)

召回率表示在正例樣本中被正確地預(yù)測，如下所示：

(9)

同時在目標檢測任務(wù)中，使用平均精度均值(Mean average precision，mAP)作為衡量模型性能的指標。在本任務(wù)中，對火焰的識別檢測為單類識別，平均精度均值指標與平均精度(Average precision，AP)等價，所以使用平均精度來作為本任務(wù)中模型評價指標，平均精度指標計算如式(10)所示：

(10)

式中，R表示測試集中所有正樣本的個數(shù)；M表示測試集總樣本個數(shù)；Ii=1表示第i個樣本是正樣本，若是負樣本，則Ii=0；Ri表示前i個樣本中正樣本的個數(shù)。

4.3 實驗結(jié)果分析

使用本文算法和改進前算法在本文測試集上進行測試，實驗結(jié)果如表2所示。

表2 改進前后對比Tab.2 Comparison before and after improvement

通過表中數(shù)據(jù)對比可以發(fā)現(xiàn)，改進前算法以ResNet50作為特征提取網(wǎng)絡(luò)，與本文方法進行比較，本文算法的平均精度、召回率、精確率分別提高了7.78%、9.05%、12.54%，證明本文方法提取到的火焰目標特征對于火焰識別精度有較高影響。原因是加入了SENet注意力機制模塊的ResNet50特征提取網(wǎng)絡(luò)抑制了與火焰目標相關(guān)度低的無關(guān)特征通道，并且將火焰的通道重要性提高，同時，因為多尺度結(jié)構(gòu)在提取到的深層特征上加入了淺層的細節(jié)特征，增強了火焰目標特征的表征能力，有效提高了模型對于火焰目標的識別性能。

為進一步對比本文算法在特征提取部分的優(yōu)勢，進行特征圖可視化對比實驗，結(jié)果如圖6所示。由圖中可以看出，隨著網(wǎng)絡(luò)深度加深，火焰目標的位置、形狀等細節(jié)信息隨著感受野的增大而稀疏化，使得無法分辨火焰的輪廓、紋理等信息。通過對比本文方法與ResNet50，在火焰目標深層特征中，因為使用了多尺度特征融合結(jié)構(gòu)，使得本文提取到的火焰目標有著更為明顯的紋理、顏色以及輪廓等淺層特征中的細節(jié)信息，同時，由于SENet的作用，對提取到的特征通道進行了重新標定，抑制了與目標特征相關(guān)性低的通道，增強了相關(guān)性高的顏色等通道信息，使得提取到的火焰特征信息表達能力更強。

圖6 特征圖可視化Fig.6 Visualization of feature map

在測試集中，選取不同場景下的火焰圖像對本文算法模型以及改進前算法進行性能測試對比，結(jié)果如圖7所示?？梢钥闯?，以ResNet50作為特征提取網(wǎng)絡(luò)進行火焰目標識別時，存在識別率低的問題，同時在復(fù)雜背景下，有復(fù)檢問題存在，并且對于小目標的檢測效果不好。而本文方法能夠適應(yīng)不同背景下對火焰目標的識別檢測，對于不同環(huán)境下的火焰都有較好的識別結(jié)果。

圖7 檢測結(jié)果對比Fig.7 Comparison of test results

對圖片識別時間進行對比，其結(jié)果如表3所示。本文算法對比改進前對每張圖片的消耗時間增加了0.03 s。原因是本文添加了SENet模塊，并且采用了多尺度特征融合機制，增加了模型參數(shù)量，導(dǎo)致識別時間增加。

表3 改進前后參數(shù)量和時間的比較Tab.3 Comparison of parameter quantity and time before and after improvement

為進一步驗證本文算法的效果，將本文算法與已有學(xué)者完成的火焰識別檢測方法進行比較。實驗結(jié)果如表4所示。本文方法對比文獻[14]和文獻[23]的結(jié)果有所提高，其中文獻[14]使用改進的雙流卷機神經(jīng)網(wǎng)絡(luò)進行火焰目標提取，文獻[23]通過采用多個不同尺度融合的方式進行目標檢測。在特征提取方面，本文方法能夠提取到信息更豐富的火焰特征，使得本文算法效果較好。

表4 與現(xiàn)有學(xué)習(xí)算法準確率對比Tab.4 Comparison with accuracy of existing learn algorithms

5 結(jié) 論

針對火焰目標檢測，本文提出一種基于Faster R-CNN模型的改進算法，提高深度學(xué)習(xí)網(wǎng)絡(luò)對火焰識別的準確率。首先使用ResNet50作為基礎(chǔ)特征提取網(wǎng)絡(luò)進行特征提取，接著添加SENet模塊通過通道注意力機制，增強目標相關(guān)性高的特征通道，然后使用多尺度結(jié)構(gòu)將淺層特征進行通道變換并和深層特征進行通道相加，最后完成對火焰區(qū)域的識別檢測。實驗證明該方法能夠克服深度網(wǎng)絡(luò)中深層特征幾何信息的缺失問題，并抑制無用特征，提取更有效的火焰特征，完成對火焰目標的識別檢測。對比改進前的算法，其火焰識別檢測平均精度提高了7.78%，召回率提高了9.05%，精確率提高了12.54%。有效地提高了火焰識別效果。