熊衛(wèi)華，任嘉鋒，吳之昊，姜 明

(1.浙江理工大學(xué) 機械與自動控制學(xué)院，浙江 杭州 310018；2.杭州電子科技大學(xué) 計算機學(xué)院，浙江 杭州 310018)

0 引 言

隨著時代的進步和社會的發(fā)展，攝像頭越來越多地被應(yīng)用于火災(zāi)監(jiān)控和報警，基于視覺的傳感器被廣泛使用。攝像頭與傳統(tǒng)傳感器相比具有許多優(yōu)點，例如成本更低、響應(yīng)時間更快、監(jiān)控區(qū)域覆蓋范圍更廣等等。盡管基于視覺的傳感器具有很多的優(yōu)勢，但也存在局限性，在實際應(yīng)用場景中面臨著很多的問題。例如，不同的照明條件，復(fù)雜的場景，以及受限于網(wǎng)絡(luò)帶寬的低分辨率攝像頭等等。因此，很多研究人員嘗試去解決這些問題。

Yusuf Hakan Habiboglu等提出一種基于協(xié)方差矩陣的火焰檢測方法，以協(xié)方差矩陣作為特征提取算子，對火焰著色區(qū)域的空間和時間特征進行提取，并用支持向量機(SVM)對特征進行分類，但該方法僅提取火焰特征，而無法提取煙霧等其他火災(zāi)特征[1]。Rosario Di Lasciod等提出了一種聯(lián)合視頻分析方法，基于顏色和運動等信息，組合成一個多專家系統(tǒng)進行火災(zāi)檢測，但誤報率較高，在檢測精度方面仍有待提高[2]。Khan Muhammad等提出了一種利用卷積神經(jīng)網(wǎng)絡(luò)進行早期火災(zāi)探測的方法，通過使用Alexnet進行遷移學(xué)習(xí)以獲得較好的火災(zāi)識別效果，但Alexnet網(wǎng)絡(luò)參數(shù)量較大，且網(wǎng)絡(luò)層數(shù)較少，難以提取更深層的語義特征[3-4]。

圖像識別是利用計算機對圖像進行處理、分析和理解，并以各種方式識別目標(biāo)和物體的技術(shù)[5-6]。在火災(zāi)檢測領(lǐng)域，傳統(tǒng)圖像識別方法已取得了良好的效果，但仍有一些問題沒有解決。主要問題是傳統(tǒng)的圖像識別方法依賴于人工設(shè)計的特征提取算子[7]。而在實際環(huán)境中，火災(zāi)在不同階段和不同條件下的特征差異較大，手動設(shè)計的特征提取算子很難滿足各個場景下的火災(zāi)特征提取需求。同時，這也增加了火災(zāi)檢測的復(fù)雜性，降低了準(zhǔn)確性和魯棒性。

另一方面，火災(zāi)發(fā)生早期的一些特征是比較細小而又不明顯的，比如畫面中細小的煙霧和微小的火星、火苗等。而上述文獻表明，現(xiàn)有的火災(zāi)識別算法，不論是通過HSV特征和HSI特征的提取，還是通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，均是直接對整張圖片進行特征提取然后根據(jù)特征進行分類，而圖片中的局部信息則容易被忽略。

為此，文中提出了一種混合卷積神經(jīng)網(wǎng)絡(luò)模型(HybridNet)，通過提取圖片不同尺度的特征，并進行特征融合，提高了對火災(zāi)圖片的識別精度。通過使用多組實驗數(shù)據(jù)與現(xiàn)有識別算法進行了對比，驗證了該方法具有切實的可行性。

1 算法理論基礎(chǔ)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

近年來，深度學(xué)習(xí)發(fā)展迅速，卷積神經(jīng)網(wǎng)絡(luò)成為圖像識別的主要手段，卷積神經(jīng)網(wǎng)絡(luò)在圖像特征提取方面體現(xiàn)出優(yōu)良的性能[8-9]。LeCun等人于1998提出的Le-Net5是最早將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識別的方法[10]。Le-Net5在手寫Minist數(shù)據(jù)集上獲得了較高的準(zhǔn)確率，大大優(yōu)于同期的其他圖像識別方法，之后出現(xiàn)的很多卷積神經(jīng)網(wǎng)絡(luò)大多都以它為基礎(chǔ)。

更深的神經(jīng)網(wǎng)絡(luò)可以帶來更強的學(xué)習(xí)能力，但實際應(yīng)用中隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)的訓(xùn)練難度也隨之加大[11]。另一方面，由于深度加深會出現(xiàn)梯度消失等問題，網(wǎng)絡(luò)的學(xué)習(xí)能力反而會因為網(wǎng)絡(luò)加深而產(chǎn)生“退化”。為了解決這一問題，He Kaiming團隊提出了Residual Networks，并在2015年的ImageNet中取得了優(yōu)異的成績[12]。

Residual Networks引入了深度殘差(deep residual)學(xué)習(xí)框架來解決退化問題。Residual結(jié)構(gòu)進行了以下的計算：

yl=h(xl)+F(xl,Wl)

(1)

xl+1=f(yl)

(2)

其中，xl和xl+1分別為第l個殘差單元的輸入特征和輸出特征。W={Wl,k,k|1≤k≤K}是一個與第l個殘差單元相關(guān)的權(quán)重和偏差的集合，其中K表示殘差單元內(nèi)部的層的數(shù)量。F(·)是residual mapping函數(shù)，h(·)為identity mapping函數(shù)。函數(shù)f(·)是元素加和后的操作,在Residual Networks中，這一操作選用了ReLU激活函數(shù)。

輸出特征圖的感受野隨著卷積池化層數(shù)的加深而不斷增大。在卷積神經(jīng)網(wǎng)絡(luò)中，淺層特征圖因為感受野較小，其包含的特征趨向局部和細節(jié)。而相比淺層特征圖，深層特征圖擁有更大的感受野。感受野代表了其每個像素包括的原始圖像范圍，更大的感受野意味著其蘊含更為全局的特征信息。一般的模型都會使用深層特征進行分類識別，但對于火災(zāi)識別問題，局部和細節(jié)的特征通常包含了早期火災(zāi)的信息，如果僅使用深層特征進行分類識別，圖片中重要的局部信息容易被忽略。

1.2 自編碼器

自編碼器是一種無監(jiān)督模型，包括一個編碼部分和一個解碼部分。編碼部分由模型的輸入層和隱層組成，用以將輸入數(shù)據(jù)x編碼為a，這個過程中實現(xiàn)數(shù)據(jù)融合和降維。解碼部分由隱層和輸出層構(gòu)成，用以將編碼數(shù)據(jù)a還原為輸出信號y[13]，如圖1所示，即：

圖1 含三層網(wǎng)絡(luò)的自編碼器

a=f(x,W)

(3)

(4)

從自編碼器獲得有用特征的一種方法是，限制a的維度使其小于輸入x，訓(xùn)練自編碼器，使輸入x通過編碼器和解碼器后，保留盡可能多的信息，即令編碼器輸入x與解碼器輸出y之間的距離盡可能小。通過多輪學(xué)習(xí)后，自編碼器能夠編碼數(shù)據(jù)中的重要特征，實現(xiàn)特征融合。

2 火災(zāi)特征提取

通過數(shù)據(jù)驅(qū)動的迭代學(xué)習(xí)，網(wǎng)絡(luò)逐漸學(xué)習(xí)到提取圖片對象特征的能力。為了直觀地了解卷積的特征提取過程，文中使用已經(jīng)訓(xùn)練完成的ResNet50[12]，抽取了其中間層的輸出特征，并進行了可視化。

如圖2所示，隨著卷積層數(shù)的加深，輸出特征圖的全局信息被加強，而局部信息被逐漸弱化。不同于ImageNet等標(biāo)準(zhǔn)化的圖像識別數(shù)據(jù)集，不論是一些公開的火災(zāi)識別數(shù)據(jù)集的圖片，還是實際火災(zāi)監(jiān)控應(yīng)用場景下拍攝的圖片，火焰或煙霧并不一定是畫面中的主體。因此僅僅通過加深網(wǎng)絡(luò)層數(shù)來提高網(wǎng)絡(luò)的全局特征提取能力是不夠的。

圖2 特征提取過程

3 火災(zāi)識別模型架構(gòu)

3.1 混合模型

文中提出的混合模型包含兩路特征提取器，其中一路特征提取器FeatureDetectNet A(FDN A)，文中選取了ResNet50的結(jié)構(gòu)作為參考，以保證模型在提取深層特征方面的性能，并使用卷積分解和不對稱卷積將ResNet50卷積層中3×3以及更大的卷積核進行替換，以減小模型體積。其中3×3的卷積核均替換成了3×1和1×3的兩層級聯(lián)卷積網(wǎng)絡(luò)。使用更小的卷積核可以避免大尺寸卷積核在快速縮減特征圖大小時，圖像細節(jié)信息的丟失。替換后的FDN A相比原始的ResNet50減少了16%的參數(shù)量。

為了驗證FDN A的性能相對ResNet50是否發(fā)生變化，文中在同一數(shù)據(jù)集上對FDN A和ResNet50進行了測試，結(jié)果表明FDN A在減少了參數(shù)量的前提下，特征提取性能與ResNet50基本相同。

另一路特征提取器FeatureDetectNet B(FDN B)用以提取淺層特征。文中對比測試了幾個常用的模型，如VGG16[14]、Inception-v3[15]在提取淺層特征方面的性能，最終選擇了效果更好的Inception-v3作為FeatureDetectNet B的參考結(jié)構(gòu)。

3.2 特征融合

為了使兩路特征提取器輸出的特征實現(xiàn)融合，首先對FDN B得到的淺層特征進行最大池化(Maxpool)操作，在保留局部特征的情況下使淺層特征圖的大小與深層特征得以匹配，再通過Concat操作初步融合兩路特征，其中所述Concat操作可以將多組特征圖按某一指定維度拼接從而融合成一組特征圖。圖3顯示了一張大小為224×224的圖片，在進入混合模型提取特征后初步融合的過程。

圖3 通過Concat和Maxpool實現(xiàn)特征初步融合過程

初步融合后的特征圖，通過自編碼器去除冗余信息，實現(xiàn)進一步融合。如圖4所示，2 336×7×7的特征圖經(jīng)過全局平均池化(GAP)后，再置入編碼器進行特征降維，剔除冗余信息保留關(guān)鍵特征。

圖4 通過自編碼器實現(xiàn)特征融合過程

3.3 損失函數(shù)

在模型訓(xùn)練過程中，編碼器融合后的特征通過分類器分類并計算分類損失。另一方面，融合特征需要進入解碼器解碼，還原為2 336×1×1的特征，并與自編碼器的輸入特征進行對比，計算融合損失。為了使聯(lián)合自編碼器的混合模型可以實現(xiàn)端到端的訓(xùn)練，文中合并了模型的分類損失和融合損失，使用交叉熵計算分類損失，均方誤差計算融合損失。為了避免模型過于追求融合的無損，而導(dǎo)致模型無法收斂，對兩種損失增加相應(yīng)的權(quán)重以防止模型在訓(xùn)練過程中發(fā)散。

經(jīng)過實際測試，選擇λ1=0.001，λ2=5時，混合模型在訓(xùn)練過程中可以得到較好的收斂結(jié)果。

4 實 驗

4.1 數(shù)據(jù)集

目前公開的一些火災(zāi)數(shù)據(jù)集普遍存在一些問題。一方面是火災(zāi)數(shù)據(jù)集的規(guī)模較小，樣本信息不夠豐富，難以支撐深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練需要；另一方面很多數(shù)據(jù)集是直接從若干火災(zāi)視頻中直接按幀截取的，樣本重復(fù)度較高，測試集和訓(xùn)練集之間的差異較小，難以測試出模型的泛化性能，而且訓(xùn)練得到的模型實用性較差[16-17]。

文中以火災(zāi)圖片為識別對象，包括火焰、煙霧等火災(zāi)常見的特征，因此構(gòu)建了一個多場景的火災(zāi)圖片數(shù)據(jù)集FireDetectData，其中正樣本來自不同生活場景下的火災(zāi)圖片，包括輸電管道、森林、建筑以及車輛等等，而負樣本則為正常的無火災(zāi)圖片，包括夕陽、紅色花朵、暖色燈光等與火災(zāi)場景近似易混淆的圖片。

整個FireDetectData數(shù)據(jù)集包含13 538張圖片，數(shù)據(jù)集中包含了不同尺度、光照和角度的火災(zāi)圖片5 131張以及正常的無火災(zāi)圖片8 407張。由于每張圖片的大小不一，為了滿足深度卷積神經(jīng)網(wǎng)絡(luò)的輸入要求，在實驗中火災(zāi)圖片和正常圖片均重新調(diào)整大小為同一尺度(高寬比224×224)。其中選取7 689張圖片作為訓(xùn)練樣本，其余的作為測試樣本。

此外，為了增加實驗結(jié)果的可靠性，文中還選取了一個公開的Mivia火災(zāi)視頻數(shù)據(jù)集[18]作為測試樣本，Mivia火災(zāi)視頻數(shù)據(jù)集總共包括31個視頻樣本，其中14個為火災(zāi)視頻，17個為正常的無火災(zāi)視頻。Mivia數(shù)據(jù)集的具體信息如表1所示，由于其包含的負樣本的數(shù)量遠大于正樣本的數(shù)量，且由于視頻樣本本身的局限性，從視頻中獲取的幀圖片重復(fù)度較高。負樣本數(shù)量過多，意味著模型僅在負樣本的識別上表現(xiàn)良好也能獲得較高的整體準(zhǔn)確率，這無疑不利于模型性能的評估。為了減少正負樣本不平衡對實驗結(jié)果帶來的不良影響，實驗過程中先隨機選取了5 040張火災(zāi)圖片和6 390張正常圖片作為訓(xùn)練集，再從剩余的圖片中隨機選取5 258張火災(zāi)圖片和6 229張正常圖片作為測試集。

文中提出的模型以及其他用于對比測試的CNN模型均在以下的工作條件下完成訓(xùn)練與測試：IntelCore i5 8500 CPU，配備8 GB RAM與Win10操作系統(tǒng)，NVIDIA GTX1070配備8 G顯存，以及Pytorch深度學(xué)習(xí)框架。

4.2 實驗結(jié)果及分析

在FireDetectData數(shù)據(jù)集上測試使用的評價指標(biāo)有“準(zhǔn)確率(Accuracy)”“誤報率(FPR)”以及“漏報率(FNR)”，評價指標(biāo)的具體定義如下：

(6)

(7)

(8)

其中，TP表示測試集中識別正確的火災(zāi)圖片的數(shù)量；TN表示識別正確的無火災(zāi)正常圖片的數(shù)量；FP表示被誤判為火災(zāi)圖片的無火災(zāi)正常圖片的數(shù)量；FN表示被誤判為正常圖片的火災(zāi)圖片的數(shù)量；Npos表示火災(zāi)圖片的總數(shù)；Nneg表示無火災(zāi)正常圖片的總數(shù)。

實驗將提出的HybridNet與現(xiàn)有的火災(zāi)識別模型進行了對比測試。為了減少過擬合現(xiàn)象，在實驗過程中對不同的CNN模型均使用了相應(yīng)的ImageNet權(quán)重進行遷移學(xué)習(xí)。隨著訓(xùn)練迭代次數(shù)的增加，不同模型在FireDetectData數(shù)據(jù)集上的Accuracy變化情況如圖5所示。

圖5 各個模型在不同迭代次數(shù)下的Accuracy曲線

表1對比了不同的識別模型在FireDetectData測試集上得到的最優(yōu)結(jié)果。可以看出，混合模型在實驗中的表現(xiàn)均優(yōu)于其他模型，識別準(zhǔn)確率達到了96.82%。

表1 各模型在FireDetectData數(shù)據(jù)集上的識別效果比較

各個模型在經(jīng)過對圖像的特征提取和分類后對兩個目標(biāo)類別給出輸出數(shù)值，并通過Softmax函數(shù)轉(zhuǎn)化為相對概率。關(guān)于Softmax函數(shù)的定義如下式所示：

(9)

其中，i表示數(shù)據(jù)集的類別索引，vi是分類器對第i類目的輸出。數(shù)據(jù)集總的類別個數(shù)為C。Si為第i類目輸出的指數(shù)與數(shù)據(jù)集所有類目輸出的指數(shù)和的比值。樣本圖片及其通過混合網(wǎng)絡(luò)得到的概率的示例在圖6中示出。

圖6 示例樣本圖像及其基于混合網(wǎng)絡(luò)的火災(zāi)識別概率((a)(b)(c)火災(zāi)；(d)(e)(f)正常)

同時，上述模型也同樣在Mivia數(shù)據(jù)集上進行了比對。為了更好地評估性能，在Mivia數(shù)據(jù)集上進行不同模型的性能測試時，使用了另一組評估指標(biāo)，包括綜合評價指標(biāo)(F1-Measure)、召回率(Recall)以及精準(zhǔn)率(Precision)。經(jīng)過多輪訓(xùn)練，各模型在數(shù)據(jù)集Mivia上的測試結(jié)果如圖7所示。可以看出，相比于其他模型，HybridNet在不同迭代次數(shù)下都取得了更優(yōu)的結(jié)果。

圖7 各模型在不同迭代次數(shù)下的綜合評價指標(biāo)曲線

最終測試結(jié)果如表2所示。將提出的混合網(wǎng)絡(luò)與其他現(xiàn)有方法進行了比較，從表1和表2中可以看出，由于混合網(wǎng)絡(luò)融合了兩路特征提取網(wǎng)絡(luò)的特征，在實驗的準(zhǔn)確率、F1-Measure、召回率以及精準(zhǔn)率上均有所提升，誤報率和漏報率則均有所下降?；旌暇W(wǎng)絡(luò)成功地超越了現(xiàn)有方法，F(xiàn)1-Measure 達到了97.96%，召回率為97.01%，精準(zhǔn)率為98.93%，驗證了混合網(wǎng)絡(luò)模型的有效性。

表2 各模型在Mivia數(shù)據(jù)集上的識別效果比較

5 結(jié)束語

針對現(xiàn)有火災(zāi)識別方法忽略了局部信息，丟失小目標(biāo)特征的缺陷，提出了一種基于混合CNN的識別方法，并在FireDetectData數(shù)據(jù)集和Mivia數(shù)據(jù)集上進行驗證。實驗結(jié)果顯示，該方法優(yōu)于現(xiàn)有的CNN模型以及其他識別方法，在FireDetectData數(shù)據(jù)集和Mivia數(shù)據(jù)集上準(zhǔn)確率分別為96.82%和97.96%。由于該方法使用了兩路特征提取器，并增加了特征融合步驟，使網(wǎng)絡(luò)的訓(xùn)練時間變長，因此下一步研究主要集中在保持識別準(zhǔn)確率的前提下，進一步精簡模型，減少網(wǎng)絡(luò)計算量。