李寶民,王小鵬,孫茜容,張軍平

(蘭州交通大學(xué)電子與信息工程學(xué)院,甘肅 蘭州 730070)

1 引言

森林火災(zāi)突發(fā)性強(qiáng)、破壞力大、撲救困難。在施救時(shí),須遵循“打早、打小、打了”的基本原則,以最大限度地保護(hù)生態(tài)資源和生命財(cái)產(chǎn)。能否盡快撲滅林火,取決于火情是否可以及時(shí)發(fā)現(xiàn)。然而,點(diǎn)型復(fù)合式感煙感溫火災(zāi)探測(cè)器無法迅速反映森林火災(zāi)的煙溫變化,難以實(shí)現(xiàn)林火及時(shí)預(yù)警。因此,對(duì)林火圖像預(yù)警的研究,對(duì)于森林火災(zāi)的預(yù)防和降低火災(zāi)造成的損失均具有重要意義。

當(dāng)前,在林火圖像識(shí)別研究中主要有2種方法。一種是人工制訂規(guī)則提取特征(如顏色、紋理、形狀),然后對(duì)特征進(jìn)行多樣化融合,最后使用訓(xùn)練好的BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)或支持向量機(jī)檢測(cè)有無火情。Wang等[1]基于火色分量建立火災(zāi)探測(cè)模型,引入火焰運(yùn)動(dòng)特征,減少了誤報(bào)率;Vijayalakshmi等[2]基于HSV(Hue,Saturation,Value)模型消除非煙和非火的區(qū)域,利用幀差法和時(shí)間分析法查看火焰像素值在連續(xù)序列中的變化情況,減少了對(duì)近似火焰運(yùn)動(dòng)物體的誤檢,但是實(shí)驗(yàn)中樣本集規(guī)模較小;李巨虎等[3]在YCbCr顏色空間中確定疑似火焰區(qū)域,然后將LBP(Local Binary Patterns)和LPQ(Local Phase Quantization)算法相結(jié)合用于提取空域和頻域特征,最后借助SVM(Support Vector Machine)進(jìn)行識(shí)別,成功降低了紅葉林的干擾。

另一種是采用卷積神經(jīng)網(wǎng)絡(luò)方法,利用卷積核及參數(shù)共享機(jī)制,自動(dòng)對(duì)圖像進(jìn)行特征提取,無需手動(dòng)選取特征。Zeng等[4]改進(jìn)了基于卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Netowrk)的物體檢測(cè)方法來檢測(cè)火焰煙霧,在開放空間中獲得了不錯(cuò)的性能,超過了傳統(tǒng)方法的檢測(cè)精度;回天等[5]提出了基于Faster RCNN(Faster Region CNN)的火焰檢測(cè)方法,在面對(duì)不同環(huán)境、形狀的火焰時(shí)可以取得較高的準(zhǔn)確率,但檢測(cè)速度較慢,無法實(shí)時(shí)檢測(cè);徐莉等[6]運(yùn)用基于風(fēng)格遷移技術(shù)的生成對(duì)抗網(wǎng)絡(luò)GAN(Generative Adversarial Networks)擴(kuò)充樣本庫,并對(duì)多層特征進(jìn)行融合,保證了森林火災(zāi)識(shí)別的魯棒性,提供了一種擴(kuò)充數(shù)據(jù)集的方式;周浪等[7]對(duì)DenseNet(Dense convolutional Network)模型進(jìn)行稀疏化改造,減輕了過擬合、緩解了梯度消失、加快了收斂速度,得到了輕量級(jí)的網(wǎng)絡(luò)結(jié)構(gòu),但文中未提到小目標(biāo)的檢測(cè)效果;晉耀等[8]采用Anchor-Free網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)了一種快速高效的火災(zāi)檢測(cè)算法,引入特征選擇模塊進(jìn)行尺度匹配,網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、超參數(shù)少,成功實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)。

綜上所述,中外研究人員對(duì)于森林火災(zāi)圖像的識(shí)別研究均取得了一定的成果,但在檢測(cè)精度和檢測(cè)速度上還未取得很好的平衡,尤其是早期火災(zāi)的小目標(biāo)檢測(cè)精度。為此,本文提出一種基于CenterNet2的林火圖像預(yù)警檢測(cè)方法;針對(duì)檢測(cè)速度較慢的問題,選用輕量化網(wǎng)絡(luò)VoVNetV2(Variety of View Network Version 2)作為主干網(wǎng),并在第一階段的Head部分采取共享參數(shù)的方式減少計(jì)算量;針對(duì)林火早期尺寸較小導(dǎo)致容易漏檢的問題,采取了多種方法進(jìn)行改進(jìn)。首先,引入非對(duì)稱卷積塊提高特征提取能力;然后,采用融合注意力機(jī)制的加權(quán)特征金字塔網(wǎng)絡(luò)進(jìn)行多尺度融合,并聯(lián)合特征分配原則以減輕物體大小不同造成的模糊性;最后,引入考慮角度成本的SIoU損失函數(shù)來進(jìn)一步提升檢測(cè)精度。

2 基于概率兩階段CenterNet2的火災(zāi)檢測(cè)方法

CenterNet2[9]對(duì)兩階段目標(biāo)檢測(cè)模型提出了一種新的概率解釋,將2個(gè)階段聯(lián)系在一起進(jìn)行訓(xùn)練。在第一階段使用一個(gè)強(qiáng)大的檢測(cè)器來產(chǎn)生更小但質(zhì)量更高的提案區(qū)域,從而提高檢測(cè)速度和精度。

2.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

本文所提方法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,其中VoVNetV2作為主干網(wǎng);然后將提取的特征輸入到融合注意力的BiFPN(Bi-directional Feature Pyramid Network)中,進(jìn)一步聚合和細(xì)化上下文信息,利用相應(yīng)的錨頭網(wǎng)絡(luò)進(jìn)行預(yù)測(cè),生成候選區(qū)域rois(region of interests);最后將rois輸入到RoIHead(Region of Interest Head),對(duì)候選區(qū)域進(jìn)行分類并微調(diào)形狀和位置。

2.2 結(jié)合非對(duì)稱卷積核的VoVNetV2

VoVNet[10]與VoVNetV2[11]均使用一次性聚合OSA(One-Shot Aggregation)模塊生成更大感受野的特征,并采用稀疏連接的方式提高GPU計(jì)算效率、減少內(nèi)存訪問成本。然而,面對(duì)縱橫比多變的煙火目標(biāo),僅處理方框感受野的OSA模塊不利于特征提取。受ACNet(Asymmetric Convolution Net)[12]的啟發(fā),將OSA中的所有3×3卷積替換為非對(duì)稱卷積塊ACB(Asymmetric Convolution Block)。通過在3×3卷積層上并行添加2個(gè)具有核1×3和3×1的額外卷積的方式,提取具有矩形感受野的特征,其核心模塊如圖2所示。改進(jìn)版VoVNetV2-19具有5級(jí)輸出,其配置如表1所示。

Table 1 Configurartion of improved VoVNetV2-19

Figure 2 Improved OSA

2.3 融合注意力機(jī)制的加權(quán)雙向特征金字塔網(wǎng)絡(luò)

BiFPN[13]模塊(見圖3)是由Google提出的一種加權(quán)雙向(自頂向下+自低向上)特征金字塔網(wǎng)絡(luò),在PANet(Path Aggregation Network)[14]的基礎(chǔ)上進(jìn)行了修剪并引入跳級(jí)連接,可以進(jìn)行高效的特征融合。自頂向下的通路傳遞高層特征的語義信息;自底向上的通路傳遞低層特征的位置信息。BiFPN模塊可以重復(fù)多次使用,以學(xué)習(xí)到更有效的特征。SE(Squeeze and Extraction)模塊表明使用通道注意力模塊可以剔除沒價(jià)值的特征,提高特征表示能力。但是,原始的SE模塊使用2個(gè)FC(Full Connection)層會(huì)導(dǎo)致通道信息丟失,因此本文采用eSE(effective Squeeze and Extraction)模塊(見圖4),將2個(gè)FC替換為1個(gè)FC,進(jìn)一步提高網(wǎng)絡(luò)性能。BiFPN基礎(chǔ)模塊有5個(gè)輸出節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)經(jīng)過一次eSE通道注意力模塊后再輸入到下一個(gè)模塊,這樣改進(jìn)后的BiFPN結(jié)構(gòu)(見圖5)就包含了通道間關(guān)聯(lián)的信息,網(wǎng)絡(luò)便具備了更準(zhǔn)確的表達(dá)能力。

Figure 3 BiFPN module

Figure 4 eSE module

Figure 5 Improved BiFPN structure

此外,為減輕模型參數(shù)量,網(wǎng)絡(luò)中的Head采用共享參數(shù)方式。與傳統(tǒng)的Anchor-based檢測(cè)器將不同比例的錨點(diǎn)框分配給不同的特征級(jí)別不同,針對(duì)生成的P3～P7特征,通過限制每個(gè)特征級(jí)別的邊界框回歸范圍來消除錨點(diǎn)大小與目標(biāo)對(duì)象大小之間的耦合。具體來說,首先計(jì)算中心點(diǎn)到邊界框的距離,然后根據(jù)最大距離來確定每個(gè)特征級(jí)別的目標(biāo)對(duì)象范圍,比如P5層的接受域?yàn)閇64,128]。這種方法可以確保對(duì)象始終處于每個(gè)特征級(jí)別中的接受域中,能夠降低物體大小不同造成的模糊性,有效地提高目標(biāo)檢測(cè)的準(zhǔn)確性和效率。此外,當(dāng)一個(gè)位置被分配給多個(gè)真值框時(shí),選擇面積最小的真值框作為其目標(biāo)。

將Head生成的rois輸入到Cascade RCNN構(gòu)成的RoIHead中進(jìn)一步調(diào)整矯正。本文使用級(jí)聯(lián)的分類器和回歸器來增強(qiáng)檢測(cè)器的性能。在每個(gè)階段中,模型使用上一階段輸出的正例作為訓(xùn)練數(shù)據(jù),并使用當(dāng)前階段的數(shù)據(jù)進(jìn)行負(fù)例挖掘。這種級(jí)聯(lián)訓(xùn)練方法可以使檢測(cè)器具有更高的檢測(cè)準(zhǔn)確率和更強(qiáng)的魯棒性,且對(duì)小目標(biāo)的檢測(cè)效果更好。第一階段提供了高質(zhì)量的候選框,因此在后續(xù)實(shí)驗(yàn)中提高了RoIHead中IoU(Intersection over Union)的閾值,3個(gè)階段的閾值依次設(shè)置為0.6,0.7和0.8。

2.4 SIoU損失函數(shù)

原始CenterNet2中使用GIoU(Generalized Intersection over Union)[15]損失進(jìn)行邊界框回歸,其計(jì)算公式如式(1)和式(2)所示:

(1)

(2)

其中,B和Bgt分別為預(yù)測(cè)框和真實(shí)框,D是2個(gè)框的最小閉包區(qū)域。

GIoU不僅關(guān)注預(yù)測(cè)框和真實(shí)框的重合面積占比,還關(guān)注非重合區(qū)域。但是,當(dāng)預(yù)測(cè)框完全包裹真實(shí)框時(shí)無法區(qū)分其相對(duì)位置關(guān)系,這對(duì)于小目標(biāo)的檢測(cè)非常不利。因此,本文采用SIoU(Scylla Intersection over Union)[16]損失函數(shù)來進(jìn)行邊框回歸,其計(jì)算公式如式(3)所示:

(3)

其中,Δ和Ω分別表示距離成本和形狀成本。

與其他IoU損失函數(shù)(如GIoU、DIoU(Distance Intersection over Union)、CIoU(Complete Intersection over Union)和EIoU(Efficient Intersection over Union))不同,SIoU引入了真實(shí)框和預(yù)測(cè)框之間的方向角度。角度成本Λ計(jì)算公式如式(4)～式(7)所示:

Λ=1-2sin2(arcsin(x)-π/4)

(4)

(5)

(6)

(7)

Figure 6 Schematic diagram of Angle costing

根據(jù)式(4)中定義的角度成本,距離成本Δ的定義如式(8)～式(11)所示:

Δ=∑t=x,y(1-e-γρt)

(8)

(9)

(10)

γ=2-Λ

(11)

其中,cw和ch分別為真實(shí)框和預(yù)測(cè)框最小外接矩形的寬和高。當(dāng)α為π/4時(shí),距離成本貢獻(xiàn)度最大。形狀成本Ω的定義如式(12)～式(14)所示:

(12)

(13)

(14)

其中,w和h分別為預(yù)測(cè)框的寬和高,wgt和hgt分別為真實(shí)框的寬和高,θ值表示對(duì)形狀損失的關(guān)注程度。使用遺傳算法計(jì)算出θ值接近4,為了避免過于關(guān)注形狀損失而影響預(yù)測(cè)框的檢測(cè)精度,將該值設(shè)置為4。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境主要配置如下:Windows 10操作系統(tǒng),顯卡為NVIDIA Tesla V100,內(nèi)存為32 GB。數(shù)據(jù)集來源如下:百度圖庫、FLAME公開數(shù)據(jù)集、百度飛槳公開數(shù)據(jù)集等。篩選后最終得到的林火相關(guān)數(shù)據(jù)集共有4 352幅圖像。使用Labelimg工具進(jìn)行圖像標(biāo)注,并將其轉(zhuǎn)化成COCO格式的數(shù)據(jù)。

數(shù)據(jù)集訓(xùn)練階段采用WarmupCosineLR(Warmup Cosine Learning Rate)訓(xùn)練策略。實(shí)驗(yàn)初始參數(shù)如下:batchsize為16,初始學(xué)習(xí)率為0.01,總迭代輪數(shù)為170。

3.2 消融實(shí)驗(yàn)

首先,在GPU平臺(tái)將原CenterNet2方法和本文優(yōu)化方法在相同實(shí)驗(yàn)環(huán)境下進(jìn)行林火檢測(cè),整體檢測(cè)精度、小目標(biāo)檢測(cè)精度、檢測(cè)速度的實(shí)驗(yàn)結(jié)果如表2所示。所用評(píng)價(jià)指標(biāo)為:AP50(IoU為0.5時(shí)的平均精度)、APs(小尺寸目標(biāo)檢測(cè)精度)和FPS(畫面每秒傳輸幀數(shù)),指標(biāo)值越大則性能越好。

Table 2 Performance comparison of CenterNet2 and the improved CenterNet2

采用單階段方法YOLOv5(You Only Look Once version5)和雙階段方法Faster-RCNN以及本文改進(jìn)的CenterNet2對(duì)相同圖像進(jìn)行林火檢測(cè),檢測(cè)精度和速度數(shù)據(jù)如表3所示。

Table 3 Performance comparison between classical detection methods and the proposed method

由表2和表3可以看出,本文方法在確保實(shí)時(shí)性的前提下,檢測(cè)精度較高,小目標(biāo)林火的檢測(cè)精度提升尤為明顯,有利于森林火災(zāi)初期檢測(cè)預(yù)警。

最后,為了驗(yàn)證本文林火檢測(cè)方法的有效性,在數(shù)據(jù)集上進(jìn)行了多組消融實(shí)驗(yàn),包括選擇不同輕量級(jí)主干網(wǎng)絡(luò)的檢測(cè)性能實(shí)驗(yàn)對(duì)比(結(jié)果見表4)、采用不同注意力機(jī)制優(yōu)化BiFPN網(wǎng)絡(luò)的檢測(cè)性能實(shí)驗(yàn)對(duì)比(結(jié)果見表5)、使用不同損失函數(shù)優(yōu)化回歸的網(wǎng)絡(luò)檢測(cè)性能實(shí)驗(yàn)對(duì)比(結(jié)果見表6)以及使用不同優(yōu)化策略時(shí)的實(shí)驗(yàn)對(duì)比(結(jié)果見表7)。

Table 4 Comparison experiments using different lightweight backbone networks

Table 5 Comparative experiments of BiFPN network optimized by different attention mechanisms

Table 6 Comparative experiments of optimized networks with different loss functions

Table 7 Performance comparison using different optimization strategies

由表4可以看出,采用更輕量的主干網(wǎng)絡(luò)后,模型的檢測(cè)速度均有不同程度的提升,相比于DLA34(Deep Layer Aggregation)、MobileNetV2和原始VoVNetV2,結(jié)合非對(duì)稱卷積核的VoVNetV2在檢測(cè)精度和檢測(cè)速度上均取得了最佳效果。

由表5可知,采用不同注意力機(jī)制優(yōu)化加權(quán)雙向特征金字塔網(wǎng)絡(luò)(BiFPN)后,模型檢測(cè)速度均有下降。與SE和ECA(Efficient Channel Attention)相比,使用eSE可以在犧牲速度最少的情況下獲得最大的精度收益。

由表6可知,使用不同損失函數(shù)優(yōu)化后,網(wǎng)絡(luò)的檢測(cè)精度均有不同程度的提升。采用SIOU損失函數(shù)后,可以取得更佳的檢測(cè)速度及精度。

經(jīng)過消融實(shí)驗(yàn)可以看出,相較于沒有使用優(yōu)化策略的CenterNet2方法,優(yōu)化后方法的AP50和APs分別提高了2.8%和2.3%;FPS提高了7,即每秒鐘可以多檢測(cè)7幅圖像,如表7所示。

3.3 效果展示

為了更直觀地對(duì)比優(yōu)化后的CenterNet2方法與原始方法對(duì)森林煙火的檢測(cè)效果,在幾組不同的場(chǎng)景下采用相同實(shí)驗(yàn)環(huán)境進(jìn)行了測(cè)試對(duì)比,結(jié)果如圖7～圖10所示。

Figure 7 Tree shading scene

Figure 8 Forest lighting scene

Figure 9 Snow scene

Figure 10 Forest fire scene with small scale

由4組對(duì)比圖像可以看出,優(yōu)化后的方法在面臨樹木遮擋時(shí)可以更好地識(shí)別到火焰;在雪地環(huán)境中,煙檢測(cè)率更高且未出現(xiàn)誤檢漏檢現(xiàn)象。此外,對(duì)于林火早期的小尺寸煙火和遠(yuǎn)距離拍攝的小型煙火均有更好的檢測(cè)效果。

4 結(jié)束語

針對(duì)森林火災(zāi)圖像中的煙火檢測(cè)問題,提出了一種基于CenterNet2的檢測(cè)方法。在特征提取時(shí)選用了輕量級(jí)的VoVNetV2網(wǎng)絡(luò),提升了檢測(cè)速度;同時(shí)引入ACB模塊,降低了實(shí)例的漏檢率,提升了檢測(cè)精度;對(duì)BiFPN特征金字塔模塊進(jìn)行了改進(jìn),在基礎(chǔ)模塊復(fù)用間引入通道注意力機(jī)制,使網(wǎng)絡(luò)可以自主地關(guān)注重要特征,提升了網(wǎng)絡(luò)的魯棒性;對(duì)回歸損失函數(shù)進(jìn)行了改進(jìn),使網(wǎng)絡(luò)可以更快地收斂的同時(shí)提升對(duì)小目標(biāo)的檢測(cè)精度,有利于森林火災(zāi)的早期預(yù)警。未來會(huì)繼續(xù)擴(kuò)充數(shù)據(jù)集并聯(lián)合通道剪枝等進(jìn)一步提高網(wǎng)絡(luò)性能。