鮑文霞，孫強(qiáng)，梁棟，胡根生，楊先軍

1. 安徽大學(xué)電子信息工程學(xué)院，合肥 230601； 2. 中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院，合肥 230031

0 引 言

近年來(lái)，世界各地多座百年建筑和多處森林接連遭遇火災(zāi)，星星之火為生態(tài)環(huán)境帶來(lái)了潛在的致命危險(xiǎn)。為最大程度減少人員傷亡、環(huán)境和財(cái)產(chǎn)損害，實(shí)施快速準(zhǔn)確的早期火焰檢測(cè)已勢(shì)在必行。雖然煙霧報(bào)警器和火焰報(bào)警器已廣泛用于室內(nèi)火焰報(bào)警，但這些傳統(tǒng)的物理傳感器具有許多局限性。例如，需要靠近火源、不適于戶(hù)外場(chǎng)景等。隨著圖像處理和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，利用現(xiàn)有監(jiān)控圖像進(jìn)行實(shí)時(shí)火焰檢測(cè)的方法已廣泛應(yīng)用。

顏色是火焰圖像的重要特征，也是基于圖像的火焰檢測(cè)方法的基礎(chǔ)。Chen等人(2004)提出一種兩階段火焰檢測(cè)方法。首先根據(jù)RGB顏色空間中的色度和飽和度檢測(cè)火焰像素。然后使用火焰的無(wú)序特征和火焰區(qū)域的增長(zhǎng)特性來(lái)驗(yàn)證來(lái)自上一步的火焰像素。?elik和Demirel(2009)以及Celik(2010)利用統(tǒng)計(jì)分析和閾值法提取前景信息，實(shí)現(xiàn)了火焰的實(shí)時(shí)檢測(cè)。這類(lèi)方法先將圖像轉(zhuǎn)換為L(zhǎng)ab(CIE LAB)或YCbCr(ITU-R YCbCr)顏色空間，例如使用YCbCr顏色空間將亮度Y分量與色度Cb分量和Cr分量分離，在3個(gè)分量上通過(guò)閾值法分類(lèi)火焰像素。Ouyang等人(2018)先在RGB顏色空間上分離火焰圖像，再在B通道上通過(guò)邊緣提取操作提取圖像的邊緣梯度來(lái)識(shí)別火焰。這些基于顏色的火焰檢測(cè)方法受光照變化影響較大，并且不能正確區(qū)分場(chǎng)景中偽火類(lèi)物體。

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，研究人員利用機(jī)器學(xué)習(xí)的方法檢測(cè)火焰。Truong和Kim(2012)首先使用自適應(yīng)高斯混合技術(shù)確定移動(dòng)像素區(qū)域，然后使用模糊C均值聚類(lèi)(fuzzy c-means，F(xiàn)CM)方法從這些區(qū)域中選擇候選火焰區(qū)域，利用離散小波變換算法提取火焰區(qū)域的近似系數(shù)，最后使用支持向量機(jī)(support vector machine，SVM)對(duì)火焰像素和非火焰像素進(jìn)行分類(lèi)。Chakraborty和Paul(2010)使用K-means聚類(lèi)技術(shù)檢測(cè)火焰像素，在RGB和HSI(hue saturation intensity)兩種顏色空間中對(duì)顏色閾值使用K-means聚類(lèi)，聚類(lèi)后輸出背景集群和前景集群，背景集群被零像素取代，前景集群中保留了圖像的火焰像素，從而實(shí)現(xiàn)火焰檢測(cè)。在Khatami等人(2017)提出的基于粒子群優(yōu)化(particle swarm optimization，PSO)的K-medoids聚類(lèi)火焰檢測(cè)方法的基礎(chǔ)上，Hashemzadeh和Zademehdi(2019)提出基于帝國(guó)競(jìng)爭(zhēng)算法(imperialist competitive algorithm，ICA)的K-medoids聚類(lèi)火焰檢測(cè)方法，通過(guò)基于ICA的K-medoids初步提取候選火焰像素區(qū)域，再使用運(yùn)動(dòng)強(qiáng)度感知技術(shù)獲得候選區(qū)域像素的移動(dòng)速率，最后由SVM對(duì)火焰區(qū)域和非火焰區(qū)域進(jìn)行分類(lèi)。使用支持向量機(jī)、聚類(lèi)等傳統(tǒng)的機(jī)器學(xué)習(xí)方法檢測(cè)火焰，通常需要人工設(shè)計(jì)火焰特征，此種方式主觀性強(qiáng)，且對(duì)復(fù)雜背景圖像的適應(yīng)能力差。

基于深度學(xué)習(xí)模型的火焰檢測(cè)是當(dāng)前研究的熱點(diǎn)。Zhang等人(2016)提出一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的森林火焰檢測(cè)方法，采用級(jí)聯(lián)方式檢測(cè)火焰。首先由前級(jí)分類(lèi)器對(duì)完整圖像進(jìn)行測(cè)試，若檢測(cè)到火焰，則先對(duì)完整圖像進(jìn)行分割，得到連續(xù)的圖像塊，再通過(guò)后級(jí)分類(lèi)器檢測(cè)圖像塊是否含有火焰，從而得到火焰的精確位置。Frizzi等人(2016)提出一種基于CNN的視頻火焰和煙霧檢測(cè)方法，判定視頻幀中是否包含火焰或煙霧。結(jié)果表明，基于CNN的方法比一些傳統(tǒng)的火焰檢測(cè)方法具有更好的性能。Shen等人(2018)使用改進(jìn)的YOLOv1(you only look once)深度學(xué)習(xí)模型進(jìn)行火焰檢測(cè)，使用數(shù)據(jù)增廣技術(shù)擴(kuò)增數(shù)據(jù)集進(jìn)行模型訓(xùn)練，結(jié)果表明，該算法的檢測(cè)速率為45幀/s，但容易將偽火類(lèi)物體錯(cuò)誤分類(lèi)為火焰，且對(duì)火焰的定位不夠準(zhǔn)確。Kim和Lee(2019)使用Faster R-CNN(region CNN)在空間維度上關(guān)注火焰特征，再使用長(zhǎng)短期記憶網(wǎng)絡(luò)(long short term memory，LSTM)在時(shí)間維度上累積連續(xù)幀中的火焰時(shí)序特征，實(shí)現(xiàn)了火焰檢測(cè)，但耗時(shí)較長(zhǎng)。

上述方法在火焰檢測(cè)任務(wù)中取得了成功，對(duì)火災(zāi)發(fā)生后期的中大型火焰具有很好的檢測(cè)準(zhǔn)確率，但對(duì)火災(zāi)發(fā)生初期的小火焰容易漏檢，且場(chǎng)景中存在偽火類(lèi)物體時(shí)誤警率較高。

為降低對(duì)偽火焰物體的誤警率并提高小火焰的檢測(cè)準(zhǔn)確率，本文設(shè)計(jì)了一種結(jié)合感受野(receptive field，RF)模塊和并聯(lián)RPN(parallel region proposal network，PRPN)的卷積神經(jīng)網(wǎng)絡(luò)。RF模塊是一種用于多尺度特征融合的模塊，PRPN是一種并聯(lián)結(jié)構(gòu)的RPN子網(wǎng)絡(luò)。該網(wǎng)絡(luò)主要由特征提取模塊、并聯(lián)區(qū)域建議網(wǎng)絡(luò)和分類(lèi)器3部分組成。特征提取模塊采用輕量級(jí)MobileNet(Howard等，2017)的卷積層，使本文算法在不損失火焰檢測(cè)性能的同時(shí)，加快了算法的運(yùn)行速度。在特征提取模塊中，本文將RF模塊嵌入其中，從而擴(kuò)大感受野，捕獲更豐富的上下文信息，用來(lái)提取更具鑒別性的火焰特征，降低了偽火類(lèi)物體導(dǎo)致的高誤警率；在并聯(lián)區(qū)域建議網(wǎng)絡(luò)部分，結(jié)合火災(zāi)發(fā)生時(shí)期火焰大小不一的特點(diǎn)，在特征提取模塊后端建立多尺度采樣層，使PRPN與特征提取模塊后端的多尺度采樣層建立連接，并使用3 × 3和5 × 5的全卷積進(jìn)一步拓寬多尺度錨點(diǎn)的感受野寬度，提升了網(wǎng)絡(luò)對(duì)不同尺度火焰的檢測(cè)能力，解決了火災(zāi)發(fā)生初期的小火焰漏檢問(wèn)題；分類(lèi)器由softmax和smooth L1分別實(shí)現(xiàn)分類(lèi)與回歸，用來(lái)輸出最終火焰類(lèi)別和在圖像中的位置信息。在本文數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提出的網(wǎng)絡(luò)對(duì)火焰的檢測(cè)準(zhǔn)確度比一些卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)方法更高，并且能夠更好地區(qū)分場(chǎng)景中的偽火類(lèi)物體。

1 材料和方法

1.1 數(shù)據(jù)集樣本標(biāo)注

實(shí)驗(yàn)數(shù)據(jù)主要來(lái)源于意大利薩萊諾(Salerno)大學(xué)(https://mivia.unisa.it/datasets/video-analysis-datasets/fire-detection-dataset/)、土耳其畢爾肯(Bilkent)大學(xué)(http://signal.ee.bilkent.edu.tr/VisiFire/Demo/SampleClips.html)、Ultimate Chase(http://www.ultimatechase.com/Fire_Video.htm)以及Github網(wǎng)頁(yè)(https://github. com/cair/fire-detection-image-dataset)。本文從這些數(shù)據(jù)中整理得到3 017幅火焰圖像，包括室內(nèi)、建筑物、森林和夜晚等場(chǎng)景。偽火類(lèi)數(shù)據(jù)主要來(lái)源于Github網(wǎng)頁(yè)和其他電影畫(huà)面，共692幅圖像，主要有燈光、晚霞、火燒云和陽(yáng)光等偽火類(lèi)物體。部分火焰及偽火類(lèi)圖像如圖1所示。

圖1 實(shí)驗(yàn)數(shù)據(jù)

本文使用labelImg對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行標(biāo)注，分為兩個(gè)類(lèi)別，火焰標(biāo)注框用fire作為類(lèi)別名，偽火類(lèi)標(biāo)注框用like作為類(lèi)別名。標(biāo)注火焰數(shù)據(jù)時(shí)，僅標(biāo)注火焰區(qū)域，盡量少標(biāo)或不標(biāo)火焰周?chē)娜紵矬w，避免將燃燒物體誤判為火焰而產(chǎn)生誤警。同時(shí)，為避免與火類(lèi)似的紅色、黃色、橙色物體等引發(fā)誤警，對(duì)偽火類(lèi)數(shù)據(jù)如燈光、晚霞等進(jìn)行了負(fù)樣本標(biāo)注。部分標(biāo)注后的火焰及偽火類(lèi)圖像如圖2所示。

圖2 樣本標(biāo)注

1.2 R-PRPNet

1.2.1 網(wǎng)絡(luò)總體架構(gòu)

本文基于Faster R-CNN(Ren等，2017)網(wǎng)絡(luò)思想，構(gòu)造了一種基于感受野模塊和并聯(lián)RPN的卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，主要由特征提取模塊、并聯(lián)區(qū)域建議網(wǎng)絡(luò)和分類(lèi)器3部分構(gòu)成。特征提取模塊采用輕量級(jí)MobileNet的卷積結(jié)構(gòu)，包括14個(gè)卷積層，分為5組，第1組卷積由1個(gè)基礎(chǔ)卷積和1個(gè)深度可分離卷積組成，第2—5組分別由2、2、6、2個(gè)深度可分離卷積組成。在第4組I3卷積層后端嵌入RF模塊，輸出具有更大感受野和更豐富上下文信息的增強(qiáng)特征rI3，特征提取模塊再通過(guò)拼接、下采樣和逐元素相加將特征{I2,I3,rI3}進(jìn)行組合，獲得增強(qiáng)的16倍下采樣和32倍下采樣特征圖{aI3,I4}，從而提取到更具鑒別性的火焰特征。在并聯(lián)區(qū)域建議網(wǎng)絡(luò)中，為了解決小火焰的漏檢問(wèn)題，將PRPN與增強(qiáng)的16倍下采樣和32倍下采樣特征圖{aI3,I4}建立多尺度采樣層，并在PRPN中使用3×3和5×5的全卷積進(jìn)一步拓寬多尺度錨點(diǎn)的感受野寬度，提升了網(wǎng)絡(luò)對(duì)不同尺度火焰的檢測(cè)能力，解決了火災(zāi)發(fā)生初期的小火焰的漏檢問(wèn)題。最后，由分類(lèi)器得到最終真實(shí)火焰類(lèi)別和在圖像中的位置信息。

圖3 R-PRPNet網(wǎng)絡(luò)架構(gòu)

1.2.2 感受野模塊

rI3=RF(DOWN(I2)?I3)

(1)

式中，RF表示感受野模塊，DOWN表示特征矩陣下采樣，符號(hào)?表示特征矩陣拼接。

I3特征與rI3特征逐元素相加后，得到特征aI3，即

aI3=rI3⊕I3

(2)

式中，符號(hào)⊕表示特征矩陣逐元素相加。

特征aI3經(jīng)過(guò)3 × 3卷積后生成特征I4。如圖3所示，得到一組增強(qiáng)的特征{aI3,I4}，用來(lái)構(gòu)成多尺度采樣層。

RF模塊的設(shè)計(jì)源自Inception-V2(Szegedy等，2016)結(jié)構(gòu)。如圖4所示，RF使用1 × 3和3 × 1的卷積組合代替3 × 3的卷積形式，可在保持分辨率不變的同時(shí)降低計(jì)算量。RF模塊有3個(gè)分支，前2個(gè)分支采用相似的結(jié)構(gòu)設(shè)計(jì)。在第1個(gè)分支中，1 × 3和3 × 1的卷積均設(shè)置參數(shù)padding為1，3 × 3的空洞卷積設(shè)置參數(shù)padding和空洞率均為3?？斩淳矸e的設(shè)計(jì)用于擴(kuò)增RF模塊的感受野，捕獲更豐富的上下文信息，以進(jìn)一步提升對(duì)偽火類(lèi)的分類(lèi)效果。第3個(gè)分支為1個(gè)1 × 1卷積，在保持分辨率不變的前提下改善特征的非線(xiàn)性表達(dá)。3個(gè)分支串聯(lián)后，通過(guò)1 × 1卷積操作，將通道數(shù)降為512。如令 RF模塊的輸入為Ci，則其輸出為

圖4 感受野模塊

RF=conv1(dilation3(conv3(Ci))?
dilation5(conv5(Ci))?conv1(Ci))

(3)

式中，convi為i×i的卷積操作，dilationi為padding和空洞率為i的3 × 3卷積操作。

1.2.3 并聯(lián)區(qū)域建議網(wǎng)絡(luò)

本文利用兩個(gè)相似結(jié)構(gòu)的RPN設(shè)計(jì)了一種并聯(lián)結(jié)構(gòu)的PRPN，PRPN與特征提取模塊后端的多尺度采樣層{aI3,I4}建立連接，并使用3 × 3和5 × 5的全卷積進(jìn)一步拓寬多尺度錨點(diǎn)的感受野寬度，用來(lái)解決小火焰的漏檢問(wèn)題。如圖5所示，并聯(lián)區(qū)域建議網(wǎng)絡(luò)上半部分為標(biāo)準(zhǔn)RPN，RPN頭利用3 × 3全卷積通過(guò)滑動(dòng)窗口方式生成邊界框回歸建議；除了標(biāo)準(zhǔn)RPN，本文還擴(kuò)展了另一支RPN子網(wǎng)絡(luò)，采用與標(biāo)準(zhǔn)RPN相似的網(wǎng)絡(luò)結(jié)構(gòu)，因?yàn)檩^小卷積核在小目標(biāo)特征區(qū)域會(huì)進(jìn)行多次重疊卷積，從而造成小目標(biāo)特征消失，所以擴(kuò)展的RPN頭采用了較大卷積核的5 × 5全卷積，通過(guò)連接上文RF模塊獲取增強(qiáng)特征aI3。

圖5 并聯(lián)區(qū)域建議網(wǎng)絡(luò)

圖6為特征圖可視化?？梢钥闯觯瑘D6(b)相較于圖6(c)(d)能更好地保留小火焰的特征信息，解決了火災(zāi)發(fā)生前期的小火焰在深層特征傳播的過(guò)程中的消失問(wèn)題，從而在區(qū)域建議中對(duì)小火焰進(jìn)行更精確的檢測(cè)。最后，通過(guò)對(duì)擴(kuò)展分支RPN進(jìn)行下采樣，與標(biāo)準(zhǔn)RPN逐元素相加后，將兩個(gè)RPN分支的區(qū)域建議集組合為最終的建議集。

圖6 特征圖可視化

另外，對(duì)RPN的另一項(xiàng)改進(jìn)是在訓(xùn)練階段限制正負(fù)錨點(diǎn)的比率。在原始的RPN實(shí)現(xiàn)中，正負(fù)錨點(diǎn)的預(yù)期比率是1，但在實(shí)驗(yàn)中，發(fā)現(xiàn)該比率通常很大，這種不平衡會(huì)導(dǎo)致網(wǎng)絡(luò)偏向負(fù)樣本(背景類(lèi)物體)，從而損害提案的召回率。為解決這個(gè)問(wèn)題，在實(shí)驗(yàn)中限制正負(fù)錨點(diǎn)比率為1，當(dāng)負(fù)錨點(diǎn)多于正錨點(diǎn)時(shí)，將隨機(jī)丟棄富余的負(fù)錨點(diǎn)，以平衡正負(fù)錨點(diǎn)的分布。

1.3 火焰檢測(cè)算法流程

首先，將實(shí)驗(yàn)數(shù)據(jù)按8 ∶2的比例劃分訓(xùn)練集和測(cè)試集。劃分后，訓(xùn)練集有2 413幅火焰圖像和553幅偽火類(lèi)圖像，測(cè)試集有604幅火焰圖像和139幅偽火類(lèi)圖像。為了提高網(wǎng)絡(luò)的泛化能力，采取鏡像、旋轉(zhuǎn)和平移對(duì)訓(xùn)練集中的樣本進(jìn)行增廣，避免因訓(xùn)練樣本過(guò)少產(chǎn)生過(guò)擬合，增廣后的訓(xùn)練集有4 826幅火焰圖像和1 106幅偽火類(lèi)圖像。其次，使用labelImg工具對(duì)測(cè)試集和增廣后的訓(xùn)練集進(jìn)行標(biāo)注。然后，使用增廣訓(xùn)練集的火焰數(shù)據(jù)對(duì)R-PRPNet進(jìn)行訓(xùn)練，并將增廣訓(xùn)練集的偽火類(lèi)物體圖像作為負(fù)樣本，凍結(jié)網(wǎng)絡(luò)除后兩層的所有層進(jìn)行負(fù)樣本微調(diào)，微調(diào)的學(xué)習(xí)率設(shè)置為0.000 1。最后，將測(cè)試集輸入訓(xùn)練好的R-PRPNet網(wǎng)絡(luò)中，網(wǎng)絡(luò)給出預(yù)測(cè)的真實(shí)火焰標(biāo)簽，并過(guò)濾掉偽火類(lèi)標(biāo)簽，實(shí)現(xiàn)對(duì)火焰的檢測(cè)。算法流程如圖7所示。

圖7 本文方法總體流程

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境及訓(xùn)練過(guò)程

實(shí)驗(yàn)的軟件環(huán)境為Ubantu 16.04 LTS 64位操作系統(tǒng)，編程語(yǔ)言為Python3.6，網(wǎng)絡(luò)采用深度學(xué)習(xí)框架Tensorflow1.14，使用英偉達(dá)GeForce RTX 2070 GPU加速訓(xùn)練過(guò)程，CUDA版本為10.0。實(shí)驗(yàn)采用批(batch)訓(xùn)練方式，將訓(xùn)練集和測(cè)試集分為多個(gè)批次，每個(gè)batch大小設(shè)置為1，即每批輸入1幅圖像進(jìn)行訓(xùn)練。實(shí)驗(yàn)中，訓(xùn)練過(guò)程使用隨機(jī)梯度下降優(yōu)化算法(stochastic gradient descent，SGD)優(yōu)化網(wǎng)絡(luò)，學(xué)習(xí)率為0.001，每隔200個(gè)迭代次數(shù)保存一次訓(xùn)練權(quán)重，最大迭代次數(shù)設(shè)置為62 500。

R-PRPNet的訓(xùn)練損失曲線(xiàn)如圖8所示，訓(xùn)練開(kāi)始時(shí)，損失振蕩較大，當(dāng)訓(xùn)練到40 000次時(shí)，損失曲線(xiàn)開(kāi)始趨于穩(wěn)定。當(dāng)?shù)螖?shù)為50 000次時(shí)，損失值已基本穩(wěn)定在0.4以下。說(shuō)明訓(xùn)練階段的各個(gè)超參數(shù)設(shè)置合理且學(xué)習(xí)效果理想。

圖8 R-PRPNet損失曲線(xiàn)

2.2 評(píng)價(jià)指標(biāo)

目標(biāo)檢測(cè)任務(wù)中，采用準(zhǔn)確率、召回率、誤警率、漏檢率、預(yù)測(cè)框與真實(shí)框的交并比、網(wǎng)絡(luò)每秒運(yùn)算圖像的數(shù)量作為火焰檢測(cè)算法的評(píng)估指標(biāo)。

準(zhǔn)確率(accuracy，A)即正確識(shí)別火焰和非火焰占全部測(cè)試集的比例。召回率(recall，R)代表正確識(shí)別火焰數(shù)量占實(shí)際火焰數(shù)量的比例。誤警率(probability of false alarm，Pfalse)即錯(cuò)誤識(shí)別火焰數(shù)量占實(shí)際非火焰數(shù)量的比例。漏檢率(probability of missed detection，Pmiss)表示未檢測(cè)到火焰數(shù)量占實(shí)際火焰數(shù)量的比例。預(yù)測(cè)框與真實(shí)框的交并比(intersection over union，IoU)表示預(yù)測(cè)的火焰檢測(cè)框準(zhǔn)確性。網(wǎng)絡(luò)每秒運(yùn)算圖像的數(shù)量(frames per sec-ond，F(xiàn)ps)表明網(wǎng)絡(luò)的運(yùn)算速度。各項(xiàng)指標(biāo)的具體定義為

(4)

(5)

(6)

(7)

(8)

Fps=N

(9)

式中，TP(true positive)表示真陽(yáng)性，指火焰被正確識(shí)別的數(shù)量；FP(false positive)表示假陽(yáng)性，代表非火焰被錯(cuò)誤識(shí)別為火焰的數(shù)量；TN(true negative)指非火焰被正確識(shí)別的數(shù)量；FN(false negative)代表火焰被錯(cuò)誤識(shí)別為非火焰的數(shù)量。BBpred表示預(yù)測(cè)框面積；BBtruth表示真實(shí)框面積。N表示每秒運(yùn)算圖像的數(shù)量。

2.3 結(jié)果對(duì)比與分析

2.3.1 消融實(shí)驗(yàn)

為了驗(yàn)證本文網(wǎng)絡(luò)在解決火焰檢測(cè)任務(wù)中漏檢和誤警問(wèn)題的有效性，將Faster R-CNN特征提取模塊用MobileNet卷積結(jié)構(gòu)替換后的網(wǎng)絡(luò)作為基線(xiàn)網(wǎng)絡(luò)，依次添加RF模塊、PRPN和負(fù)樣本微調(diào)的訓(xùn)練策略進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示?？梢钥闯?，與基線(xiàn)網(wǎng)絡(luò)相比，具有RF模塊的網(wǎng)絡(luò)能夠?qū)W習(xí)到更具鑒別性的火焰特征，在漏檢率和誤警率上分別降低了1.1%和0.43%。對(duì)比表1的第3行和第2行可知，PRPN的并行RPN子網(wǎng)絡(luò)有效提升了網(wǎng)絡(luò)對(duì)多尺度火焰的識(shí)別率，在召回率上提升了1.7%，漏檢率上降低了1.7%，在檢測(cè)框準(zhǔn)確度上提升了0.02%。與RF相比，負(fù)樣本微調(diào)豐富了偽火類(lèi)特征，更好地提升了網(wǎng)絡(luò)對(duì)真實(shí)火焰與偽火類(lèi)物體的分類(lèi)性能，對(duì)比表1的最后一行與第3行可知，負(fù)樣本微調(diào)在誤警率上降低了21%，性能獲得大幅提升。在加入RF模塊和PRPN后，網(wǎng)絡(luò)的運(yùn)行速度減少了2幀/s，但仍可適用于火焰檢測(cè)的實(shí)時(shí)性需求。

表1 消融實(shí)驗(yàn)結(jié)果

2.3.2 與傳統(tǒng)火焰檢測(cè)算法對(duì)比

首先對(duì)比傳統(tǒng)機(jī)器學(xué)習(xí)方法(Celik，2010；?elik和Demirel，2009；Ouyang等，2018；Khatami等，2017)與本文網(wǎng)絡(luò)R-PRPNet的火焰檢測(cè)結(jié)果。Celik(2010)提出了一種基于Lab顏色空間的火焰檢測(cè)方法，在L、a、b 3個(gè)分量上使用閾值法分類(lèi)火焰像素。?elik和Demirel(2009)將圖像轉(zhuǎn)換為YCbCr顏色空間，使用YCbCr顏色空間有效地將亮度Y分量與色度Cb分量和Cr分量分離，在3個(gè)分量上通過(guò)閾值法分類(lèi)火焰像素。Ouyang等人(2018)先在RGB顏色空間上分離火焰圖像，再在B通道上通過(guò)邊緣提取操作提取圖像的邊緣梯度識(shí)別火焰。Khatami等人(2017)提出基于粒子群優(yōu)化(PSO)的K-medoids聚類(lèi)火焰檢測(cè)方法，先使用K-medoids聚類(lèi)劃分?jǐn)?shù)據(jù)集，再通過(guò)PSO從劃分后的數(shù)據(jù)集中得到具有分色(區(qū)分火焰像素與非火焰像素的顏色)特性的轉(zhuǎn)換矩陣，將該矩陣應(yīng)用于火焰圖像來(lái)突出火焰區(qū)域，從而實(shí)現(xiàn)對(duì)火焰的檢測(cè)。

實(shí)驗(yàn)結(jié)果如表2所示?？梢钥闯?，本文網(wǎng)絡(luò)的火焰檢測(cè)性能優(yōu)于傳統(tǒng)算法。其中，Ouyang等人(2018)和Khatami等人(2017)的方法在準(zhǔn)確率和召回率上優(yōu)于其他兩個(gè)傳統(tǒng)算法，說(shuō)明Ouyang等人(2018)的邊緣梯度信息和Khatami等人(2017)的聚類(lèi)方法，可以有效避免偽火類(lèi)物體對(duì)火焰檢測(cè)的影響。從誤警率可知，Ouyang等人(2018)和Khatami等人(2017)的方法好于?elik和Demirel(2009)以及Celik(2010)的方法，在Fps指標(biāo)上，它們的平均運(yùn)行速度與本文算法相近。

表2 與傳統(tǒng)火焰檢測(cè)算法的比較結(jié)果

2.3.3 與基于卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測(cè)算法對(duì)比

將所提算法R-PRPNet和不采用負(fù)樣本微調(diào)的R-PRPNet算法(用R-PRPNet*表示)與目前常用的基于卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測(cè)算法進(jìn)行對(duì)比。其中，Kim等人(2018)利用Faster R-CNN進(jìn)行火焰檢測(cè)，Shen等人(2018)對(duì)YOLOv1改進(jìn)后實(shí)現(xiàn)火焰檢測(cè)。此外，將Faster R-CNN的特征提取模塊換成ResNet101(He等，2016)和MobileNet后構(gòu)成Faster_ResNet101和Faster_MobileNet網(wǎng)絡(luò)進(jìn)行火焰檢測(cè)對(duì)比。同時(shí)，將SSD(single shot multibox detector)(Liu等，2016)、YOLOv3(Redmon和Farhadi，2018)、YOLOv4(Bochkovskiy等，2020)和YOLOX-L(Ge等，2021)等也用于火焰檢測(cè)，對(duì)比結(jié)果如表3所示?？梢钥闯?，YOLO系列算法在準(zhǔn)確率上較其他算法低，但檢測(cè)速度相比其他方法更快，其中YOLOv4相較于YOLOv3多了數(shù)據(jù)增強(qiáng)(該數(shù)據(jù)增強(qiáng)為網(wǎng)絡(luò)本身具備)并改進(jìn)了主干網(wǎng)絡(luò)，從YOLOv4的實(shí)驗(yàn)結(jié)果來(lái)看，在漏檢率上相比YOLOv3具有一定的性能提升。YOLOX-L作為YOLO系列的巔峰框架，新引入了Decoupled Head、Anchor Free和SimOTA樣本匹配等方法，使其在漏檢率上相較于YOLOv4得到了較大提升，降低了4.95%的漏檢率，而在其他指標(biāo)上雖然優(yōu)于其他YOLO系列方法，但依然不如Faster R-CNN系列方法?；贔aster R-CNN系列的算法除速度外的各項(xiàng)指標(biāo)上均優(yōu)于YOLO及SSD算法。單從Faster R-CNN系列方法上分析可知，F(xiàn)aster_MobileNet的卷積層結(jié)構(gòu)相比原始Faster R-CNN的VGG16(Visual Geometry Group 16-layer net)以及ResNet101火焰檢測(cè)效果更好，而本文R-PRPNet是在Faster_MobileNet基礎(chǔ)上加入了RF模塊和PRPN網(wǎng)絡(luò)，因此相比Faster_MobileNet在準(zhǔn)確率和召回率上分別提升了約8%和約5%，而R-PRPNet*在誤警率上相比Faster_MobileNet也降低了約0.7%。同時(shí)也可以看出，負(fù)樣本微調(diào)的訓(xùn)練策略能夠很好地降低R-PRPNet網(wǎng)絡(luò)的誤警率。

表3 與基于卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測(cè)算法的比較結(jié)果

圖9為上述方法的部分火焰檢測(cè)結(jié)果圖，從第1行圖像可以看出，YOLOv3檢測(cè)框的定位精度稍差于其他方法，YOLOv3檢測(cè)框的右下角含有多余的背景區(qū)域。在第2行的森林場(chǎng)景下，前3種方法均出現(xiàn)了小火焰漏檢，YOLOv3還出現(xiàn)了一個(gè)檢測(cè)框內(nèi)包含多個(gè)實(shí)例對(duì)象的問(wèn)題，這些是導(dǎo)致基線(xiàn)算法召回率較低的主要原因。由最后兩行圖像容易看出，正確分類(lèi)偽火類(lèi)物體對(duì)目標(biāo)檢測(cè)類(lèi)方法具有一定困難，改進(jìn)后的R-PRPNet*仍可能在檢測(cè)與火類(lèi)似的紅色、黃色、橙色物體時(shí)生成誤警。為此，本文采用負(fù)樣本微調(diào)的訓(xùn)練策略。由圖9(e)第3、4行的圖像可以看出，負(fù)樣本微調(diào)可以很好地解決偽火類(lèi)物體的誤警問(wèn)題。

圖9 不同算法的部分火焰檢測(cè)結(jié)果圖

2.3.4 不同場(chǎng)景火焰檢測(cè)結(jié)果對(duì)比

為驗(yàn)證本文網(wǎng)絡(luò)在不同場(chǎng)景的泛化性，分別在室內(nèi)、夜晚、建筑和森林等場(chǎng)景進(jìn)行實(shí)驗(yàn)，結(jié)果如表4所示。本文提出的R-PRPNet在4種火焰場(chǎng)景取得平均97.82%的召回率。在夜晚場(chǎng)景，受自身燃燒光影影響，火焰失去了紋理、形狀等特征，導(dǎo)致少量火焰對(duì)象沒(méi)有檢測(cè)到。在森林場(chǎng)景，存在一些小火焰無(wú)法檢測(cè)到的問(wèn)題，導(dǎo)致本文網(wǎng)絡(luò)在森林場(chǎng)景相比其他場(chǎng)景，漏檢率為4.6%。

圖10顯示了部分不同場(chǎng)景火焰檢測(cè)實(shí)例圖?？梢钥闯觯谑覂?nèi)和建筑場(chǎng)景，本文算法能夠很好地定位檢測(cè)框位置，檢測(cè)框平均置信度約為0.96。通過(guò)圖10(b)的實(shí)例圖可以看出，夜晚環(huán)境下檢測(cè)框會(huì)受到光亮影響，導(dǎo)致檢測(cè)框內(nèi)含有小部分背景區(qū)域。在圖10(d)的實(shí)例圖像中，存在容易漏檢小火焰的問(wèn)題，這也是表4森林場(chǎng)景下漏檢率較高的原因。從圖10整體來(lái)看，本文網(wǎng)絡(luò)在火焰檢測(cè)任務(wù)上，具有較好的適用性，能夠在不同場(chǎng)景下完成火焰檢測(cè)任務(wù)。

圖10 不同場(chǎng)景的火焰檢測(cè)實(shí)例圖

表4 不同場(chǎng)景火焰的檢測(cè)結(jié)果

3 結(jié) 論

現(xiàn)有火焰檢測(cè)方法在火焰檢測(cè)任務(wù)中雖然已經(jīng)取得了相當(dāng)大的成功，但當(dāng)場(chǎng)景中存在偽火類(lèi)物體時(shí)誤警率較高，并且這些方法對(duì)火災(zāi)發(fā)生初期的小火焰容易漏檢。為了進(jìn)一步降低對(duì)偽火焰物體的誤警率并同時(shí)提高小火焰的檢測(cè)準(zhǔn)確率，本文設(shè)計(jì)了一種結(jié)合感受野模塊與并聯(lián)RPN的卷積神經(jīng)網(wǎng)絡(luò)R-PRPNet用于火焰的檢測(cè)。R-PRPNet在特征提取模塊中嵌入RF模塊，通過(guò)拼接、下采樣和逐元素相加將火焰特征進(jìn)行組合，擴(kuò)大感受野，捕獲更豐富的上下文信息，提取更具鑒別性的火焰特征。再結(jié)合火災(zāi)發(fā)生時(shí)期火焰大小不一的特點(diǎn)，在特征提取模塊后端建立多尺度采樣層，使PRPN與特征提取模塊后端的多尺度采樣層建立連接，使用3 × 3和5 × 5的全卷積進(jìn)一步拓寬多尺度錨點(diǎn)的感受野寬度，提升了網(wǎng)絡(luò)對(duì)不同尺度火焰的檢測(cè)能力，解決了火災(zāi)發(fā)生初期的小火焰的漏檢問(wèn)題。將所提網(wǎng)絡(luò)與一些卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)方法相對(duì)比，實(shí)驗(yàn)結(jié)果表明，所提網(wǎng)絡(luò)能夠在不同場(chǎng)景下自動(dòng)提取復(fù)雜圖像火焰特征，并能夠準(zhǔn)確過(guò)濾偽火類(lèi)物體，在火災(zāi)發(fā)生的更早期及時(shí)發(fā)現(xiàn)火情，促進(jìn)應(yīng)急管理，從而有助于預(yù)防火災(zāi)失控。但本文網(wǎng)絡(luò)也存在不足，在夜晚場(chǎng)景下檢測(cè)框依然不夠精確，并存在少量誤警問(wèn)題。在后續(xù)研究中，將著眼于這些不足，從時(shí)序網(wǎng)絡(luò)方面出發(fā)，提取火焰燃燒的動(dòng)態(tài)特征，進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提升網(wǎng)絡(luò)性能。