蘇小東，胡建興，2，陳霖周廷，高宏建

(1.貴州理工學(xué)院 航空航天工程學(xué)院，貴陽 550003；2.中航貴州飛機(jī)有限責(zé)任公司，貴州 安順 561000)

0 引言

火災(zāi)是世界性的自然災(zāi)害之一，也是日常生活中主要災(zāi)害，其發(fā)生發(fā)展不僅對自然環(huán)境有著嚴(yán)重影響，還威脅著人們的生命與財產(chǎn)安全，因此及時準(zhǔn)確地發(fā)現(xiàn)火災(zāi)并預(yù)警具有十分重要的研究和現(xiàn)實(shí)意義。近年來由于自然和人為原因引發(fā)的火災(zāi)已造成極大的人員傷亡和生態(tài)破壞。2020年四川涼山發(fā)生森林火災(zāi)，過火面積超過30 m2，火災(zāi)造成19人死亡[1]。在2014年，擁有300多年歷史的貴州報京侗寨失火，燒毀房屋100余棟[2]。

傳統(tǒng)的火災(zāi)檢測算法通過溫度、煙霧傳感器采集相關(guān)數(shù)據(jù)進(jìn)行火災(zāi)預(yù)測，但是檢測準(zhǔn)確性和實(shí)時性得不到保證。隨著計算機(jī)技術(shù)和人工智能技術(shù)的不斷發(fā)展，深度學(xué)習(xí)技術(shù)已經(jīng)在圖像識別和檢測方面展示了良好性能，被廣泛應(yīng)用到火災(zāi)檢測和預(yù)警?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法，如：R-CNN[3]、Fast R-CNN[4]、Faster R-CNN[5]、YOLO[6-9]、SSD[10]、RetinaNet[11]、EfficientDet[12]等。這些算法根據(jù)原理不同被分為：單階段目標(biāo)檢測算法和雙階段目標(biāo)檢測算法。YOLO從2016年被提出就受到廣泛關(guān)注，作為基于回歸的單階段目標(biāo)檢測算法，其在COCO數(shù)據(jù)集上均表現(xiàn)出良好性能，但對于無人機(jī)航拍圖像，其在檢測速度上仍然達(dá)不到實(shí)時要求，模型比較大，對設(shè)備硬件要求比較高，不能夠很好的部署在無人機(jī)平臺[13-15]。

在火災(zāi)檢測領(lǐng)域，晉耀[16]采用 Anchor-Free 網(wǎng)絡(luò)結(jié)構(gòu)，在MobileNetV2 網(wǎng)絡(luò)后引入特征金字塔結(jié)構(gòu)，模型AP50達(dá)到90%，單張火災(zāi)圖片檢測時間為40.1 ms。張堅鑫[17]提出一種改進(jìn)的Faster R-CNN檢測火災(zāi)區(qū)域的目標(biāo)檢測框架，將主干網(wǎng)絡(luò)替換為ResNet101，并加入注意力機(jī)制，模型mAP為0.851。任嘉鋒[18]利用FPN思想，將更低層次特征與高層次特征進(jìn)行融合提高模型檢測小目標(biāo)能力，模型Map為0.87，相比YOLOV3原模型提高8個百分點(diǎn)。栗俊杰[19]等針對無人機(jī)火災(zāi)檢測問題，提出一種改進(jìn)yolov2-tiny無人機(jī)火災(zāi)檢測方法，并將模型部署至K210開發(fā)板，算法檢出率為96.6%，檢測速度為每秒14幀，為無人機(jī)火災(zāi)檢測提供新思路，但其訓(xùn)練數(shù)據(jù)集為常規(guī)火災(zāi)數(shù)據(jù)集，飛機(jī)試驗(yàn)飛行高度為3米，與無人機(jī)實(shí)際工作環(huán)境有一定差異。楊文濤[20]針對小目標(biāo)檢測問題，通過增加小目標(biāo)檢測層和特征融合的方法，提升模型對小目標(biāo)檢測準(zhǔn)確度，為無人機(jī)圖像目標(biāo)檢測提供借鑒。

針對以上問題，筆者利用自主航拍火災(zāi)視頻、互聯(lián)網(wǎng)公開無人機(jī)航拍視頻和北亞利桑那大學(xué)[21]公開FLAME航拍森林火災(zāi)圖像自建無人機(jī)航拍火災(zāi)圖像數(shù)據(jù)集，以YOLOv5s為基礎(chǔ)模型，修改網(wǎng)絡(luò)結(jié)構(gòu)并引入注意力模塊(CBAM，convolution block attention module)，提出一種改進(jìn)YOLOv5s的無人機(jī)航拍火災(zāi)圖像檢測方法。并通過仿真實(shí)驗(yàn)驗(yàn)證算法可行性，為部署無人機(jī)平臺奠定技術(shù)基礎(chǔ)。

1 材料與方法

1.1 航拍火災(zāi)圖像采集

數(shù)據(jù)集來源于無人機(jī)航拍火災(zāi)視頻和北亞利桑那大學(xué)公開FLAME航拍森林火災(zāi)圖像。無人機(jī)航拍火災(zāi)視頻拍攝于貴州理工學(xué)院蔡家關(guān)校區(qū)足球場，采用大疆MATRICE 300 RTK無人機(jī)搭載高清攝像頭與2020年10月20日對模擬火災(zāi)場景進(jìn)行拍攝，通過調(diào)整無人機(jī)飛行高度獲取不同高度的航拍火災(zāi)視頻。如圖1所示。

圖1 航拍火災(zāi)圖像

圖2 改進(jìn)YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

1.2 數(shù)據(jù)集構(gòu)建

本文按照VOC格式自主構(gòu)建數(shù)據(jù)集，由火災(zāi)視頻、火災(zāi)干擾視頻(類似火災(zāi))和FLAME數(shù)據(jù)集構(gòu)成。視頻利用DVDVideoSoft Free Studio軟件對視頻每10幀截取圖像，共獲得841張圖像火災(zāi)圖像和1 161張干擾火災(zāi)圖像，在FLAME中篩選1 492張無人機(jī)火災(zāi)圖像，自建3 494張無人機(jī)火災(zāi)圖像數(shù)據(jù)集。

利用標(biāo)注軟件labelImg對無人機(jī)火災(zāi)圖像標(biāo)注，文件包括圖片的位置、名稱、寬度、高度和維度，以及標(biāo)注框?qū)?yīng)的坐標(biāo)信息。

1.3 研究方法

相比于其他目標(biāo)檢測算法，YOLO 算法的特點(diǎn)是兼具精度和速度，這使得工程部署成為可能。YOLOv5是YOLO系列中比較容易部署的，其模型最小為1.9 M。本研究使用YOLOv5s為基礎(chǔ)模型，算法結(jié)構(gòu)如圖3所示，其由主干網(wǎng)絡(luò)(Backbone)、頸部(Neck)和檢測層(Detect)3個部分組成。主干網(wǎng)絡(luò)由卷積模塊(Conv)、C3模塊、SPPF模塊。頸部為特征融合網(wǎng)絡(luò)，主要包含卷積(Conv)、C3模塊、上采(Upsample)、特征融合(Concat)等操作[22]。檢測層進(jìn)行3個尺度的預(yù)測。

圖3 CBAM模塊

2 改進(jìn)YOLOv5s算法

本研究引入CBAM注意力模塊，修改主干網(wǎng)絡(luò)和輸出結(jié)構(gòu)，在減少模型參數(shù)的同時進(jìn)一步加強(qiáng)高層次特征和低層次特征融合，改進(jìn)后的YOLOv5s結(jié)構(gòu)如圖2所示。

2.1 注意力機(jī)制CBAM

Sanghyun Woo(2018年)提出了一種輕量的注意力模塊(CBAM，convolutional block attention module)，如圖3所示。CBAM包含2個獨(dú)立的子模塊，通過通道注意力模塊(CAM，channel attention module)和空間注意力模塊(SAM，spartial attention module)獲得通道與空間上的信息并融合[23]。相比于SENet，CBAM不僅關(guān)注特征的位置信息，還關(guān)注目標(biāo)的語義特征，分別在空間和通道兩個維度。網(wǎng)絡(luò)更加關(guān)注感興趣的目標(biāo)區(qū)域，可以增強(qiáng)有效特征，抑制無效特征或噪聲，尤其是對于小目標(biāo)區(qū)域，能獲取更多的小目標(biāo)的細(xì)節(jié)信息，避免小目標(biāo)特征不明顯被當(dāng)成背景信息[24-25]。

CBAM中，輸入特征圖x，通過通道注意力和空間注意力模塊的串行計算，得到輸出特征F*，即：

F=fc(x)?x

(1)

F*=fs(F)?F

(2)

式中，fc(x)，fs(F)分別表示通道注意力和空間注意力，F(xiàn)為通道注意力輸出，F(xiàn)*為空間注意力輸出，x為輸入特征圖。

將輸入特征經(jīng)最大池化和平均池化后，輸入MLP多層感知器，然后逐元素加和操作后經(jīng)過激活函數(shù)生成通道注意力模塊輸出，輸出與輸入特征圖逐元素作乘法操作后作為空間注意力模塊的輸入。利用通道注意力模塊輸出的特征圖作為空間注意力模塊的輸入，通過通道注意模塊的最大池化和平均池化得到兩個H×W×1的特征圖，通過Concat方式拼接為H×W×2，隨后通過卷積操作(7×7)降維，最后通過激活函數(shù)操作得到空間注意力模塊輸出，輸出與空間注意力模塊輸入逐元素相乘得到最終特征

fc(x)=σ(MLP(AvgPool(x))+MLP(MaxPool(x)))

(3)

fs(x)=σ(Conv7×7(Concat(AvgPool(F)；MaxPool(F)))

(4)

式中，σ(x)為激活函數(shù)，MLP為多層感知器，AvgPool為平均池化操作，MaxPool為最大池化操作，Conv7×7為卷積核大小為7的卷積運(yùn)算，Concat為拼接方式。

2.2 檢測層改進(jìn)

YOLOv5s中有3個尺度的檢測層，分別為20×20、40×40、80×80(輸入為640×640)，可以檢測大中小目標(biāo)，對圖像具有很強(qiáng)的適應(yīng)能力。本研究中自建數(shù)據(jù)集圖像為航拍火災(zāi)圖像，目標(biāo)多為小目標(biāo)，大尺度檢測層的作用不明顯，為了在不降低檢測性能的前提下盡可能減少參數(shù)，刪除大目標(biāo)檢測層20×20。在小目標(biāo)檢測中，具有豐富位置信息的淺層特征比具有豐富語義信息的深層特征更重要[26]。為了彌補(bǔ)高層次特征分辨率降低造成的空間信息丟失，提高YOLOv5s模型對小目標(biāo)的檢測能力，將第3層與第 27層融合、第 6與第 22 層的融合，第 13與第 18層的融合，檢測尺度變?yōu)?0×40、80×80、160×160。

2.3 骨干網(wǎng)絡(luò)修改

為了更好將模型部署在無人機(jī)嵌入式平臺，使用MobileNetV3[27]代替YOLOv5s骨干網(wǎng)絡(luò)，通過輕量型網(wǎng)絡(luò)對模型進(jìn)行優(yōu)化，減少參數(shù)量和運(yùn)算量，提升檢測實(shí)時性。

表1 MobileNetV3-Large網(wǎng)絡(luò)結(jié)構(gòu)

MobileNetV3主要針對嵌入式設(shè)備和移動端設(shè)備開發(fā)，是一種輕量化網(wǎng)絡(luò)結(jié)構(gòu)，它繼承V1[28]的深度可分離卷積，降低網(wǎng)絡(luò)的計算量，引入V2[29]的具有線性瓶頸的殘差結(jié)構(gòu)并引入輕量化SE注意力模塊，使網(wǎng)絡(luò)關(guān)注更有用的信息來調(diào)整每個通道的權(quán)重，同時該網(wǎng)絡(luò)在結(jié)構(gòu)中使用了 h-swish 激活函數(shù)，代替 swish 函數(shù)，減少運(yùn)算量，提高性能。其中深度可分離卷積是MobileNet系列的主要特點(diǎn)，也是其發(fā)揮輕量級作用的主要因素，MobileNetV3相比MobileNetV2可以在COCO數(shù)據(jù)集達(dá)到相同精度，但速度提高了四分之一，如圖4所示。

圖4 標(biāo)準(zhǔn)卷積與深度可分離卷積

與標(biāo)準(zhǔn)卷積相比，深度可分離卷積將其拆分為逐通道卷積和點(diǎn)向卷積兩個階段。在逐通道卷積階段，輸入特征圖中的每個通道僅和與之對應(yīng)的單通道卷積核進(jìn)行卷積操作，各輸入通道之間相互獨(dú)立，取消了通道之間特征融合，保持了卷積后輸出特征圖通道數(shù)量。點(diǎn)向卷積使用標(biāo)準(zhǔn)卷積方式，采用 1×1 大小卷積核對所有通道的輸出特征圖進(jìn)行整合處理，進(jìn)而改變輸出特征圖的通道數(shù)，深度可分離卷積參數(shù)量與標(biāo)準(zhǔn)卷積參數(shù)量的比值Q與計算量比值R為[29]：

(5)

式中，N輸出特征圖數(shù)量，DK為輸出特征圖尺寸。

因此深度可分離卷積能降低卷積操作的參數(shù)量與計算量，使網(wǎng)絡(luò)更加輕量化，提高模型檢測效率。

3 試驗(yàn)環(huán)境與參數(shù)設(shè)置

3.1 訓(xùn)練環(huán)境

本實(shí)驗(yàn)選用開源的PyTorch框架，PyTorch是一個開源的Python機(jī)器學(xué)習(xí)庫，該框架具有強(qiáng)大GPU加速的張量計算，包含自動求導(dǎo)系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)，PyTorch版本為1.7.0，編程語言選用Python3.8.10，硬件設(shè)備配置為Interi7-9700，內(nèi)存為8 G，GPU為GeForce RTX 2060 Super，顯存為8 G，操作環(huán)境為Ubuntu20.04。

3.2 訓(xùn)練參數(shù)設(shè)置

模型訓(xùn)練參數(shù)設(shè)置BitchSize為6，epoch為100。初始學(xué)習(xí)率lr0為0.001，動量因子為0.937，優(yōu)化器選用Adamw，超參數(shù)flipud =0.5，mixup =0.5，mosaic=1，copy_paste=1，訓(xùn)練方式采用多尺度訓(xùn)練。

3.3 評價指標(biāo)

目標(biāo)檢測的效果由預(yù)測框的分類精度和定位精度共同決定，因此目標(biāo)檢測問題既是分類問題，又是回歸問題[26]。目標(biāo)檢測模型的評價指標(biāo)有精度(Precision，P，%)、召回率(Recall，R，%)、平均精度(Average Precision，PAP，%)、均值平均精度(Mean Average Precision，mAP，%)等。PAP用來衡量數(shù)據(jù)集中某一類的平均分類精確率，平均精確率均值(Mean Average Precision，mAP)，用來衡量分類器對所有類別的分類精度，也是目標(biāo)檢測算法最重要的指標(biāo)。本文中只有一個類別，PAP與mAP相同。

為了綜合評價模型，本文使用平均精確度PAP、模型參數(shù)量、模型大小和處理圖像速度FPS(幀/s)、浮點(diǎn)運(yùn)算數(shù)FLOPs作為模型的主要評價指標(biāo)。其中均值平均精度計算公式如下：

(6)

(7)

(8)

式中，XTP為正樣本被檢測為正樣本的數(shù)量；XFP為負(fù)樣本被檢測為正樣本的數(shù)量；XFN為正樣本被檢測為負(fù)樣本的數(shù)量。

4 試驗(yàn)與分析

為了驗(yàn)證小目標(biāo)檢測層、CBAM注意力機(jī)制和輕量化骨架MobileNet在無人機(jī)火災(zāi)檢測任務(wù)重的有效性，本文在自建數(shù)據(jù)集上進(jìn)行了一系列消融試驗(yàn)，以YOLOv5s為基線算法，mAP、P、模型大小、參數(shù)量、浮點(diǎn)運(yùn)算次數(shù)為評價指標(biāo)。

4.1 檢測尺度改進(jìn)試驗(yàn)

為了驗(yàn)證測試小目標(biāo)檢測尺度對模型的影響，在基礎(chǔ)模型的基礎(chǔ)上增加一個160×160的小目標(biāo)檢測尺度，構(gòu)成20×20、40×40、80×80、160×160四個檢測尺度的YOLOv5s模型。

表2中分析了增減不同檢測層，對模型性能的影響，可以看出增加小目標(biāo)檢測層，比基線模型平均精度上升3個百分點(diǎn)，側(cè)面說明小目標(biāo)檢測層可提升特征提取能力，但網(wǎng)絡(luò)層數(shù)增多，參數(shù)量和模型大小分別增加329 714和1.1 M；增加小目標(biāo)檢測層，并刪除大目標(biāo)檢測層后，平均精度提升5個百分點(diǎn)，小目標(biāo)檢測能力得到明顯提升，同時參數(shù)下降164 681 6，模型大小減少2.9 M，主要得益于小目標(biāo)檢測層具有下采樣的效果，使網(wǎng)絡(luò)輸出特征圖數(shù)量大幅減少，參數(shù)數(shù)量下降；刪除20×20、40×40大中目標(biāo)檢測層，只保留80×80、160×160小目標(biāo)檢測層后，模型精度比基礎(chǔ)模型精度提升3.6個百分點(diǎn)，參數(shù)量和模型大小分別減少209 470 6和3.9 M。綜合分析后，檢測頭部網(wǎng)絡(luò)選擇40×40、80×80、160×160三個中小尺度來檢測目標(biāo)。

表2 不同檢測尺度性能對比

4.2 消融試驗(yàn)

為進(jìn)一步說明小目標(biāo)檢測層無人機(jī)圖像檢測的有效性和CBAM注意力機(jī)制和輕量化骨架MobileNet對模型性能的影響，在自建數(shù)據(jù)集上進(jìn)行消融試驗(yàn)。

4.2.1 CBAM對模型的影響

由實(shí)驗(yàn)1，2；3，5；4，6；7，8分別對比分析可知，注意力機(jī)制CBAM不僅可加強(qiáng)對感興趣區(qū)域的特征提取能力穩(wěn)定提升模型平均精確度PAP，還可節(jié)約參數(shù)和計算量。

4.2.2 改進(jìn)檢測層對模型的影響

由實(shí)驗(yàn)1，3；2，5；4，7；6，8分別對比分析可知，增加小目標(biāo)檢測層可提升模型對小目標(biāo)的特征提取能力提升模型平均精確度PAP并減少參數(shù)量。

4.2.3 MobileNetV3對模型的影響

由實(shí)驗(yàn)1，4；2，6；3，7；5，8分別對比分析可知，MobileNetV3不僅具有強(qiáng)大的特征提取能力，在不降低檢測效果的前提下還因深度可分離卷積的作用可大幅度減少參數(shù)量和計算量。

由消融實(shí)驗(yàn)(表3)可知，YOLOv5s基礎(chǔ)模型在自建數(shù)據(jù)集上PAP為70.0，參數(shù)量為702 232 6個，模型大小為14.4 M，計算量為15.8 G，將上述3種改進(jìn)方法同時加入基線模型時，模型PAP提升6.9個百分點(diǎn)，模型參數(shù)減少404 710 0個，同比減少57%，模型大小減少7.7 M，同比減少53.4%，計算量減少6.2 G，同比減少39.2%。，驗(yàn)證了改進(jìn)方案的可行性，改進(jìn)后的YOLO5s在不降低精度的前提下，大幅減少模型參數(shù)和計算量，可以有效指導(dǎo)無人機(jī)進(jìn)行火災(zāi)檢測。

表3 自建數(shù)據(jù)集消融實(shí)驗(yàn)

圖5為訓(xùn)練過程中PAP和損失的曲線圖，PAP得到顯著提升，損失值進(jìn)一步降低，直觀的說明改進(jìn)方法對模型性能的有效提升。

圖5 訓(xùn)練過程參數(shù)曲線

圖6為算法在測試集中火災(zāi)檢測效果圖，圖(a，b，c)為改進(jìn)前的火災(zāi)檢測效果，圖(d，e，f)為改進(jìn)后的火災(zāi)檢測效果。檢測結(jié)果表明本文改進(jìn)的YOLOv5s算法，可快速準(zhǔn)確檢測出火災(zāi)位置，降低了重復(fù)檢測以及在干擾圖像中誤檢的情況，提高了檢測精度。

圖6 算法檢測效果

5 討論

5.1 YOLO系列檢測算法在自建數(shù)據(jù)集上的性能對比

為證明改進(jìn)后YOLOv5s算法對無人機(jī)火災(zāi)目標(biāo)檢測的有效性，本文對YOLO系列算法在自建數(shù)據(jù)集上性能進(jìn)行對比分析，表4所示為各算法對自建數(shù)據(jù)集航拍火災(zāi)目標(biāo)的P值、mAP值、模型規(guī)模和浮點(diǎn)運(yùn)算次數(shù)FLOPs。從表4中可以看出，改進(jìn)YOLOv5s算法與其他先進(jìn)算法相比取得了最優(yōu)的綜合性能，檢測性能與YOLOv3比較接近，模型大小僅為YOLOv3的5.4%，浮點(diǎn)運(yùn)算次數(shù)僅為9.6 G，計算量較小。由此可見本文提出改進(jìn)YOLOv5s算法在處理無人機(jī)火災(zāi)圖像目標(biāo)檢測任務(wù)時具有較大優(yōu)勢，其檢測精度達(dá)到81.3%，效果是十分可觀的。

表4 YOLO系列檢測算法在自建數(shù)據(jù)集上性能對比

5.2 主流火災(zāi)檢測算法性能對比

為證明改進(jìn)后YOLOv5s算法相比其他主流火災(zāi)檢測算法的優(yōu)勢，將本文算法與當(dāng)前主流火災(zāi)檢測算法進(jìn)行對比分析，表5所示為各算法對常規(guī)火災(zāi)數(shù)據(jù)集上的P值、mAP值、模型規(guī)模和FPS?？梢钥闯霎?dāng)前主流火災(zāi)檢測算法模型評價指標(biāo)主要以精度為主，未涉及模型大小、參數(shù)、計算量等指標(biāo)，但這些指標(biāo)均影響著模型的部署難易程度和實(shí)時性，其在精度和均值平均精度都達(dá)到較高水平，但實(shí)時性比較差，尤其是采用兩階段目標(biāo)檢測算法(FasterRCNN)，處理1幀火災(zāi)圖像需要1秒左右時間，單階段算法YOLO、CenterNet等最快可每秒處理59.6幀火災(zāi)圖像。本文提出的改進(jìn)YOLOv5s算法，在保證精度的前提下，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，降低網(wǎng)絡(luò)參數(shù)，模型大小為6.7 M，每秒可處理66.6幀640×640火災(zāi)圖像，容易部署，實(shí)時性比較好。

表5 主流火災(zāi)檢測算法性能對比

6 結(jié)束語

針對常見火災(zāi)檢測算法應(yīng)用場景受限，模型無法部署在無人機(jī)平臺的問題，本文提出一種基于YOLOv5s輕量化航拍火災(zāi)檢測算法。針對模型體量大，在無人機(jī)平臺部署難度大的問題，以MobileNetV3為特征提取主干網(wǎng)絡(luò)，減少模型參數(shù)和計算量。為了增強(qiáng)模型對感興趣區(qū)域特征提取能力和抑制無效特征和背景信息，引入CBAM注意力機(jī)制，加強(qiáng)網(wǎng)絡(luò)特征提取能力；針對無人機(jī)火災(zāi)圖像主要為小目標(biāo)的特點(diǎn)，修改網(wǎng)絡(luò)頭部檢測層，提高模型小目標(biāo)檢測能力。通過消融實(shí)驗(yàn)驗(yàn)證各個模塊對模型性能均有不同方面和不同程度的提升，改進(jìn)后火災(zāi)檢測平均精度達(dá)到76.9%，模型大小僅為6.7 M，滿足部署無人機(jī)平臺的要求，圖像處理速度為66.7幀/s，即單幀圖像處理時間為15.2 ms，滿足實(shí)時性要求。通過與主流目標(biāo)檢測算法和主流火災(zāi)檢測算法對比分析可知，改進(jìn)后的YOLOv5s，不僅具有良好的特征提取能力，模型體量小，計算量小，實(shí)時性強(qiáng)，滿足部署無人機(jī)進(jìn)行火災(zāi)檢測的要求，為無人機(jī)火災(zāi)檢測提供技術(shù)基礎(chǔ)，具有一定的科學(xué)和現(xiàn)實(shí)意義。