王冠博，楊俊東，李 波，保利勇，丁洪偉

(云南大學(xué) 信息學(xué)院，云南 昆明 650500)

0 引 言

隨著深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域的應(yīng)用，目前基于深度學(xué)習(xí)的目標(biāo)檢測主要分為類：單階段目標(biāo)檢測算法和雙階段目標(biāo)檢測算法[1]。雙階段目標(biāo)檢測算法會把目標(biāo)檢測分為兩個階段，第一階段會生成可能包含待檢物體的候選框，第二階段會對候選框的物體進(jìn)行預(yù)測識別。常見的雙階段目標(biāo)檢測算法有Fast R-CNN[2]、Faster R-CNN[3]、MASK-RCNN[4]等。雙階段目標(biāo)檢測算法精度高，但處理速度慢，無法滿足火焰圖像實(shí)時檢測的實(shí)時性需求。單階段目標(biāo)檢測算法是直接對源數(shù)據(jù)生成檢測結(jié)果，處理速度較快，可滿足火焰圖像實(shí)時檢測的實(shí)時性需求。常見的單階段目標(biāo)檢測算法有SSD[5]、RetinaNet[6]、EfficientDet[7]、YOLO[8]等。其中，Bochkovskiy等[8]提出了以CSP-Darknet53為骨干網(wǎng)絡(luò)的YOLO v4，通過增加感受野、改進(jìn)多通道特征融合、馬賽克數(shù)據(jù)增強(qiáng)等方法，達(dá)到了實(shí)時性與準(zhǔn)確率的均衡。

針對火焰圖像實(shí)時檢測對實(shí)時性的需求，以及火焰特征復(fù)雜、火焰檢測易受周圍環(huán)境干擾的特點(diǎn)，本文提出一種改進(jìn)的YOLO v4的火焰圖像實(shí)時檢測模型。該模型以YOLO v4為基礎(chǔ)，引入了注意力機(jī)制(包括改進(jìn)型通道注意力(CAB)模塊和改進(jìn)型空間注意力(SAB)模塊)，可提取出融合通道注意力和空間注意力的特征。此外，還對YOLO v4算法的激活函數(shù)、先驗(yàn)框、損失函數(shù)進(jìn)行改進(jìn)。與傳統(tǒng)的YOLO算法和SSD、RetinaNet、EfficientDet相比，該模型在保證實(shí)時性的基礎(chǔ)上提升了準(zhǔn)確率，降低了損失值，從而使火焰的圖像的實(shí)時檢測更加準(zhǔn)確、有效。

1 YOLO v4模型概述

1.1 YOLO v4的改進(jìn)

YOLO v4是由Bochkovskiy等在YOLO v3算法的基礎(chǔ)上，以CSPDarknet53為骨干網(wǎng)絡(luò)，提取圖像多尺度的特征進(jìn)行目標(biāo)檢測。YOLO v4采用SPP(spatial pyramid pooling)替代了YOLO v3的FPN(feature pyramid networks)，將不同尺度的特征圖進(jìn)行拼接，增加了模型感受域，從而使模型更快提取出有效特征[9]，其結(jié)構(gòu)如圖1所示。YOLO v4還采用了PANet(path aggregation network)，在不增加網(wǎng)絡(luò)復(fù)雜度的前提下，使網(wǎng)絡(luò)能獲取更全面的細(xì)節(jié)特征。此外，YOLO v4還采用了Mosaic數(shù)據(jù)增強(qiáng)、部分網(wǎng)絡(luò)結(jié)構(gòu)采用Mish激活函數(shù)取代了YOLO v3中的Leaky Relu激活函數(shù)等[10]。這些方法在保證檢測速度的前提下，提高了檢測精度。

1.2 YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)

YOLO v4模型可分為Input、Backbone、Neck、Head這4部分。Input部分負(fù)責(zé)輸入圖片；Backbone部分包含CBM(Conv2D_BN_Mish)層、CSPn(cross stage partial connections)層，負(fù)責(zé)特征提?。籒eck部分包含CBL(Conv2D_BN_Leaky Relu)層、SPP層，負(fù)責(zé)上采樣和下采樣；Head部分會獲取到Neck部分提取的特征圖。

圖1 SPP-YOLO網(wǎng)絡(luò)結(jié)構(gòu)

以輸入尺寸為(832，832,3)的圖像為例，輸入圖像通過Backbone部分不同尺度的CSP層進(jìn)行下采樣處理后，得到3個不同尺度的特征圖，之后會經(jīng)過Neck部分處理，增加了特征圖的感受域，進(jìn)一步得到經(jīng)過上采樣和下采樣處理后不同尺度的特征圖。最后，將特征圖輸入Head部分進(jìn)行處理，得到目標(biāo)檢測結(jié)果。YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)

1.3 激活函數(shù)

Misra等[10]提出Mish激活函數(shù)，Mish是一個光滑、連續(xù)、非單調(diào)的激活函數(shù)，式(1)為Mish激活函數(shù)的表達(dá)式。Mish激活函數(shù)上下有界，范圍≈[0.31,+∞]。 與ReLU、Swish等激活函數(shù)相比，Mish激活函數(shù)解決了網(wǎng)絡(luò)層數(shù)加深，精度下降的問題，在深層卷積神經(jīng)網(wǎng)絡(luò)中能更好保持穩(wěn)定性和準(zhǔn)確性

(1)

YOLO v4的Backbone部分采用Mish激活函數(shù)，Neck部分采用Leaky Relu激活函數(shù)，其圖像如圖3所示。

圖3 Mish和Leaky Relu 激活函數(shù)圖像

1.4 損失函數(shù)

與YOLO v3損失函數(shù)的結(jié)構(gòu)類似，YOLO v4的損失函數(shù)也由3部分組成，分別是定位損失函數(shù)、目標(biāo)置信度損失函數(shù)、分類損失函數(shù)。式(2)為YOLO v4的損失函數(shù)

(2)

2 對YOLO v4算法的改進(jìn)

2.1 激活函數(shù)的改進(jìn)

YOLO v4的Backbone部分均采用Mish激活函數(shù)，Neck部分均采用Leaky Relu激活函數(shù)。Mish激活函數(shù)由Misra等[10]提出，其圖像如圖3所示。Relu的負(fù)半軸完全截斷，梯度下降不夠平滑，可能會出現(xiàn)死亡節(jié)點(diǎn)[12]；Leaky Relu在負(fù)半軸加一個參數(shù)α， 可避免其在負(fù)半軸直接截斷，解決了Relu進(jìn)入負(fù)區(qū)間后神經(jīng)元不學(xué)習(xí)的問題，減少了靜默神經(jīng)元的出現(xiàn)[13]。但該激活函數(shù)對α值的選取要求較高，目前對其性能優(yōu)劣仍存在爭議。Mish激活函數(shù)在負(fù)區(qū)間并不是完全截斷，這可使它在負(fù)區(qū)間允許較小的梯度流入。此外，如圖3所示，Mish激活函數(shù)無邊界，可使其避免出現(xiàn)死亡節(jié)點(diǎn)。Misra等[10]也提到，Mish激活函數(shù)可保證每一點(diǎn)的平滑，在實(shí)際表現(xiàn)中，梯度下降效果優(yōu)于Relu。

式(3)為Mish激活函數(shù)的一階導(dǎo)數(shù)，圖4為Mish激活函數(shù)和Leaky Relu的一階導(dǎo)數(shù)、二階導(dǎo)數(shù)比較

(3)

其中，ω=4(x+1)+4e2x+e3x+ex(4x+6)，δ=2ex+e2x+2。

Leaky Relu的一階導(dǎo)數(shù)均為常數(shù)，二階導(dǎo)數(shù)為0。從圖4 Mish激活函數(shù)的一階導(dǎo)數(shù)可以看出，它是連續(xù)可微的，一階導(dǎo)數(shù)、二階導(dǎo)數(shù)均無斷點(diǎn)，可避免出現(xiàn)奇點(diǎn)。與Leaky Relu相比，Mish激活函數(shù)的性能和穩(wěn)定性更好。

圖4 Mish和Leaky Relu的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)

本文對YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)的Neck部分激活函數(shù)進(jìn)行了改進(jìn)，將Neck部分Leaky Relu激活函數(shù)替換為Mish激活函數(shù)。改進(jìn)后的YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)后的YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)

2.2 先驗(yàn)框的改進(jìn)

YOLO v4中采用了K-means聚類算法來獲取9個先驗(yàn)框，并將其運(yùn)用至網(wǎng)絡(luò)Head部分3個不同尺度的特征圖，從而預(yù)測待檢目標(biāo)的邊界框。YOLO v4中的先驗(yàn)框是通過對PASCAL VOC數(shù)據(jù)集進(jìn)行聚類得到的，不適用于火焰圖像檢測。式(4)為YOLO v4中K-means聚類算法距離的計算方法

d(box,central)=1-IOU(box,central)

(4)

采用IOU反映預(yù)測框與真實(shí)框的檢測效果時，如果兩個框沒有相交，則IOU=0， 無法正確反映預(yù)測框和真實(shí)框的實(shí)際距離。針對IOU的不足，Hamid Rezatofighi等[14]提出GIOU(generalized IoU)，式(5)GIOU的表達(dá)式

(5)

式中：C為同時包含B和Bgt的最小框面積。GIOU不僅可以衡量預(yù)測框和真實(shí)框重疊度，還可正確衡量不重疊的情況，能更好反映預(yù)測框和真實(shí)框的重疊度。

因此，為了能更好衡量預(yù)測框和真實(shí)框的重疊度，本文采用GIOU取代IOU。 式(6)為改進(jìn)后的K-means聚類算法距離計算方法

dGIOU(box,central)=1-GIOU(box,central)

(6)

以輸入圖像尺寸為416*416為例，采用改進(jìn)后的K-means聚類算法進(jìn)行距離計算之后，選取的9個先驗(yàn)框分別為(34,57)、(91,85)、(62,187)、(161,160)、(142,381)、(289,245)、(300,572)、(557,350)、(679,688)。表1為修改先驗(yàn)框前后，模型相關(guān)參數(shù)對比。

表1 YOLO v4修改先驗(yàn)框前后相關(guān)指標(biāo)對比

2.3 損失函數(shù)的改進(jìn)

YOLO v4的損失函數(shù)由定位損失函數(shù)、目標(biāo)置信度損失函數(shù)、分類損失函數(shù)3部分組成，式(2)為YOLO v4的損失函數(shù)。式(7)為YOLO v4的定位損失函數(shù)

(7)

(8)

(9)

(10)

式中：Lciou為CIOU(complete IoU)損失函數(shù)，β為權(quán)重函數(shù)，ρ為預(yù)測框與真實(shí)框中心點(diǎn)的歐氏距離，υ可度量預(yù)測框與真實(shí)框的長寬比相似性，wgt、hgt分別為真實(shí)框的寬度、高度，w、h分別為預(yù)測框的寬度、高度，如圖6所示。

圖6 預(yù)測框和真實(shí)框相關(guān)參數(shù)

CIOU考慮了預(yù)測框與真實(shí)框之間的歐氏距離、重疊率、尺度特征、預(yù)測框的寬高比。在對寬高比有一定規(guī)律的目標(biāo)(比如人、汽車等)進(jìn)行檢測時， 能獲取目標(biāo)真實(shí)框的寬高比，從而可提高目標(biāo)檢測的AP值。但火焰特征比較復(fù)雜，且源數(shù)據(jù)集火焰圖像的大小不固定，寬高比并沒有特定的規(guī)律。若采用CIOU使模型學(xué)習(xí)到部分類似大小真實(shí)框的寬高比，則可能使模型對其它寬高比的圖像造成誤判，反而會降低模型的魯棒性。因此，本文采用的分類損失函數(shù)采用DIOU(distance-IoU)。式(11)為DIOU表達(dá)式

(11)

式中：ρ為預(yù)測框與真實(shí)框中心點(diǎn)的歐氏距離，c為包含預(yù)測框和真實(shí)框最小矩形框的對角線距離，如圖6所示。DIOU包含了預(yù)測框和真實(shí)框中心點(diǎn)的歐氏距離、重疊度等特征，但沒有考慮真實(shí)框的寬高比。因此，針對火焰圖像寬高比沒有固定比例的特點(diǎn)，DIOU能更好反映預(yù)測框與真實(shí)框的關(guān)系，能有效增強(qiáng)模型的泛化能力。

2.4 引入注意力機(jī)制

注意力機(jī)制模仿了人類的視覺系統(tǒng)，融合局部視覺結(jié)構(gòu)，獲取場景特征，并將注意力集中于特征較為顯著的區(qū)域[15]。本文引入的注意力模塊包括通道注意力(channel attention block，CAB)和空間注意力(spatial attention block，SAB)。

通道注意力可對不同通道特征的依賴關(guān)系進(jìn)行建模，融合多通道的特征圖像，自適應(yīng)調(diào)節(jié)其特征權(quán)重。在針對火焰圖像的目標(biāo)檢測中，可對火焰的特征進(jìn)行強(qiáng)化，其結(jié)構(gòu)如圖7所示。SENet采用全局平均池化來對通道特征進(jìn)行壓縮，可使模型側(cè)重于關(guān)注信息量大的通道特征，但僅采用全局平均池化較難獲取物體間更詳細(xì)的通道注意力[16]。全局最大池化可將梯度較大的位置進(jìn)行反向傳播，進(jìn)一步提高通道特征提取的敏感度。因此，本文同時采用全局最大池化和全局平均池化，將低階通道特征進(jìn)行全局最大池化和全局平均池化融合，實(shí)現(xiàn)了對高階通道特征的引導(dǎo)與校準(zhǔn)。

圖7 通道注意力模塊(CAB)

對YOLO v4算法添加空間注意力，可彌補(bǔ)通道注意力的不足?？臻g注意力對特征圖有效信息的區(qū)域比較敏感，可對特征圖內(nèi)部像素點(diǎn)進(jìn)行建模[17]。本文采用Bochkovskiy等[8]提出的改進(jìn)型Modified SAM，其結(jié)構(gòu)如圖8所示。

本文采用融合CAB和SAB的注意力機(jī)制，將其用于YOLO v4算法中進(jìn)行火焰圖像的檢測，其結(jié)構(gòu)如圖9所示。改進(jìn)型的注意力機(jī)制將淺層卷積層的通道和空間特征進(jìn)行提取，并將其與深層卷積層提取的特征進(jìn)行融合，可在增加少量計算量的基礎(chǔ)上，增強(qiáng)模型的特征提取能力。

圖8 空間注意力模塊(SAB)

圖9 融合CAB和SAB的注意力機(jī)制

由于火焰圖像數(shù)據(jù)集中，火焰尺寸大小差距較大，引入注意力機(jī)制之后，可對火焰圖像特征進(jìn)行多尺度提取，加強(qiáng)了模型對火焰圖像的檢測能力。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)的環(huán)境配置見表2，對比實(shí)驗(yàn)的硬件配置與該實(shí)驗(yàn)的配置相同。

表2 實(shí)驗(yàn)環(huán)境配置

本實(shí)驗(yàn)火焰圖像分別來自kaggle火焰數(shù)據(jù)集(https://www.kaggle.com/phylake1337/fire-dataset)、火焰公開數(shù)據(jù)集(http://signal.ee.bilkent.edu.tr/VisiFire/)以及互聯(lián)網(wǎng)采集，一共967張火焰圖像。其中，70%(711張)為訓(xùn)練集，30%(256張)為測試集。所有數(shù)據(jù)集均采用labelimg進(jìn)行標(biāo)注。

本實(shí)驗(yàn)YOLO v4的參數(shù)以YOLO v4[9]為基礎(chǔ)，經(jīng)過大量實(shí)驗(yàn)選取最優(yōu)參數(shù)，對部分參數(shù)進(jìn)行了調(diào)整。實(shí)驗(yàn)批量大小設(shè)置為32，動量為0.949，初始學(xué)習(xí)率設(shè)置為0.0013，前1000次采用固定學(xué)習(xí)率進(jìn)行學(xué)習(xí)，第16 000代和第18 000代學(xué)習(xí)率分別為0.000 13、0.000 013，總迭代次數(shù)為20 000次。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 改進(jìn)的YOLO v4算法

首先將本文改進(jìn)的YOLO v4算法與原YOLO v4算法進(jìn)行比較，分別選取AP(average precison)、Loss、FPS、Recall、Average IOU作為評價指標(biāo)。其中，AP為目標(biāo)檢測的平均精度，可評估模型在每一類別的好壞。Loss為損失函數(shù)，式(2)為改進(jìn)算法前的Loss值，式(12)為改進(jìn)后的Loss值。FPS為每秒處理圖片的數(shù)量，可反映模型的檢測速度。Recall為目標(biāo)檢測的召回率，可評估模型是否有漏檢，式(13)為Recall的計算公式。Average IOU可反映預(yù)測框和真實(shí)框的重疊程度

(12)

(13)

在與原YOLO v4算法進(jìn)行比較時，輸入圖像尺寸統(tǒng)一設(shè)置為832*832，采用Darknet骨干網(wǎng)絡(luò)進(jìn)行訓(xùn)練，迭代次數(shù)為30 000次。為使模型盡快收斂，本實(shí)驗(yàn)采用了遷移學(xué)習(xí)的方法，預(yù)訓(xùn)練權(quán)重文件為yolov4.conv.137(https://github.com/AlexeyAB/darknet/releases/download/darknet_yolo_v3_optimal/yolov4.conv.137)。實(shí)驗(yàn)數(shù)據(jù)見表3。

表3 原YOLO算法與本文改進(jìn)YOLO算法結(jié)果對比

從表3可以看到，未進(jìn)行改進(jìn)的YOLO v4網(wǎng)絡(luò)的精度較低，AP只有46.24%，Loss值較大。采用YOLO v4作者的權(quán)重文件進(jìn)行遷移學(xué)習(xí)之后，Loss值下降的較低，但AP值、Average IOU與之前相比反而下降了，這可能是因?yàn)楸疚牡哪繕?biāo)檢測只有火焰這一個類別，權(quán)重文件的類別數(shù)量遠(yuǎn)遠(yuǎn)大于本文類別數(shù)，模型參數(shù)無法完全適配。與原算法相比，采用本文改進(jìn)型YOLO算法之后，模型的AP值提高了36.56%，Loss值下降了1.2942，F(xiàn)PS也略有提升，提高了1.1，Recall值提高了0.36，Average IOU提高了0.2162?？傮w而言，與原算法相比，本文的改進(jìn)算法是有效的。

3.2.2 與其它目標(biāo)檢測算法的對比

本文改進(jìn)算法與YOLO v3、SSD、Efficientdet、Retinanet進(jìn)行比較，選取AP、Loss、FPS作為評價指標(biāo)，對比實(shí)驗(yàn)結(jié)果見表4。

與上一代YOLO v3算法對比，雖然都是采用Darknet骨干網(wǎng)絡(luò)，但由于YOLO v3采用的是FPN，且在訓(xùn)練過程中只進(jìn)行了上采樣未進(jìn)行下采樣，導(dǎo)致其AP值較低，且在本數(shù)據(jù)集上出現(xiàn)了過擬合的情況。雖然其FPS較高，但無法滿足準(zhǔn)確率的需求。SSD采用VGG16作為骨干網(wǎng)絡(luò)，訓(xùn)練復(fù)雜度高于YOLO，AP值較YOLO v3有了一定的提升，但仍無法滿足準(zhǔn)確率的要求。Efficientdet采用Ef-ficeentnet作為骨干網(wǎng)絡(luò)，并引入BiFPN，可實(shí)現(xiàn)模型的雙向跨尺度連接以及加權(quán)特征融合，AP值是對比實(shí)驗(yàn)中最高的，但FPS較低，無法滿足火焰圖像檢測的實(shí)時性需求。Retinanet采用ResNet作為骨干網(wǎng)絡(luò)，整體模型由骨干網(wǎng)和子網(wǎng)組成，可提取豐富的火焰特征，其AP值優(yōu)于未改進(jìn)的YOLO v4算法。但其FPS是所有對比實(shí)驗(yàn)中最低的。

總體而言，與其它目標(biāo)檢測算法相比，本文改進(jìn)算法的AP值和FPS都是最優(yōu)的，滿足了火焰圖像識別對準(zhǔn)確度、實(shí)時性的需求，但Loss值相對來說仍有改進(jìn)空間。

表4 不同目標(biāo)檢測算法實(shí)驗(yàn)結(jié)果對比

3.2.3 消融實(shí)驗(yàn)結(jié)果分析

為進(jìn)一步驗(yàn)證本文改進(jìn)算法的科學(xué)性和有效性，本文采用消融實(shí)驗(yàn)進(jìn)行分析。為了提高訓(xùn)練速度，輸入圖像尺寸統(tǒng)一調(diào)整為416*416。每組實(shí)驗(yàn)僅改變一個變量，消融實(shí)驗(yàn)結(jié)果見表5。

由表5可知，僅改變激活函數(shù)時，AP、Recall、Average IOU略有提升，Loss值有較大幅度的下降，模型整體性能比原YOLO v4算法略有提升。采用改進(jìn)型K-means算法對模型的先驗(yàn)框進(jìn)行調(diào)整之后，使得模型的先驗(yàn)框能更好適配本實(shí)驗(yàn)的火焰圖像，模型的AP、FPS、Recall、Average IOU均有較大的提升。采用改進(jìn)型損失函數(shù)之后，模型的AP、Recall、Average IOU有了進(jìn)一步提升，但FPS與之前相比略有下降，這可能是改進(jìn)算法增加了模型的運(yùn)算復(fù)雜度，使得模型處理速度略有下降。整體而言，改進(jìn)的YOLO v4算法在火焰圖像識別的準(zhǔn)確度上有較大提升，且在一定程度上提高了目標(biāo)檢測的實(shí)時性。因此，本文提出的改進(jìn)型YOLO v4算法是有意義的。

表5 改進(jìn)YOLO v4算法消融實(shí)驗(yàn)結(jié)果分析

4 結(jié)束語

針對火焰圖像的復(fù)雜性、傳統(tǒng)目標(biāo)檢測實(shí)時性較差的情況，本文提出了改進(jìn)型YOLO v4算法。通過對激活函數(shù)、先驗(yàn)框、損失函數(shù)進(jìn)行改進(jìn)，并引入了注意力機(jī)制。與原YOLO v4算法相比，模型AP值提高了36.56%，fps提高了1.1，模型整體性能有了較大的提升，滿足了火焰圖像檢測的準(zhǔn)確度、實(shí)時性的需求。通過與其它目標(biāo)檢測算法(YOLO v3、SSD、Efficientdet、Retinanet)作對比，本文改進(jìn)算法的實(shí)驗(yàn)數(shù)據(jù)是最優(yōu)的，驗(yàn)證了本文改進(jìn)方法的有效性。最后采用消融實(shí)驗(yàn)進(jìn)行分析，模型整體性能隨著實(shí)驗(yàn)的進(jìn)行逐步提升，驗(yàn)證了本文改進(jìn)算法的科學(xué)性。

本文提出的改進(jìn)型YOLO v4算法雖使模型的整體性能有了較大的提升，但由于火焰圖像的復(fù)雜性、火焰尺寸大小的不確定性，仍有較大的改進(jìn)空間。此外，針對小目標(biāo)的火焰圖像實(shí)時檢測，模型的表現(xiàn)并不好，常有漏檢情況。因此，下一步要針對不同尺寸火焰的目標(biāo)檢測進(jìn)行研究，進(jìn)一步提升火焰圖像檢測的準(zhǔn)確度和實(shí)用性。