梁金幸，趙鑒福，周亞同，史寶軍

（1.河北工業(yè)大學(xué) 省部共建電工裝備可靠性與智能化國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300401；2.河北工業(yè)大學(xué) 機(jī)械工程學(xué)院 河北省機(jī)器人感知與人機(jī)融合重點(diǎn)實(shí)驗(yàn)室，天津 300401；3.河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津 300401）

0 引 言

隨著社會(huì)發(fā)展水平的不斷提升，產(chǎn)生較大損失火災(zāi)的可能性也逐漸增大。早期的火災(zāi)識(shí)別方法主要是通過探測(cè)器對(duì)特定區(qū)域的溫度、光譜和煙霧等進(jìn)行采樣分析，但由于探測(cè)器檢測(cè)范圍與靈敏度的限制，在開闊空間以及環(huán)境惡劣的情況下，難以實(shí)現(xiàn)較為及時(shí)的檢測(cè)［1］。此外，探測(cè)器難以確定火災(zāi)位置、火焰大小和火災(zāi)發(fā)展趨勢(shì)，不利于后續(xù)火災(zāi)的處置。

近年來，使用圖像處理技術(shù)進(jìn)行火災(zāi)識(shí)別，引起了許多研究人員的關(guān)注。傳統(tǒng)的火災(zāi)圖像識(shí)別方法主要通過圖像分割［2］、運(yùn)動(dòng)目標(biāo)檢測(cè)［3］來確定疑似火焰區(qū)域，然后設(shè)計(jì)并提取火焰的多種特征，使用支持向量機(jī)（support vector machine，SVM）［4］等機(jī)器學(xué)習(xí)分類器進(jìn)行特征融合，從而實(shí)現(xiàn)火災(zāi)識(shí)別。此外，火焰的顏色和運(yùn)動(dòng)特征受到了廣泛關(guān)注。Khalil A等人［5］使用顏色特征分割出火焰區(qū)域，然后利用動(dòng)態(tài)特征來確定該區(qū)域是否包含火焰，該方法可在一定程度上降低火災(zāi)檢測(cè)系統(tǒng)的誤報(bào)率。得益于計(jì)算機(jī)性能的提升，深度學(xué)習(xí)網(wǎng)絡(luò)模型在圖像識(shí)別領(lǐng)域得以發(fā)展和應(yīng)用。常用的深度學(xué)習(xí)網(wǎng)絡(luò)模型主要有YOLO（you only look once）模型［6］、單次多框檢測(cè)（single shot multibox detector，SSD）模型［7］以及快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（faster regionbased convolutional neural network，F(xiàn)aster R-CNN）模型［8］。在對(duì)火災(zāi)圖像識(shí)別的研究中，Li P和Zhao W［9］對(duì)比分析了基于Faster R-CNN，R-FCN，SSD 和YOLOv3 等深度神經(jīng)網(wǎng)絡(luò)的火災(zāi)識(shí)別方法，實(shí)驗(yàn)結(jié)果表明YOLOv3 網(wǎng)絡(luò)模型的性能優(yōu)于其他網(wǎng)絡(luò)模型；張海波等人［10］提出了一種三通道擬合的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）火災(zāi)探測(cè)算法，該算法可有效提高火災(zāi)識(shí)別率。

上述研究工作豐富和發(fā)展了火災(zāi)圖像識(shí)別方法，但仍然存在一些問題：顏色和運(yùn)動(dòng)特征識(shí)別方法難以排除顏色類似于火焰的動(dòng)態(tài)干擾物；傳統(tǒng)的火災(zāi)圖像識(shí)別方法依賴于人工設(shè)計(jì)特征，導(dǎo)致算法泛化能力不足；深度學(xué)習(xí)方法通過神經(jīng)網(wǎng)絡(luò)模型自動(dòng)學(xué)習(xí)特征，但模型對(duì)有效信息的提取能力和對(duì)小目標(biāo)的檢測(cè)能力有待進(jìn)一步提升。

針對(duì)當(dāng)前火災(zāi)圖像識(shí)別方法存在的問題，本文提出一種基于改進(jìn)的YOLOv5s 網(wǎng)絡(luò)模型的火災(zāi)圖像識(shí)別方法。首先，通過在特征提取網(wǎng)絡(luò)中添加注意力機(jī)制模塊，增強(qiáng)模型對(duì)圖像特征的學(xué)習(xí)能力；然后，在YOLOv5s 多尺度檢測(cè)的基礎(chǔ)上添加大尺度檢測(cè)層，提升模型對(duì)小目標(biāo)的識(shí)別能力，并且使用K-Means算法對(duì)火災(zāi)數(shù)據(jù)集的標(biāo)注框進(jìn)行聚類，獲得先驗(yàn)框的尺寸；最后，在實(shí)驗(yàn)數(shù)據(jù)集上驗(yàn)證了本文火災(zāi)圖像識(shí)別方法的有效性。

1 YOLOv5s網(wǎng)絡(luò)模型

YOLO網(wǎng)絡(luò)模型由Redmon J 等人［6］于2016 年提出，利用回歸的思想來解決目標(biāo)檢測(cè)問題，能夠同時(shí)輸出物體的邊界和類別概率。2020 年，Ultralytics 公司公布了YOLOv5s網(wǎng)絡(luò)模型。圖1為YOLOv5s網(wǎng)絡(luò)模型的結(jié)構(gòu)。

圖1 YOLOv5s網(wǎng)絡(luò)模型結(jié)構(gòu)

如圖1 所示，YOLOv5s 網(wǎng)絡(luò)模型包括輸入（input）層、主干（backbone）部分、頸（neck）部和輸出（output）層4個(gè)部分。輸入圖片經(jīng)過特征提取后，得到3 種不同尺寸的特征圖（feature map），這些不同尺寸的特征圖用于檢測(cè)不同大小的目標(biāo)。Backbone 和Neck 由Focus，CBL（convolutional，batch normalization，leaky）ReLU，CSP（cross stage partial）以及SPP（space pyramid pooling）模塊組成。Focus 模塊包含切片層（slice layer）、卷積層（convolutional layer）和激活函數(shù)（activation function），用于對(duì)特征圖進(jìn)行切片操作。CBL模塊包含卷積層，批量標(biāo)準(zhǔn)化（batch normalization，BN）層和激活函數(shù)。CSP模塊有CSP1_X和CSP2_X兩種類型，使用跨層連接的方式來融合不同層間的特征信息。CSP1_X包含CBL模塊、X個(gè)殘差單元（ResUnit）、卷積層、批量標(biāo)準(zhǔn)化層和激活函數(shù)。與CSP1_X不同，CSP2_X用CBL模塊代替了殘差單元。SPP模塊包含CBL 模塊和池化層（pooling layer），采用最大池化操作對(duì)不同尺度的特征圖進(jìn)行張量拼接，實(shí)現(xiàn)多重感受野的融合。此外，YOLOv5s網(wǎng)絡(luò)模型采用GIOU_Loss損失函數(shù)［11］來估算邊界框的位置損失。

由于火災(zāi)識(shí)別任務(wù)具有實(shí)時(shí)性的需求，YOLO 系列模型以檢測(cè)速度快的優(yōu)點(diǎn)引起了研究人員的關(guān)注。相比于之前的YOLO系列模型，YOLOv5s網(wǎng)絡(luò)模型體積輕便且檢測(cè)速度快，適合部署到嵌入式設(shè)備。因此，本文使用YOLOv5s網(wǎng)絡(luò)模型進(jìn)行火災(zāi)圖像識(shí)別并對(duì)模型進(jìn)行改進(jìn)，進(jìn)一步提升模型的性能。

2 模型改進(jìn)方法

2.1 特征提取網(wǎng)絡(luò)改進(jìn)

Backbone，即為特征提取網(wǎng)絡(luò)，采用Focus，CBL，CSP以及SPP等模塊來提取圖像的特征。這些模塊的使用可以在一定程度上改善特征提取過程中的特征信息損失問題，但不同通道（channel）間特征的重要程度并沒有得到關(guān)注。為了解決這個(gè)問題，研究人員通過使用注意力機(jī)制（attention mechanism）對(duì)輸入圖像的特征加以選擇，使模型更加關(guān)注不同特征的重要性［12］。

為了提升模型對(duì)特征的學(xué)習(xí)能力，本文將擠壓-激勵(lì)（squeeze and excitation，SE）模塊加入到Y(jié)OLOv5s網(wǎng)絡(luò)模型的特征提取網(wǎng)絡(luò)中，為模型添加注意力機(jī)制。SE模塊源自SE網(wǎng)絡(luò)（SE network，SENet）［13］。具體來說，SE 模塊通過調(diào)整各通道的權(quán)重，使模型關(guān)注信息量大的特征，抑制無效或效果作用小的特征，從而實(shí)現(xiàn)注意力的集中，提高網(wǎng)絡(luò)模型的學(xué)習(xí)能力。圖2為SE模塊的計(jì)算流程，W×H×C代表特征圖的尺寸，輸入特征圖經(jīng)過Squeeze操作得到1 ×1 ×C的向量；然后，通過Excitation操作學(xué)習(xí)到各通道的權(quán)重；最后，將各通道的權(quán)重賦予輸入特征圖。

圖2 SE模塊計(jì)算流程

YOLOv5s網(wǎng)絡(luò)模型借鑒特征金字塔網(wǎng)絡(luò)（feature pyramid network，F(xiàn)PN）的多尺度檢測(cè)思想，使用80 ×80，40 ×40和20 ×20這3種尺寸的特征圖來實(shí)現(xiàn)目標(biāo)識(shí)別。圖3 為引入SE模塊后的特征提取網(wǎng)絡(luò)及參數(shù)，相比于原始模型的特征提取網(wǎng)絡(luò)，改進(jìn)后的特征提取網(wǎng)絡(luò)在第2個(gè)CSP1模塊、第3 個(gè)CSP1 模塊以及SPP 模塊后分別添加了SE 模塊，用于獲得80 ×80，40 ×40 和20 ×20 這3 種帶有注意力機(jī)制的特征圖。

圖3 改進(jìn)后的特征提取網(wǎng)絡(luò)和參數(shù)

2.2 多尺度檢測(cè)改進(jìn)

火災(zāi)發(fā)生初期是火災(zāi)識(shí)別的關(guān)鍵時(shí)期，此時(shí)的火焰形態(tài)多為小型火焰，所以，火災(zāi)識(shí)別網(wǎng)絡(luò)模型應(yīng)當(dāng)對(duì)小目標(biāo)具備較好的識(shí)別能力。在YOLOv5s 網(wǎng)絡(luò)模型特征提取過程中，圖像經(jīng)過多次卷積、池化等操作后會(huì)丟失部分信息，導(dǎo)致模型對(duì)小目標(biāo)的檢測(cè)效果不佳。因此，本文在YOLOv5s多尺度檢測(cè)的基礎(chǔ)上添加大尺度檢測(cè)層，提高模型對(duì)小目標(biāo)的識(shí)別能力。

值得注意的是，檢測(cè)層層數(shù)的增多會(huì)增加網(wǎng)絡(luò)模型的參數(shù)量，導(dǎo)致檢測(cè)速度降低。為了滿足火災(zāi)識(shí)別網(wǎng)絡(luò)模型的精度和實(shí)時(shí)性要求，本文在YOLOv5s網(wǎng)絡(luò)模型的輸出部分添加1個(gè)160 ×160的檢測(cè)層，利用4種不同尺寸的特征圖對(duì)圖片中的大、中、小和較小目標(biāo)進(jìn)行識(shí)別。改進(jìn)后的多尺度檢測(cè)層如圖4 所示，新增加的檢測(cè)層4 會(huì)對(duì)檢測(cè)層3中80 ×80 的特征圖進(jìn)行一次上采樣，獲得160 ×160 的特征圖，然后再與主干網(wǎng)絡(luò)中160 ×160的特征圖相連接。

圖4 改進(jìn)后的多尺度檢測(cè)層

2.3 先驗(yàn)框改進(jìn)

先驗(yàn)框是從訓(xùn)練集中真實(shí)標(biāo)注框中統(tǒng)計(jì)或聚類得到的一組固定尺寸和寬高比的初始區(qū)域，在網(wǎng)絡(luò)模型訓(xùn)練中，初始先驗(yàn)框參數(shù)越接近真實(shí)邊界框，模型將會(huì)越容易收斂，其預(yù)測(cè)邊界框也會(huì)更加符合真實(shí)邊界框。

K-Means是一種常用的聚類算法，主要思想是根據(jù)歐氏距離將樣本點(diǎn)聚集到指定的K 個(gè)類別中。YOLOv5s 網(wǎng)絡(luò)模型設(shè)定的初始先驗(yàn)框如表1 所示，每個(gè)尺度的特征圖匹配3個(gè)先驗(yàn)框。由于檢測(cè)層層數(shù)的增加，先驗(yàn)框的個(gè)數(shù)也要相應(yīng)增加。此外，數(shù)據(jù)集中火災(zāi)圖像的火焰區(qū)域大小各異。為了使先驗(yàn)框能夠與檢測(cè)層相匹配，并且符合數(shù)據(jù)集的真實(shí)情況，使用K-Means算法對(duì)火災(zāi)數(shù)據(jù)集中的標(biāo)注框進(jìn)行聚類，將聚類得到的一組先驗(yàn)框代替YOLOv5s設(shè)定的初始先驗(yàn)框。

表1 YOLOv5s網(wǎng)絡(luò)模型先驗(yàn)框

依據(jù)每個(gè)尺度的特征圖匹配3 個(gè)先驗(yàn)框的原則，改進(jìn)后的檢測(cè)層所匹配的先驗(yàn)框總數(shù)為12，即聚類個(gè)數(shù)K ＝12。添加大尺度檢測(cè)層后，網(wǎng)絡(luò)模型能夠輸出4 種不同尺寸的特征圖。尺寸較大的特征圖包含圖像的低層信息，具有較小的感受野，故匹配較小的先驗(yàn)框；相反，尺寸較小的特征圖匹配較大的先驗(yàn)框。改進(jìn)后的先驗(yàn)框與特征圖的匹配情況如表2所示。

表2 改進(jìn)后的先驗(yàn)框

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為：Intel?CoreTMi9-10900KF ＠ 3.70 GHz，32 GB內(nèi)存，Nvidia GeForce RTX 2080 Ti，Windows10 64位操作系統(tǒng)。使用Python開發(fā)語言，CUDA10.0 GPU 加速庫(kù)以及Pytorch1.8.1深度學(xué)習(xí)框架。

3.2 模型訓(xùn)練

由于目前火災(zāi)防治領(lǐng)域沒有公開的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，本文主要使用互聯(lián)網(wǎng)上搜集的火災(zāi)圖片，以及文獻(xiàn)［14 ～16］中提出的一系列典型火災(zāi)數(shù)據(jù)庫(kù)來構(gòu)建火災(zāi)數(shù)據(jù)集。所構(gòu)建的火災(zāi)數(shù)據(jù)集共計(jì)2 730 張圖片，主要包括室內(nèi)、公路和森林等場(chǎng)景中不同大小和形狀的火焰，部分火災(zāi)數(shù)據(jù)集圖片如圖5所示。使用Labelimg軟件完成火災(zāi)數(shù)據(jù)集的標(biāo)注，標(biāo)注好的數(shù)據(jù)集將用于模型的訓(xùn)練和測(cè)試。訓(xùn)練集和測(cè)試集分別按照70%和30%的典型比例進(jìn)行劃分，即訓(xùn)練集包含1 911張圖片，測(cè)試集包含819張圖片。

圖5 火災(zāi)數(shù)據(jù)集部分圖片

依據(jù)YOLOv5s網(wǎng)絡(luò)模型設(shè)定的訓(xùn)練參數(shù)，在網(wǎng)絡(luò)模型訓(xùn)練階段，初始學(xué)習(xí)率設(shè)置為0.01，迭代批量尺寸（batch size）設(shè)置為16，動(dòng)量（momentum）因子設(shè)置為0.937，權(quán)值衰減（weight decay）系數(shù)設(shè)置為0.000 5，輪次（epoch）設(shè)置為300，使用隨機(jī)梯度下降（stochastic gradient descent，SGD）法進(jìn)行優(yōu)化。此外，為了增加火災(zāi)數(shù)據(jù)集中樣本的多樣性，本文對(duì)輸入網(wǎng)絡(luò)模型的圖片進(jìn)行數(shù)據(jù)增強(qiáng)處理。增強(qiáng)方法包括圖像平移（translate），尺度（scale）變化、左右翻轉(zhuǎn)（flip left-right）、馬賽克（mosaic）數(shù)據(jù)增強(qiáng)以及HSV顏色空間中色調(diào)（hue）、飽和度（saturation）及明度（value）的變化。

3.3 結(jié)果分析

本文以YOLOv5s網(wǎng)絡(luò)模型為基礎(chǔ)，對(duì)特征提取網(wǎng)絡(luò)，多尺度檢測(cè)層以及先驗(yàn)框尺寸進(jìn)行了改進(jìn)。采用精確率（precision，P）、召回率（recall，R）、置信度0.5 下的平均精度均值（mean average precision，mAP）和幀率（frames per second，F(xiàn)PS）來評(píng)價(jià)模型的性能［17，18］。mAP 為Precision 和Recall曲線下的面積，用來表示模型的整體性能，P ＝TP／（TP ＋FP），R ＝TP／（TP ＋FN）。其中，TP 為正樣本被正確分類的數(shù)量，F(xiàn)P為負(fù)樣本被錯(cuò)誤分類的數(shù)量，F(xiàn)N為正樣本被錯(cuò)誤分類的數(shù)量。

改進(jìn)YOLOv5s 網(wǎng)絡(luò)模型的訓(xùn)練情況如圖6 所示。圖6（a）為損失函數(shù)隨訓(xùn)練輪次的變化曲線，模型訓(xùn)練300輪次，損失函數(shù)數(shù)值收斂在0.05 ～0.1。圖6（b）為mAP隨訓(xùn)練輪次的變化曲線，模型訓(xùn)練150輪次左右，mAP波動(dòng)較小，然后趨于穩(wěn)定。

圖6 改進(jìn)YOLOv5s網(wǎng)絡(luò)模型的訓(xùn)練表現(xiàn)

為探究所使用的改進(jìn)方法對(duì)模型性能的影響，將改進(jìn)特征提取網(wǎng)絡(luò)的模型記為YOLOv5s-A，由于先驗(yàn)框個(gè)數(shù)需要與檢測(cè)層層數(shù)相匹配，故將同時(shí)改進(jìn)特征提取網(wǎng)絡(luò)，多尺度檢測(cè)層以及先驗(yàn)框的模型記為YOLOv5s-AB，并將改進(jìn)的2種網(wǎng)絡(luò)模型與YOLOv3 和YOLOv5s 進(jìn)行對(duì)比。各網(wǎng)絡(luò)模型的性能評(píng)價(jià)結(jié)果如表3所示。

表3 各網(wǎng)絡(luò)模型性能評(píng)價(jià)結(jié)果

由表3 可知，YOLOv5s-A、YOLOv5s-AB 相比YOLOv3和YOLOv5s，P、R和mAP指標(biāo)均有提升；YOLOv5s-AB相比YOLOv3，P、R 和mAP 指標(biāo)分別提高了3.55%、3.14%和3.68%，幀率提高了10.40 fps；YOLOv5s-AB相比YOLOv5s，P、R和mAP指標(biāo)分別提高了2.05%、1.72%和2.09%，幀率可達(dá)54.66 fps。由于在YOLOv5s 中添加了SE 模塊和160 ×160的檢測(cè)層，導(dǎo)致YOLOv5s-A、YOLOv5s-AB的檢測(cè)速度略低于YOLOv5s。

為了進(jìn)一步測(cè)試YOLOv5s-AB 網(wǎng)絡(luò)模型的性能，使用文獻(xiàn)［19］中構(gòu)建的火災(zāi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，圖7 為YOLOv5s與YOLOv5s-AB網(wǎng)絡(luò)模型對(duì)火災(zāi)圖像和干擾圖像的識(shí)別效果。

圖7 火災(zāi)識(shí)別實(shí)驗(yàn)結(jié)果

本文在原始YOLOv5s 網(wǎng)絡(luò)模型中，同時(shí)添加了SE 模塊和大尺度檢測(cè)層，并使用K-Means聚類算法得到先驗(yàn)框的尺寸。由圖7所示的火災(zāi)識(shí)別實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)的YOLOv5s-AB網(wǎng)絡(luò)模型相比于原始模型，在置信度上有了明顯提升，對(duì)多目標(biāo)和小目標(biāo)的識(shí)別效果更好，并且可以在一定程度上排除夕陽、燈光等干擾物。

4 結(jié) 論

本文通過研究YOLOv5s網(wǎng)絡(luò)模型的特征提取網(wǎng)絡(luò)，多尺度檢測(cè)層以及先驗(yàn)框機(jī)制，提出一種改進(jìn)YOLOv5s網(wǎng)絡(luò)模型的火災(zāi)圖像識(shí)別方法。在原始YOLOv5s 網(wǎng)絡(luò)模型中同時(shí)添加SE注意力機(jī)制和大尺度檢測(cè)層，并使用K-Means聚類算法得到先驗(yàn)框尺寸。實(shí)驗(yàn)結(jié)果表明：改進(jìn)的YOLOv5s網(wǎng)絡(luò)模型（YOLOv5s-AB）在實(shí)驗(yàn)數(shù)據(jù)集上的P為82.27 %，R 為85.11 %，mAP 為85.72 %，檢測(cè)幀率達(dá)54.66 fps，以較低的時(shí)間代價(jià)提升了模型性能；尤其在置信度上有明顯提升，對(duì)多目標(biāo)和小目標(biāo)的識(shí)別效果更好；并可較好地排除夕陽、燈光等干擾物，提高了對(duì)火災(zāi)圖像的識(shí)別效果。下一步將考慮對(duì)現(xiàn)有火災(zāi)數(shù)據(jù)集進(jìn)行擴(kuò)充，使網(wǎng)絡(luò)模型學(xué)習(xí)到的圖像信息更加全面。