趙 輝，趙 堯，金林林，董蘭芳，肖 瀟

基于YOLOX的小目標(biāo)煙火檢測技術(shù)研究與實現(xiàn)

趙 輝1，趙 堯1，金林林1，董蘭芳2，肖 瀟2

(1. 國網(wǎng)安徽省電力有限公司亳州供電公司，安徽 亳州 236800；2. 中國科學(xué)技術(shù)大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230026)

火災(zāi)是日常生活中最常見的社會災(zāi)害之一，會對人類的財產(chǎn)、生命安全造成巨大威脅，如何準(zhǔn)確而快速地發(fā)現(xiàn)小面積的煙火點并實時發(fā)出預(yù)警，對維護(hù)正常的社會生產(chǎn)具有重要意義。傳統(tǒng)的煙火檢測算法通過識別圖像的各種低維視覺特征如顏色、紋理等，進(jìn)而判斷煙火的位置，方法的實時性和精度較差。近些年深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域的成就顯著，各種基于深度神經(jīng)網(wǎng)絡(luò)的煙火檢測方法層出不窮，但大部分深度學(xué)習(xí)模型在小目標(biāo)上的檢測效果遠(yuǎn)不及大目標(biāo)，而煙火檢測任務(wù)需要在煙火面積很小時就做出及時地識別和預(yù)警，才能避免火勢擴(kuò)大造成更大的經(jīng)濟(jì)損失。對此，基于YOLOX模型對激活函數(shù)和損失函數(shù)做出改進(jìn)并結(jié)合數(shù)據(jù)增強(qiáng)算法和交叉驗證訓(xùn)練方法，實現(xiàn)了更好的小目標(biāo)檢測算法，在煙火檢測數(shù)據(jù)集上獲得了78.36%的mAP值,相比原始模型提升了4.2%，并獲得了更好的小目標(biāo)檢測效果。

煙火檢測；小目標(biāo)檢測；深度學(xué)習(xí)；數(shù)據(jù)增強(qiáng)；YOLOX

火災(zāi)事故的發(fā)生會造成巨大的經(jīng)濟(jì)損失，還會嚴(yán)重威脅人們的生命安全。如在電力系統(tǒng)的發(fā)電、輸電、變電過程中，由于設(shè)備不穩(wěn)定很容易導(dǎo)致火災(zāi)事故的發(fā)生。2017年11月18日北京市大興區(qū)西紅門鎮(zhèn)新建村發(fā)生火災(zāi)，造成19人死亡，8人受傷，事故原因是埋在聚氨酯保溫材料內(nèi)的電氣線路發(fā)生了故障；2021年4月16日，北京一儲能電站發(fā)生火災(zāi)，導(dǎo)致2名消防員犧牲，1名消防員受傷，電站內(nèi)1名員工失聯(lián)，除了設(shè)備本身問題，人為操作失誤也可導(dǎo)致事故發(fā)生。由此可見，火災(zāi)的發(fā)生不僅會對人民的生命財產(chǎn)造成巨大的危害，也會嚴(yán)重影響社會的經(jīng)濟(jì)發(fā)展和安全穩(wěn)定，因此如何有效地預(yù)防火災(zāi)，對小面積的煙火進(jìn)行有效精確地監(jiān)測和預(yù)警至關(guān)重要。

1 相關(guān)方法

目前對于火災(zāi)進(jìn)行有效預(yù)警的方法是通過檢測火災(zāi)早期產(chǎn)生的煙霧和火焰進(jìn)行跟蹤、定位來實現(xiàn)的，由于易燃物分布十分廣泛，全部采用人工方法進(jìn)行巡檢會造成極大的人力消耗。隨著視頻監(jiān)控技術(shù)的普及，一些直接對視頻序列中的圖像信息進(jìn)行處理的方法也陸續(xù)出現(xiàn)，如傳統(tǒng)的圖像處理方法通過識別圖像所具有的一些低維視覺特征(如形狀、顏色和紋理等)進(jìn)行煙火的檢測，文獻(xiàn)[1]通過識別火災(zāi)中火焰和煙霧的顏色和運動特征來檢測煙火；文獻(xiàn)[2]采用視覺圖像分割與堆疊技術(shù)來判別煙火特征從而檢測煙火。但這些傳統(tǒng)方法易受背景變化的影響，而火災(zāi)產(chǎn)生處的場景十分復(fù)雜，使得傳統(tǒng)圖像處理方法在煙火檢測領(lǐng)域所能達(dá)到的精度十分有限。

近年來，隨著深度學(xué)習(xí)技術(shù)在各個領(lǐng)域的蓬勃發(fā)展和廣泛應(yīng)用，尤其是在目標(biāo)檢測領(lǐng)域，深度學(xué)習(xí)方法得益于能夠自適應(yīng)地學(xué)習(xí)到不同環(huán)境背景下的特征差異，在處理圖像信息任務(wù)時表現(xiàn)出較傳統(tǒng)方法更高的精度和自學(xué)習(xí)的能力，煙火識別預(yù)警就屬于特定場景下(火災(zāi))的目標(biāo)檢測任務(wù)，可基于目標(biāo)的幾何和特征統(tǒng)計對視頻或圖像中的火焰和煙霧進(jìn)行準(zhǔn)確識別和定位。目前，基于深度學(xué)習(xí)的目標(biāo)檢測算法可以分為一階段算法和兩階段算法，其中兩階段算法需要經(jīng)過兩步完成：①獲得候選區(qū)域，②對候選區(qū)域進(jìn)行分類；而一階段算法則不需要獲取候選區(qū)域，從圖像中直接預(yù)測目標(biāo)所在的區(qū)域。

在圖像分類任務(wù)中，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)較傳統(tǒng)方法顯現(xiàn)出巨大的優(yōu)勢，基于CNN進(jìn)行圖像分類逐漸成為主流。隨后，GIRSHICK等[3]首次將CNN運用到了目標(biāo)檢測領(lǐng)域，提出了基于候選框選取的R-CNN目標(biāo)檢測算法，其以圖像像素為單位根據(jù)紋理特征的相似性逐漸向上融合，獲得若干候選區(qū)域，再將候選區(qū)域送入CNN進(jìn)行分類，并校正目標(biāo)檢測的邊界框。該算法需要獲得大量的候選區(qū)域以獲得更高的精度，且很多區(qū)域間是彼此重疊的，模型對于不同的候選區(qū)域進(jìn)行了大量的重復(fù)計算，降低了模型的速度。之后，F(xiàn)ast R-CNN[4]做出了改進(jìn)，使用CNN先提取整個圖像的特征，而不是對每個圖像塊多次提取，然后將創(chuàng)建候選區(qū)域的方法直接應(yīng)用于提取到的特征圖上，因此大大減少了提取特征所花的時間，但其速度則依賴于外部選擇性搜索算法。于是Faster R-CNN[5]算法用區(qū)域生成網(wǎng)絡(luò)代替了候選區(qū)域方法，區(qū)域生成網(wǎng)絡(luò)將前面CNN的輸出特征圖作為輸入，在特征圖上滑動一個3×3的卷積核，通過CNN構(gòu)建出與類別無關(guān)的候選區(qū)域再送入分類網(wǎng)絡(luò)。上述算法均為兩階段算法，而一階段算法中具有代表性的主要有：①LIU等[6]提出的SSD算法，其不通過事先選取候選框，而是在多尺度特征圖上的每個點生成一個預(yù)選框，然后將所有的預(yù)選框集合進(jìn)行極大值抑制，最后輸出預(yù)測結(jié)果；②REDMON等[7]提出的YOLO算法，將目標(biāo)檢測當(dāng)作一個回歸問題，通過單一的神經(jīng)網(wǎng)絡(luò)同時預(yù)測邊界框的坐標(biāo)和各個類別的概率，檢測速度也能達(dá)到45 FPS以上。除了基于CNN的一階段算法之外，還有LIU等[8]提出的基于自注意力機(jī)制的swin transformer算法，該算法能取得更高的精度，但計算速度較慢。

上述目標(biāo)檢測算法中，兩階段算法由候選區(qū)域選取再對候選區(qū)域進(jìn)行分類，往往需要花費較多的時間，而煙火檢測是一個對實時性要求很高的任務(wù)，因此本文將采用一階段算法識別煙火，相比于兩階段算法而言能夠在保證預(yù)測精度不降低的同時，大大減少煙火檢測的時間，提高了檢測的效率。得益于YOLO算法，在確保目標(biāo)檢測任務(wù)能獲得較高精度的同時，處理速度也接近實時應(yīng)用的要求。

因此，本文以YOLOX[9]算法作為基礎(chǔ)的網(wǎng)絡(luò)模型，并結(jié)合火災(zāi)場景下煙火檢測任務(wù)的要求進(jìn)行調(diào)整，從而實現(xiàn)了構(gòu)建煙火小目標(biāo)檢測效果足夠好的模型。

2 YOLO系列算法簡介

YOLO系列算法經(jīng)過了3次改進(jìn)，并以此為基礎(chǔ)，衍生出了各種不同的版本。將目標(biāo)檢測問題當(dāng)作回歸問題進(jìn)行處理，將整張圖片作為網(wǎng)絡(luò)輸入，然后在輸出層對預(yù)測框的位置和類別進(jìn)行預(yù)測。算法首先將一張圖片分割成×個網(wǎng)格，如果預(yù)測目標(biāo)的中心點位于某個網(wǎng)格中，則對此目標(biāo)進(jìn)行進(jìn)一步預(yù)測，在實際輸出中，每個網(wǎng)格預(yù)測個框，并分析每個框中是否包含目標(biāo)以及目標(biāo)所屬的類別。這會導(dǎo)致一個目標(biāo)可能有多個預(yù)測框?qū)ζ溥M(jìn)行預(yù)測，算法使用非極大值抑制方法，該方法選擇所有預(yù)測框中得分最高的那個，然后對該預(yù)測框與其他預(yù)測框計算交并比(intersection over union，IoU)，IoU計算方法如圖1所示，其值為2個矩形框的交集與并集面積之比。

圖1 IoU計算方法

非極大值抑制需要設(shè)置一個IoU閾值(一般為0.5)，將計算結(jié)果小于該閾值的預(yù)測框抑制掉，再對剩下的預(yù)測框迭代使用該方法，直至沒有能抑制的預(yù)測框為止，最終輸出的是不含重疊框的預(yù)測結(jié)果。

3 煙火檢測的網(wǎng)絡(luò)模型

3.1 煙火檢測模型概述

目標(biāo)檢測模型一般可以抽象成backbone，neck和head網(wǎng)絡(luò)。如圖2所示，其中backbone網(wǎng)絡(luò)進(jìn)行特征提取，head網(wǎng)絡(luò)進(jìn)行分類和回歸分析，neck網(wǎng)絡(luò)為可選的部分，一般對backbone網(wǎng)絡(luò)獲得的特征圖進(jìn)行多尺度的融合。

圖2 檢測模型總體結(jié)構(gòu)

3.2 煙火檢測模型backbone網(wǎng)絡(luò)

煙火檢測模型使用CSPDarkNet[9]作為backbone部分，其使用YOLOV3[10]中的DarkNet[10]，結(jié)合CSP結(jié)構(gòu)而成，如圖3(a)所示；CSPDarkNet主要使用卷積層和CSP結(jié)構(gòu)進(jìn)行連接，其中CSP結(jié)構(gòu)如圖3(b)所示。CSP結(jié)構(gòu)類似于殘差結(jié)構(gòu)[11]，輸入首先通過次的1×1卷積和3×3卷積操作，然后再將得到的結(jié)果與原始輸入拼接在一起作為輸出。煙火檢測模型使用GELU[12]激活函數(shù)，在訓(xùn)練時能夠收斂得更快，即

圖3 煙火檢測模型的backbone網(wǎng)絡(luò)((a)CSPDarkNet；(b)CSP結(jié)構(gòu))

其中，erf函數(shù)為高斯誤差函數(shù)，即

CSPDarkNet的輸入是一張640×640×3的圖片，首先對圖片進(jìn)行Focus結(jié)構(gòu)的操作。Focus結(jié)構(gòu)如圖4所示，在一張圖片中每隔一個像素獲取一個值，這時可獲得4個獨立的特征層，并對其進(jìn)行堆疊，此時的寬、高信息就集中于通道信息，輸入通道擴(kuò)充了4倍，拼接起來的特征層由原3個通道變成12個通道。Focus結(jié)構(gòu)其實就是進(jìn)行了一個下采樣操作，但該過程與其他方法相比沒有進(jìn)行任何計算，從而減少了模型進(jìn)行推理時所需要的計算開銷。

圖4 Focus結(jié)構(gòu)

經(jīng)過Focus結(jié)構(gòu)后，模型再通過卷積層和CSP結(jié)構(gòu)的堆疊，不斷地提取特征，在進(jìn)入最后一個CSP結(jié)構(gòu)之前，模型通過了一個SSP結(jié)構(gòu)的處理，SSP結(jié)構(gòu)有點類似于GoogleNet[13]中使用的Inception結(jié)構(gòu)，如圖5所示，通過使用不同的池化核大小的max-pooling進(jìn)行特征提取，提高網(wǎng)絡(luò)的感受野。

圖5 SSP結(jié)構(gòu)

3.3 煙火檢測模型neck網(wǎng)絡(luò)

煙火檢測模型neck網(wǎng)絡(luò)基于圖像特征金字塔網(wǎng)絡(luò)FPN[14]搭建，F(xiàn)PN能融合不同尺度的特征圖，從而得到不同尺度的目標(biāo)預(yù)測結(jié)構(gòu)。煙火檢測任務(wù)需要在煙火目標(biāo)還小時或煙火目標(biāo)被遮擋時也能準(zhǔn)確及時地檢測到，從而減少損失。CNN在進(jìn)行特征提取時會不斷地進(jìn)行下采樣，從而使最后獲得的特征圖上的一個點對應(yīng)原始圖像中的32×32或更多像素，于是一些小于32×32個像素的目標(biāo)就很難被檢測出來。但之前的卷積層所獲得的特征圖，還存在著較多的細(xì)節(jié)特征，如果將前面卷積層所保留的細(xì)節(jié)特征和最后的語義特征進(jìn)行綜合，就可以獲得小目標(biāo)的相關(guān)特征，從而檢測到原始圖片上所存在的小目標(biāo)。

圖6為基于FPN而構(gòu)建的neck網(wǎng)絡(luò)，neck網(wǎng)絡(luò)將backbone網(wǎng)絡(luò)獲得的特征圖進(jìn)行兩次上采樣，然后與backbone網(wǎng)絡(luò)對應(yīng)大小的特征圖進(jìn)行拼接，每次拼接后均經(jīng)過一次CSP結(jié)構(gòu)處理。經(jīng)過兩次上采樣將細(xì)節(jié)特征與語義特征融合獲得特征圖1后，再進(jìn)行兩次下采樣，每次下采樣后的結(jié)果在與上采樣之前的對應(yīng)大小的特征圖進(jìn)行拼接，拼接后的特征圖分別經(jīng)過一次CSP結(jié)構(gòu)處理獲得特征圖2和3。1，2和3分別為3個不同大小尺度的特征圖，1檢測小目標(biāo)，2檢測中目標(biāo)，3檢測大目標(biāo)。

3.4 煙火檢測模型head網(wǎng)絡(luò)

Head網(wǎng)絡(luò)對neck網(wǎng)絡(luò)得到的3個不同尺度的特征圖分別進(jìn)行回歸分析，其網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

Head網(wǎng)絡(luò)首先通過一個1×1的卷積將每個特征圖的通道數(shù)減少到256，然后通過2個平行的分支進(jìn)行兩次3×3卷積后分別進(jìn)行分類和回歸，同時在回歸的分支加了一個IoU的分支。于是對于每一個特征層，均可獲得3個預(yù)測結(jié)果：

(1) Reg_output(,,4)。對目標(biāo)框的位置信息進(jìn)行預(yù)測，4個參數(shù)分別為，，，，其中和為預(yù)測框的中心點的坐標(biāo)；和為預(yù)測框的寬和高。

(2) Obj_output(,,1)。用于判斷目標(biāo)框是前景還是背景，經(jīng)過Sigmoid函數(shù)處理后，即為前景的置信度。

(3) Cls_output(,,)。判斷目標(biāo)框內(nèi)屬性，給每類目標(biāo)一個分?jǐn)?shù)，經(jīng)過Sigmoid函數(shù)處理后可得到每一類目標(biāo)的置信度。

將3個預(yù)測結(jié)果進(jìn)行堆疊，每個特征層獲得的結(jié)果為Output(,,4+1+)，其中前4個參數(shù)判斷每一個目標(biāo)框的位置信息；第5個參數(shù)判斷目標(biāo)框內(nèi)是否包含物體；最后個參數(shù)判斷目標(biāo)框內(nèi)所包含的物體種類。

圖6 煙火檢測模型的neck網(wǎng)絡(luò)

圖7 煙火檢測模型head網(wǎng)絡(luò)部分[9]

4 煙火檢測模型的訓(xùn)練

4.1 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是計算機(jī)視覺中一種擴(kuò)充數(shù)據(jù)集的手段，可對圖像進(jìn)行數(shù)據(jù)增強(qiáng)，從而彌補(bǔ)訓(xùn)練圖像數(shù)據(jù)集不足，達(dá)到對訓(xùn)練數(shù)據(jù)擴(kuò)充的目的。在本文的煙火模型中，可使用Mosaic算法和Mixup[15]算法進(jìn)行數(shù)據(jù)增強(qiáng)。

Mosaic算法的增強(qiáng)效果如圖8所示，將4張圖像進(jìn)行隨機(jī)的裁剪縮放，然后將其拼接在一起，這樣做的好處有：①縮小圖片中的目標(biāo)以滿足本文對小目標(biāo)精度的要求；②增加背景的復(fù)雜度?；馂?zāi)發(fā)生地的背景往往十分復(fù)雜，需要模型對復(fù)雜的背景擁有較好的魯棒性。

圖8 Mosaic數(shù)據(jù)增強(qiáng)算法((a)煙火數(shù)據(jù)集中的4張隨機(jī)圖像；(b)拼接后的圖像)

另一種數(shù)據(jù)增強(qiáng)算法Mixup源自于圖像分類任務(wù)，可將2個不同分類的數(shù)據(jù)進(jìn)行混合，以達(dá)到混合增強(qiáng)的目的，Mixup算法可以在幾乎不增加任何計算的基礎(chǔ)上，穩(wěn)定提高一個百分點的分類精度。假如x是一個batch的樣本，而x是另一個batch的樣本，其標(biāo)簽分別是y和y，選取一個由參數(shù)和確定的Beta分布計算得到混合參數(shù)，再計算混合batch和標(biāo)簽。

Mixup算法可以描述為

4.2 損失函數(shù)計算

目標(biāo)檢測任務(wù)是檢測出目標(biāo)并進(jìn)行定位，而損失函數(shù)的功能則是讓檢測的準(zhǔn)確率更高、定位更精確，且需要指出的是，預(yù)測框與真實框的接近程度、預(yù)測框中是否含有需要檢測的目標(biāo)以及目標(biāo)類別是否是真實的類別。損失函數(shù)和模型的預(yù)測結(jié)果相同，主要由3部分組成：①回歸損失，由模型預(yù)測出的，，，可以定位預(yù)測框的位置，利用真實框和預(yù)測框計算IoU損失，作為回歸損失的Loss組成；②目標(biāo)損失，根據(jù)模型預(yù)測出的特征點可知是否包含目標(biāo)，而所有真實框?qū)?yīng)的特征點均是正樣本，剩余點均為負(fù)樣本，根據(jù)正負(fù)樣本和特征點是否包含目標(biāo)的預(yù)測結(jié)果計算交叉熵?fù)p失，作為目標(biāo)損失的Loss組成；③分類損失，根據(jù)模型預(yù)測出特征點，從中提取該特征點所預(yù)測的種類結(jié)果，然后根據(jù)真實框的種類和特征點的種類預(yù)測結(jié)果計算交叉熵?fù)p失，作為分類損失的Loss組成。

對于回歸損失，采用DIoU[16]代替IoU來計算損失值，IoU所度量的是預(yù)測框與真實框之間的交并比。但如果預(yù)測框與真實框之間沒有交集，那IoU的計算結(jié)果就會一直為0，而且當(dāng)2個框中一個在另一個內(nèi)部時，則框的大小不變，那么計算出的IoU值也不會發(fā)生變化，這樣模型將難以進(jìn)行優(yōu)化。圖9為DIoU計算回歸損失的原理，相應(yīng)的計算為

其中，c為預(yù)測框與真實框并集的外接矩形對角線距離；d為預(yù)測框與真實框的中心點距離，即使2個框沒有交集也不會使損失值為0，且當(dāng)2個框其中一個在另一個內(nèi)部時，也可以獲得很好地度量效果。

為了提高模型對小目標(biāo)的檢測效果，將目標(biāo)損失中的交叉熵?fù)p失改為使用Focal Loss[17]損失函數(shù)，即

當(dāng)分類為正樣本時，損失函數(shù)為-log?，反之，損失函數(shù)為-log (1-?)。損失函數(shù)需對所有的樣本均采用同樣的損失度量方式，然而在實際的預(yù)測中，小目標(biāo)總是比大目標(biāo)難以預(yù)測，因此小目標(biāo)所獲得的預(yù)測概率總是比較低，交叉熵?fù)p失函數(shù)并提高對小目標(biāo)的預(yù)測精度。而Focal Loss損失函數(shù)為

Focal Loss損失函數(shù)使用一個超參數(shù)來控制模型對小目標(biāo)的偏向程度，當(dāng)預(yù)測的結(jié)果?趨近于1時，在經(jīng)過1-?的指數(shù)運算后，損失函數(shù)的結(jié)果會比較小，若預(yù)測的結(jié)果?比較小，則可獲得比較大的損失值。大目標(biāo)的檢測對于模型來說比較容易，大目標(biāo)的預(yù)測值一般會比較大，而小目標(biāo)的檢測則不易，所以小目標(biāo)的預(yù)測值一般會偏小，經(jīng)過Focal Loss損失函數(shù)的計算，小目標(biāo)會獲得相對比較大的損失值，因此模型會偏向于提高自身對小目標(biāo)的預(yù)測能力。

5 實 驗

5.1 實驗數(shù)據(jù)集

目前尚未見煙火的公開數(shù)據(jù)集，所以本文收集了2 153張圖像作為煙火檢測的實驗數(shù)據(jù)集。圖10為數(shù)據(jù)集中的部分圖像，其中包括面積比較大和面積比較小的火焰目標(biāo)。使用LabelImg軟件將圖像進(jìn)行標(biāo)注后轉(zhuǎn)換成VOC數(shù)據(jù)集格式，分別使用“smoke”和“fire”對目標(biāo)進(jìn)行標(biāo)注。

圖10 煙火檢測數(shù)據(jù)集中的部分圖像

5.2 預(yù)訓(xùn)練

由于煙火數(shù)據(jù)集的樣本數(shù)并不多，模型訓(xùn)練后的泛化性能不強(qiáng)導(dǎo)致檢測效果不高。因此采用目前比較有效的遷移學(xué)習(xí)策略來解決數(shù)據(jù)集匱乏的問題，采用在大型數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練的參數(shù)作為模型的初始化參數(shù)。此外，為了充分利用數(shù)據(jù)集并防止過擬合，采用交叉驗證的方法對模型進(jìn)行訓(xùn)練，將訓(xùn)練集分成6份，逐次選取其中1份作為驗證集，其他5份作為訓(xùn)練集，一共訓(xùn)練180個epoch，最后將所有訓(xùn)練集一起訓(xùn)練20個epoch。其中，訓(xùn)練的前180輪使用Mosaic和Mixup數(shù)據(jù)增強(qiáng)算法，后20輪取消使用數(shù)據(jù)增強(qiáng)算法。

5.3 實驗結(jié)果與分析

目標(biāo)檢測網(wǎng)絡(luò)的性能評價指標(biāo)采用平均精度均值(mean average precision，mAP)，計算預(yù)測的各個類別目標(biāo)在查全率和查準(zhǔn)率下面積的平均值，即

其中，為真正例，即預(yù)測框與真實框的IoU≥0.5的目標(biāo)個數(shù)；為假正例，即預(yù)測框與真實框的IoU<0.5的目標(biāo)個數(shù)；為假負(fù)例，即未預(yù)測出目標(biāo)個數(shù)。

實驗中的超參數(shù)設(shè)置為：學(xué)習(xí)率0.001，一個batch的大小為8，迭代次數(shù)epoch為200。

表1為本文使用的煙火模型的檢測結(jié)果。由表1可知改進(jìn)后mAP值為78.36%，相比基礎(chǔ)的YOLOX模型提高了4.2%，其中煙霧和火焰的P-R曲線分別如圖11和圖12所示，圖中，P-R曲線與坐標(biāo)軸圍成的面積為AP值，可以得出煙霧和火焰的AP值分別為81.42%和75.30%。

表1 在煙火數(shù)據(jù)集上檢測網(wǎng)絡(luò)的實驗結(jié)果對比(%)

圖11 煙霧P-R曲線

圖12 火焰P-R曲線

5.4 實際場景的驗證與分析

對模型進(jìn)行訓(xùn)練后，本文使用實際場景中的火焰圖像進(jìn)行測試。圖13和圖14分別為原始模型和本文改進(jìn)后模型在消防演練圖像上的檢測結(jié)果，可以看出，改進(jìn)后的模型不僅能檢測出原始模型能檢測出的煙火大目標(biāo)，還能檢測出原始YOLOX模型未檢測出的，圖像左側(cè)面積極小的火焰目標(biāo)。因此本文使用的煙火檢測模型不僅能準(zhǔn)確地識別出大面積火焰，而且對小面積的火焰也具有很好地檢測效果，可以及時發(fā)現(xiàn)火災(zāi)產(chǎn)生的信息，從而做出預(yù)警。

圖13 原始模型在消防演練圖像上的檢測結(jié)果

圖14 改進(jìn)模型在消防演練圖像上的檢測結(jié)果

6 結(jié)束語

本文主要研究的是煙火檢測尤其是對小目標(biāo)煙火以及被遮擋住的煙火的檢測。通過使用交叉驗證提高模型的泛化能力，通過使用FPN特征金字塔網(wǎng)絡(luò)提高模型對小目標(biāo)的檢測能力，通過使用Focal Loss提高模型對小目標(biāo)的學(xué)習(xí)偏好，通過使用Gelu和DIoU提高模型的收斂速度。最終在煙火數(shù)據(jù)集上獲得了78.36%的mAP值，相比原始模型提高了4.2%。在實際火災(zāi)的測試中也能精確地檢測出不同面積的火焰，本文使用的煙火檢測模型能夠?qū)熁疬M(jìn)行實時地檢測，并在火災(zāi)初發(fā)時就能檢測出小面積的火焰，能滿足火災(zāi)預(yù)警對實時性和準(zhǔn)確性的要求。

[1] 韓美林, 張文文. 基于視頻圖像的多特征融合的森林煙火檢測系統(tǒng)研究[J]. 無線互聯(lián)科技, 2021, 18(17): 67-68.

HAN M L, ZHANG W W. Research on forest fireworks detection system of multiple characteristic fusion based on video image[J]. Wireless Internet Technology, 2021, 18(17): 67-68 (in Chinese).

[2] 嚴(yán)成, 何寧, 龐維慶, 等. 基于視覺傳感的地面煙火監(jiān)測系統(tǒng)設(shè)計[J]. 廣西大學(xué)學(xué)報: 自然科學(xué)版, 2019, 44(5): 1290-1295.

YAN C, HE N, PANG W Q, et al. Design of ground pyrotechnic monitoring system based on visual sensing[J]. Journal of Guangxi University: Natural Science Edition, 2019, 44(5): 1290-1295 (in Chinese).

[3] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 580-587.

[4] GIRSHICK R . Fast R-CNN [EB/OL]. (2015-9-27) [2022-01- 15]. https://arxiv.org/abs/1504.08083v2.

[5] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[6] LIU W, ANGUELOV D, ERHAN D, et al. Ssd: single shot multibox detector[C]//The 2016 European Conference on Computer Vision. New York: IEEE Press, 2016: 21-37.

[7] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 779-788.

[8] LIU Z, LIN Y T, CAO Y, et al. Swin transformer: hierarchical vision transformer using shifted windows[C]//2021 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2021: 9992-10002.

[9] GE Z, LIU S T, WANG F, et al. YOLOX: exceeding YOLO Series in 2021 [EB/OL]. (2021-08-6) [2022-01-15].https:// arxiv.org/abs/2107.08430,2021.

[10] CHOI J, CHUN D, KIM H, et al. Gaussian YOLOv3: an accurate and fast object detector using localization uncertainty for autonomous driving[C]//2019 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2019: 502-511.

[11] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 770-778.

[12] HENDRYCKS D, GIMPEL K. Gaussian error linear units (GELUs)[EB/OL]. [2021-10-09]. https://arxiv.org/abs/1606. 08415.

[13] SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[EB/OL]. [2021-09-10]. https://www.docin.com/p-1257582907.

[14] LIN T Y, DOLLáR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 936-944.

[15] ZHANG H, CISSE M, DAUPHIN Y N, et al. mixup: beyond empirical risk minimization[EB/OL]. (2018-04-27) [2022-01- 15]. https://arxiv.org/abs/1710.09412v2.

[16] ZHENG Z H, WANG P, LIU W, et al. Distance-IoU loss: faster and better learning for bounding box regression[J]. The 2020 AAAI Conference on Artificial Intelligence,2020, 34(7): 12993-13000.

[17] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision. New York: IEEE Press, 2017: 2999-3007.

Research and realization of small target smoke and fire detection technology based on YOLOX

ZHAO Hui1, ZHAO Yao1, JIN Lin-lin1, DONG Lan-fang2, XIAO Xiao2

(1. Bozhou Electric Power Supply Company, State Grid Anhui Electric Power Company, Bozhou Anhui 236800, China; 2. School of Computer Science and Technology, University of Science and Technology of China, Hefei Anhui 230026, China)

Fire is one of the most common social disasters in daily life, which will pose an enormous threat to human property and life safety. How to accurately and quickly identify small areas of smoke and fire and issue early warnings in real time is important for normal social production significance. The traditional smoke and fire detection algorithm identifies the location of smoke and fire based on various low-dimensional visual features of the images, such as color and texture, so it is of poor real-time performance and low accuracy. In recent years, deep learning has made remarkable achievements in the field of target detection, and various smoke and fire detection methods based on deep neural networks have sprung up one after another. In the case of small areas of smoke and fire, timely identification and early warning should be made to avoid greater economic losses caused by the expansion of the fire. In this regard, based on the YOLOX model, the activation function and loss function were improved, and a superior small target detection algorithm was realized by combining the data augmentation algorithm and cross-validation training method, and the mAP value of 78.36% was obtained on the smoke and fire detection data set. Compared with the original model, it was enhanced by 4.2%, yielding a better effect of small target detection effect.

smoke and fire detection; small target detection; deep learning; data augmentation; YOLOX

TP 391

10.11996/JG.j.2095-302X.2022050783

A

2095-302X(2022)05-0783-08

2022-01-21；

2022-05-17

21 January，2022；

17 May，2022

國網(wǎng)安徽省電力有限公司科技項目(5212T02001CM)

State Grid Anhui Electric Power Co., Ltd. Science and Technology Project (5212T02001CM)

趙 輝(1983-)，男，高級工程師，學(xué)士。主要研究方向為圖像處理、視頻圖像智能分析。E-mail：5659020@qq.com

ZHAO Hui (1983-), senior engineer, bachelor. His main research interests cover image processing and intelligent analysis of video images. E-mail：5659020@qq.com

金林林(1990-)，男，工程師，學(xué)士。主要研究方向為電力調(diào)度運行、無功電壓電力系統(tǒng)及其自動化。E-mail：jll90315@163.com

JIN Lin-lin (1990-), engineer, bachelor. His main research interests cover power dispatching operation，reactive voltage power system and automation. E-mail：jll90315@163.com