趙維科 焦良葆 孟 琳 浦 東

（南京工程學院人工智能產(chǎn)業(yè)技術(shù)研究院 南京 211167）

1 引言

傳統(tǒng)的煙霧檢測方法主要是根據(jù)煙霧、氣體、溫度等物理量變化，采用感溫、感光、氣體探測以及復(fù)合式探測而設(shè)計了各式各樣的煙霧探測器。但是煙霧探測器由于自身的特性而受到空間的限制，尤其是在室外環(huán)境，煙霧探測器無法檢測大范圍，而且煙霧易被氣流吹散，煙霧到達不了煙霧探測器。故而近年來，煙火隱患的探測技術(shù)正逐漸朝著視頻圖像處理的趨勢發(fā)展，通過最近興起的機器視覺技術(shù)可以對煙火隱患這類目標進行有效的檢測定位，從而能夠更準確的定位煙霧發(fā)生地，避免火災(zāi)發(fā)生更多地延伸。相比煙霧探測器，具有監(jiān)控范圍廣、監(jiān)控距離遠、反應(yīng)快速等顯著的特點。

隨著計算機科學的發(fā)展和深度學習理論的不斷完善，目標檢測的研究得到進一步發(fā)展，檢測精度與速率都有大幅提升。文獻［12］中將SSD算法中的VGG16網(wǎng)絡(luò)進行重構(gòu)，通過增加6個卷積層和1個池化層，來提升對高鐵監(jiān)控視頻中煙火的檢測精準度，一定程度上減少了目標檢測漏報率，但同時由于增加了網(wǎng)絡(luò)層數(shù)導(dǎo)致模型變大而使得檢測速率降低，影響實時檢測效果。文獻［14］利用深度卷積網(wǎng)絡(luò)生成對抗網(wǎng)絡(luò)和自適應(yīng)前景分割技術(shù)來對輸電線路的工程車輛入侵進行檢測，該算法在煙火隱患檢測的應(yīng)用中會因在前景分割時花費較多時間大幅降低了識別速率而導(dǎo)致漏幀。文獻［15］根據(jù)交通燈尺寸特點，精簡YOLO網(wǎng)絡(luò)結(jié)構(gòu)，然而在對復(fù)雜環(huán)境下的檢測中識別效果會大幅下降，無法準確定位識別目標。文獻［17］通過結(jié)合跨階段局部網(wǎng)絡(luò)對骨干網(wǎng)絡(luò)進行改進，降低計算量，同時利用改進后特征融合增強，有效提升了在復(fù)雜環(huán)境下檢測中的目標識別效果，由于山火煙霧這類形狀不固定的柔性目標，在環(huán)境中檢測更加復(fù)雜，需要對柔性目標檢測提取更多的特征信息。深度卷積網(wǎng)絡(luò)的深度學習主流目標檢測算法主要有兩階段的Fast R-CNN［2～3］和一階段的YOLO［4，14～15，17，19，23］和SSD［12］，其中YOLO算法經(jīng)過更新發(fā)展，結(jié)合了多特征提取以及殘差網(wǎng)絡(luò)特性，使得對目標的檢測精度識別速率都有較大提升。

針對上述問題以及應(yīng)用需求，本文提出了YO?LO深度卷積網(wǎng)絡(luò)的優(yōu)化算法，該優(yōu)化算法包含了2個方面的創(chuàng)新點：一是，利用GIoU_Loss損失函數(shù)替換L2 Loss損失函數(shù)，降低損失值，提升檢測精度；二是，在輸出層之前添加SPP模塊，將目標特征從多尺度方面進行融合，融合多尺度可以擴大感受范圍，獲得更豐富的信息，從而提高目標檢測的準確性。

2 基于DCNN的檢測算法

2.1 煙火目標檢測算法

煙火隱患作為一類特定目標可以劃分為兩種目標，分別為山火和煙霧，利用目標檢測算法［4］可以對煙火隱患做出大致范圍的劃定。

目標檢測是將圖像或者視頻中的目標與其他不感興趣區(qū)域進行區(qū)分，判斷是否存在目標，確定目標位置，識別目標種類的計算機視覺任務(wù)。以AlexNet為分界線，2012年之前為傳統(tǒng)算法，包括Viola-Jones［6］算法、HOG特征算法以及DPM［1］模型。2012年，Hinton教授的團隊使用了卷積神經(jīng)網(wǎng)絡(luò)設(shè)計了一種名為AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)在ImageNet數(shù)據(jù)集上擊敗了所有傳統(tǒng)方法，使得卷積神經(jīng)網(wǎng)絡(luò)成為計算機視覺領(lǐng)域中最重要的工具?；谏疃葘W習的目標檢測算法大致分為三類：1）基于區(qū)域建議的算法，如R-CNN［3］、Fast R-CNN［2］、Faster R-CNN等。2）基于目標回歸的檢測 算 法，如YOLO、SSD［12］，retinanet，EfficientDet。3、基于Anchor-free的算法，如CornerNet，Center?Net，F(xiàn)COS等。

使用coco數(shù)據(jù)集對比不同目標檢測算法可知，基于目標回歸的檢測算法在檢測精度上高于An?chor-free的算法，檢測速率上遠超區(qū)域建議的算法。在這基礎(chǔ)之上，目前目標回歸算法中的YOLO算法在檢測精度上與Fast R-CNN相近，檢測速率上也與SSD相持平，如表1所示，因此YOLO算法在對目標進行實時監(jiān)測效果最佳。

2.2 基于DCNN的YOLO算法

YOLO本質(zhì)上是一個實現(xiàn)了識別與回歸功能的深度卷積神經(jīng)網(wǎng)絡(luò)，通過對圖片的全局區(qū)域進行訓(xùn)練，速度加快的同時，能夠更好的區(qū)分目標和背景。

這個深度卷積神經(jīng)網(wǎng)絡(luò)主要是由一系列的1×1和3×3的卷積層組成，每個卷積層后都會跟一個BN層和一個LeakyReLU激活函數(shù)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。它一共有53個全連接卷積層，所以該網(wǎng)絡(luò)模型結(jié)構(gòu)又稱為Darknet-53。該結(jié)構(gòu)為了增加網(wǎng)絡(luò)的深度，借鑒引入Resnet網(wǎng)絡(luò)中的殘差結(jié)構(gòu)，相比較其他深度卷積網(wǎng)絡(luò)算法中類似VGG那樣直筒型的網(wǎng)絡(luò)結(jié)構(gòu)，YOLO因殘差結(jié)構(gòu)訓(xùn)練層難度大大減少，因此這里可以將網(wǎng)絡(luò)做到53層，精度明顯提升。

圖1 YOLO網(wǎng)絡(luò)結(jié)構(gòu)

3 基于YOLO的改進DCNN算法

對于原YOLO算法在應(yīng)用到煙火隱患檢測時對于不固定形狀的煙火圖像在檢測時，會產(chǎn)生大范圍的煙霧檢測不全，同時還會對小范圍目標的煙霧檢測不準的問題，因此提出了下面的改進策略。

3.1 改進邊界框回歸損失函數(shù)

在YOLO算法中把目標邊界框表示為四個變量（x，y，w，h）或（X1，Y1，X2，Y2）。目標邊界框回歸問題通常采用L2 loss（L1 loss、Smooth L1 loss）對上述四個變量進行回歸，但是，這種做法有以下缺點：

1）L2 loss在計算邊界框損失時，先獨立地求出四個點的損失Loss，然后進行相加，這種做法假設(shè)了這四個點是相互獨立的，但實際上應(yīng)該是有一定相關(guān)性的，因為這四個點都依賴于同一個目標。

2）實際評價框檢測的指標是使用IoU，這兩者是不等價的，多個檢測框可能有相同大小的L2 Loss，但它們的IoU可能差異很大。

3）L2 loss并不具有尺度不變性。大邊界框的L2損失通常會大于小邊界框的損失，這使得在網(wǎng)絡(luò)訓(xùn)練過程中，網(wǎng)絡(luò)會更加注重大邊界框的定位，忽視小邊界框的定位，最終導(dǎo)致模型對小目標的檢測性能比較差。

由圖2所示，其中灰色框為真實框，黑色框為預(yù)測框，從圖中可以看出，當L2范數(shù)相等時，IoU與GIoU的值都有很大的差異，這表明使用L范數(shù)來作為衡量邊界框的距離是不合適的。

圖2 L2范數(shù)相等時IoU及GIoU對比

為了解決上述問題，提出了IoU來構(gòu)造損失函數(shù)，然而IoU loss在當預(yù)測框A和目標框B不相交時，即IoU（A，B）=0時，不能反映A，B距離的遠近，此時損失函數(shù)不可導(dǎo)，IoU loss無法優(yōu)化兩個框不相交的情況。如圖3所示，場景1和場景2的IoU都為0，由于場景1的兩邊界框比場景2的更近，L范數(shù)更小，因此場景1的檢測效果更佳。

圖3 IoU為0的兩種不同情況的回歸

針對IoU作為坐標誤差損失函數(shù)IoU無法優(yōu)化無重疊的bounding box，所以本文使用一種泛化版的GIoU［8］，計算公式如下：

其中，C是能完全包圍A和B的最小矩形框。與IoU相似，GIoU［7］也是一種距離度量，作為損失函數(shù)的話，LGIoU=1-GIoU滿足損失函數(shù)的基本要求。GIoU不僅關(guān)注重疊區(qū)域，還關(guān)注其他的非重合區(qū)域，能更好的反映兩者的重合度。當兩個框沒有重疊區(qū)域時，此時GIoU是一個在［-1，0］范圍內(nèi)變化的數(shù)，存在梯度，能夠?qū)τ?xùn)練進行優(yōu)化，優(yōu)化方向是逐漸拉近兩個框之間的距離。將GIoU作為YOLO的邊界框回歸損失函數(shù)，可以有效降低目標檢測訓(xùn)練過程時的損失值，從而提高識別的準確精度。

3.2 改進優(yōu)化多尺度特征提取

在目標檢測領(lǐng)域，為了更好的提取融合特征，通常在Backbone和輸出層，會插入一些層，這個部分稱為Neck。相當于目標檢測網(wǎng)絡(luò)的頸部，也是非常關(guān)鍵的。改進的Neck結(jié)構(gòu)主要采用了SPP模塊［16］、FPN+PAN的方式。

3.2.1 SPP模塊

SPP模塊的全名是空間金字塔池化層模塊［17］。圖像空間金字塔［18］是多尺度圖像處理，它使用多分辨率并表征了圖像強大而簡單的結(jié)構(gòu)［19］，所提出的模型獲取高級特征，紋理特征，提高了模型的準確性。在SPP模塊中，使用k={1×1，5×5，9×9，13×13}的最大池化的方式，再將不同尺度的特征圖進行Concat操作如圖4所示，此處的最大池化采用padding操作，移動的步長為1，比如13×13的輸入特征圖，使用5×5大小的池化核池化，padding=2，因此池化后的特征圖仍然是13×13大小。在《DC-SPP-Yolo》［22］中對YOLO目標檢測的SPP模塊進行了對比測試，結(jié)果表明，采用SPP模塊的方式，比單純使用k×k最大池化的方式，更有效地增加主干特征的接受范圍，顯著的分離了最重要的上下文特征。在使用608×608大小的圖像進行測試時發(fā)現(xiàn)，在COCO目標檢測任務(wù)中，以0.5%的額外計算代價將AP50增加了2.7%，因此采用SPP模塊。

圖4 SPP模塊

3.2.2 FPN+PAN

FPN+PAN借鑒的是18年CVPR的PANet［20］，當時主要應(yīng)用與圖像分割領(lǐng)域，將其拆分應(yīng)用到Y(jié)O?LO中，進一步提高特征提取的能力。YOLO的只有單一的FPN層，它是自頂向下的，將高層的特征信息通過上采樣的方式進行傳遞融合，得到進行預(yù)測的特征圖。而改進的結(jié)構(gòu)在FPN層的后面還添加了一個自底向上的特征金字塔，其中包含了兩個PAN結(jié)構(gòu)［21］，如圖5所示。這樣結(jié)合操作，F(xiàn)PN層自頂向下傳達強語義特征，而特征金字塔則自底向上傳達強定位特征，兩兩聯(lián)手，從不同的主干層對不同的檢測層進行特征聚合，從而擴大感受野，提高特征提取能力，提高檢測精度。

圖5 FPN+PAN結(jié)構(gòu)

4 實驗與數(shù)據(jù)分析

本文中基于Darknet框架搭建神經(jīng)網(wǎng)絡(luò)，利用C和Python編程語言進行實驗。模型訓(xùn)練和測試環(huán)境如下：Intel（R）Xeon（R）Glod5118 CPU@2.3GHz處理器，GeForce RTX2080Ti型GPU，24GB顯存，Centos7.0操作系統(tǒng)，內(nèi)存128G。

本文以YOLO V3作為改進和比較的對象，但本文所述的改進適合于所有YOLO框架算法。實驗中將改進的YOLO算法與原算法進行比較。

4.1 數(shù)據(jù)預(yù)處理

利用國網(wǎng)公司南京分公司與蘇州分公司提供的輸電通道煙火隱患數(shù)據(jù)進行模型訓(xùn)練和測試。采用電力桿塔上安置的攝像頭對輸電通道周圍環(huán)境進行拍攝，針對輸電線路通道中可能存在的山火以及煙霧進行模型訓(xùn)練以及測試。選用其中拍攝清晰、無明顯壓縮痕跡的二維目標圖像作為數(shù)據(jù)集，轉(zhuǎn)換標簽文件格式。將數(shù)據(jù)集按照8∶1∶1的比例隨機分為互斥的訓(xùn)練集，驗證集和測試集，如表2所示，其中山火為主要檢測類別，煙霧由于其涉及范圍較廣，容易出現(xiàn)誤判斷，因而將其歸類為次要檢測類別。

表2 數(shù)據(jù)集類別及數(shù)量

在深度卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)是數(shù)以萬計的，為了使得這些參數(shù)能夠達到最佳工作狀態(tài)則需要大量的數(shù)據(jù)進行訓(xùn)練，因此提出了數(shù)據(jù)增強的方法來利用有限的數(shù)據(jù)集產(chǎn)生更多的等價數(shù)據(jù)。使用Mosaic數(shù)據(jù)增強［10，13］，對四張煙火隱患圖片進行隨機旋轉(zhuǎn)拼接，每一張圖片都有其對應(yīng)的目標框，利用四張圖片拼接之后就獲得一張新的圖片，同時也會獲得這張圖片對應(yīng)的目標框，將這張新的圖片傳入到神經(jīng)網(wǎng)絡(luò)當中去學習，相當于一下子傳入四張圖片進行學習，訓(xùn)練效果相對于原本算法增強了近4倍。利用labelimg標注軟件將這2類目標標注出來，根據(jù)VOC數(shù)據(jù)集目錄結(jié)構(gòu)，將數(shù)據(jù)集標記文件保存為txt格式。

4.2 評估指標

選用查全率R、查準率P和平均精度mPA評估模型的檢測準確率，其中R、P的計算公式如下：式中：T為將目標煙火隱患預(yù)測為對應(yīng)目標；F為將目標煙火隱患預(yù)測為非對應(yīng)目標；P為將非目標煙火隱患預(yù)測為目標。通過計算每個樣本類別的T、P、F值，得到每個類別對應(yīng)的查全率、查準率。通過計算每個樣本類別的T、P、F值，得到每個類別對應(yīng)的查全率、查準率從而繪制查全率-查準（PR）曲線，mAP為曲線下的面積［23］。mAP的計算公式如下：

式中f為PR曲線。

4.3 網(wǎng)絡(luò)訓(xùn)練

利用國網(wǎng)公司提供的數(shù)據(jù)集進行訓(xùn)練得到原算法和改進后YOLO算法的訓(xùn)練模型，并對其性能進行比較。實驗中設(shè)定batch為64，即在訓(xùn)練集中每次迭代處理64個樣本，設(shè)定subdivisions為8，即將batch分割為8個batch。本文中訓(xùn)練迭代次數(shù)為33800，學習率0.001，使用數(shù)據(jù)集，在GPU上進行了約1天的訓(xùn)練，獲得最終煙火隱患目標檢測模型權(quán)重。

4.4 GIoU_Loss損失函數(shù)融合實驗

為了評估GIoU_Loss損失函數(shù)融合后的YOLO算法的識別效果，引入了Loss損失曲線圖，用于與原來的使用常用邊界框損失函數(shù)的YOLO算法進行比較，通過Loss損失曲線圖可以看出，通過GIoU_Loss損失函數(shù)與YOLO算法融合后，算法通過Darknet框架進行訓(xùn)練后的損失值最終降低至0.5532，而原本使用L2 Loss損失函數(shù)的YOLO損失值最終降低至0.8905，損失值效果提升了近62%，L2 Loss損失函數(shù)Loss曲線圖如圖6改進前所示，GIoU_Loss損失函數(shù)Loss曲線圖如圖6改進后所示。

圖6 Loss損失曲線圖

4.5 金字塔池化層融合實驗

為了評估融合了金字塔池化層的YOLO算法對復(fù)雜環(huán)境下目標檢測的識別效果，利用原始數(shù)據(jù)集訓(xùn)練數(shù)據(jù)增強后的YOLO算法，進行金字塔池化層融合實驗，并將融合后的識別結(jié)果與原始模型結(jié)果進行比對分析，圖7所示為改進后的算法與原算法在測試集中PR曲線對比。從圖中可以看出，相比于原算法，改進后的算法PR曲線下的面積更大，平均精度更高。相比于YOLO算法，改進后的算法平均精度提升了2.7%。

圖7 PR曲線圖

4.6 網(wǎng)絡(luò)對比結(jié)果分析

為了驗證本文算法相較其他網(wǎng)絡(luò)模型的優(yōu)勢，首先在同樣的實驗環(huán)境下利用相同的訓(xùn)練樣本數(shù)據(jù)重新訓(xùn)練了SSD、Fast R-CNN以及YOLO原網(wǎng)絡(luò)，獲得相應(yīng)的模型，然后利用相同的測試數(shù)據(jù)集，將其他模型檢測結(jié)果與本文算法模型進行對比。

以模型檢測平均準確率mAP、檢測速度FPS作為評價指標，分別對比SSD、Fast R-CNN、YOLO原算法以及本文算法的性能，如表3所示。

從表3中可以看出，本文算法在平均準確率上幾乎與Fast R-CNN持平，同時檢測速度上與SSD與YOLO算法模型相近，因此，本文算法在針對山火煙霧這類目標檢測時相較于其他網(wǎng)絡(luò)模型有著準確率高和速率快的優(yōu)勢。

表3 各模型檢測結(jié)果

為了進一步體現(xiàn)本文算法相對于原算法在檢測精度上的優(yōu)勢，利用查全率和查準率兩個評價指標對原算法和本文算法進行對比。通過Mosaic數(shù)據(jù)增強、GIoU_Loss損失函數(shù)、金字塔池化層融合后的YOLO能夠在一定程度上在不影響YOLO實時檢測速率的同時提升檢測精度，識別精度在閾值設(shè)置為0.2時對比數(shù)據(jù)如表3所示。

通過表4可知，原算法在查全率和查準率上對于原算法都有較大提升，山火的查全率提升了1.9%，查準率提升了2.4%，煙霧的查全率提高了0.8%，查準率提高了1.8%。

表4 查全查準率對比

其檢測效果圖如圖8所示，在圖中可以看出對于不同形狀的煙霧都能有較好的檢測效果。

圖8 檢測效果圖

5 結(jié)語

本文中提出的YOLO改進算法，該算法通過Mosaic數(shù)據(jù)增強，優(yōu)化網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集，提升訓(xùn)練效果；利用GIoU_Loss損失函數(shù)來降低訓(xùn)練損失值；同時，引入空間金字塔池化，增大感受野，提高小目標識別效果，從而在不影響識別速率的同時提高復(fù)雜化境下的煙火隱患檢測識別精度。使用改進后的算法對山火煙霧這類安全隱患進行實時監(jiān)測，快速定位隱患火災(zāi)發(fā)生地，有效避免災(zāi)害進一步擴散。

實驗結(jié)果表明，YOLO優(yōu)化算法取得了更高的檢測準確率的同時優(yōu)化了數(shù)據(jù)集改善了誤報率較高的問題，基本滿足了對煙火隱患的實時監(jiān)測需求。另外，該優(yōu)化算法并不局限于煙火隱患的檢測，也可應(yīng)用于其他領(lǐng)域的目標檢測，具有廣闊的應(yīng)用場景，適用性強。