薛倩楠，王劍，劉濤，閆希穎

（1.國網(wǎng)陜西省電力有限公司西安供電公司，陜西 西安 710032；2.西安英諾視通科技有限公司，陜西 西安 710075）

0 引言

輸電線路巡檢是保障輸電設(shè)備安全的重要措施之一。隨著技術(shù)的發(fā)展，當(dāng)前的巡檢方式逐漸由傳統(tǒng)的人工巡檢轉(zhuǎn)變?yōu)闊o人機智能巡檢[1-2]。通過無人機搭載高清攝像機和基于人工智能的圖像識別算法，可以快速自動識別輸電線路中的多種風(fēng)險點，這種方式大大提高了巡檢的效率。在各種風(fēng)險點中，山火是其中一項重要的內(nèi)容。

基于智能圖像處理的山火識別可分為傳統(tǒng)圖像處理檢測方法和深度學(xué)習(xí)檢測方法兩大類[3-4]。傳統(tǒng)圖像處理方法利用火焰目標(biāo)的顏色、紋理、邊緣和頻閃性等特征來進(jìn)行檢測，如嚴(yán)云洋[5]提出一種基于RGB 和HSI空間融合形狀結(jié)構(gòu)特征的檢測方法；劉培江[6]提出一種利用火焰的尖角數(shù)、圓形度等特征提取的檢測方法；Borges[7]通過提取火焰視頻幀之間的動態(tài)變化，將火焰的頻閃性以及其他特征輸入到貝葉斯分類器中來判定是否存在火焰目標(biāo)。深度學(xué)習(xí)檢測方法通過卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)目標(biāo)特征的自動提取并進(jìn)行目標(biāo)識別，如Xie[8]提出一種自適應(yīng)輕量級卷積神經(jīng)網(wǎng)絡(luò)，同時提取運動閃爍的動態(tài)特征和深度靜態(tài)特征；Muhanmad[9]在GoogleNet 的基礎(chǔ)上，根據(jù)火焰特性進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整，提高模型泛化能力；Shen[10]在YOLO 網(wǎng)絡(luò)上進(jìn)行輕量化，使用9 個卷積層、池化層和激活函數(shù)組成的附加層進(jìn)行預(yù)訓(xùn)練，完成火焰初定位，再使用4 層卷積調(diào)整特征圖大小進(jìn)行結(jié)果檢測，增加結(jié)果框的準(zhǔn)確度，該網(wǎng)絡(luò)更加適合于現(xiàn)場嵌入式設(shè)備部署；楊傳凱[11]提出一種基于SSD 網(wǎng)絡(luò)模型的輸電線路山火檢測方法,實現(xiàn)輸電線監(jiān)控場景中的山火檢測。此外，還有基于雷達(dá)回波數(shù)據(jù)與遙感圖像融合的輸電線路山火智能檢測方法與火情分析方法[12-13]。由于山火非剛體，其在燃燒過程中外形多變，且背景復(fù)雜，當(dāng)前的深度學(xué)習(xí)模型在山火識別任務(wù)中常常會出現(xiàn)誤檢和漏檢，因此，面對輸電線路智能巡檢任務(wù)，有必要尋找一種性能更好的山火識別與檢測方法。

最新的目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)模型YOLOX[14]是在原來YOLO 系列網(wǎng)絡(luò)模型的基礎(chǔ)上修改了檢測頭和預(yù)選框等模塊，成為了當(dāng)前表現(xiàn)最佳的目標(biāo)檢測網(wǎng)絡(luò)。本文在YOLOX 基礎(chǔ)上，結(jié)合山火外形多變的特點，在網(wǎng)絡(luò)中增加了注意力機制，并采用可變卷積替換原有多尺度特征提取模塊中的常規(guī)卷積，提出了一種新的山火檢測方法，能夠更好地適應(yīng)火焰動態(tài)頻閃特性，準(zhǔn)確地提取山火特征，在輸電線路無人機巡檢中獲得更好的山火檢測性能。

1 YOLOX 網(wǎng)絡(luò)模型

YOLOX 網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖1 所示，主要包括三大部分：主干特征提取網(wǎng)絡(luò)、加強特征提取網(wǎng)絡(luò)和Yolo 頭部預(yù)測回歸部分。

圖1 YOLOX 網(wǎng)絡(luò)整體結(jié)構(gòu)圖

主干特征提取網(wǎng)絡(luò)采用CSP-Darknet53 結(jié)構(gòu)，包含53 層卷積，其中CSP 表示跨階段局部網(wǎng)絡(luò)結(jié)構(gòu)(Cross Stage Partial)。CSP 將基礎(chǔ)層的特征圖劃分為兩個部分，使梯度流通過不同的網(wǎng)絡(luò)路徑進(jìn)行傳播，再通過跨階段層次結(jié)構(gòu)將其融合，實現(xiàn)更豐富的梯度組合信息，增強了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，同時減少計算量和內(nèi)存開銷。

加強特征提取網(wǎng)絡(luò)采用特征金字塔（Featurized Image Pyramid，F(xiàn)PN）結(jié)構(gòu)，對主干特征提取網(wǎng)絡(luò)輸出的20×20 深層特征圖進(jìn)行兩次上采樣，并將得到的結(jié)果分別與主干網(wǎng)絡(luò)中同尺度大小的CSP 輸出相連，通過通道連接進(jìn)行疊加，再將20×20 尺度的融合特征圖進(jìn)行兩次下采樣，與上一步“自底向上”過程中的40×40 和20×20特征再次融合，生成最終的3 個尺度的檢測特征圖。

Yolo 頭部作為YOLOX 的分類器與回歸器，它的作用就是判斷特征點是否有目標(biāo)與其對應(yīng)，YOLOX 修改了前序系列YOLOv5 版本的解耦頭，將目標(biāo)的分類和位置的回歸分為兩部分進(jìn)行預(yù)測，新的模型收斂速度更好，預(yù)測性能也進(jìn)一步提升。

2 改進(jìn)的山火檢測網(wǎng)絡(luò)模型

在山火檢測任務(wù)中，由于背景較為復(fù)雜，特征學(xué)習(xí)易受干擾，火焰的顏色、輪廓、面積、亮度等特征各不相同，使得對于山火的特征提取較為困難，直接應(yīng)用YOLOX 得到的檢測結(jié)果還有提升的空間。注意力機制是一種加權(quán)機制，作用于編碼器-解碼器結(jié)構(gòu)的深度學(xué)習(xí)模型，使得特征提取集中于某些重點信息。因此，本文將注意力機制融合到Y(jié)OLOX 模型中，并采用可變形模塊替換卷積操作，使得模型能夠適應(yīng)山火頻閃多變的特性，提升山火檢測的準(zhǔn)確率。

2.1 注意力機制

本文從兩個方面來引入注意力模塊。首先是通道注意力模塊CA，強調(diào)部分通道是更重要的，使用平均池化（Ave pool）和最大池化（Max pool）來聚合不同特征信息。設(shè)圖像輸入特征尺度為H×W×C，兩種池化操作后得到兩個1×1×C的特征圖，把它們送入一個兩層的多層感知機，第一層神經(jīng)元數(shù)量為C/8，第二層數(shù)量為C，將兩層的感知結(jié)果疊加，再送入軟閾值化（Soft thresholding）子網(wǎng)絡(luò)，與初始特征圖相乘得到最終的通道特征圖，結(jié)構(gòu)如圖2(a)所示。其次是空間注意力模塊SA，強調(diào)哪些位置的特征更有意義。與通道注意力類似，給定一個H×W×C的特征，先對一個通道維度進(jìn)行平均池化和最大池化，得到H×W×1 的兩個特征圖，然后將兩個特征圖進(jìn)行疊加，再接一個7×7 的卷積層，調(diào)整特征維度為1×H×W尺寸，并將其輸入至軟閾值化子網(wǎng)絡(luò)中，得到特征圖權(quán)重系數(shù)，最后將權(quán)重系數(shù)與輸入特征相乘得到最終的空間特征圖，結(jié)構(gòu)如圖2(b)所示。

圖2 注意力機制結(jié)構(gòu)圖

由于通道空間注意力與空間注意力是山火特性的兩個不同層面，因此還需將其融合，融合結(jié)構(gòu)如圖2(c)所示?？臻g信息來自于特征提取網(wǎng)絡(luò)之中，而通道信息來源于更深層的加強特征提取網(wǎng)絡(luò)之中，將兩個不同分支的特征進(jìn)行通道連接融合操作，可以加強目標(biāo)特征的提取能力。

圖3 展示了輸入圖像在YOLOX 的80 尺度大小卷積后添加注意力模塊的對比圖，可以看出，最右列特征圖的背景噪聲更小，且火焰特征更加聚集，這說明重要的特征通過注意力機制被關(guān)注并保留下來，不重要的特征通過軟閾值設(shè)置為零，從而增強深度神經(jīng)網(wǎng)絡(luò)從冗余信息中提取有用特征的能力。

圖3 注意力機制特征提取對比

2.2 可變形卷積

在YOLOX 網(wǎng)絡(luò)中，多尺度特征由空間金字塔池化模塊提取。該模塊采樣的區(qū)域是固定的形狀，其限制了網(wǎng)絡(luò)對煙火的識別能力。可變形卷積網(wǎng)絡(luò)[15]將常規(guī)卷積修改為可變形卷積。常規(guī)標(biāo)準(zhǔn)卷積核為固定方形，而可變形卷積為每個卷積的采樣點加上了一個偏移量，當(dāng)偏移為小數(shù)時，需要通過雙線性插值[16]變換將所有新的采樣點聚集起來形成新的特征圖，保證空間分辨率不變。可變卷積的引入使得感受野的形狀不再固定，可以更好地匹配山火燃燒時外形變化的特點?；诳勺冃尉矸e，本文修改了多尺度特征提取模塊。首先使用密集空洞空間卷積池化金字塔模塊[17]，設(shè)置3 個空洞卷積的膨脹率依次為5、7、9，其次將其中的標(biāo)準(zhǔn)卷積替換為可變形卷積。本文修改后的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖4 所示，與YOLOX 網(wǎng)絡(luò)有區(qū)別的模塊用實線框標(biāo)出。

圖4 本文提出的網(wǎng)絡(luò)結(jié)構(gòu)圖

3 山火檢測流程

基于上述改進(jìn)的YOLOX 模型，給出輸電線路無人機巡檢山火檢測方法，其流程如圖5 所示。首先，通過無人機對選定巡檢森林區(qū)域進(jìn)行圖像采集，建立山火檢測圖像樣本庫。其次，由于無人機采集的圖像分辨率較大，因此對圖像樣本庫的數(shù)據(jù)集進(jìn)行無縫切割，獲得大小均為640×640 的小圖像塊。為達(dá)到無縫切割的目的，本文在切割過程中對圖像四周填充黑色像素，使其寬高均為640 的倍數(shù)。在切割完成后，將獲得的小圖像塊送入本文改進(jìn)的YOLOX 網(wǎng)絡(luò)模型，完成特征提取。與空間金字塔池化模塊相比，本文采用的密集空洞空間金字塔池化模塊可提升模型對多尺度目標(biāo)的識別能力，更好地匹配山火燃燒時外形變化多樣的特點。同時，本文引入注意力機制，使得模型在特征提取的過程中更加關(guān)注山火區(qū)域，這減少了復(fù)雜背景的影響，提升模型的檢測準(zhǔn)確率。最后，Yolo 頭部在特征提取的基礎(chǔ)上進(jìn)行回歸預(yù)測，快速檢測出圖像中的山火區(qū)域，并用方框標(biāo)注出山火在圖像中的位置。

圖5 山火檢測流程圖

4 實驗結(jié)果

建立訓(xùn)練所用的數(shù)據(jù)集，硬件環(huán)境配置為：CPU 為i7-9700K，GPU 為NVIDIA GeForce RTX 2080 Ti。

4.1 數(shù)據(jù)集構(gòu)建

數(shù)據(jù)集盡可能涵蓋了多個場景環(huán)境，包括室內(nèi)、街道、野外、森林等，一共收集到20 000 張圖像，主要來源于以下幾個方面：

（1）Bilkent 大學(xué)公開視頻庫中的火焰視頻片段：http://signal.ee.bilkent.edu.tr/VisiFire；

（2）Keimyung 大學(xué)火焰庫：https://cvpr.kmu.ac.kr/Data set/Dataset.htm；

（3）Mivia 數(shù)據(jù)集中的火焰視頻片段：https://mivia.unis a.it/datasets；

（4）BoWFire 火焰數(shù)據(jù)集：https://bitbucket.org/ gbdi/bo wfire-dataset/downloads；

（5）百度與谷歌圖庫中的山火圖像。

對搜集到的數(shù)據(jù)圖像逐幀進(jìn)行了標(biāo)注。將數(shù)據(jù)集中隨機選擇的1 000 張圖片作為測試集，剩余部分按9:1劃分為訓(xùn)練集和驗證集，完成數(shù)據(jù)集的構(gòu)建。

4.2 評價指標(biāo)

混淆矩陣一般用來測試分類器的性能，如表1 所示，根據(jù)真實值以及預(yù)測值的正負(fù)共組合為4 種形式。其中，TP 表示True Positive，指的是實際的正類結(jié)果通過網(wǎng)絡(luò)檢測的結(jié)果也是正類；FP 表示False Positive，是指負(fù)責(zé)輸入負(fù)類，預(yù)測結(jié)果為正類，預(yù)測錯誤；同理，F(xiàn)N 指正類預(yù)測為負(fù)類；TN 指負(fù)類預(yù)測為負(fù)類。在本文中，正類即代表存在火焰目標(biāo)，負(fù)類則為其他目標(biāo)。判定為正類的依據(jù)是數(shù)據(jù)集標(biāo)注中的真實框（ground truth）和預(yù)測結(jié)果目標(biāo)框位置的交并比IOU 值大于0.5。

表1 混淆矩陣

性能評估通過以下3 個指標(biāo)來評價：

（1）精確率Precision：指的是預(yù)測結(jié)果為正類的目標(biāo)中真正的正類所占的比例P：

（2）召回率Recall：指所有真正為正類的目標(biāo)中被預(yù)測為正類目標(biāo)所占的比例R：

（3）F1 值：一般情況下，P和R之間會呈 現(xiàn)負(fù)相關(guān)性，為考慮指標(biāo)的綜合性，采用精確率和召回率的調(diào)和平均數(shù)：

4.3 性能分析

為驗證注意力機制和可變形卷積引入后對原網(wǎng)絡(luò)性能的影響，首先在測試集上進(jìn)行消融實驗。以上述精確率、召回率和綜合加權(quán)F1 指標(biāo)來衡量檢測精度；以參數(shù)量指標(biāo)來判斷網(wǎng)絡(luò)大?。灰悦棵霗z測圖片張數(shù)FPS 值來衡量檢測速度。對比方法有基本的YOLOX，僅加了注意力機制的YOLOX-FCS，以及本文提出的加了注意力機制和可變形卷積的方法。表2 展示了實驗結(jié)果。

表2 消融實驗檢測結(jié)果

可以看出，相比較YOLOX，添加了注意力機制的YOLOX-FCS 在精確率、召回率和F1 指標(biāo)上都得到了提升，而本文網(wǎng)絡(luò)相比YOLOX-FCS 各個指標(biāo)又得到了進(jìn)一步的提高。但隨著改進(jìn)模塊的增加，網(wǎng)絡(luò)參數(shù)量增加，相應(yīng)的FPS 值有所下降。相比于YOLOX，本文所提方法的精確率、召回率、綜合F1 指標(biāo)均得到了較大幅度的提升。

進(jìn)一步實驗對比了本文網(wǎng)絡(luò)與當(dāng)前目標(biāo)檢測領(lǐng)域內(nèi)其他主流網(wǎng)絡(luò)模型之間的性能差異，包括YOLOv5、SSD，以及輕量化的YOLOv4-Tiny 網(wǎng)絡(luò)，實驗結(jié)果如圖6和表3 所示。

表3 與主流網(wǎng)絡(luò)的對比實驗結(jié)果

圖6 檢測結(jié)果對比圖

從圖6 可以看出，本文所提網(wǎng)絡(luò)檢測到的目標(biāo)框大小更匹配火焰區(qū)域，置信度也更高。

從表3 可以看出，在精確率方面，本文網(wǎng)絡(luò)略高于YOLOv4-Tiny，超過YOLOv5 和SSD；在召回率方面，本文網(wǎng)絡(luò)性能遠(yuǎn)遠(yuǎn)領(lǐng)先；在F1 值方面，依然是本文網(wǎng)絡(luò)表現(xiàn)最好。同時也可以看到，本文網(wǎng)絡(luò)模型的參數(shù)量也是最大的，而輕量級網(wǎng)絡(luò)YOLOv4-Tiny 的參數(shù)量最小。綜合而言，本文所提方法較大幅度地提升了山火檢測的準(zhǔn)確率，使誤檢和漏檢均得到了降低。模型參數(shù)量雖然有所上升，但是FPS 和檢測速度完全能夠滿足應(yīng)用需求。

5 結(jié)論

本文基于當(dāng)前人工智能領(lǐng)域最新的目標(biāo)檢測網(wǎng)絡(luò)模型YOLOX，提出了一種改進(jìn)的輸電巡檢山火檢測網(wǎng)絡(luò)。所提出的網(wǎng)絡(luò)增加了注意力機制，并將多尺度特征提取模塊中的常規(guī)卷積替換為可變形卷積，更好地適應(yīng)山火外形多變的頻閃特點。實驗證明所提網(wǎng)絡(luò)獲得了最佳的性能表現(xiàn)，在幾個主流的指標(biāo)評估方面均超過了當(dāng)前最具代表性的目標(biāo)檢測網(wǎng)絡(luò)，檢測速度也可滿足實時需求。