方家吉 賴一波 唐正濤 喻擎蒼

摘? 要： 針對(duì)電力巡檢中傳統(tǒng)視覺電力線識(shí)別精度不高，現(xiàn)有基于深度學(xué)習(xí)的電力線分割速度慢的問題，提出一種基于DeepLabv3+的輕量級(jí)電力線語義分割方法。首先使用Mobilenetv2替換原始主干網(wǎng)絡(luò)Xception，并對(duì)ASPP模塊進(jìn)行先降維后升維的操作，在不降低模型感受野和分割精度的情況了減少了模型的參數(shù)量。使用Focal Loss和Dice Loss組合的損失函數(shù)加強(qiáng)了模型對(duì)電力線的分割效果，最后采用多尺度特征融合和注意力機(jī)制進(jìn)一步減少了分割結(jié)果中的圖像噪點(diǎn)。改進(jìn)的DeepLabv3+相較于原網(wǎng)絡(luò)分割速度提升了108.65%，mIoU和mPA分別提升了1.58%和2.09%。

關(guān)鍵詞： 語義分割； 電力巡檢； DeepLabv3+； 電力線提取

中圖分類號(hào)：TP391.41? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）09-19-05

Lightweight power line semantic segmentation method based on DeepLabv3+

Fang Jiaji， Lai Yibo， Tang Zhengtao， Yu Qingcang

（School of Computer Science and Technology， Zhejiang Sci-Tech University， Hangzhou， Zhejiang 310018， China）

Abstract： Aiming at the problems of low accuracy of traditional visual power line recognition and the slow speed of existing power line segmentation methods based on deep learning， a lightweight semantic segmentation method for power line recognition method based on DeepLabv3+ is proposed. Firstly， the original Xception backbone network is replaced with Mobilenetv2， and the ASPP module is operated by dimensionality reducing and then dimensionality increasing， which reduces the number of parameters without reducing the model's receptive field and segmentation accuracy. The combination of Focal Loss and Dice Loss as the loss function enhances the model's segmentation performance on power lines. Finally， multi-scale feature fusion and attention mechanism are used to further reduce the noise in the segmentation results. Compared to the original network， the improved DeepLabv3+ has increased the segmentation speed by 108.65%， mIoU by 1.58%， and mPA by 2.09%. It meets the requirements for the speed and accuracy of power line segmentation.

Key words： semantic segmentation; power inspection; DeepLabv3+; power line extraction

0 引言

輸電線路的定期巡檢是保證國家供電穩(wěn)定的重要工作，巡檢內(nèi)容主要包括線路相關(guān)組件巡檢和電力線周邊危險(xiǎn)地物巡檢。電力線是輸電線路的主要構(gòu)成部分，確保電力線安全是輸電線路巡檢的重中之重[1]。

輸電線路環(huán)境復(fù)雜，人工巡檢效率低，并存在著較大的安全風(fēng)險(xiǎn)。隨著無人機(jī)技術(shù)的發(fā)展，無人機(jī)能更方便地采集輸電線路相關(guān)信息，但在巡檢過程中無人機(jī)容易與電力線發(fā)生碰撞等危險(xiǎn)事故，對(duì)無人機(jī)的飛行安全具有極大的威脅。無人機(jī)使用激光雷達(dá)[2-3]所檢測(cè)電力線的精度較高，但所需要硬件的成本也相對(duì)較高，相比之下，相機(jī)成本更低并且容易在無人機(jī)上安裝。

現(xiàn)有通過相機(jī)進(jìn)行的電力線識(shí)別方法可分為傳統(tǒng)視覺方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)視覺方法主要分為基于邊緣檢測(cè)算子的識(shí)別算法和基于聯(lián)合特征的識(shí)別算法。邊緣檢測(cè)算子可以通過先驗(yàn)知識(shí)，再加上直線檢測(cè)來識(shí)別電力線?；诼?lián)合特征也是通過線檢測(cè)器，再加上全局輔助物或者上下文信息進(jìn)行識(shí)別。文獻(xiàn)[4]中使用Roberts算子和Hough變換來鎖定電力線范圍，之后使用總體最小二乘法來提取電力線，在背景較為簡(jiǎn)單的時(shí)候有不錯(cuò)的提取效果。文獻(xiàn)[5]提出了一種具有空間對(duì)稱結(jié)構(gòu)的DLCI算子，擁有非常高的識(shí)別精度，但DLCI算子最大只能容忍設(shè)計(jì)角度20°的偏差。傳統(tǒng)圖像方法由于人為地加入了一些先驗(yàn)知識(shí)和輔助物，導(dǎo)致某一種算法只在特定場(chǎng)合下能有較高的識(shí)別精度，在其他復(fù)雜背景下很容易失效。

目前基于深度學(xué)習(xí)的語義分割方法主要有FCN、SegNet、U-Net、PSPNet以及DeepLab系列等。Choi等[6]通過FCN網(wǎng)絡(luò)來分割電力線，其主要目的是為了降低海量電力線數(shù)據(jù)集的標(biāo)注成本，模型參數(shù)較大。Zhang等[7]選取了VGG-16來分割電力線，其所使用的數(shù)據(jù)集較少，但VGG-16的參數(shù)量也非常龐大，不滿足實(shí)時(shí)分割的要求。Yang等[8]提出了PLE-Net模型，在復(fù)雜的自然背景下分割電力線效果較好，但沒有對(duì)比模型之間的預(yù)測(cè)速度，無法得知其具體運(yùn)行速度表現(xiàn)。

本文針對(duì)現(xiàn)有電力線識(shí)別方法存在的問題，提出了一種基于DeepLabv3+的輕量級(jí)電力線語義分割方法。該模型包含了融合不同尺度特征的模塊；用于減少參數(shù)量的改進(jìn)ASPP模塊；用于減少分割結(jié)果中的圖像噪聲的注意力機(jī)制。同時(shí)，使用DiceLoss損失函數(shù)來解決樣本數(shù)據(jù)不平衡問題，采用了FocalLoss損失函數(shù)來讓模型進(jìn)一步關(guān)注困難樣本，在提升了預(yù)測(cè)速度的同時(shí)提高了電力線分割的精度。

1 基礎(chǔ)模型理論

1.1 DeepLabv3+模型

DeepLabv3+是目前主流的語義分割網(wǎng)絡(luò)架構(gòu)之一，它在DeepLabv3的基礎(chǔ)上增加了解碼器模塊來增強(qiáng)分割效果。該網(wǎng)絡(luò)的編碼器部分使用了主干網(wǎng)絡(luò)Xception來提取主要特征，此外，ASPP模塊中的不同速率的并行空洞卷積被用來獲取高維特征并通過1×1卷積進(jìn)行通道壓縮。在解碼器部分，主干網(wǎng)絡(luò)中提取的低維特征與ASPP模塊輸出的高維特征融合，然后利用3×3卷積和上采樣精細(xì)目標(biāo)邊界，從而輸出預(yù)測(cè)結(jié)果。圖1為DeepLabv3+的模型結(jié)構(gòu)。

1.2 輕量級(jí)主干網(wǎng)絡(luò)Mobilenetv2

Mobilenetv2是一種輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，目的是為了在移動(dòng)設(shè)備上實(shí)現(xiàn)高效的預(yù)測(cè)。Mobilenetv2在Mobilenet的基礎(chǔ)上引入了倒殘差塊，從而在仍保持效率的同時(shí)提高準(zhǔn)確性。倒殘差塊主要是使用深度可分離卷積，即逐點(diǎn)卷積和逐通道卷積的組合來捕捉更復(fù)雜的特征。表1為Mobilnetv2模型結(jié)構(gòu)。

表1中：

t是擴(kuò)展因子，第一層1×1卷積層中卷積核的擴(kuò)展倍率。

c是輸出特征通道數(shù)量。

n是bottleneck的重復(fù)次數(shù)。

s是步距（僅在操作中第一層卷積的時(shí)候生效）。

2 基于DeepLabv3+的輕量級(jí)圖像語義分割算法

2.1 總體框架

基于DeepLabv3+的輕量級(jí)圖像語義分割算法，是基于以下方式實(shí)現(xiàn)的：先使用Mobilenetv2替換原本的Xception主干網(wǎng)絡(luò)大幅降低參數(shù)量；再通過改進(jìn)ASPP模型在感受野不變的同時(shí)降低了參數(shù)量；最后通過多尺度特征融合和注意力機(jī)制模塊進(jìn)一步提高了分割精度。改進(jìn)算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2.2 改進(jìn)ASPP模塊

左安全等人[9]提出的DeepLabv3+模型中提到了瓶頸級(jí)聯(lián)ASPP模塊，將原DeepLabv3+模型的空洞率從原先的6，12，18改為3，6，9，12，提取更細(xì)小的目標(biāo)和特征的同時(shí)擴(kuò)大了感受野，通過空洞卷積分支和級(jí)聯(lián)空洞卷積加強(qiáng)對(duì)電力線的細(xì)節(jié)特征提取，減少漏分割現(xiàn)象。

感受野是指在深度神經(jīng)網(wǎng)絡(luò)中，輸出的某個(gè)特征圖像素在輸入圖像上映射區(qū)域的大小。感受野大小對(duì)于深度神經(jīng)網(wǎng)絡(luò)的性能非常重要，較小的感受野可能會(huì)導(dǎo)致網(wǎng)絡(luò)無法捕捉到輸入圖像中的局部特征和上下文信息，而較大的感受野則可能會(huì)導(dǎo)致網(wǎng)絡(luò)對(duì)于噪聲和細(xì)節(jié)過于敏感。因此，在設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò)時(shí)通常需要平衡感受野大小和模型的計(jì)算復(fù)雜度?？斩淳矸e的感受野[r]計(jì)算公式為：

[ri=k+j=1i-1k-1×dj]? ⑴

其中，[k]是卷積核的大小，[dj]是第j層卷積層的空洞率，[ri]是第i層卷積層在輸入前的感受野大小。

對(duì)比原DeepLabv3+模型，空洞率為18的3×3空洞卷積分支參數(shù)代入式⑴可求得經(jīng)過卷積后的感受野為39×39。對(duì)比之下，改進(jìn)的空洞率為9的3×3空洞卷積分支串聯(lián)卷積后感受野也為39×39。

通過在空洞卷積前后使用1×1卷積先降維后升維的方式來減少訓(xùn)練參數(shù)量，參考了文獻(xiàn)[9]中所提出的4層卷積分支，對(duì)比了3層卷積分支，在本文數(shù)據(jù)集中并沒有過于明顯的提升，如表2權(quán)衡了參數(shù)量和效果后，本文使用了3層卷積分支的ASPP改進(jìn)模型，如圖3所示。

2.3 瓶頸注意力模塊BAM

瓶頸注意力模塊（Bottleneck Attention Module，BAM）是一種用于加強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)特征表達(dá)能力的注意力機(jī)制。BAM模塊主要由兩部分組成：通道注意力模塊和空間注意力模塊。通道注意力模塊用于自適應(yīng)地調(diào)整不同通道特征的重要性，而空間注意力模塊用于調(diào)整特征圖的空間分布。

2.4 損失函數(shù)

電力線的像素點(diǎn)通常在圖像中所占的比例較小。當(dāng)使用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)（Cross Entropy Loss， CE Loss）進(jìn)行模型訓(xùn)練時(shí)，損失函數(shù)會(huì)更傾向于像素點(diǎn)占比更高的背景，模型難以學(xué)習(xí)到電力線的特征信息。Li等[10]提出，在NLP的場(chǎng)景中這種類別數(shù)據(jù)不均衡的問題是十分常見的，比如機(jī)器閱讀理解（MRC），損失函數(shù)負(fù)樣本數(shù)量遠(yuǎn)超過正樣本，導(dǎo)致容易的負(fù)樣本會(huì)主導(dǎo)了模型的訓(xùn)練，因此提出了Dice Loss[11]，本文使用其簡(jiǎn)化的Dice Loss形式，表達(dá)式為：

[LDice=1-2tiyi+γti+yi+γ]? ⑵

其中，其中[yi]為網(wǎng)絡(luò)預(yù)測(cè)值，取值范圍為（0，1）。[ti]為target值，取值非0即1。[γ]是一個(gè)極小數(shù)，稱為平滑系數(shù)，主要是為了避免負(fù)樣本的作用為0，讓訓(xùn)練更加平滑。

何凱明團(tuán)隊(duì)在CE loss基礎(chǔ)上增加動(dòng)態(tài)調(diào)整因子，提出了Focal Loss[12]，用來處理樣本不平衡的場(chǎng)景，同時(shí)也讓模型更關(guān)注樣本的難易程度。表達(dá)式為：

[LFocal=-αt1-ptγlogpt]? ⑶

其中，[αt]為權(quán)重因子，[1-ptγ]為調(diào)節(jié)因子，[pt]為對(duì)應(yīng)類別的預(yù)測(cè)概率，[γ]為聚焦參數(shù)?？倱p失函數(shù)表達(dá)式為：

[L=LDice+LFocal]? ⑷

如表3所示，對(duì)于原DeepLabv3+（Mobilenetv2）模型使用不同的損失函數(shù)組合進(jìn)行訓(xùn)練，F(xiàn)ocal Loss+ Dice Loss的組合要比CE Loss+Dice Loss的組合更好一點(diǎn)，說明了Focal Loss在處理數(shù)據(jù)集中困難樣本的時(shí)候有一定的效果。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

現(xiàn)有的電力線公開數(shù)據(jù)集較少，故本文的電力線數(shù)據(jù)集一部分是無人機(jī)拍攝采集的54張8000×6000圖片，從中裁切出391張1500×1000分辨率的天空、草地、樹林和復(fù)雜背景的圖片，并使用Labelme進(jìn)行標(biāo)注；另一部分是從現(xiàn)有公開集Wire Dataset[13]中選取的462張圖片。本文將數(shù)據(jù)集中的100張作為測(cè)試集，其余圖片進(jìn)行隨機(jī)旋轉(zhuǎn)、水平或垂直翻轉(zhuǎn)、裁切、改變亮度和對(duì)比度的方式增強(qiáng)至3012張，將這3012張按照9：1的比例劃分為訓(xùn)練集和驗(yàn)證集。圖5為本文數(shù)據(jù)集中自己拍攝的電力線圖片樣本。

3.2 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)環(huán)境為Windows10，內(nèi)存配置32GB，CPU配置為AMDRyzen5 3600，顯卡為NVIDIA GTX 1660super（6G），深度學(xué)習(xí)網(wǎng)絡(luò)框架為Pytorch 1.8.1，訓(xùn)練輪數(shù)為100輪。

3.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

本文使用平均交并比（mean Intersection over Union，mIoU）和平均像素精度（mean Pixel Accuracy，mPA）作為語義分割算法分割精度的評(píng)價(jià)標(biāo)準(zhǔn)。mIoU為各個(gè)類別的真實(shí)值和預(yù)測(cè)值的交并集之比，用來反應(yīng)預(yù)測(cè)結(jié)果與原始圖像中真值的重合程度，表達(dá)式為：

[mIoU=1n+1i=0npiij=0npij+j=0npji-pii]? ⑸

其中，n表示標(biāo)簽的類別數(shù)量；n+1表示包含背景的標(biāo)簽類別數(shù)量；[pii]中第一個(gè)i表示實(shí)際的標(biāo)簽類別，第二個(gè)i表示預(yù)測(cè)的標(biāo)簽類別，即[pii]表示實(shí)際為i類，預(yù)測(cè)也為i類的像素?cái)?shù)量;[pij]表示實(shí)際為i類預(yù)測(cè)為j類的像素?cái)?shù)量;[pji]表示實(shí)際為j類預(yù)測(cè)為i類的像素?cái)?shù)量。mIoU的取值范圍是[0，1]，mIoU的值越大，說明圖像各個(gè)類別平均分割效果越好。

平均像素精度（mPA）是正確分類的像素?cái)?shù)量與所有像素?cái)?shù)量的比值后的平均值，表達(dá)式為：

[mPA=1n+1i=0npiij=0npij]? ⑹

其中，參數(shù)與式⑸一致。

3.4 實(shí)驗(yàn)與結(jié)果分析

3.4.1 不同分割網(wǎng)絡(luò)模型的對(duì)比

圖6展示了各個(gè)網(wǎng)絡(luò)模型在測(cè)試集上的一部分分割結(jié)果?？梢钥吹?，原DeepLabv3+（Mobilenetv2）和DeepLabv3+（Xception）模型已能夠識(shí)別出每根電力線，但當(dāng)背景較為復(fù)雜或者背景顏色比較接近電力線的時(shí)候，分割出的電力線會(huì)有漏分割和錯(cuò)分割的現(xiàn)象，如圖6（a）中組中草地和水泥地面的混合干擾和圖6（c）中汽車邊框線條的干擾。改進(jìn)后的模型能減少錯(cuò)分割的現(xiàn)象，并一定程度上減少電力線中斷的情況。這是由于改進(jìn)后的模型在提取高維特征的同時(shí)融合了經(jīng)過注意力機(jī)制的低維特征，使得模型在獲取電力線區(qū)域特征的時(shí)候，注重了局部細(xì)節(jié)特征，減少了分割結(jié)果中噪聲的出現(xiàn)。

表4展示了各個(gè)網(wǎng)絡(luò)模型在測(cè)試集上分割精度、預(yù)測(cè)速度以及參數(shù)量上的區(qū)別。進(jìn)一步結(jié)合圖6可以看出，改進(jìn)的DeepLabv3+在預(yù)測(cè)速度和分割精度上取得了一定的平衡，并在分割效果上優(yōu)于原模型。在對(duì)比實(shí)驗(yàn)中，U-Net（vgg）取得了最好的效果，在分割精細(xì)度上優(yōu)于其他模型，甚至在圖6（b）中能夠分辨出最左邊的電力線有兩根，但由于vgg網(wǎng)絡(luò)龐大，在參數(shù)量和預(yù)測(cè)速度上明顯不符合輕量級(jí)的定義，故不適合在移動(dòng)端使用。PSPNet在resnet50和Mobilenetv2兩種主干網(wǎng)絡(luò)下提取復(fù)雜背景下的電力線特征效果并不好。由于圖6（a）分辨率是[1500×1000]，在傳入PSPNet前做了resize，原本細(xì)小的電力線變得更細(xì)，PSPNet無法做出預(yù)測(cè)，對(duì)比主干網(wǎng)絡(luò)同為Mobilenetv2的DeepLabv3+有較大的差距。而在Wire Dataset數(shù)據(jù)集上的圖像，PSPNet雖說可以分割出導(dǎo)線，但仍由于分割精度的不足，分割出的電力線持續(xù)中斷，且邊緣過于粗糙。

3.4.2 消融實(shí)驗(yàn)與對(duì)比

為了進(jìn)一步驗(yàn)證對(duì)DeepLabv3+的改進(jìn)有效，做了消融實(shí)驗(yàn)，如表5中“√”表示使用了改進(jìn)策略。

4 結(jié)束語

在電力線識(shí)別上，針對(duì)傳統(tǒng)視覺方法精度不高和現(xiàn)有神經(jīng)網(wǎng)絡(luò)不能兼顧分割速度和精度的情況，本文提出一種輕量級(jí)的電力線分割網(wǎng)絡(luò)模型方法。使用輕量級(jí)網(wǎng)絡(luò)Mobilenetv2來替換DeepLabv3+原始主干網(wǎng)絡(luò)Xception，改進(jìn)ASPP模塊來進(jìn)一步降低整體分割模型的參數(shù)量。提取低維特征進(jìn)行多尺度融合來提高電力線邊緣的分割精度，并加入注意力機(jī)制來減少電力線錯(cuò)分割和漏分割現(xiàn)象，最后通過消融實(shí)驗(yàn)來驗(yàn)證了改進(jìn)策略的有效性。與其他分割模型對(duì)比，改進(jìn)后的模型在電力線的分割精度和速度上擁有更好的平衡性，與原DeepLabv3+（Xception）相比，本文模型預(yù)測(cè)速度提升了108.65%，mIoU和mPA分別提升了1.58%和2.09%。本文改進(jìn)的電力線語義分割模型兼顧精度和預(yù)測(cè)速度，可以應(yīng)用于電力線的實(shí)時(shí)分割場(chǎng)景，意義非凡。本文模型在識(shí)別更精細(xì)的電力線時(shí)仍有較嚴(yán)重的漏分割現(xiàn)象，后續(xù)研究可嘗試數(shù)據(jù)集尺度多樣化，在不降低預(yù)測(cè)速度的前提下改進(jìn)模型，對(duì)更細(xì)的電力線實(shí)現(xiàn)準(zhǔn)確分割。

參考文獻(xiàn)（References）：

[1] 趙樂，王先培，姚鴻泰，等.基于可見光航拍圖像的電力線提取算法綜述[J].電網(wǎng)技術(shù)，2021，45（4）：1536-1546.

[2] 朱錢鑫，朱錢肖，張丙珍，等.復(fù)雜地物背景下的無人機(jī)激光雷達(dá)電力線提取方法[J].電工技術(shù)，2022，567（9）：54-56.

[3] 屈年赦，白晶石，曹鐵軍.激光雷達(dá)在輸電線路巡線中的應(yīng)用[J].電力勘測(cè)設(shè)計(jì)，2022，168（6）：6-9，40.

[4] 操昊鵬，曾衛(wèi)明，石玉虎，等.基于Hough變換和總體最小二乘法的電力線檢測(cè)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28（10）：164-167.

[5] 趙樂，王先培，姚鴻泰，等.基于局部上下文信息的電力線提取算法[J].高電壓技術(shù)算法，2021，47（7）：2553-2566.

[6] Choi H， Koo G， Kim B J， et al. Weakly supervised power?line detection algorithm using a recursive noisy label update with refined broken line segments[J]. Expert Systems with Applications，2021，165：113895.

[7] Zhang H， Yang W， Yu H， et al. Detecting power lines in UAV images with convolutional features and structured constraints[J]. Remote Sensing，2019，11（11）：1342.

[8] Yang L，F(xiàn)an J，Huo B，et al. PLE-Net： Automatic power lineextraction method using deep learning from aerial images[J]. Expert Systems with Applications，2022，198：116771.

[9] 左安全，秦倫明，王悉，等.基于改進(jìn)DeepLabv3+模型的電力線語義分割方法[J].無線電工程，2023，53（1）：96-104.

[10] Li X，Sun X， Meng Y，et al. Dice loss for data-imbalanced?NLP tasks[J]. arXiv preprint arXiv：1911.02855，2019.

[11] Milletari F，Navab N， Ahmadi S A. V-net： Fully?convolutional neural networks for volumetric medical image segmentation[C]//2016 fourth international conference on 3D vision （3DV）. Ieee，2016：565-571.

[12] Lin T Y， Goyal P， Girshick R， et al. Focal loss for denseobject detection[C]//Proceedings of the IEEE international conference on computer vision，2017：2980-2988.

[13] 黃巨挺，宏力，戴志坤.基于編碼解碼結(jié)構(gòu)的移動(dòng)端電力線語義分割方法[J].計(jì)算機(jī)應(yīng)用，2021，41（10）：2952-2958.