李弘宸，楊忠，姜遇紅，韓家明，賴尚祥，張秋雁

1. 南京航空航天大學(xué) 自動化學(xué)院，江蘇 南京 211106

2. 南京航空航天大學(xué) 無人機(jī)研究所，江蘇 南京 211106

3. 貴州電網(wǎng)有限責(zé)任公司，貴州 貴陽 550000

隨著人類社會的發(fā)展，電力成為無法替代的重要能源之一。為了實(shí)現(xiàn)大面積的電力輸送以滿足電力需求，輸電線路廣泛地分布在各個(gè)地區(qū)和不同環(huán)境中。因此，輸電線路的安全正常運(yùn)作是保證電力穩(wěn)定可靠輸送的必要條件[1]。然而，由于空氣污染、自然災(zāi)害以及周圍植被等客觀因素的影響，輸電線路往往會出現(xiàn)故障，例如絕緣子爆裂、桿塔倒塌等，這些故障會嚴(yán)重降低電力輸送效率[2]。為了解決這一問題，電力部門需要定期地利用不同的電力線巡檢方法對輸電線路的健康狀況進(jìn)行評估。由于輸電線路分布廣泛，人工巡檢難以適應(yīng)復(fù)雜危險(xiǎn)的地形，并且該方法十分耗時(shí)[3]。所以，目前常用的巡檢方法是利用搭載相機(jī)的無人機(jī)進(jìn)行無人巡檢。利用航拍圖像中提取到的信息對輸電線路部件如絕緣子和桿塔等關(guān)鍵部件進(jìn)行健康評估。然而，無人機(jī)巡檢會采集大量無用數(shù)據(jù)，在這些數(shù)據(jù)中不含有輸電線路信息。如果無用數(shù)據(jù)和有效數(shù)據(jù)同時(shí)被傳輸?shù)降孛嬲?，必將?dǎo)致工作量激增，嚴(yán)重影響輸電線路巡檢效率。為了解決這一問題，本文采用圖像分類算法對輸電線路航拍圖像進(jìn)行分類，去除無用數(shù)據(jù)并保留有效數(shù)據(jù)。該方法可以有效地提高輸電線路巡檢效率并提高輸電線路運(yùn)行的可靠性。隨著深度學(xué)習(xí)和圖形處理器的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)被廣泛地應(yīng)用在不同的圖像處理任務(wù)中，如圖像分類、目標(biāo)檢測以及語義分割等。不僅如此，卷積神經(jīng)網(wǎng)絡(luò)在這些領(lǐng)域中均取得了優(yōu)異的性能[4]。傳統(tǒng)的機(jī)器學(xué)習(xí)算法需要采用圖像特征提取算法如尺度不變特征變換算子 (scale-invariant feature transform, SIFT)[5]、局部二值模式算子(local binary pattern, LBP)[6]以及方向梯度直方圖算子(histogram of oriented gradient, HOG)[7]，預(yù)先提取圖像特征。然而，通過這些算法提取的圖像特征和圖像高級語義之間存在較大的偏差，所以傳統(tǒng)的機(jī)器學(xué)習(xí)算法難以滿足復(fù)雜環(huán)境背景下的圖像分類任務(wù)[8]。卷積神經(jīng)網(wǎng)絡(luò)利用卷積層、池化層以及全連接層提取圖像的特征信息。隨著網(wǎng)絡(luò)深度增大，卷積神經(jīng)網(wǎng)絡(luò)可以提取圖像的高級語義。因此，卷積神經(jīng)網(wǎng)絡(luò)可以擺脫人工圖像特征提取算法的限制，在不同圖像處理任務(wù)中均取得優(yōu)異的性能[9]。

1998 年，LeCun 等[10]提出了卷積神經(jīng)網(wǎng)絡(luò)LeNet，并將其應(yīng)用于書寫字符的識別中。然而，受限于當(dāng)時(shí)圖像處理器的性能，LeNet 并沒有取得優(yōu)異的性能，所以卷積神經(jīng)網(wǎng)絡(luò)并沒有得到學(xué)術(shù)界的廣 泛 關(guān) 注。 2012 年， Krizhevsky 等[11]提 出AlexNet 并以巨大的優(yōu)勢獲得了ILSVRC 2012 競賽的冠軍。因此，卷積神經(jīng)網(wǎng)絡(luò)引起巨大的關(guān)注。隨后，越來越多的學(xué)者提出性能更加優(yōu)異的卷積神經(jīng)網(wǎng)絡(luò)，如VGGNet[12]以及GooLeNet[13]。隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，訓(xùn)練集精確度會下降，這種現(xiàn)象不是由過擬合導(dǎo)致的。經(jīng)分析，過深的卷積神經(jīng)網(wǎng)絡(luò)會出現(xiàn)梯度彌散現(xiàn)象。為了解決這一問題，何凱明等[14]于2015 年提出了ResNet，并一舉奪得ILSVRC 2015 競賽冠軍。

卷積神經(jīng)網(wǎng)絡(luò)由于其優(yōu)異的性能，被廣泛應(yīng)用于多種實(shí)際應(yīng)用中。在此之前，已有多名學(xué)者在輸電線路航拍圖像分類問題中進(jìn)行深入研究。陳科峻等[15]提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的航空圖像分類算法，首先，采用超像素分割算法獲取圖像地層特征；而后，通過交叉驗(yàn)證確定圖像最佳尺度；最后，采用改進(jìn)的雙向長短期記憶網(wǎng)絡(luò)對航拍圖像進(jìn)行分類。

李厚強(qiáng)等[16]提出了一種基于分形理論的航拍圖像分類算法。首先，將航拍圖像的顏色格式由RGB 轉(zhuǎn)換為HSI；然后，根據(jù)顏色特征計(jì)算基于分形的圖像紋理特征；最后，采用BP 神經(jīng)網(wǎng)絡(luò)作為分類器對航拍圖像進(jìn)行分類。

張秋雁等[17]提出了一種基于VGG-16 網(wǎng)絡(luò)的輸電線路航拍圖像分類算法。首先，利用圖像增強(qiáng)對原始數(shù)據(jù)及進(jìn)行擴(kuò)充，以提高算法魯棒性；然后，利用多卷積層組合代替VGG-16 中的全連接層；最后，利用優(yōu)化網(wǎng)絡(luò)對輸電線路航拍圖像進(jìn)行分類。

本文在ResNet 的基礎(chǔ)上進(jìn)行改進(jìn)，提出了一種優(yōu)化ResNet 結(jié)構(gòu)，并利用收集到的輸電線路圖像數(shù)據(jù)集訓(xùn)練該網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，在輸電線路分類數(shù)據(jù)集上，優(yōu)化ResNet 網(wǎng)絡(luò)對比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)具有更高的分類精確度和更低的內(nèi)存占用。

1 優(yōu)化ResNet 網(wǎng)絡(luò)

1.1 ResNet 網(wǎng)絡(luò)

大量實(shí)驗(yàn)結(jié)果表明，加深卷積神經(jīng)網(wǎng)絡(luò)可以提高分類精確度。然而，過深的卷積神經(jīng)網(wǎng)絡(luò)會出現(xiàn)梯度彌散現(xiàn)象。當(dāng)訓(xùn)練集精確度達(dá)到飽和后會急劇下降，因此通過簡單堆疊卷積層而構(gòu)成的網(wǎng)絡(luò)，其深度難以超過20 層。ResNet 的出現(xiàn)在一定程度上打破了卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)限制。綜合考慮內(nèi)存占用以及分類性能，本文采用ResNet50作為骨干網(wǎng)絡(luò)，并對其進(jìn)行優(yōu)化。ResNet50 具體結(jié)構(gòu)如表1 所示。

表1 ResNet50 結(jié)構(gòu)

ResNet 由殘差網(wǎng)絡(luò)單元組成，其核心在于恒等映射。式(1)為殘差單元的輸入輸出關(guān)系：

式中：H(x)為殘差單元的輸出；x為殘差單元的輸入；F(·)為卷積以及激活函數(shù)等操作。

恒等映射不引入網(wǎng)絡(luò)參數(shù)，相當(dāng)于淺層網(wǎng)絡(luò)。如果網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)由于層數(shù)過深而導(dǎo)致精確度下降的情況，可令F(x)趨近于0，此時(shí)殘差單元可近似于恒等映射，網(wǎng)絡(luò)對輸入x的變化更加敏感。因此，殘差模塊可以有效地抑制梯度彌散現(xiàn)象。殘差單元結(jié)構(gòu)如圖1 所示。

圖1 殘差單元結(jié)構(gòu)

1.2 優(yōu)化ResNet

為了增強(qiáng)網(wǎng)絡(luò)的分類性能，本文在原有殘差單元的基礎(chǔ)上提出了一種優(yōu)化殘差模塊，其結(jié)構(gòu)圖如圖2 所示。

圖2 優(yōu)化殘差單元結(jié)構(gòu)示意

我們將分組卷積引入殘差單元中，特征圖通過優(yōu)化殘差單元的第一個(gè)卷積核為1×1 的卷積層后，其通道維被分為4 等份。設(shè)輸入特征圖的尺寸為n×n×d，則xi的尺寸為n×n×(d/4)。為了增強(qiáng)網(wǎng)絡(luò)的信息流動，令該部分的輸入xi與前一部分的輸出yi-1相加，并使其經(jīng)過卷積操作而得到該部分的輸出yi。為了減少網(wǎng)絡(luò)參數(shù)，建立了x1與y1的恒等映射，并利用卷積核為3×1 和1×3 的卷積層代替原有的卷積核為3×3 的卷積層，xi與yi的關(guān)系為

式中：xi為第i個(gè)輸入；yi為第i個(gè)輸出；Ki(·)為3×1 和1×3 的卷積以及激活函數(shù)等操作。

對比圖1 和圖2 可知，優(yōu)化殘差模塊與原有殘差模塊的區(qū)別在于，優(yōu)化殘差模塊利用分組卷積代替原有的3×3 卷積層。設(shè)一個(gè)尺寸為n×n×d的特征圖經(jīng)過3×3 的卷積層和本文提出的分組卷積結(jié)構(gòu)，其參數(shù)式為

式中：p3×3為3×3 卷積層的參數(shù)量，pgroup為本文提出的分組卷積結(jié)構(gòu)的參數(shù)量。

通過觀察式(2)可知，本文提出的分組卷積結(jié)構(gòu)可大幅度減少網(wǎng)絡(luò)參數(shù)量，降低模型內(nèi)存占用，使網(wǎng)絡(luò)更適用于部署至如無人機(jī)嵌入式平臺中。

1.3 訓(xùn)練參數(shù)

利用開源深度學(xué)習(xí)庫Keras 實(shí)現(xiàn)本文提出的優(yōu)化ResNet50 網(wǎng)絡(luò)。為了證明其有效性，控制不同網(wǎng)絡(luò)在訓(xùn)練時(shí)超參數(shù)相同。本文所有網(wǎng)絡(luò)均采用隨機(jī)梯度下降法優(yōu)化算法進(jìn)行訓(xùn)練。由于本文涉及到的航拍圖像分類任務(wù)中，僅包含2 類樣本，所以輸出層的激活函數(shù)以及損失函數(shù)分別為sigmoid 以及二元交叉熵?fù)p失函數(shù)(binary crossentropy)。依據(jù)文獻(xiàn)[18]的訓(xùn)練參數(shù)設(shè)置，批尺寸(batch size)、學(xué)習(xí)率(learning rate)、回合(epoch)以及權(quán)重衰減率(weight decay)分別設(shè)被置為30、0.01、50 以及0.000 1。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集采集與擴(kuò)展

本文采用的數(shù)據(jù)集是由無人機(jī)巡檢過程中相機(jī)所捕捉到的航拍圖像組成。每張圖片的大小為224×224。航拍圖像被分為正負(fù)樣本，其中正樣本包含輸電線路關(guān)鍵部件信息，而負(fù)樣本不包含。正負(fù)樣本示意圖如圖3 所示。為了提高算法的魯棒性，利用數(shù)據(jù)增強(qiáng)方法擴(kuò)充數(shù)據(jù)集。經(jīng)過水平鏡像、垂直鏡像、改變亮度以及添加噪聲后，總數(shù)據(jù)量變?yōu)樵瓉淼? 倍。

圖3 樣本示意

本文采用的輸電線路航拍圖像數(shù)據(jù)集包含24 000 張輸電線路航拍圖像，其中正負(fù)樣本比例為1∶1。該數(shù)據(jù)集被分為訓(xùn)練集、驗(yàn)證集以及測試集，其包含的航拍圖像數(shù)量比例為3∶1∶1。為了使訓(xùn)練得到的權(quán)重能夠在測試集上達(dá)到良好的分類效果，保存在驗(yàn)證集精確度最高的權(quán)重，并利用該權(quán)重預(yù)測測試集數(shù)據(jù)類別。

2.2 實(shí)驗(yàn)結(jié)果及分析

根據(jù)參考文獻(xiàn)[19]所述，采用測試集精確度(Paccuracy)與類性能指標(biāo)（F1-measure）共同衡量卷積神經(jīng)網(wǎng)絡(luò)的分類性能；真陽性(PTP)、真陰性(PTN)、偽陽性(PFP)以及偽陰性(PFN)為分類任務(wù)的重要指標(biāo)。得到準(zhǔn)確率(Pprecision)以及召回率(Precall)的計(jì)算公式分別為

根據(jù)以上分析可知，Paccuracy與分類性能指標(biāo)F1-measure可通過式(3)計(jì)算得到

ResNet50 以及優(yōu)化ResNet50 的Pccuracy和F1-measure如表2 所示。通過觀察表2 數(shù)據(jù)可以得出如下結(jié)論：對比原始網(wǎng)絡(luò)，優(yōu)化ResNet50 取得了更高的分類精度和F1-measure。因此，本文提出的優(yōu)化殘差單元可以提升分類網(wǎng)絡(luò)在輸電線路航拍數(shù)據(jù)集上的分類性能。圖4 展示了ResNet50 以及優(yōu)化ResNet50 的混淆矩陣。

表2 ResNet50 優(yōu)化前后分類性能對比

圖4 混淆矩陣

由于本文提出的網(wǎng)絡(luò)需要在無人機(jī)系統(tǒng)上運(yùn)行，因此，除了分類性能，網(wǎng)絡(luò)的實(shí)時(shí)性同樣需要實(shí)驗(yàn)驗(yàn)證。ResNet50 以及優(yōu)化ResNet50 的內(nèi)存占用和平均運(yùn)行時(shí)間如表3 所示。通過觀察表3 數(shù)據(jù)可以得出如下結(jié)論：1)對比原始網(wǎng)絡(luò)，優(yōu)化ResNet50 網(wǎng)絡(luò)占用內(nèi)存更小，因此該網(wǎng)絡(luò)更適合部署至無人機(jī)系統(tǒng)中；2)雖然優(yōu)化ResNet50 網(wǎng)絡(luò)的平均運(yùn)行時(shí)間比ResNet50 更長，但是其處理速度仍然遠(yuǎn)遠(yuǎn)高于相機(jī)拍攝速度，仍可以達(dá)到實(shí)時(shí)性要求。因此，綜合考慮優(yōu)化ResNet50 網(wǎng)絡(luò)的分類性能，該網(wǎng)絡(luò)可以視為準(zhǔn)確性和實(shí)時(shí)性的折中方案。

表3 ResNet50 以及優(yōu)化ResNet50 性能比較

3 結(jié)論

本文提出了一種優(yōu)化ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)，并將該結(jié)構(gòu)應(yīng)用于輸電線路圖像分類中。實(shí)驗(yàn)結(jié)果表明，本文提出的網(wǎng)絡(luò)比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)具有更優(yōu)異的分類性能。在實(shí)時(shí)性方面，雖然優(yōu)化ResNet50 網(wǎng)絡(luò)的運(yùn)行速度比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)略低，但是由于其更高的精確度和更小的內(nèi)存占用，可以認(rèn)為優(yōu)化ResNet50 是一種折中方案，更加適合應(yīng)用在無人機(jī)平臺。

1)與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)相比，優(yōu)化ResNet50具有更優(yōu)異的分類性能和更低的內(nèi)存占用。

2)該網(wǎng)絡(luò)存在一些問題，由于本文僅在輸電線路場景分類數(shù)據(jù)集上對網(wǎng)絡(luò)進(jìn)行性能驗(yàn)證進(jìn)行性能驗(yàn)證，所以無法說明網(wǎng)絡(luò)的泛化性?？梢岳么笮偷墓矓?shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，并驗(yàn)證網(wǎng)絡(luò)的泛化性。

3)在輸電線路場景分類問題中，由于光照條件以及相機(jī)的拍攝距離、角度的變化，圖像特征會有較大的變化。為了增強(qiáng)分類算法的魯棒性，利用數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集十分必要。