曹志勇，豐 佳，毛文利，李治國，張小燕，賴懷景

（1.國網(wǎng)浙江省電力有限公司電力科學(xué)研究院，杭州 310014；2.國網(wǎng)浙江省電力有限公司，杭州 310007；3.深圳大學(xué) 計(jì)算機(jī)與軟件學(xué)院，廣東 深圳 518052）

0 引言

輸變電線路建設(shè)過程中出現(xiàn)的電力塔基水土流失問題日益得到相關(guān)部門的重視。為了獲取輸電鐵塔的位置并了解輸電鐵塔環(huán)保缺陷、塔基水土流失情況，對電力塔基進(jìn)行巡檢是非常有必要的。傳統(tǒng)的電力塔基環(huán)保缺陷識(shí)別和塔基水土保持檢測通常依靠人力巡視來記錄并收集電力塔基圖像數(shù)據(jù)。而對分布在高山、密林中的輸電鐵塔進(jìn)行巡視非常不方便，因此近年來隨著無人機(jī)技術(shù)和圖像識(shí)別技術(shù)的發(fā)展，研究者們更傾向于應(yīng)用無人機(jī)收集電力桿塔的圖像數(shù)據(jù)，同時(shí)通過圖像識(shí)別技術(shù)來進(jìn)行自動(dòng)診斷[1]。

近年來，隨著人工智能的高速發(fā)展，深度學(xué)習(xí)的目標(biāo)檢測方法層出不窮，讓基于無人機(jī)圖像數(shù)據(jù)的電力桿塔檢測成為了可能[2-4]。隨著深度CNN（卷積神經(jīng)網(wǎng)絡(luò)）的興起，使基于CNN 的深度學(xué)習(xí)算法迅猛發(fā)展。目前應(yīng)用較為廣泛的深度學(xué)習(xí)目標(biāo)檢測算法可分為單階段網(wǎng)絡(luò)和雙階段網(wǎng)絡(luò)。雙階段網(wǎng)絡(luò)為基于區(qū)域的目標(biāo)檢測算法，代表算法有Faster R-CNN（快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)）[5]、Mask R-CNN（實(shí)例分割框架卷積神經(jīng)網(wǎng)絡(luò)）[6]等，該類算法有較高的檢測精度，但檢測速度較慢；單階段網(wǎng)絡(luò)為基于回歸的目標(biāo)檢測算法如YOLO（目標(biāo)檢測算法）[7-9]、SSD（單發(fā)多盒探測器）[10]等，它們的特點(diǎn)是采用端到端的檢測，具有較快的檢測速度。

文獻(xiàn)[11]提出一種基于單目視覺的無人機(jī)近距離對電力桿塔檢測的方法，采用啟發(fā)式提取塔架的顯著線特征并進(jìn)行匹配，然后對線的交點(diǎn)特征進(jìn)行處理，實(shí)現(xiàn)無人機(jī)近距離檢測電力桿塔；文獻(xiàn)[12]提出了新的基于二維特征描述符網(wǎng)格的電力桿塔檢測方法；文獻(xiàn)[13]提出了一種新的電力桿塔檢測方法，讓鐵塔在背景雜波和多目標(biāo)情況下也能有較好的檢測性能；文獻(xiàn)[14]采用CannyEdge 檢測器和霍夫變換提取電力塔基的直線特征。雖然上述研究者們都對電力桿塔的檢測做出了貢獻(xiàn)，但是針對無人機(jī)拍攝圖像的電力塔基地面目標(biāo)檢測尚未提出可行的解決方法。

在電力塔基的地面目標(biāo)檢測中，圖像數(shù)據(jù)通常包含著各種復(fù)雜的背景，如農(nóng)田、草原、樹木、房屋等復(fù)雜背景，影響電力塔基的檢測精度。為了提高航拍圖像中電力塔基的檢測精度，本文在改進(jìn)的Faster R-CNN 算法中引入多尺度特征融合技術(shù)[15-16]和SE（通道注意力機(jī)制）[17]模塊，提出了一種基于特征融合Faster R-CNN 算法的電力塔基地面目標(biāo)檢測方法，提高了航拍圖像中電力塔基的檢測準(zhǔn)確率。

1 基于特征融合的Faster R-CNN 的電力塔基目標(biāo)檢測方法

圖像目標(biāo)檢測是深度學(xué)習(xí)的一個(gè)重要應(yīng)用，指在圖片中將想要的物體識(shí)別出來，并標(biāo)出物體在圖像中的位置。由于物體的尺寸變化范圍很大、擺放角度多變、姿態(tài)不定，而且物體有很多種類別，還可以在圖片中出現(xiàn)多種物體、出現(xiàn)在任意位置，因此，目標(biāo)檢測是一個(gè)非常復(fù)雜的問題。R-CNN（區(qū)域卷積神經(jīng)網(wǎng)絡(luò)）算法通過對原始圖像生成候選區(qū)域然后通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，最后進(jìn)行分類判斷，很好的實(shí)現(xiàn)了圖像的目標(biāo)檢測。Faster R-CNN 算法是從R-CNN 算法發(fā)展而來的一種雙階段網(wǎng)絡(luò)目標(biāo)檢測算法，相比R-CNN 算法具有更高的檢測精度和檢測速度。本文對傳統(tǒng)的Faster R-CNN 算法進(jìn)行適當(dāng)?shù)母倪M(jìn)，進(jìn)一步提高了對電力塔基的檢測精度和檢測速度。

1.1 整體網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)

本文提出的基于多尺度特征融合技術(shù)的Faster R-CNN 電力塔基目標(biāo)檢測方法，其主干網(wǎng)絡(luò)由改進(jìn)的ResNet-50[18]代替VGG-16（卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)）。這主要是因?yàn)镽esNet-50 是每隔2 層或3 層進(jìn)行相加求下一步的輸入，而不是像VGG-16 每一層直接進(jìn)行卷積送入下一層；而且不同于VGG-16 固定每一層的核大小原則，ResNet-50 網(wǎng)絡(luò)結(jié)構(gòu)在設(shè)計(jì)過程中根據(jù)不同的特征圖尺寸改變?yōu)V波器的數(shù)量，以便保持每一層的時(shí)間復(fù)雜度，確保當(dāng)檢測精度達(dá)到最高后，不會(huì)隨著繼續(xù)訓(xùn)練導(dǎo)致精度下降。完整的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。由圖1 可以看出，在ResNet 網(wǎng)絡(luò)中引入SE 模塊后，可以對網(wǎng)絡(luò)中的各大卷積層所產(chǎn)生的特征圖進(jìn)行特征重新校準(zhǔn)，選擇性地強(qiáng)調(diào)信息特征并且抑制無用的特征；為了防止信息丟失過多，在卷積過程中使用了多尺度特征圖融合技術(shù)，結(jié)合淺層和深層特征圖，從而得到信息更為完整的圖像特征。

圖1 改進(jìn)的Faster R-CNN 算法整體網(wǎng)絡(luò)結(jié)構(gòu)

1.2 對損失函數(shù)的改進(jìn)

RPN（候選區(qū)域網(wǎng)絡(luò)）是一種用于自動(dòng)在原圖上生成大量候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)。原圖經(jīng)過基礎(chǔ)特征圖的每一個(gè)像素點(diǎn)的映射后，在原圖上會(huì)生成不同比例大小的錨框。在訓(xùn)練時(shí)，為RPN網(wǎng)絡(luò)生成的每個(gè)錨框都分配一個(gè)二進(jìn)制類標(biāo)簽。通過判定錨框與真實(shí)標(biāo)注框之間的IoU（重疊度）對錨框是否在最終檢測結(jié)果中起作用進(jìn)行篩選。IoU 的閾值是一個(gè)可優(yōu)化的參數(shù)，計(jì)算公式為：

式中：A 為人為在訓(xùn)練集圖像中標(biāo)出的要檢測物體的范圍；B 為算法得出的結(jié)果范圍；是范圍A 與范圍B 的交集；是范圍A 與范圍B 的并集。

當(dāng)錨框與真實(shí)標(biāo)注框的IoU 最高或者錨框和真實(shí)標(biāo)注框的IoU 大于0.7 時(shí)，將錨框的標(biāo)簽設(shè)置為正標(biāo)簽；如果一個(gè)非正錨的IoU 比率低于0.3，本文將給它分配一個(gè)負(fù)標(biāo)簽。非正或者負(fù)標(biāo)簽的錨框?qū)τ诒疚挠?xùn)練的目標(biāo)沒有任何的貢獻(xiàn)，所以可以舍棄這類錨框。

通過這些定義，圖像損失函數(shù)可以表示為：

式中：i 為在小批量中某一錨框的索引值，第i 個(gè)錨框的預(yù)測分類概率為pi，其對應(yīng)的真實(shí)標(biāo)注框標(biāo)簽為，如果錨框的標(biāo)簽是正標(biāo)簽，則對應(yīng)的值為1，否則為0；ti是一個(gè)向量[3]，表示第i 個(gè)錨框預(yù)測的定界框的參數(shù)化坐標(biāo)，其對應(yīng)的真實(shí)標(biāo)注框的坐標(biāo)為；Lcls為對數(shù)分類損失；Lreg為邊框回歸損失，對于Lreg（ti，）=R（ti-），其中R為smooth L1 損失函數(shù)；表示回歸損失僅對正標(biāo)簽錨框計(jì)算，此時(shí)的值為1，而在其他情況下禁用，此時(shí)的值為0；Lcls和Lreg分別為分類層及邊框回歸層輸出歸一化之后的結(jié)果，并由一個(gè)平衡參數(shù)λ 加權(quán)，默認(rèn)情況下，設(shè)置λ=10。

1.3 對SEResNet-50 主干網(wǎng)絡(luò)的改進(jìn)

在本文中，加入SE 模塊的SEResNet-50 作為Faster R-CNN 的主干網(wǎng)絡(luò)，相比以VGG-16 作為主干網(wǎng)絡(luò)的原始Faster R-CNN 來說，ResNet-50有50 層。更深的網(wǎng)絡(luò)結(jié)構(gòu)，使得其在特征提取階段表現(xiàn)更為出色，可以提取出比VGG-16 更加精細(xì)的圖像深層特征。

SE 模塊作為一個(gè)通道注意力機(jī)制，通過賦予不同通道特征以不同的權(quán)重，使得算法更加有效地關(guān)注有用通道的特征信息，抑制無用信息的影響。

1.4 引入多尺度特征圖融合技術(shù)

隨著網(wǎng)絡(luò)的加深，在網(wǎng)絡(luò)進(jìn)行特征提取階段，每層卷積層在產(chǎn)生特征圖時(shí)，會(huì)不可避免的丟失之前卷積層所產(chǎn)生的某些特征圖信息，最后導(dǎo)致信息丟失越來越多，使得最后一層得出的特征圖信息并不完全。為了解決這個(gè)問題，本文引入了多尺度特征融合技術(shù)。通過采用多尺度特征圖融合技術(shù)，將每一層所產(chǎn)生的特征圖與之前各層所產(chǎn)生的特征圖進(jìn)行融合，獲得淺層的特征信息，從而得到更好的檢測效果。

從圖1 可以看出，算法將ResNet-50 的conv2、conv3 所產(chǎn)生的特征圖，通過最大池化的方式，將其分辨率縮小到與conv4 所輸出的特征圖相同的大小，將3 個(gè)特征圖進(jìn)行連接操作，并對結(jié)果進(jìn)行L2 歸一化，接著輸入到1×1 的卷積中進(jìn)行通道降維，最后將結(jié)果送入RPN 網(wǎng)絡(luò)產(chǎn)生ROIS（關(guān)注區(qū)域），使用產(chǎn)生的ROIS 對融合后的特征圖進(jìn)行池化操作，將所得結(jié)果送入后面進(jìn)行最后檢測。

2 電力塔基數(shù)據(jù)集的搭建

在最近的電力塔基研究中，尚未發(fā)現(xiàn)有類型豐富、角度多樣的無人機(jī)航拍電力塔基地面目標(biāo)檢測的數(shù)據(jù)集。因此，為了解決電力塔基地面目標(biāo)檢測問題，本文在多個(gè)自然地點(diǎn)采用無人機(jī)拍攝采集實(shí)驗(yàn)數(shù)據(jù)。為了數(shù)據(jù)多樣性以及增強(qiáng)目標(biāo)檢測算法對于不同拍攝角度的魯棒性，本文從各個(gè)角度對電力塔基進(jìn)行拍攝。

在本文的數(shù)據(jù)集中，原始電力塔基圖片共有898 張，每張圖片原始像素是4 000×3 000。使用公開的LabelImg 標(biāo)注軟件為每一張圖片的電力塔基區(qū)域進(jìn)行人工手動(dòng)標(biāo)注，并生成與之對應(yīng)的XML 格式的文件作為數(shù)據(jù)集的標(biāo)簽文件。為了增強(qiáng)模型的泛化能力，在數(shù)據(jù)預(yù)處理階段，將圖像壓縮為600×600 像素的圖像，同時(shí)將圖像進(jìn)行隨機(jī)縮放、隨機(jī)平移、隨機(jī)旋轉(zhuǎn)、垂直和水平翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)操作，最終得到3 457 張圖片，其中訓(xùn)練集1 358 張圖片，驗(yàn)證集339 張圖片，測試集1 760 張圖片。同時(shí)按照PASAL VOC2007 數(shù)據(jù)集的格式進(jìn)行保存和實(shí)驗(yàn)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)均在64 位的Ubuntu 16.04.5 系統(tǒng)下完成，Python 的安裝版本為3.7.4，PyTorch[19]深度學(xué)習(xí)框架的版本為1.3.1，添加英偉達(dá)CUDA的版本為10.2.108。實(shí)驗(yàn)的訓(xùn)練、測試以及驗(yàn)證的硬件設(shè)備：Intel Xeon（R）CPU E5-2690 v4@2.60 GHz 十四核，配備251.8 GB 內(nèi)存以及英偉達(dá)TESLA P100 PCIe GPU ACCELERATOR（16 GB顯存）。

3.2 模型訓(xùn)練與測試

本文對改進(jìn)的Faster R-CNN 模型進(jìn)行了155 個(gè)Epoch 的訓(xùn)練期，批尺寸設(shè)置為1，初始學(xué)習(xí)率為1×10-4，且學(xué)習(xí)率在每個(gè)Epoch 結(jié)束時(shí)，按照原學(xué)習(xí)率的94%進(jìn)行衰減，同時(shí)模型采用Adam 的優(yōu)化器。算法的錨框大小設(shè)置為8×8、16×16、32×32 三種尺度，縱橫比設(shè)置為1∶2、1∶1、2∶1 比例。測試過程置信度為0.5，基于SERes-Net-50 進(jìn)行圖像特征提取。

圖2 所示為隨迭代次數(shù)增加與平均損失的變化曲線，在迭代次數(shù)達(dá)到155 時(shí)，損失函數(shù)趨于收斂。

圖2 損失變化曲線

在本文中，分別實(shí)驗(yàn)了使用ResNet-50、SEResNet-50 作為主干網(wǎng)絡(luò)，以及分別增加多尺度特征融合技術(shù)的Faster R-CNN 的檢測方法。

表1 表示了4 種檢測方法的檢測時(shí)間以及AP（平均精度）值。其中：VAP50表示當(dāng)設(shè)置IoU 閾值為0.5 時(shí)4 種檢測方法的AP 值，VAP75表示當(dāng)設(shè)置IoU 閾值為0.75 時(shí)4 種檢測方法的AP 值，F(xiàn)PS（每秒幀率）表示每秒識(shí)別的圖像數(shù)量。當(dāng)設(shè)置IoU 閾值為0.75 時(shí)，描繪4 種檢測方法各自的PR（精確率-召回率）曲線，如圖3 所示。

表1 不同檢測方法和IoU 閾值下的AP 值及檢測時(shí)間

圖3 P-R 曲線

從圖3 和表1 中可以看出，在設(shè)置IoU 閾值為0.75 時(shí)，本文通過使用SERetNet-50 結(jié)合多尺度特征融合技術(shù)的Faster R-CNN 檢測方法相比網(wǎng)絡(luò)為RetNet-50 的Faster R-CNN 檢測方法，AP 值提高了2.9%。同時(shí)可以看出，加入了SE 模塊的Faster R-CNN 檢測方法也提高了檢測的準(zhǔn)確率。當(dāng)設(shè)置IoU 閾值為0.5 時(shí)，4 種檢測方法效果較為接近，改進(jìn)方法對精度提升的效果并不明顯。當(dāng)提高IoU 閾值到0.75 時(shí)，4 種檢測方法的檢測精度均明顯下降，但改進(jìn)方法對精度的提升效果較IoU 閾值為0.5 時(shí)變得明顯。IoU 取值范圍對平均精度的影響還有待進(jìn)一步研究。

通過使用訓(xùn)練好的權(quán)值，本文可以得到如圖4 的檢測效果。由圖4 可知，該算法對由無人機(jī)拍攝的圖片上的電力塔基目標(biāo)檢測效果較好。

圖4 測試效果

3.3 算法對比以及分析

本文通過不同IoU 閾值下的AP 值作為評估指標(biāo)對Faster R-CNN、SSD 以及YOLOv4 三種目標(biāo)檢測方法進(jìn)行對比分析。表2 顯示了在同樣的實(shí)驗(yàn)環(huán)境中，改進(jìn)的Faster R-CNN、SSD、YOLOv4的AP 值。從表2 中可以看出，當(dāng)IoU 閾值設(shè)置為0.5 時(shí)，本文使用SEResNet-50 網(wǎng)絡(luò)并結(jié)合多尺度特征融合技術(shù)Faster R-CNN 的目標(biāo)檢測方法AP 值最高，比原始的SSD 高出了5.61%。這主要是因?yàn)镕aster R-CNN 本身具有良好的魯棒性，改進(jìn)的Faster R-CNN 算法進(jìn)一步提高了原有算法的檢測準(zhǔn)確率，使得其AP 值高于YOLOv4 和SSD 算法。

表2 不同算法和IoU 閾值下的AP 值

4 結(jié)語

本文提出了一種基于多尺度特征融合的Faster R-CNN 算法的電力塔基檢測方法。該方法首先將模型主干網(wǎng)絡(luò)換成SEResNet-50；其次結(jié)合多尺度特征融合技術(shù)，將各卷積層輸出的特征圖通過最大池化操作，將特征圖分辨率進(jìn)行統(tǒng)一；接著將特征圖連接在一起并進(jìn)行L2 歸一化后，使用1×1 卷積將通道數(shù)調(diào)整到適合的數(shù)量，將結(jié)果傳輸?shù)絉PN 網(wǎng)絡(luò)和最后的檢測模塊。通過對比Faster R-CNN、SSD、YOLOv4 三種目標(biāo)檢測方法，可知：改進(jìn)的Faster R-CNN 算法在適當(dāng)?shù)腎oU 閾值范圍內(nèi)具有較高的檢測精度。

但是由于該檢測方法分兩階段進(jìn)行，相對其他算法來說，所需檢測時(shí)間略長，因此，本文提出的SEResNet-50 網(wǎng)絡(luò)結(jié)合多尺度融合技術(shù)的電力塔基檢測方法在一定程度上，是以犧牲檢測時(shí)間為代價(jià)來提高檢測率的。

但應(yīng)用該算法可使通過圖像識(shí)別技術(shù)進(jìn)行識(shí)別塔基環(huán)保缺陷及檢測塔基周圍的水土保持情況成為可能，進(jìn)一步的實(shí)驗(yàn)驗(yàn)證有待后續(xù)研究進(jìn)行。