張煥龍，齊企業(yè)，張 杰，王延峰，郭志民，田楊陽(yáng)，陳富國(guó)

基于改進(jìn)YOLOv5的輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法研究

張煥龍1，齊企業(yè)1，張 杰1，王延峰1，郭志民2，田楊陽(yáng)2，陳富國(guó)3,4

(1.鄭州輕工業(yè)大學(xué)電氣信息工程學(xué)院，河南 鄭州 450002；2.國(guó)網(wǎng)河南省電力公司電力科學(xué)研究院，河南 鄭州 450052；3.西安交通大學(xué)電氣學(xué)院，陜西 西安 712000；4.平高集團(tuán)有限公司，河南 平頂山 467001)

輸電線(xiàn)路上的鳥(niǎo)巢會(huì)對(duì)電力設(shè)備的安全運(yùn)行構(gòu)成威脅，甚至影響整個(gè)電力系統(tǒng)的穩(wěn)定性。針對(duì)復(fù)雜場(chǎng)景下輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法適用性較差的問(wèn)題，提出一種基于改進(jìn)YOLOv5的輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法。該方法結(jié)合通道注意機(jī)制和空間注意機(jī)制設(shè)計(jì)特征平衡網(wǎng)絡(luò)，以通道權(quán)值和空間權(quán)值作為引導(dǎo)，實(shí)現(xiàn)檢測(cè)網(wǎng)絡(luò)不同層次特征之間語(yǔ)義信息和空間信息的平衡。同時(shí)，為了避免因網(wǎng)絡(luò)層數(shù)增加導(dǎo)致特征信息不斷被弱化的問(wèn)題，設(shè)計(jì)特征增強(qiáng)模塊以捕獲與鳥(niǎo)巢相關(guān)的通道關(guān)系和位置信息。最后，利用輸電線(xiàn)路無(wú)人機(jī)巡檢圖像建立鳥(niǎo)巢數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。實(shí)驗(yàn)結(jié)果表明，所提出的輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法具有較強(qiáng)的泛化能力和適用性，同時(shí)也為電力圖像缺陷檢測(cè)提供技術(shù)參考。

輸電線(xiàn)路；注意力機(jī)制；無(wú)人機(jī)巡檢；鳥(niǎo)巢檢測(cè)

0 引言

隨著我國(guó)工業(yè)生產(chǎn)和科技規(guī)模的不斷擴(kuò)大，輸電線(xiàn)路的數(shù)量不斷增加[1]。近年來(lái)，由于自然環(huán)境不斷改善，鳥(niǎo)類(lèi)繁殖活動(dòng)也日益頻繁。然而，鳥(niǎo)類(lèi)在輸電線(xiàn)路鐵塔的筑巢行為會(huì)對(duì)電網(wǎng)的安全運(yùn)行構(gòu)成巨大威脅[2-3]，因此，定期對(duì)輸電線(xiàn)路進(jìn)行巡檢，及時(shí)發(fā)現(xiàn)并拆除鳥(niǎo)巢是非常有必要的。

最近，無(wú)人機(jī)巡檢相關(guān)技術(shù)被應(yīng)用到輸電線(xiàn)路巡檢[4-5]，通過(guò)對(duì)航拍圖像進(jìn)行目標(biāo)檢測(cè)，可以有效識(shí)別輸電線(xiàn)路的各類(lèi)缺陷[6-9]，提升巡檢智能化水平。對(duì)于輸電線(xiàn)路巡檢圖像中的鳥(niǎo)巢進(jìn)行識(shí)別與定位，國(guó)內(nèi)外已經(jīng)開(kāi)展相關(guān)研究工作，其方法主要分為兩大類(lèi)。

1) 基于傳統(tǒng)的圖像處理方法。文獻(xiàn)[10]通過(guò)對(duì)圖像中關(guān)鍵區(qū)域HOG(方向梯度直方圖)特征的提取，能夠自動(dòng)甄別出鳥(niǎo)巢區(qū)域。文獻(xiàn)[11]提出利用條紋方向直方圖和條紋長(zhǎng)度直方圖來(lái)描述鳥(niǎo)巢，并將其用到接觸網(wǎng)中鳥(niǎo)巢的檢測(cè)。文獻(xiàn)[12]首先使用分塊和聚類(lèi)的方法識(shí)別鐵塔區(qū)域，然后結(jié)合鳥(niǎo)巢的形狀、顏色和紋理特征，有效識(shí)別無(wú)人機(jī)巡檢圖像中的鳥(niǎo)巢?；趥鹘y(tǒng)的圖像處理方法具有流程簡(jiǎn)單、計(jì)算量小的優(yōu)點(diǎn)，由于航拍圖像中鳥(niǎo)巢特征的不確定性導(dǎo)致傳統(tǒng)的圖像處理方法精度較低，難以實(shí)際應(yīng)用。

2) 基于深度學(xué)習(xí)的方法。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步[13]，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法已經(jīng)被用于輸電線(xiàn)路鳥(niǎo)巢檢測(cè)相關(guān)領(lǐng)域。文獻(xiàn)[14]提出一種基于SSD網(wǎng)絡(luò)的輸電線(xiàn)路鐵塔鳥(niǎo)巢檢測(cè)方法，通過(guò)使用ResNet-101替換原始特征提取網(wǎng)絡(luò)和改進(jìn)損失函數(shù)的方法提高準(zhǔn)確度和召回率。文獻(xiàn)[15]通過(guò)使用多種數(shù)據(jù)增廣方法來(lái)解決鳥(niǎo)巢樣本不足的問(wèn)題，采用Faster-RCNN網(wǎng)絡(luò)實(shí)現(xiàn)巡檢圖像中鳥(niǎo)巢的自動(dòng)識(shí)別。文獻(xiàn)[16]提出一種改進(jìn)的RetinaNet單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)，通過(guò)增加特征層來(lái)擴(kuò)充網(wǎng)絡(luò)的感受野范圍，提高目標(biāo)較小的鳥(niǎo)巢檢測(cè)能力。文獻(xiàn)[17]提出一種基于Cascade R-CNN的配電網(wǎng)鳥(niǎo)巢檢測(cè)方法，得益于其多階段目標(biāo)檢測(cè)結(jié)構(gòu)，鳥(niǎo)巢檢測(cè)精度進(jìn)一步提高。文獻(xiàn)[18]通過(guò)引入金字塔池化模塊改進(jìn)YOLOv3網(wǎng)絡(luò)，獲得較好的精度，但該方法需要對(duì)鳥(niǎo)巢圖像進(jìn)行預(yù)處理，檢測(cè)過(guò)程較為復(fù)雜?；谏疃葘W(xué)習(xí)的方法得益于大規(guī)模的離線(xiàn)訓(xùn)練，能夠較好地描述目標(biāo)特征，與基于傳統(tǒng)的圖像處理方法相比，檢測(cè)精度得到大幅提升。然而，由于輸電線(xiàn)路巡檢圖像中的鳥(niǎo)巢具有多樣性和隨機(jī)性，且鳥(niǎo)巢的形態(tài)、尺度多變，上述研究方法并沒(méi)有對(duì)網(wǎng)絡(luò)中關(guān)于鳥(niǎo)巢的特征信息進(jìn)行關(guān)注和處理，導(dǎo)致復(fù)雜場(chǎng)景中區(qū)分鳥(niǎo)巢和背景的能力并未得到改善，難以快速準(zhǔn)確地完成輸電線(xiàn)路鳥(niǎo)巢檢測(cè)工作。

綜上所述，關(guān)于輸電線(xiàn)路巡檢圖像鳥(niǎo)巢檢測(cè)的課題，國(guó)內(nèi)外已經(jīng)進(jìn)行了相關(guān)研究，但其工作尚不完善，主要體現(xiàn)在以下兩個(gè)方面。

一方面，由于輸電線(xiàn)路周?chē)哂袕?fù)雜的場(chǎng)景，導(dǎo)致常見(jiàn)的目標(biāo)檢測(cè)方法在提取鳥(niǎo)巢特征時(shí)比較困難，進(jìn)而使檢測(cè)性能下降，適用性受限。

另一方面，隨著無(wú)人機(jī)巡檢的推廣應(yīng)用，為了更好地將模型嵌入到機(jī)載邊緣計(jì)算設(shè)備，要求模型的參數(shù)規(guī)模不宜過(guò)大，檢測(cè)速度需滿(mǎn)足實(shí)時(shí)性要求。因此，迫切需要一種簡(jiǎn)潔又高效的目標(biāo)檢測(cè)方法來(lái)克服以上挑戰(zhàn)。

為了解決以上問(wèn)題，本文提出一種基于改進(jìn)YOLOv5的輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法?？紤]到檢測(cè)網(wǎng)絡(luò)中不同層次特征之間存在語(yǔ)義信息和空間信息的差異可能導(dǎo)致檢測(cè)精度下降的問(wèn)題，提出特征平衡網(wǎng)絡(luò)(feature balance network, FBN)實(shí)現(xiàn)檢測(cè)網(wǎng)絡(luò)不同層次特征之間特征信息的平衡，提升復(fù)雜場(chǎng)景下鳥(niǎo)巢檢測(cè)的精度。其次，為了避免因網(wǎng)絡(luò)層數(shù)增加導(dǎo)致特征信息不斷被弱化，提出特征增強(qiáng)模塊(feature enhancement module, FEM)來(lái)捕獲與鳥(niǎo)巢相關(guān)的通道關(guān)系和位置信息。最后，使用無(wú)人機(jī)巡檢圖像構(gòu)建鳥(niǎo)巢數(shù)據(jù)集，并對(duì)不同的檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試。結(jié)果表明，本文提出的方法對(duì)于輸電線(xiàn)路鳥(niǎo)巢檢測(cè)具有較強(qiáng)的泛化能力和適用性，且能夠滿(mǎn)足實(shí)時(shí)性巡檢需求。

1 YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)

與其他經(jīng)典的目標(biāo)檢測(cè)網(wǎng)絡(luò)相比，YOLOv5網(wǎng)絡(luò)在檢測(cè)精度和檢測(cè)速度方面取得了良好的平衡，是目前最先進(jìn)的目標(biāo)檢測(cè)網(wǎng)絡(luò)之一[19-20]。YOLOv5網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖1所示，其網(wǎng)絡(luò)結(jié)構(gòu)主要由三部分組成：特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)圖

輸入圖像首先經(jīng)過(guò)特征提取網(wǎng)絡(luò)提取圖像中的特征信息，并得到三個(gè)不同尺度特征的輸出。特征提取網(wǎng)絡(luò)的Focus模塊(如圖2(a)所示)主要用來(lái)進(jìn)行切片操作，在不丟失特征信息的情況下增加特征圖的通道數(shù)，并得到二倍下采樣特征圖。CBL模塊(如圖2(b)所示)由卷積、批歸一化層(batch normalization, BN)和激活層組成。局部跨階段(cross stage partial, CSP)[21](如圖2(c)、圖2(d)所示)模塊采用殘差學(xué)習(xí)的思想，在加深網(wǎng)絡(luò)的同時(shí)，能夠有效防止梯度消失。空間金字塔池化(spatial pyramid pooling, SPP)[22](如圖2(e)所示)模塊使用多個(gè)不同尺度的最大池化層來(lái)增加網(wǎng)絡(luò)的感受野，獲取不同尺度的特征。

圖2 YOLOv5網(wǎng)絡(luò)中不同組件結(jié)構(gòu)圖

最后將特征融合網(wǎng)絡(luò)的輸出送入預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行目標(biāo)分類(lèi)和邊界框回歸，通過(guò)非極大抑制(non- maximum suppression, NMS)方法保留置信度最高的預(yù)測(cè)框，完成整個(gè)目標(biāo)檢測(cè)過(guò)程。

2 方法設(shè)計(jì)

為了解決復(fù)雜場(chǎng)景中現(xiàn)有輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法適用性較差的問(wèn)題，通過(guò)設(shè)計(jì)特征平衡網(wǎng)絡(luò)和特征增強(qiáng)模塊并將其應(yīng)用于YOLOv5網(wǎng)絡(luò)，提出一種基于改進(jìn)YOLOv5的輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法。

2.1 整體框架

本文中使用的方法是在YOLOv5網(wǎng)絡(luò)的基礎(chǔ)上，并根據(jù)任務(wù)的特征進(jìn)一步改進(jìn)的?；诟倪M(jìn)YOLOv5的輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法框架圖如圖3所示。整個(gè)輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法的框架由輸入端、特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和輸出端4部分組成。

圖3 基于改進(jìn)YOLOv5的輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法框架圖

特征提取網(wǎng)絡(luò)對(duì)輸入的巡檢圖像逐層提取特征，由于不同層次特征的功能不同，高層特征包含更多的語(yǔ)義信息有利于鳥(niǎo)巢與背景的區(qū)分，而低層特征包含更豐富的空間信息對(duì)于鳥(niǎo)巢的定位是必不可少的，因此，特征提取網(wǎng)絡(luò)同時(shí)保留高、中、低三個(gè)不同層次的特征作為輸出。

輸出端與原始YOLOv5網(wǎng)絡(luò)一致，利用輸入特征圖對(duì)鳥(niǎo)巢與背景進(jìn)行分類(lèi)，并用矩形檢測(cè)框表示鳥(niǎo)巢的位置。

2.2 特征平衡網(wǎng)絡(luò)

在檢測(cè)網(wǎng)絡(luò)中，對(duì)不同尺度特征的融合是提高檢測(cè)性能的一個(gè)重要手段。高層特征具有更多的語(yǔ)義信息，但是分辨率很低，對(duì)鳥(niǎo)巢細(xì)節(jié)的感知能力較差；低層特征分辨率更高，包含更多的鳥(niǎo)巢位置、細(xì)節(jié)信息，但是由于經(jīng)過(guò)的卷積層數(shù)較少，其語(yǔ)義性更低，噪聲更多。如何彌補(bǔ)這兩者的缺點(diǎn)，并將它們進(jìn)行高效融合，是提升復(fù)雜場(chǎng)景下鳥(niǎo)巢檢測(cè)模型性能的關(guān)鍵。

圖4 特征平衡網(wǎng)絡(luò)結(jié)構(gòu)圖

特征平衡網(wǎng)絡(luò)通過(guò)這樣的方式很好地彌補(bǔ)了不同層次特征之間的信息差距，在不過(guò)多增加網(wǎng)絡(luò)計(jì)算量的情況下顯著提高復(fù)雜場(chǎng)景中鳥(niǎo)巢特征的提取性能。

1) 通道注意分支

在特征圖中，不同的通道通常代表著不同的目標(biāo)。通道注意機(jī)制能夠自適應(yīng)地重新校準(zhǔn)每個(gè)通道的重要性，可以看作是一個(gè)目標(biāo)的選擇過(guò)程。通道注意分支利用高層特征圖計(jì)算通道權(quán)值對(duì)低層特征圖進(jìn)行引導(dǎo)，這有助于低層特征圖更好地區(qū)分鳥(niǎo)巢與背景。

圖5 通道注意分支

2) 空間注意分支

空間注意機(jī)制可以看作是一種適應(yīng)性的空間位置選擇機(jī)制?？臻g注意分支利用低層特征計(jì)算空間權(quán)值對(duì)高層特征進(jìn)行引導(dǎo)，這有助于高層特征圖更好的獲取鳥(niǎo)巢的位置信息。

式中：AvgPool和MaxPool分別表示平均池化和最大池化；表示卷積核大小為的卷積操作。

2.3 特征增強(qiáng)模塊

由于網(wǎng)絡(luò)層數(shù)的不斷加深導(dǎo)致目標(biāo)特征信息不斷被弱化，使得網(wǎng)絡(luò)難以利用鳥(niǎo)巢特征進(jìn)行準(zhǔn)確的定位與分類(lèi)，因此限制了YOLOv5在復(fù)雜場(chǎng)景中的檢測(cè)性能。為了進(jìn)一步細(xì)化特征的表示，提出基于坐標(biāo)注意力機(jī)制(coordinate attention mechanism, CAM)[25]的特征增強(qiáng)模塊。坐標(biāo)注意力機(jī)制可以準(zhǔn)確獲取巡檢圖像的通道關(guān)系和位置信息，幫助網(wǎng)絡(luò)關(guān)注圖像中與鳥(niǎo)巢相關(guān)的特征，抑制無(wú)關(guān)特征，達(dá)到增強(qiáng)特征信息的目的。

寬度為的特征池化過(guò)程為

圖7 特征增強(qiáng)模塊結(jié)構(gòu)圖

綜上，特征增強(qiáng)模塊對(duì)于融合后的特征圖分別沿水平方向和垂直方向計(jì)算注意力，這種編碼的過(guò)程可以幫助特征圖提取目標(biāo)特征信息，讓網(wǎng)絡(luò)注意到不易檢測(cè)的目標(biāo)，增強(qiáng)檢測(cè)能力。

3 實(shí)驗(yàn)

3.1 方法實(shí)現(xiàn)

本文采用Intel Core i7-9700k@3.60 GHz，NVIDIA Quadro RTX 4000 8 G硬件平臺(tái)實(shí)現(xiàn)基于改進(jìn)YOLOv5的輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法，具體步驟如下所述。

步驟1：基于Python 3.6、CUDA10.0和Pytorch 1.2.0軟件環(huán)境搭建改進(jìn)的YOLOv5檢測(cè)模型，通過(guò)加載預(yù)訓(xùn)練參數(shù)的方式加快模型收斂。

步驟2：采集無(wú)人機(jī)輸電線(xiàn)路巡檢圖像并進(jìn)行數(shù)據(jù)增強(qiáng)，然后使用labelimg軟件對(duì)圖像進(jìn)行標(biāo)注，劃分訓(xùn)練集和測(cè)試集。

步驟3：將訓(xùn)練集接入改進(jìn)的YOLOv5模型進(jìn)行訓(xùn)練，損失函數(shù)包括分類(lèi)損失、定位損失和置信度損失。初始學(xué)習(xí)率設(shè)置為0.001，采用Adam算法更新網(wǎng)絡(luò)權(quán)重，批處理樣本數(shù)設(shè)置為16。

步驟4：通過(guò)不斷迭代得到最優(yōu)參數(shù)模型，實(shí)現(xiàn)輸電線(xiàn)路鳥(niǎo)巢檢測(cè)。利用測(cè)試集對(duì)模型進(jìn)行測(cè)試，采用均值平均精度(mean average precision, mAP)作為檢測(cè)性能的評(píng)價(jià)指標(biāo)，參數(shù)規(guī)模和檢測(cè)時(shí)間(ms)作為檢測(cè)效率的評(píng)價(jià)指標(biāo)。

3.2 數(shù)據(jù)集詳細(xì)說(shuō)明

本文使用河南省輸電線(xiàn)路無(wú)人機(jī)航拍圖像進(jìn)行實(shí)驗(yàn)，不同場(chǎng)景下的鳥(niǎo)巢樣本如圖8所示。獲取的巡檢圖像包含各種具有挑戰(zhàn)性的鳥(niǎo)巢目標(biāo)，如復(fù)雜背景、遮擋和小目標(biāo)等，以更好地評(píng)估不同方法的適用性和魯棒性。

圖8 不同場(chǎng)景下的鳥(niǎo)巢樣本

為了減少網(wǎng)絡(luò)過(guò)擬合現(xiàn)象的發(fā)生，使訓(xùn)練后的模型能夠獲得更好的檢測(cè)結(jié)果，采用隨機(jī)亮度、添加高斯噪聲等多種數(shù)據(jù)增強(qiáng)方法對(duì)初始采集圖像進(jìn)行擴(kuò)充，最終得到3328幅增強(qiáng)圖像。最后，將整個(gè)數(shù)據(jù)集按照7:3的比例隨機(jī)劃分為訓(xùn)練集和測(cè)試集。

3.3 結(jié)果與分析

為了評(píng)估不同改進(jìn)策略對(duì)YOLOv5檢測(cè)性能的影響，在鳥(niǎo)巢數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，改進(jìn)前后的模型采用相同的訓(xùn)練策略和評(píng)估標(biāo)準(zhǔn)以便進(jìn)行公平的比較，檢測(cè)效果如表1所示。

表1 YOLOv5不同改進(jìn)策略的檢測(cè)效果對(duì)比

由表1可以看出，測(cè)試集鳥(niǎo)巢目標(biāo)數(shù)量為1120個(gè)，原始YOLOv5方法能夠檢出1015個(gè)，基于特征平衡網(wǎng)絡(luò)改進(jìn)的YOLOv5(FBN-YOLOv5)和基于特征增強(qiáng)模塊改進(jìn)的YOLOv5(FEM-YOLOv5)檢出個(gè)數(shù)分別為1035個(gè)和1037個(gè)，mAP值分別提升2.58%和2.21%，檢測(cè)性能的提升較為明顯。FBN- YOLOv5考慮到兩個(gè)特征之間包含語(yǔ)義信息和空間信息的差異性，通過(guò)特征平衡網(wǎng)絡(luò)可以得到同時(shí)包含語(yǔ)義和空間兩種信息的特征圖，實(shí)現(xiàn)更好的特征表示，因此檢測(cè)精度獲得提升。FEM-YOLOv5結(jié)合坐標(biāo)注意力機(jī)制，幫助網(wǎng)絡(luò)具備特征選擇能力，避免因網(wǎng)絡(luò)的不斷加深導(dǎo)致目標(biāo)特征信息不斷被弱化的問(wèn)題。值得注意的是，將以上改進(jìn)同時(shí)應(yīng)用于YOLOv5(FF-YOLOv5)，檢測(cè)性能得到進(jìn)一步的提升，其檢出個(gè)數(shù)為1038個(gè)，mAP值提升4.19%，證明本文方法的有效性和可行性。

為了更好地顯示改進(jìn)前后的YOLOv5在輸電線(xiàn)路鳥(niǎo)巢數(shù)據(jù)集上的檢測(cè)效果，圖9(a)和圖9(b)分別展示了YOLOv5與FF-YOLOv5的可視化結(jié)果。

由圖9可以得出以下結(jié)論：原始的YOLOv5方法在面對(duì)復(fù)雜場(chǎng)景時(shí)容易出現(xiàn)漏檢，這是因?yàn)樵趶?fù)雜場(chǎng)景中，關(guān)于鳥(niǎo)巢的特征信息難以被網(wǎng)絡(luò)挖掘，進(jìn)而降低了網(wǎng)絡(luò)的泛化能力；而改進(jìn)后的YOLOv5方法利用特征平衡網(wǎng)絡(luò)和特征增強(qiáng)模塊增強(qiáng)特征信息的表示，使得網(wǎng)絡(luò)具備鳥(niǎo)巢目標(biāo)特征選擇能力，獲得更好的檢測(cè)效果。

圖9 YOLOv5和FF-YOLOv5的檢測(cè)結(jié)果示意圖

考慮到實(shí)際電力巡檢對(duì)模型復(fù)雜度和實(shí)時(shí)性的要求，本文對(duì)不同改進(jìn)策略的網(wǎng)絡(luò)參數(shù)規(guī)模和檢測(cè)時(shí)間進(jìn)行對(duì)比，結(jié)果如表2所示。

表2 YOLOv5不同改進(jìn)策略的檢測(cè)效率對(duì)比

由表2可以看出，基于特征平衡網(wǎng)絡(luò)改進(jìn)的YOLOv5和基于特征增強(qiáng)模塊改進(jìn)的YOLOv5的參數(shù)規(guī)模和檢測(cè)時(shí)間都有一定程度的增加，但是增加不明顯。此外，二者的綜合作用FF-YOLOv5的參數(shù)規(guī)模相較于YOLOv5只增加0.27×106，而檢測(cè)時(shí)間僅僅增加了2.1?ms，保證了網(wǎng)絡(luò)模型的輕量化和實(shí)時(shí)性。

為了驗(yàn)證本文提出的FF-YOLOv5方法與其他經(jīng)典目標(biāo)檢測(cè)方法的優(yōu)越性，在相同數(shù)據(jù)集下對(duì)不同檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同檢測(cè)方法的測(cè)試結(jié)果

從表3可以看出，基于Faster R-CNN、SSD的鳥(niǎo)巢檢測(cè)方法由于基礎(chǔ)網(wǎng)絡(luò)框架的限制，檢測(cè)精度較低，難以實(shí)際應(yīng)用；基于YOLOv3的鳥(niǎo)巢檢測(cè)方法由于采用更深的特征提取網(wǎng)絡(luò)和多尺度預(yù)測(cè)的方法，獲得了較好的檢測(cè)精度；基于Retinanet的鳥(niǎo)巢檢測(cè)方法由于采用更深的網(wǎng)絡(luò)結(jié)構(gòu)并解決正負(fù)樣本不均衡的問(wèn)題，提升了網(wǎng)絡(luò)的性能。但是以上兩種方法存在參數(shù)規(guī)模過(guò)大的短板，難以滿(mǎn)足無(wú)人機(jī)巡檢的輕量化需求；基于YOLOv5的鳥(niǎo)巢檢測(cè)方法在參數(shù)規(guī)模和檢測(cè)精度方面取得理想的效果，而改進(jìn)后的YOLOv5方法在參數(shù)規(guī)模和檢測(cè)精度之間取得了更好的平衡，能夠滿(mǎn)足無(wú)人機(jī)實(shí)時(shí)巡檢需求。

為了進(jìn)一步驗(yàn)證FF-YOLOv5方法的適用性和魯棒性，選擇包含多種典型場(chǎng)景的航拍圖像來(lái)展示其可視化性能，如圖10所示。

具體而言，復(fù)雜背景下的實(shí)驗(yàn)效果如圖10(a)所示。盡管樹(shù)木錯(cuò)綜復(fù)雜，且顏色與鳥(niǎo)巢相似，但FF-YOLOv5方法仍能正確檢測(cè)出鳥(niǎo)巢所在的位置；圖10(b)顯示鳥(niǎo)巢被鐵塔遮擋的實(shí)驗(yàn)效果，雖然鳥(niǎo)巢輪廓不夠清晰，但鳥(niǎo)巢依然能被準(zhǔn)確定位；圖10(c)由于受圖像采集設(shè)備、拍攝距離等因素的影響，鳥(niǎo)巢在整個(gè)圖像中所占的比例可能很小，F(xiàn)F-YOLOv5仍展現(xiàn)出良好的檢測(cè)效果。

4 結(jié)論

本文提出一種基于改進(jìn)YOLOv5的輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法，有效地提高了鳥(niǎo)巢的檢測(cè)精度。該方法具有以下的特點(diǎn)。

1) 了解決復(fù)雜場(chǎng)景下現(xiàn)有輸電線(xiàn)路鳥(niǎo)巢檢測(cè)方法適用性較差的問(wèn)題，提出特征平衡網(wǎng)絡(luò)和特征增強(qiáng)模塊對(duì)YOLOv5進(jìn)行改進(jìn)，實(shí)現(xiàn)鳥(niǎo)巢檢測(cè)精度的提升。

特征平衡網(wǎng)絡(luò)包含通道注意分支和空間注意分支，在通道注意分支，高層特征通過(guò)為低層特征提供通道注意掩碼來(lái)引導(dǎo)低層特征，從而獲得一個(gè)具有語(yǔ)義信息的低層特征圖；在空間注意分支，低層特征生成一個(gè)空間注意掩碼來(lái)引導(dǎo)高層特征，從而獲得一個(gè)具有空間信息的高層特征圖。通過(guò)這樣的方式很好地彌補(bǔ)了不同層次特征之間的信息差距。

特征增強(qiáng)模塊結(jié)合坐標(biāo)注意力的思想，沿水平方向和垂直方向計(jì)算注意力，能夠準(zhǔn)確獲取巡檢圖像的通道關(guān)系和位置信息，幫助網(wǎng)絡(luò)關(guān)注圖像中與鳥(niǎo)巢相關(guān)的特征，抑制無(wú)關(guān)特征。

2) 基于改進(jìn)YOLOv5的鳥(niǎo)巢檢測(cè)模型的參數(shù)規(guī)模為27.22×106，檢測(cè)時(shí)間僅為22.2 ms，能夠滿(mǎn)足無(wú)人機(jī)邊緣設(shè)備對(duì)于模型輕量化、實(shí)時(shí)性的需求。

本文提出的方法能夠高效地完成多種不同輸電線(xiàn)路場(chǎng)景下的鳥(niǎo)巢檢測(cè)任務(wù)，具有良好的工程應(yīng)用價(jià)值。此外，本文提出的基于改進(jìn)YOLOv5的目標(biāo)檢測(cè)方法同樣適用于其他電力圖像缺陷的檢測(cè)，如絕緣子破損、防震錘缺失等。

[1] 張瑤, 王傲寒, 張宏. 中國(guó)智能電網(wǎng)發(fā)展綜述[J]. 電力系統(tǒng)保護(hù)與控制, 2021, 49(5): 180-187.

ZHANG Yao, WANG Aohan, ZHANG Hong. Overview of smart grid development in China[J]. Power System Protection and Control, 2021, 49(5): 180-187.

[2] 王少華, 葉自強(qiáng). 架空輸電線(xiàn)路鳥(niǎo)害故障及其防治技術(shù)措施[J]. 高壓電器, 2011, 47(2): 61-67.

WANG Shaohua, YE Ziqiang. Analysis of bird damage accidents on overhead transmission lines and prevention techniques[J]. High Voltage Apparatus, 2011, 47(2): 61-67.

[3] 李長(zhǎng)看, 盧明, 龐鍇, 等. 河南輸電線(xiàn)路涉鳥(niǎo)故障分布特征及分級(jí)研究[J]. 高壓電器, 2015, 51(12): 48-54.

LI Changkan, LU Ming, PANG Kai, et al. Distribution characteristics and classification of bird fault in Henan transmission line[J]. High Voltage Apparatus, 2015, 51(12): 48-54.

[4] 劉躍波, 馬立新. 電力巡檢無(wú)人機(jī)避障技術(shù)研究[J]. 電子測(cè)量技術(shù), 2019, 42(13): 1-5.

LIU Yuebo, MA Lixin. Research on obstacle avoidance technology of electric patrol UAV[J]. Electronic Measurement Technology, 2019, 42(13): 1-5.

[5] 麻衛(wèi)峰, 王成, 王金亮, 等. 基于激光點(diǎn)云的高壓輸電線(xiàn)覆冰厚度反演[J]. 電力系統(tǒng)保護(hù)與控制, 2021, 49(4): 89-95.

MA Weifeng, WANG Cheng, WANG Jinliang, et al. Inversion of ice thickness for high voltage transmission line based on a LiDAR point cloud[J]. Power System Protection and Control, 2021, 49(4): 89-95.

[6] LIU Chuanyang, WU Yiquan, LIU Jingjing, et al. Insulator faults detection in aerial images from high-voltage transmission lines based on deep learning model[J]. Applied Sciences, 2021, 11(10).

[7] 隋宇, 寧平凡, 牛萍娟, 等. 面向架空輸電線(xiàn)路的掛載無(wú)人機(jī)電力巡檢技術(shù)研究綜述[J]. 電網(wǎng)技術(shù), 2021, 45(9): 3636-3648.

SUI Yu, NING Pingfan, NIU Pingjuan, et al. Review on mounted UAV for transmission line inspection[J]. Power System Technology, 2021, 45(9): 3636-3648.

[8] 顧曉東, 唐丹宏, 黃曉華. 基于深度學(xué)習(xí)的電網(wǎng)巡檢圖像缺陷檢測(cè)與識(shí)別[J]. 電力系統(tǒng)保護(hù)與控制, 2021, 49(5): 91-97.

GU Xiaodong, TANG Danhong, HUANG Xiaohua. Deep learning-based defect detection and recognition of a power grid inspection image[J]. Power System Protection and Control, 2021, 49(5): 91-97.

[9] 何寧輝, 王世杰, 劉軍福, 等. 基于深度學(xué)習(xí)的航拍圖像絕緣子缺失檢測(cè)方法研究[J]. 電力系統(tǒng)保護(hù)與控制, 2021, 49(12): 132-140.

HE Ninghui, WANG Shijie, LIU Junfu, et al. Research on infrared image missing insulator detection method based on deep learning[J]. Power System Protection and Control, 2021, 49(12): 132-140.

[10] 段旺旺, 唐鵬, 金煒東, 等. 基于關(guān)鍵區(qū)域HOG特征的鐵路接觸網(wǎng)鳥(niǎo)巢檢測(cè)[J]. 中國(guó)鐵路, 2015(8): 73-77.

[11] WU Xiao, YUAN Ping, PENG Qiang, et al. Detection of bird nests in overhead catenary system images for high-speed rail[J]. Pattern Recognition, 2016, 51: 242-254.

[12] 徐晶, 韓軍, 童志剛, 等. 一種無(wú)人機(jī)圖像的鐵塔上鳥(niǎo)巢檢測(cè)方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2017, 53(6): 231-235.

XU Jing, HAN Jun, DONG Zhigang, et al. Method for detecting bird’s nest on tower based on UAV image[J]. Computer Engineering and Applications, 2017, 53(6): 231-235.

[13] MASITA K L, HASAN A N, SHONEWE T. Deep learning in object detection: a review[C] // 2020 International Conference on Artificial Intelligence, Big Data, Computing and Data Communication Systems (icABCD), August 6-7, 2020, Durban, South Africa: 1-11.

[14] 祁婕, 焦良葆. 改進(jìn)SSD的輸電鐵塔鳥(niǎo)窩檢測(cè)[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2020, 29(5): 202-208.

QI Jie, JIAO Liangbao. Bird nest detection on transmission tower based on improved SSD algorithm[J]. Computer Systems & Applications, 2020, 29(5): 202-208.

[15] LI Fan, XIN Jianbo, CHEN Tian, et al. An automatic detection method of bird’s nest on transmission line tower based on faster_RCNN[J]. IEEE Access, 2020, 8: 164214-164221.

[16] 劉國(guó)文, 張彩霞, 李斌, 等. 基于改進(jìn)RetinaNet模型的接觸網(wǎng)鳥(niǎo)巢檢測(cè)[J]. 數(shù)據(jù)采集與處理, 2020, 35(3): 563-571.

LIU Guowen, ZHANG Caixia, LI Bin, et al. Detection of birds’ nest in catenary based on improved RetinaNet model[J]. Journal of Data Acquisition and Processing, 2020, 35(3): 563-571.

[17] 趙鍇, 李繼東, 黃佳, 等. 基于Cascade R-CNN的配電網(wǎng)鳥(niǎo)巢檢測(cè)[J]. 浙江電力, 2021, 40(3): 73-78.

ZHAO Kai, LI Jidong, HUANG Jia, et al. Bird nest detection in distribution network based on cascade R-CNN[J]. Zhejiang Electric Power, 2021, 40(3): 73-78.

[18] 屈志堅(jiān), 高天姿, 池瑞, 等. 基于改進(jìn)的YOLOv3接觸網(wǎng)鳥(niǎo)巢檢測(cè)與識(shí)別[J]. 華東交通大學(xué)學(xué)報(bào), 2021, 38(4): 72-80.

QU Zhiqiang, GAO Tianzi, CHI Rui, et al. Detection and recognition of bird nests in overhead catenary systems based on improved YOLOv3[J]. Journal of East China Jiaotong University, 2021, 38(4): 72-80.

[19] ZHOU Fangbo, ZHAO Huailin, NIE Zhen. Safety helmet detection based on YOLOv5[C] // 2021 IEEE International Conference on Power Electronics, Computer Applications (ICPECA), January 22-24, 2021, Shenyang, China: 6-11.

[20] FENG Zhiqiang, GUO Li, HUANG Darong, et al. Electrical insulator defects detection method based on YOLOv5[C] // 2021 IEEE 10th Data Driven Control and Learning Systems Conference (DDCLS), May 14-16, 2021, Suzhou, China: 979-984.

[21] WANG Chenyao, LIAO Hongyuan, WU Yuhua, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C] // 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), June 14-19, 2020, Seattle, WA, USA: 1571-1580.

[22] HE K, ZHANG Xiangyu, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[23] LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI, USA: 2117-2125.

[24] LIU Shu, QI Lu, QIN Haifang, et al. Path aggregation network for instance segmentation[C] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA: 8759-8768.

[25] HOU Qibin, ZHOU Daquan, FENG Jiashi. Coordinate attention for efficient mobile network design[C] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 20-25, 2021, Nashville, TN, USA: 13713-13722.

Bird nest detection method for transmission lines based on improved YOLOv5

ZHANG Huanlong1, QI Qiye1, ZHANG Jie1, WANG Yanfeng1, GUO Zhimin2, TIAN Yangyang2, CHEN Fuguo3, 4

(1. College of Electrical and Information Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China;2. State Grid Henan Electric Power Research Institute, Zhengzhou 450052, China; 3. School of Electrical Engineering,Xi'an Jiaotong University, Xi'an 712000, China; 4. Pinggao Group Co., Ltd., Pingdingshan 467001, China)

The bird nests on transmission lines can pose a threat to the safe operation of power equipment and even affect the stability of the whole power system. To address the problem of poor applicability of transmission line bird nest detection methods in complex scenarios, an improved YOLOv5-based transmission line bird nest detection method is proposed in this paper. This method first designs a feature balancing network by combining a channel attention and spatial attention mechanism, and uses channel weights and spatial weights as a guide to achieve the balance of semantic and spatial information between features in different levels of the detection network. To avoid the continuous weakening of the feature information because of the increase of network layers, a feature enhancement module is proposed to capture the channel and location information related to the bird nest. Finally, transmission line UAV inspection images are used to build a bird nest dataset for training and testing. The experimental results show that the proposed transmission line bird nest detection method has strong generalization capability and applicability, and also provides technical reference for power image defect detection.

transmission lines; attention mechanism; UAV inspection; bird's nest detection

10.19783/j.cnki.pspc.220428

國(guó)家自然科學(xué)基金項(xiàng)目資助(62102373，61873246，62072416，62006213)；河南省科技攻關(guān)計(jì)劃項(xiàng)目資助(212102310053，222102320321)；河南省高校科技創(chuàng)新人才項(xiàng)目資助(21HASTIT028)

This work is supported by the National Natural Science Foundation of China (No. 62102373, No. 61873246, No. 62072416 and No. 62006213).

2022-03-27；

2022-06-20

張煥龍(1981—)，男，博士，副教授，研究方向?yàn)槟Ｊ阶R(shí)別、機(jī)器學(xué)習(xí)、圖像處理、計(jì)算機(jī)視覺(jué)和電力人工智能；E-mail: zhl_lit@163.com

張 杰(1987—)，男，博士，講師，研究方向?yàn)閳D像處理、目標(biāo)檢測(cè)；E-mail: 2018007@zzuli.edu.cn

王延峰(1973—)，男，通信作者，博士，教授，研究方向?yàn)橹悄茈娋W(wǎng)通信、信息化電器、智能計(jì)算與電力系統(tǒng)智能化。E-mail: wangyanfeng@zzuli.edu.cn

(編輯 魏小麗)