張潤賢,賈 江,陳志新,趙山堯
(新疆信息產(chǎn)業(yè)有限責任公司 新疆 烏魯木齊 830001)
無人機巡檢圖像絕緣子檢測是一個新興的研究領(lǐng)域,它借助無人機和圖像處理技術(shù),旨在實現(xiàn)對電力輸電線路中絕緣子狀態(tài)的自動監(jiān)測與評估[1]。無人機巡檢圖像絕緣子檢測技術(shù)的研究和應(yīng)用不僅能夠提高電力輸電線路的安全性和穩(wěn)定性,降低人力資源消耗和線路巡檢成本,還可推動電力行業(yè)的智能化、自動化發(fā)展。然而,由于環(huán)境的變化、污染、老化以及事故等因素,絕緣子可能會出現(xiàn)損壞、破裂、污染等問題,降低其絕緣性能,進而引發(fā)線路故障、事故甚至導致停電等問題[2]。
電力輸電線路通常呈現(xiàn)出線性布局、分布廣泛和地形復雜等特點,傳統(tǒng)人工巡視存在耗時長、成本高等問題,無法滿足快速、全面巡檢的需求,引入無人機巡檢技術(shù)可以大幅提升巡檢效率和覆蓋范圍[3-4]。隨著計算機視覺和圖像處理技術(shù)的快速發(fā)展,人們可以利用圖像處理算法對無人機拍攝到的絕緣子圖像進行分析和處理,以實現(xiàn)自動檢測和評估絕緣子的狀態(tài)。邊緣檢測、紋理分析、形態(tài)學處理等算法可以有效地檢測污染、破損、老化等絕緣子問題[5]。無人機在飛行穩(wěn)定性、操控性以及負載能力等方面的不斷提高,使得其成為執(zhí)行絕緣子巡檢的理想工具。無人機可以搭載高分辨率相機,能夠在低空快速飛行并獲取高清絕緣子圖像,同時還能避免人工巡檢可能存在的危險和困難[6]。
Redmon 等[7]在2016 年提出了一種快速而準確的目標檢測算法(you only look once, YOLO),將輸入圖像分為一個固定網(wǎng)格,在每個網(wǎng)格單元中預測目標的邊界框和類別。與傳統(tǒng)的滑動窗口方法相比,YOLO 可以在圖像中一次性獲取豐富的信息,從而實現(xiàn)實時目標檢測。此外,YOLO 通過使用卷積神經(jīng)網(wǎng)絡(luò)來端到端地進行目標檢測,避免了多個階段處理和中間階段的錯誤累積。Redmon等[8]在2017 年提出了YOLOv2 算法,采用更深的網(wǎng)絡(luò)結(jié)構(gòu),首先,使用了更多的卷積層和殘差連接,以提取更豐富的特征。其次,引入了Anchor Boxes(先驗框),在不同比例的先驗框上進行目標檢測和定位,從而提高了小物體的檢測精度。最后,引入了多尺度訓練和預測,以增強對不同尺度目標的檢測能力。王萬國等[9]提出的YOLOv3 算法,采用了更深的Darknet backbone 網(wǎng)絡(luò),使得模型的感受野更大,能夠更好地理解圖像上下文,用于處理不同尺度的特征圖,并融合不同層級的特征以獲取更全面的目標信息。此外,使用三種不同尺度的先驗框來進行目標檢測,并使用不同的特征層來預測不同尺度的目標。2020 年,Bochkovskiy 等[10]推出了YOLOv4 算法,在檢測小目標方面的性能有了極大提升。
YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)主要由CSPDarknet53 主干網(wǎng)絡(luò)和多個特征金字塔層組成,這些特征金字塔層用于融合不同尺度的特征來進行物體檢測。YOLOv5 通過CSPDarknet53 主干網(wǎng)絡(luò)提取特征,通過空間金字塔池(spatial pyramid pooling, SPP)層、路徑聚合網(wǎng)絡(luò)(path aggregation network, PAN)模塊和檢測頭進行特征融合和目標檢測,能夠有效地提高檢測性能并保持較高的實時性,如圖1 所示。
圖1 YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)圖
(1)CSPDarknet53 主干網(wǎng)絡(luò)。CSPDarknet53 主干網(wǎng)絡(luò)是YOLOv5 中的主要特征提取網(wǎng)絡(luò),由交叉階段部分(cross stage partial, CSP)結(jié)構(gòu)和Darknet53 層組成。CSP結(jié)構(gòu)通過將輸入特征圖拆分成兩條路徑,一條路徑進行卷積操作,另一條路徑進行殘差連接,然后將兩條路徑的特征圖進行拼接,這樣可以增強特征的表征能力。
(2)SPP 層。SPP 層用于捕捉不同尺度的特征。它通過將輸入特征圖分成不同大小的網(wǎng)格,并在每個網(wǎng)格上進行池化操作(最大池化),最后將池化結(jié)果拼接在一起,形成一個固定長度的特征向量。
(3)PAN 模塊。PAN 模塊用于融合不同尺度的特征圖。它通過將高分辨率的特征圖下采樣和低分辨率的特征圖上采樣,再進行特征融合,從而在不同尺度上獲取更全局和細節(jié)的信息。PAN 模塊由兩個操作組成,一個是上采樣和特征融合,另一個是跳躍連接。
(4)檢測頭。檢測頭是YOLOv5 中用于預測目標位置和類別的部分。它從各個特征金字塔層中獲取特征,并通過卷積層和上采樣層進行處理,最后輸出包含目標框位置和類別的預測。此外,引入P-MVS(point-wise multi-view system)卷積操作,通過在不同尺度上對特征進行多視圖采樣和處理,擴展特征的感受野,可以更好地捕捉目標的細節(jié)和上下文信息。
在進行絕緣子設(shè)備識別過程中,由于不同尺寸的目標在數(shù)據(jù)中被標注的數(shù)量比例不相同,往往小尺寸的目標所占的比例更大些,而中尺寸和大尺寸的目標分布比較均勻。一般來講,Mosaic 是通過將四張不同的圖像拼接在一起,形成一個大尺寸的合成圖像,然后在該合成圖像上進行隨機裁剪和縮放,以生成新的訓練樣本[11]。本文中采用Mosaic-9 數(shù)據(jù)增強方法,將九張圖片進行裁剪縮放拼接,相比之前的Mosaic 方法,因為每個合成圖像都可以生成多個不同的訓練樣本,因此能增加更多的訓練數(shù)據(jù)。
在之前的卷積神經(jīng)網(wǎng)絡(luò)中,使用普通的卷積層很難獲得空間上的相關(guān)性,而使用復雜的卷積操作會讓算法的運行結(jié)果受到影響,為此使用FReLU(漏斗激活)來替代YOLOv5 算法中的ReLU 和PReLU,PReLU 可以使用公式y(tǒng)=max(x,T(x)) 來表示,式中T(·) 是二維空間條件,利用正則卷積的方式來獲取空間上的可視化布局。
在目標檢測領(lǐng)域中,交并比(intersection over union,IoU)及其變體是非常常見的評估指標,在YOLOv5 算法中,使用損失函數(shù)GIoU 來增加對錯誤框的處理機制,以此取得較好的檢測結(jié)果,其原理可以使用式(1)表示:
但是GIoU 仍然存在很大問題,在面臨復雜的目標檢測環(huán)境時,GIoU 會有定位不夠準確等問題,減慢網(wǎng)絡(luò)的收斂速度,因此,本文使用一種新的損失函數(shù)Pixels-IoU 來替代原始模型中的GIoU,Pixels-IoU 通過對邊界角度的優(yōu)化來提高精度,已經(jīng)有實驗表明Pixels-IoU 能夠在不同數(shù)據(jù)集中展示出良好的檢測性能。Pixels-IoU 具體可以使用式(2)表示:
式(2)中,M代表所有正樣本,|M|為正樣本的數(shù)量,b和b′分別表示目標框與真實目標。
本文中首先使用LabelImg 軟件對拍攝的圖像進行標注,其次將標簽轉(zhuǎn)換成Pascal VOC 數(shù)據(jù)格式進行訓練,最后得到的結(jié)果如表1 所示。結(jié)果顯示改進后的YOLOv5算法在精度和準確度上都得到了提升,同時每秒傳輸幀數(shù)實驗結(jié)果表明檢測速度相比原始的YOLOv5 也有很大進步,已經(jīng)能夠滿足日常實時檢測的要求。
表1 原始YOLOv5 算法與改進YOLOv5 算法比較結(jié)果
本文選取部分圖像對絕緣子檢測結(jié)果進行展示,如圖2 所示。從圖中可以看出,原始的YOLOv5 算法在檢測絕緣子的過程中存在遺漏和缺失,而改進以后的YOLOv5 能夠準確地檢測出所有的目標,說明使用改進以后的網(wǎng)絡(luò)能夠獲取更多的信息,證明了本文提出的改進算法對于絕緣子檢測的可行性。
圖2 原始YOLOv5(左)和改進的YOLOv5(右)算法檢測結(jié)果對比
本文提出基于改進YOLOv5 算法的無人機巡檢圖像絕緣子檢測方法,以經(jīng)典的目標檢測算法YOLOv5 為研究切入點,從以下三方面進行了改進:首先,采用Mosaic-9 進行數(shù)據(jù)增強,來獲取更多的圖像;其次,利用FReLU 視覺激活函數(shù)來替代ReLU 和PReLU;最后,使用Pixels-IoU 替代GIoU 損失函數(shù)來增加對錯誤框選擇的處理機制。通過改進后的YOLOv5 算法進行驗證,結(jié)果表明改進以后算法檢測的準確度得到了極大的提升,實時檢測速度也相比原始的YOLOv5 有進步,為絕緣子檢測提供了研究思路。