張 靜 燕正亮 張 增 王利偉 閆皓煒

(天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司 天津 300450)

0 引 言

我國的輸電線路分布范圍廣，走廊地理環(huán)境復雜，給線路的日常人工巡檢帶來了極大的困難。無人機巡檢以其可遠程操控、無接觸式設備成像、無需停電作業(yè)等優(yōu)點成了目前的主流巡檢作業(yè)方式之一。在巡檢作業(yè)時，無人機需要沿兩基桿塔走廊中的導線進行飛行，導線是有弧垂的，作業(yè)人員需要頻繁調(diào)整吊艙及無人機使得導線保持在視野中央，容易產(chǎn)生視覺疲勞，影響作業(yè)的準確性及作業(yè)效率。導線跟蹤技術能夠基于無人機巡檢實時視頻影像對導線進行快速提取和跟蹤，反饋導線的中心點位置，指導吊艙進行姿態(tài)的自動調(diào)整，使得導線保持在視野中央，減少人工工作量，提高作業(yè)的準確率及效率。導線一般呈現(xiàn)為貫穿圖像的直線及曲線簇，通常以矩形框作為描述的目標跟蹤技術難以應用于導線的自動跟蹤。同時，為克服鏈路傳輸時延的影響，導線跟蹤需要運行在機載嵌入式平臺上，保證算法的準確性及高效性。在導線提取方面，Ratio、Canny等邊緣檢測算子，Radon變換、Hough變換等線段提取方式為最常用的方法。文獻[1]首先采用Ratio算子從遙感影像上提取電力線像素點，然后采用分段Radon變換提取并連接各分段電力線，再利用類似卡爾曼濾波技術跟蹤連接電力線的斷裂部分。文獻[2]使用抗噪聲的梯度圖像與最大類間方差算法對輸電線路像素點進行提取；然后在Hough空間用K-means算法對所檢測到的直線段進行篩選；最后根據(jù)上一幀視頻圖像所檢測到的直線段信息使用 Kalman濾波器進行跟蹤檢測。該類方法的普遍問題是，在背景單一的場景中效果較好，而在線狀邊緣非常豐富的場景中效果較差。近年來，深度卷積神經(jīng)網(wǎng)絡在目標檢測、語義分割等各機器視覺領域均有突出的表現(xiàn)。文獻[3]也將該技術應用于了導線的檢測中，其中基于語義分割的輸電導線檢測的模型，像素準確率達到0.72，基于RRPN的輸電導線檢測模型，檢測框的面積交并比達到0.76。但該文獻采用的HED網(wǎng)絡、RRPN網(wǎng)絡均以VGG16網(wǎng)絡作為基礎，計算量大，無法用于無人機機載端。

本文基于MobileNetv2[4]網(wǎng)絡進行輸電線路的導線邊緣檢測，同時參考DeepLab[5]引入ASPP模塊融合不同尺度的上下文信息，通過多語義水平特征聯(lián)合的解碼網(wǎng)絡對每個像素點屬于導線邊緣的概率進行預測，得到導線邊緣檢測的結果。然后根據(jù)導線的語義知識通過線段擬合、連接篩選等步驟完成導線的判定，解算出導線中心點。實驗表明本文的算法具有較高的跟蹤準確率，且在機載嵌入式平臺上運行速度較快，可有效應用于無人機巡檢的導線自動跟蹤，輔助吊艙姿態(tài)調(diào)整。

1 導線邊緣檢測

本文以MobileNetv2作為基礎網(wǎng)絡，同時采用ASPP模塊融合不同尺度的上下文信息，通過多語義水平特征聯(lián)合的解碼網(wǎng)絡對每個像素點屬于導線邊緣的概率進行預測，在loss函數(shù)引入均衡設計，解決大量非導線像素與較少導線像素點帶來的樣本極不均衡問題。

1.1 基礎網(wǎng)絡結構

MobileNet為谷歌開發(fā)的輕量級深度卷積神經(jīng)網(wǎng)絡，專注于嵌入式移動設備。其中深度可分離卷積極大地減少了計算量，保證了本文算法的高效性。MobileNetv2在MobileNet的基礎上增加了Inverted Residuals和Linear Bottlenecks。本文在原始MobileNetv2的基礎上進一步減少通道數(shù)為1/4，以便在嵌入式機載平臺上具有更高的運行效率。本文的基礎網(wǎng)絡結構全景圖如圖1(a)所示，其中t為擴張倍數(shù)，c為輸出通道數(shù)，s為stride。bottleneck為網(wǎng)絡的最基本單元，如圖1(b)所示，bottleneck首先采用1×1卷積擴張通道數(shù)，擴張為輸入通道的t倍，然后進行通道可分離卷積，最后采用逐點卷積將通道數(shù)還原。且當stride為1時，使用shortcut連接方式，即將輸入疊加到輸出。

圖1 基礎網(wǎng)絡結構圖

其中，最后四個bottleneck的可分離卷積采用空洞卷積，dilation rate為2，以便增大感受野，提升導線邊緣檢測的準確率。本文分別從第6個、第13和最后一個bottleneck輸出特征圖feature1、feature2、feature3。

1.2 ASPP

本文的ASPP操作如圖2所示，以feature3作為輸入(input)，分別采用rate為6、12、24的空洞卷積對input進行卷積操作，同時對input進行全局平均池化(Ave Pool)并上采樣到相同尺寸，將此四路輸出進行聯(lián)合后經(jīng)過1×1卷積操作降低通道數(shù)，作為ASPP模塊的輸出ASPP_output。

圖2 ASPP 結構

1.3 輸出及l(fā)oss

本文的輸出采用簡單的卷積解碼網(wǎng)絡。對feature1和feature2分別進行一次卷積操作，并重采樣到相同大小，同時將ASPP_output進行上采樣到相同輸出尺寸。最后將三路聯(lián)合后經(jīng)過三次卷積操作，得到單通輸出，并進行如式(1)所示的sigmoid激活,將輸出進行歸一化，得到每個像素屬于導線的概率。

(1)

在巡檢圖像中，導線像素總和遠遠小于非導線像素，為解決不平衡問題，引入類平衡權重，損失函數(shù)Loss如下：

(2)

式中：Y-和Y+分別表示非導線邊緣和導線邊緣,α和β是導線邊緣與非導線邊緣的平衡系數(shù)。

α=λ·|Y+|/(|Y+|+|Y-|)

(3)

β=λ·|Y-|/(|Y+|+|Y-|)

(4)

2 基于語義知識的導線判定

(5)

(6)

對滿足近似性、連續(xù)性、共線性的兩條線段進行連接。兩線段之間的近似性描述如圖3所示，線段1的長度為L1，線段2的長度為L2，線段1與線段2之間的距離為L，如滿足式(7)，則認為兩線段符合近似性。

圖3 近似性描述

L≤2×min(L1,L2)

(7)

若兩條線段的角度如滿足式(7)，則認為兩線段符合連續(xù)性。

|θ1-θ2|≤θthreshold

(8)

共線性是指兩線段是否共同屬于一個線段。采用一條線段端點到另一線段的垂直距離來描述，即圖4中的dist，若滿足式(9)則認為兩線段共線，其中l(wèi)ine1_width、line2_width為兩線段的寬度，k為常數(shù)。

圖4 共線性描述

dist≤k·max(line1_width,line2_width)

(9)

選取角度在(-π/4,π/4)的線段構成線段集M1；對M1按照角度進行聚類，得到NA個線段類{M1，1，M1，2，…，M1，NA}；對M1，i中的線段按照距離進行聚類，得到ND個線段類{M1，i，1，M1，i，2，…，M1，i，ND}；在M1，i，j中求取最長的線段，若最長的線段大于閾值LT，則認為類M1，i，j中的線段屬于導線。

為了提升機載端導線跟蹤的處理速度，而導線的中心點提取關注圖像中心，因此本文在處理時，采用如圖5所示的區(qū)域截取方式，保持高度方向與原圖像一致，寬度方向在中心點附近截取原始圖像區(qū)域的3/5，其中原始圖像區(qū)域為R0，截取的圖像區(qū)域為R1，對R1中的圖像進行導線邊緣檢測、導線判定、中心點提取等處理。

圖5 導線跟蹤區(qū)域截取

3 實驗分析

本文對樹林、紅土地、大棚、道路等多種背景的導線視頻段進行跟蹤實驗。當邊緣檢測網(wǎng)絡輸出的概率大于0.8時，認為當前像素為導線邊緣點。導線邊緣檢測、導線判定、導線中心點提取的結果如圖6所示。同時，本文進行了Canny邊緣檢測算子與本文邊緣檢測算法的對比實驗，如圖6(d)所示，本文算法提取的邊緣清晰，能夠較準確地區(qū)分大棚等其他線狀邊緣與導線邊緣，受導線尺度影響較小。Canny算子導線提取邊緣時，導線容易淹沒在線狀背景中，且在導線直徑方向像素數(shù)較少時，無法提取。

圖6 實驗結果及對比圖

本文對46段無人機及有人機沿線飛行視頻進行了準確率測試，每一秒對視頻幀的導線中心點的真值進行標記作為控制點。算法輸出導線中心點為(centerX,centerY)，真值為(groundTruthX,groundTruthY)，若abs(centerY-groundTruthY)<20，則認為該控制點連續(xù)25幀(視頻幀率為25幀/s)，導線跟蹤輸出結果正確，正確跟蹤的幀數(shù)與視頻總幀數(shù)的比例為導線跟蹤的準確率。本文對基于Canny算子的導線邊緣檢測方法進行了準確率對比試驗，結果如表1所示，其中基于語義知識的導線判定采用相同的處理方法。本文方法的準確率為78.5%，比基于Canny算子的算法準確率高13.3百分點。

表1 準確率對比表(%)

同時在PC端和機載嵌入式端進行了算法處理速度對比實驗，結果如表2所示。

表2 處理速度對比表

在PC端，單幀導線跟蹤處理時間平均為35 ms，機載嵌入式平臺的處理速度為110 ms，基本滿足無人機巡檢的要求。

4 結 語

本文提出基于MobileNetv2網(wǎng)絡的導線邊緣預測方法，結合基于語義知識的導線判定，實現(xiàn)機載嵌入式平臺上輸電線路的導線自動跟蹤。該方法比傳統(tǒng)基于Canny等邊緣檢測的導線跟蹤方法在準確率上有較大提升，且在機載端處理速度可以達到9幀/s，滿足無人機巡檢對導線跟蹤的實時性要求。