沙偉燕，何寧輝，丁培，胡偉，李秀廣，周秀

(1.國網(wǎng)寧夏電力有限公司電力科學(xué)研究院，銀川 750011； 2.國網(wǎng)寧夏電力有限公司，銀川 750001)

0 引 言

近年來，無人機(jī)巡視線路已逐漸深入供電公司各個(gè)基層單位，通過提升無人機(jī)自動巡檢程度可以實(shí)現(xiàn)無人機(jī)沿既定線路自動巡視跟蹤，通過預(yù)定程序控制無人機(jī)的飛行軌跡，可以實(shí)現(xiàn)輸電線路的自動跟蹤，并且實(shí)現(xiàn)輸單線路的定時(shí)拍攝線路圖像[1-3]。但為了更有效提升線路巡視水平，需要提升線路巡視手段，對巡視結(jié)果提取關(guān)鍵信息。采用無人機(jī)自動導(dǎo)航，并對線路關(guān)鍵部位進(jìn)行拍攝跟蹤，將有助于提取線路安全診斷的關(guān)鍵信息，對提升線路巡視結(jié)果有著重要的現(xiàn)實(shí)意義[2,4-5]。

隨著無人機(jī)巡檢技術(shù)的日益成熟，電網(wǎng)公司逐步引入無人機(jī)開展線路巡視[6-7]，2012年國網(wǎng)公司在青海進(jìn)行的無人機(jī)巡檢測試，首次實(shí)現(xiàn)了高海拔地區(qū)線路巡視；2015年南方電網(wǎng)公司在莆田開展無人機(jī)巡視試點(diǎn)工作，并實(shí)現(xiàn)了輸電線路斷股的故障識別；2016年福建電網(wǎng)公司利用無人機(jī)實(shí)現(xiàn)了區(qū)域內(nèi)1000公里的輸電線路走廊的巡視，將無人機(jī)巡檢的應(yīng)用推向了新的高度。針對無人機(jī)拍攝的輸電線路圖像的提取研究[8-10]：2008年，有人使用Canny算子對拍攝圖像進(jìn)行邊緣檢測，再利用鏈碼算法對各個(gè)像素點(diǎn)進(jìn)行識別和連接，實(shí)現(xiàn)了輸電線路的提取；2012年，有人使用Ratio算法對輸電線路的邊緣進(jìn)行了提取，并對圖像進(jìn)行了降噪，再結(jié)合Ransac算法對像素點(diǎn)進(jìn)行了擬合，以此完成輸電線路的自動提?。?017年，有人利用Ratio-radon和卡爾曼濾波跟蹤方法對輸電線路的提取。

目前無人機(jī)巡檢已成為輸電線路的主要巡檢方法，但是如何準(zhǔn)確對拍攝的圖像進(jìn)行提取和識別仍存在較大的困難。當(dāng)前雖然不少學(xué)者對輸電線路圖像的提取進(jìn)行了研究。通過對文獻(xiàn)調(diào)研[11-17]，目前的這些算法未考慮無人機(jī)拍攝時(shí)周圍環(huán)境較為復(fù)雜導(dǎo)致圖像中噪聲較多的問題；此外輸電線路一般較長，因此不能僅僅使用拍攝圖像的方法來進(jìn)行巡檢，這就需要對輸電線路進(jìn)行跟蹤。

鑒于此，開展了輸電線路的提取和跟蹤研究。首先，針對航拍圖像中目標(biāo)與背景對比度相差較小，導(dǎo)致目標(biāo)與背景區(qū)分較難的問題，采用了直方圖均衡化處理，較好地解決了對比度相近問題；針對航拍圖像中存在噪聲信號問題，分別采用中值濾波和雙邊濾波進(jìn)行處理，并對比了兩種濾波算法的處理效果，結(jié)果表明雙邊濾波算法更能保存輸電線路細(xì)節(jié)部分。其次，對Line Segment Detector (LSD)算法進(jìn)行了研究，實(shí)現(xiàn)了輸電線路的邊緣提取，一條長線路的提取結(jié)果經(jīng)常為多條短線段，因此使用Hough變換對輸電線路進(jìn)行了連接。最后，對比了粒子濾波和擴(kuò)展卡爾曼濾波對線路跟蹤的效果，仿真結(jié)果表明兩種跟蹤方法的檢測準(zhǔn)確度分別為94.21%和93.68%，結(jié)果相差不大，但是粒子濾波算法處理時(shí)間較長，因此對于長距離的輸電線路使用擴(kuò)展卡爾曼濾波即可滿足要求。

1 圖像預(yù)處理

1.1 基于直方圖均衡化的圖像增強(qiáng)

為提升圖像信息提取速度，簡化程序算法，對航拍獲得的彩色圖像進(jìn)行了灰度化處理，換而言之為將RGB(Red、Green、Blue)三色通道圖像轉(zhuǎn)變?yōu)閱瓮ǖ缊D像。進(jìn)行轉(zhuǎn)換過程中，需要對三種顏色進(jìn)行賦權(quán)，并進(jìn)行加權(quán)平均，從而獲得圖像各個(gè)像素點(diǎn)的灰度值，具體計(jì)算公式為：

Gray=Y=R*0.229+G*0.587+B*0.114(1)

由于輸電線路所處環(huán)境較為復(fù)雜，所處光照強(qiáng)度不一，線路與背景的對比度較為相近。為了解決光照的影響，將電力設(shè)備與背景圖像的草木區(qū)分開來，文中采用直方圖均衡化處理，提升兩者的對比度，具體流程如圖1所示。

圖1 直方圖均衡化流程Fig.1 Histogram equalization process

根據(jù)圖1所示流程，對航拍圖像進(jìn)行了處理，原圖及均衡化處理的結(jié)果如圖2所示。對比可以看出，經(jīng)過直方圖均衡化處理后的圖像對比度比較均勻，圖像中的目標(biāo)元素(電力設(shè)備)與背景有了明顯區(qū)分。

圖2 圖像處理過程Fig.2 Image processing

1.2 圖像濾波去噪

為降低無人機(jī)航拍的過程中受到風(fēng)、煙或者污染物等偶然因素以及數(shù)碼相機(jī)光、電成像設(shè)備的特性的影響，拍攝的圖像中存在較多噪聲，本節(jié)采用濾波處理完成圖像的降噪。

本節(jié)使用兩種常用的非線性濾波方法對航拍圖像進(jìn)行處理[18-20]，分別如圖3和圖4所示。

觀察圖3、圖4，經(jīng)過中值濾波處理后，航拍圖像中的輸電線路等細(xì)線型元素保存效果較差，存在部分線路段缺失；經(jīng)過雙邊濾波處理后，電力設(shè)備的各類細(xì)節(jié)能完好地保留下來。經(jīng)過對圖4分析，σ值(雙邊濾波算法中值域的標(biāo)準(zhǔn)差)過大，將導(dǎo)致濾波處理后的圖像變得模糊，因此為了保留圖像更多信息同時(shí)又不失真，選擇σ=10的雙邊濾波方法對航拍圖像進(jìn)行處理。

圖3 中值濾波處理后圖像Fig.3 Median filtered image

圖4 雙邊濾波圖像Fig.4 Bilateral filtered image

2 輸電線路的提取與連接

2.1 LSD算法的優(yōu)化

經(jīng)過前期對各類邊緣提取算法的研究，選取LSD算法作為局部線特征的提取算法，其精度更高、能夠減少非直線背景的干擾[21-22]。

為保證LSD算法對航拍圖像中的各種直線、曲線均能有效提取，對LSD算法進(jìn)行了優(yōu)化，通過優(yōu)化原始算法中部分參數(shù)提升了線路檢測效率：

(1)梯度閾值。當(dāng)像素點(diǎn)的梯度值較小時(shí)，對應(yīng)的區(qū)域灰度變化較小，不易被認(rèn)定為邊緣區(qū)域。在此情況下，按照既定算法流程需對此類像素點(diǎn)進(jìn)行直線區(qū)域生長處理，則將導(dǎo)致線路誤檢率升高。故在優(yōu)化LSD算法中，需要對像素點(diǎn)進(jìn)行處理，避免對梯度值較小的像素點(diǎn)進(jìn)行直線區(qū)域生長，采用閾值法，去除梯度值小于設(shè)定閾值的像素點(diǎn)。原始LSD算法中q取經(jīng)驗(yàn)值2(q是梯度值計(jì)算過程中量化效應(yīng)產(chǎn)生的可能誤差)，為了讓更多的像素參與直線支持區(qū)域的生成，減少漏檢率，將q的值設(shè)置為1(q越大，圖像越模糊)；

(2)角度誤差閾值。完成像素點(diǎn)梯度值的排序后，并將小梯度值的像素點(diǎn)進(jìn)行抑制剔除后，需要對排序后的“未使用”的像素點(diǎn)作為種子點(diǎn)進(jìn)行區(qū)域生長，那么該像素點(diǎn)所在的連通區(qū)域角度將隨連通域擴(kuò)大而持續(xù)變化，直至達(dá)到更新條件。原始算法中差異角t閾值通常為22.5°，優(yōu)化后的算法中將此參數(shù)更改為28°，利于獲得最大的直線支持區(qū)域面積；

(3)同性點(diǎn)密度。經(jīng)過角度誤差閾值處理后，得到了一系列直線支持區(qū)域面積，經(jīng)過進(jìn)一步計(jì)算處理得到支持區(qū)域的最小外接矩形后，獲得區(qū)域內(nèi)的同性點(diǎn)。在使用LSD算法時(shí)，當(dāng)同性點(diǎn)與像素點(diǎn)比值小于閾值時(shí)，則截?cái)啻藚^(qū)域。原算法中控制截?cái)嗟拈撝低ǔ?.7，在優(yōu)化后的算法中將其改為0.5，將有助于減少截?cái)嗟木匦螖?shù)量，從而提高線段的識別率。

根據(jù)上述三點(diǎn)優(yōu)化算法，對圖像進(jìn)行處理，獲得優(yōu)化前后圖像提取的結(jié)果，如圖5所示。

圖5 LSD算子提取圖像Fig.5 Image extraction using LSD operator

通過對比圖5(a)、圖5(b)可知，采用優(yōu)化后LSD算法處理圖像后，電力設(shè)備的桿塔、線路關(guān)鍵信息提取的更為全面，設(shè)備邊緣信息保留的更充足，區(qū)域生長得到的線段特征比原算法更長。綜合優(yōu)化后的處理圖像結(jié)果，保留了設(shè)備更多的細(xì)節(jié)信息，避免了過多線段被截?cái)?，?shí)現(xiàn)了初始設(shè)定的優(yōu)化目的。由于處理過程中是對整個(gè)圖像進(jìn)行處理，電力設(shè)備信息保留更多的同時(shí)，背景的干擾短線段同樣也增加了較多，故還需對背景圖像進(jìn)行處理，減少電力設(shè)備線段提取的干擾因素。

2.2 基于連通域分析的圖像背景干擾去除

LSD算法是對圖像中的線段進(jìn)行分割，分別對每個(gè)局部的線段進(jìn)行提取，根據(jù)上節(jié)處理后的圖像中可以看出，圖像中存在較多的干擾線段，這些線段主要是從背景圖像中提取出來的，將為后續(xù)電力鐵塔、線路的進(jìn)一步提取帶來較大困難；除此之外，由于線路及桿塔中交叉線路，這也為線段的分割與提取帶來一定的困難，本小節(jié)將對以上兩種問題進(jìn)行處理。為提升LSD提取線路信息的完整率，降低對設(shè)備的誤檢率，需要對灰度圖像進(jìn)行去噪聲處理，去除背景中的干擾短線段，采用幾何形態(tài)學(xué)對干擾短線段進(jìn)行處理。

對于處理后的灰度二值圖像而言，所述連通域即為相鄰的白色區(qū)域，對各個(gè)白色連通區(qū)域進(jìn)行搜索，以此完成連通域分析，本節(jié)采用種子填充法對連通域進(jìn)行分析。

針對航拍輸電線路的二值圖像，采用種子填充法時(shí)，先在經(jīng)邊緣提取后的二值圖像中選擇種子點(diǎn)，通常選擇各個(gè)線段矢量的某一端點(diǎn)，開始搜索區(qū)域內(nèi)白色像素點(diǎn)。當(dāng)搜索區(qū)域內(nèi)不存在白色像素點(diǎn)時(shí)，重新選取新的像素點(diǎn)進(jìn)行處理，依據(jù)以上步驟，以此處理區(qū)域內(nèi)的所有白色像素點(diǎn)。當(dāng)區(qū)域內(nèi)所有像素點(diǎn)均被處理、識別標(biāo)記后，最終將形成若干個(gè)白色像素區(qū)域。

經(jīng)過種子填充法得到孤立短線段，這些短線段的特征是不連通、面積小，基于此可以對得到的各個(gè)白色區(qū)域進(jìn)行面積統(tǒng)計(jì)，設(shè)定篩選閾值從而獲得屬于電力線路的圖像，實(shí)現(xiàn)去除背景噪聲圖像的目的，處理結(jié)果如圖6及表1所示。

圖6 不同鄰域不同閾值效果Fig.6 Image extraction using LSD operator

表1 不同閾值下去除的小區(qū)域數(shù)量Tab.1 Number of small areas removed using different thresholds

根據(jù)圖6和表1所示結(jié)果可知，同一閾值下4領(lǐng)域檢測去除的區(qū)域數(shù)量始終大于8鄰域。通過分析，4鄰域探測會誤將部分面積大于閾值的區(qū)域去除。因此，在進(jìn)行去除干擾的小區(qū)域時(shí)，采用8鄰域探測，從而盡可能保留電力線路的信息。

2.3 輸電線路的連接

LSD算法屬于局部檢測，利用區(qū)域生長算法進(jìn)行圖像檢測，針對分析的電力線路及設(shè)備，由于航拍時(shí)光照、拍攝角度、無人機(jī)抖動等原因可能使得拍攝到的圖像中存在部分模糊區(qū)域[23-25]，導(dǎo)致使用LSD檢測算法后，原本屬于一條線路的線段被提取分割為多條短線段，故需對這些短線段進(jìn)行連接，還原圖像原本特征[26]，本節(jié)采用Hough變換對這些短線段進(jìn)行連接處理，還原原圖像中電力線路。

2.3.1 桿塔邊緣直線辨別

采用LSD提取后的線段均是有方向的矢量線段，通過對矢量矩陣分析，獲得每一線段的起始點(diǎn)和終止點(diǎn)。采用Hough變換后擬合得到的線段也是已知首末端點(diǎn)的矢量線段。已知線段的首末端點(diǎn)坐標(biāo)，即可得到此線段的兩點(diǎn)式方程：

(y-yi2)/(yi1-yi2)=(x-xi2)/(xi1-xi2)

(2)

式中(xi1,yi1)為Hough變換后線段的首端點(diǎn)，(xi2,yi2)為變換后的末端點(diǎn)。

根據(jù)直線斜率可以將直線進(jìn)行分組，直線斜率誤差小于設(shè)定值δ的為一組，剩余的為雜散直線。斜率相差較大的不平行的雜散直線分割為一組，這部分直線為鐵塔輪廓線。

為了提升線段檢測正確率，設(shè)定了一個(gè)閾值，不平行直線小于閾值2，則認(rèn)為提取的圖像中未檢測到鐵塔輪廓的直線簇，結(jié)果如圖7所示。在圖7(b)中直線簇即為鐵塔輪廓，由此可知設(shè)定閾值2對于檢測電力線路及桿塔輪廓的精度是足夠的。

圖7 電力塔直線檢測結(jié)果Fig.7 Detection results of power tower straight line

2.3.2 線路連接結(jié)果與分析

根據(jù)上述線段處理流程和方法，獲得線路及桿塔的直線簇后，將直線簇進(jìn)行延伸，可還原原始圖像。為驗(yàn)證文中線路連接方法的有效性，分別對圖像中有、無桿塔的圖像進(jìn)行處理，連接結(jié)果如圖8和圖9所示。分析圖8和圖9，無論圖像中是否含有桿塔，采用此方法均能完好地提取出電力線路及桿塔的邊緣信息。

圖8 含有桿塔的航拍圖像及提取結(jié)果Fig.8 Detection results of aerial images with towers

圖9 不含桿塔的航拍圖像及提取結(jié)果Fig.9 Aerial image and extraction result without tower

依據(jù)提出的上述圖像處理方法，分別對航拍圖像進(jìn)行線段提取，統(tǒng)計(jì)得到原始圖像中含有桿塔以及不含桿塔的處理結(jié)果，獲得的結(jié)果如表2所示。其中，如果線路信息提取后未將桿塔或線路信息漏檢或者誤檢，則可視為圖像檢測正確。

表2 檢測結(jié)果Tab.2 The detection results

分析表2，無論航拍圖像中是否存在桿塔，均能取得較好的檢測結(jié)果，可以將線路纖細(xì)完整提取出來。

3 輸電線路自動跟蹤方法研究

3.1 基于粒子濾波的線路跟蹤

使用粒子濾波算法對線路跟蹤主要分為四個(gè)階段：初始化、搜索、決策和重采樣。下面將對這四個(gè)階段分別進(jìn)行說明：

(1)初始化階段。確定需跟蹤的對象，并識別獲得跟蹤目標(biāo)(跟蹤目標(biāo)即為輸電線路)的特征；

(2)搜索階段。根據(jù)xk-1的概率分布進(jìn)行采樣，根據(jù)映射關(guān)系及約束條件，獲得每一粒子與之對應(yīng)的預(yù)測粒子，并計(jì)算相似度；通過對各個(gè)相似度進(jìn)行歸一化處理，使最終獲得的相似度和為1；

(3)決策階段。采用篩選算法獲得正態(tài)分布N(0,1)的隨機(jī)數(shù)z，假定z為觀測值，計(jì)算其條件概率p(z|xk(i))，獲得的條件概率即為此粒子的權(quán)重值。獲得各個(gè)粒子的權(quán)重值后，采用加權(quán)平均，獲得圖像中預(yù)測圖像。假定第i個(gè)粒子的像素坐標(biāo)為(xi,yi),該粒子的權(quán)重值為wk(i)；

(4)重采樣階段。經(jīng)過上述三個(gè)步驟后，得到各個(gè)粒子的權(quán)重值，保留權(quán)重值較高的粒子，得到真實(shí)狀態(tài)xk。此步驟稱為重采樣，重采樣后得到的粒子反映了圖像中各個(gè)粒子的真實(shí)概率分布。

根據(jù)上述四個(gè)步驟可以對目標(biāo)元素下一幀位置進(jìn)行了預(yù)估，從而提升了圖像處理效率。

3.2 基于擴(kuò)展卡爾曼濾波的線路跟蹤

采用無人機(jī)拍攝的相鄰兩幀圖像基本一致，圖像內(nèi)容不會存在很大的偏差，故航拍所得相鄰兩張圖像的截距變化量與速度變化量基本一致，斜率變化量與角度變化量基本一致[27]。基于此假設(shè)，電力線路初始狀態(tài)可表示為：

(3)

式中θk為電力線運(yùn)動模型中線路l的第k幀圖像與x軸夾角；bk為y軸上的截距；l在第k-1幀圖像上與x軸的夾角為θk-1，在y軸上的截距為bk-1。

基于上述假設(shè)以及線路的初始狀態(tài)，通過仿真軟件對相鄰航拍圖像進(jìn)行跟蹤，具體流程如圖10所示。

圖10 EKF跟蹤流程圖Fig.10 EKF tracking flow chart

第一步：輸入航拍圖像，并完成圖像的預(yù)處理，獲得線路的完整信息；

第二步：獲取線路的斜率、截距以及無人機(jī)飛行速度，并設(shè)置初始擴(kuò)展卡爾曼濾波(Extended Kalman Filter，EKF)參數(shù)；

第三步：讀取下一幀航拍圖像，開始線路的跟蹤循環(huán)；

第四步：確定輸電線路感興趣區(qū)域(Region of Interest，ROI)，并在此區(qū)域內(nèi)進(jìn)行邊緣檢測與連接，判斷是否滿足跟蹤條件。如果不滿足，則認(rèn)為跟蹤失效，此時(shí)返回初始環(huán)節(jié)，需要對圖像的初始化參數(shù)進(jìn)行更新。當(dāng)判斷為圖像跟蹤成功時(shí)，程序自動讀取下一幀圖像，并完成圖像的跟蹤處理，直至所有視頻圖像均完成。

3.3 仿真結(jié)果分析

為驗(yàn)證文中算法對實(shí)際航拍圖像處理效果，對部分航拍圖像進(jìn)行實(shí)際檢測，選用同一航拍圖像分別使用上述兩種線路跟蹤方法進(jìn)行過處理，連續(xù)4幀跟蹤效果圖如圖11和圖12所示。

圖11 粒子濾波跟蹤結(jié)果圖Fig.11 Particle filter tracking results

圖12 EKF跟蹤結(jié)果圖Fig.12 EKF tracking results

通過觀察圖11、圖12，采用上述兩種跟蹤方法均能準(zhǔn)確提取出相鄰圖像幀中的電力線路。為了量化兩種方法的優(yōu)劣，通過正確率(圖像檢測正確數(shù)與圖像總數(shù)的比值)指標(biāo)進(jìn)行評價(jià)。通過對一定數(shù)量的航拍視頻進(jìn)行處理，獲得兩種跟蹤方法的對比。

分析表3，兩種跟蹤方法的正確率基本一致，均能較好地檢測出圖像中的線路。在處理時(shí)間指標(biāo)上EKF跟蹤算法用時(shí)較短，速度更快。簡而言之，粒子濾波跟蹤算法準(zhǔn)確性比EKF算法相差不大，而計(jì)算量卻是EKF算法的2倍以上，實(shí)時(shí)性不高。綜上所述，針對文中輸電線路的跟蹤與提取，采用EKF濾波已能滿足跟蹤要求。

表3 兩種算法對比Tab.3 Comparison of two algorithms

4 結(jié)束語

綜上所述，文章對無人機(jī)拍攝的輸電線路圖像進(jìn)行了圖像提取與跟蹤，為后續(xù)提升無人機(jī)智能巡檢的效率以及故障識別提供了基礎(chǔ)，經(jīng)過分析研究，得出以下重要結(jié)論：

(1)考慮航拍圖像的隨機(jī)性，拍攝得到的圖像中目標(biāo)元素與背景對比度較為相近，采用直方圖均衡化有效提升線路與背景的對比度；同時(shí)航拍圖像時(shí)周圍環(huán)境較為復(fù)雜，通過對比中值濾波和雙邊濾波處理效果，結(jié)果表明使用雙邊濾波更能保存輸電線路的細(xì)節(jié)；

(2)對預(yù)處理的圖像使用LSD算法實(shí)現(xiàn)了輸電線路的邊緣提取，針對提取結(jié)果經(jīng)常為多條短線段的問題，使用了Hough變換實(shí)現(xiàn)了輸電線路的鏈接，完成了輸電電路的提??；

(3)基于對粒子濾波和擴(kuò)展卡爾曼濾波兩種的分析，分別對相同的實(shí)際拍攝視頻幀圖像進(jìn)行處理，檢測準(zhǔn)確度分別為95.34%和94.72%；但由于EKF濾波算法平均圖像處理時(shí)間要小于粒子濾波跟蹤算法，因此利用EKF濾波建立的ROI就能滿足輸電線路的跟蹤要求。