何 冰,馬 泰,王欣庭,王宗洋,文 穎

1(國(guó)網(wǎng)上海市電力公司檢修公司,上海 200063)

2(華東師范大學(xué) 計(jì)算機(jī)科學(xué)與軟件工程學(xué)院,上海 200062)

1 介紹

隨著我國(guó)經(jīng)濟(jì)的高速發(fā)展,我國(guó)的電力需求也不斷增長(zhǎng),尤其是特高壓電網(wǎng)項(xiàng)目的開展和建設(shè)能源互聯(lián)網(wǎng)的實(shí)施,導(dǎo)致高壓線路覆蓋面積激增,形成了日漸復(fù)雜的電網(wǎng)架結(jié)構(gòu).由于大多數(shù)輸電線路在荒郊曠野運(yùn)轉(zhuǎn).因而難免受到氣候變化,下方區(qū)域地形地勢(shì),氣候變化等外界要素的干擾,進(jìn)而影響到電網(wǎng)的安全性和可靠性.為了保障電網(wǎng)能夠安全穩(wěn)定的運(yùn)轉(zhuǎn),對(duì)輸電線路進(jìn)行巡檢和維護(hù)便顯得至關(guān)重要,及時(shí)發(fā)現(xiàn)輸電線路中可能存在的安全隱患并對(duì)其加以排除和檢修,盡可能地減少損失,帶來經(jīng)濟(jì)上長(zhǎng)期的收益.

人工檢測(cè)作業(yè)危險(xiǎn),效率低,難度大.一種有效地解決上述問題的方法便是使用無人機(jī)航拍巡檢,由于無人機(jī)很少受到地形因素的制約,能夠發(fā)現(xiàn)難以被人工發(fā)現(xiàn)的隱蔽的安全缺陷,而且操作相對(duì)簡(jiǎn)單,對(duì)塔頭巡檢效果更好,成本較低,巡檢過程也更加有效率,且受天氣和環(huán)境影響較小,很適合應(yīng)用于對(duì)高壓線路通道環(huán)境的巡檢.而無人機(jī)在高壓線路通道環(huán)境巡檢也在其他方向得到應(yīng)用,如王萬國(guó)等人[1]使用了RCNN的方法來識(shí)別無人機(jī)巡檢圖像電力小部件,實(shí)現(xiàn)了基于無人機(jī)的電力部件的識(shí)別等.因此,本文所要進(jìn)行的工作便是圍繞著使用無人機(jī)對(duì)高壓線路通道環(huán)境巡檢這一目標(biāo)展開的.在場(chǎng)景識(shí)別方面Yu和Wang提出了使用圖匹配來進(jìn)行場(chǎng)景解析的方法[2].本文提出一種基于超像素和深度神經(jīng)網(wǎng)絡(luò)的航拍高壓輸電線路環(huán)境檢測(cè)的方法.首先,采用無人機(jī)對(duì)高壓輸電線路通道環(huán)境航拍,將視頻圖像進(jìn)行拼接,得到通道環(huán)境的整體圖像,然后使用超像素分割算法實(shí)現(xiàn)圖像的預(yù)分割,采用SURF (Speeded Up Robust Features)描述子提取特征向量,最后采用DNN模型進(jìn)行訓(xùn)練,對(duì)待檢測(cè)的超像素塊進(jìn)行分類,從而達(dá)到檢測(cè)的目的.

2 算法

本方法的主要過程由圖像拼接,圖像特征提取及圖像識(shí)別這3個(gè)步驟組成,流程圖如圖1所示,接下來本文將具體介紹了這3個(gè)步驟.

圖1 本方法的基本流程圖

2.1 SURF算法進(jìn)行圖像拼接

本方法的第一步便是將拍攝得到的圖像進(jìn)行拼接.圖像拼接的最常用的方法便是Harris角點(diǎn)檢測(cè)算法,由于 Harris角點(diǎn)的尺度不變性較差,在實(shí)際應(yīng)用中一種最常用的特征點(diǎn)描述方法便是Lowe[3]提出的SIFT算法,這種算法提取的特征點(diǎn)對(duì)空間強(qiáng)度信息進(jìn)行了充分的描述,同時(shí)對(duì)于小范圍的變形和局部錯(cuò)誤的穩(wěn)定性較好.近年來新的拼接算法包括Mills等人提出的動(dòng)態(tài)元素拼接算法[4],Ma等人提出的使用FAST檢測(cè)器和FREAK 描述的拼接算法[5],Qu等人提出的基于A-KAZE的拼接算法[6]等.本方法使用的是Bay等人[7]提出的SURF算法,使用64維特征向量來對(duì)特征點(diǎn)進(jìn)行描述,其特點(diǎn)在于其尺度不變性更好而且時(shí)間復(fù)雜度相比SIFT更低.

SURF使用近似Hessian矩陣將特征點(diǎn)提取出來,并通過積分圖大大提升過程中的計(jì)算速度,從而降低了特征檢測(cè)過程的時(shí)間.Hessian矩陣中局部極大值的點(diǎn)被判定為比鄰域中其他點(diǎn)更亮或更暗的點(diǎn),因此被確定為特征點(diǎn).由于通過此方法得到的特征點(diǎn)受尺度影響較大,因此在進(jìn)行矩陣的構(gòu)造前,利用高斯核服從正態(tài)分布的特點(diǎn),采用由積分圖實(shí)現(xiàn)的盒式濾波器近似實(shí)現(xiàn)高斯濾波器,使其受尺度影響較小的同時(shí)將運(yùn)算速度進(jìn)行提高.SURF尺度空間由多個(gè)層組成,其縮放比率為2,而每一層又形成了不同尺度的濾波響應(yīng)圖,不同組間濾波器尺寸逐漸增大,而同一組不同層濾波器尺寸相同,其模糊系數(shù)漸增.完成了尺度空間的構(gòu)建后,SURF在3×3×3大小的鄰近區(qū)域內(nèi)采用非最大值抑制,將比鄰近區(qū)域內(nèi)的其他26個(gè)點(diǎn)都大的或都小的點(diǎn)置為極值點(diǎn),將這些極值點(diǎn)作為初步得到的特征點(diǎn),再通過排除掉能量較弱或錯(cuò)誤定位的特征點(diǎn)后得到最終穩(wěn)定的特征點(diǎn).

在得到兩幅圖像的特征點(diǎn)后,本文使用了基于最近鄰和次近鄰距離比值的方法,對(duì)于圖像I1中的一個(gè)特征點(diǎn),在另一幅圖像I2中尋找與其歐式距離最短的點(diǎn)以及歐式距離第二短的點(diǎn),其距離分別為d1,d2,當(dāng)d1

2.2 SLIC超像素分割及特征提取

在得到待檢測(cè)通道區(qū)域的完整圖像后,為了對(duì)圖像內(nèi)容進(jìn)行檢測(cè),本文采用深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)對(duì)整張圖像直接進(jìn)行檢測(cè),然而由于圖像訓(xùn)練集過小,直接在如此小的訓(xùn)練集上對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練可行度較低,因此先使用超像素分割算法將圖像分割為多個(gè)超像素塊,之后對(duì)各個(gè)超像素塊的類別進(jìn)行檢測(cè)得到圖像內(nèi)容.超像素分割算法主要包括基于圖論的超像素算法和基于梯度的超像素算法兩種,基于圖論的超像素分割算法中主要包括Liu等人提出的熵增超像素分割算法[8],Li等人提出的二分圖分區(qū)算法[9],Fezenszwalb等人[10]提出的基于最短生成樹的超像素算法等.基于梯度上升的超像素算法主要包括Mean-shift[11]算法,Quick-shift[12]算法和Turbopixels[13]算法.圖像的超像素分割算法中還包括線性光譜聚類超像素分割算法[14]等.在本方法中使用了SLIC superpixels[15]算法來進(jìn)行超像素分割,此方法得到的超像素更加簡(jiǎn)潔整齊,而且計(jì)算效率相比更高,得到的超像素在大小上保持相同,分割效果較好.

SLIC算法的主要思想在于將 RGB彩色模型的圖像變換為 CIE-Lab彩色模型的圖像,將每個(gè)像素的顏色值(L,a,b)和坐標(biāo)(x,y)形成一個(gè)五維向量V[L,a,b,x,y],根據(jù)兩個(gè)像素在向量上的歐式距離的大小來度量這兩個(gè)像素的相似程度的高低.

通過上述算法得到了分割后的超像素塊后,本文提取其中的顏色,灰度共生矩陣和梯度特征并得到特征向量F=[color,contrast,dissimilarity,ASM,gradient]并使用其對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

2.3 深度神經(jīng)網(wǎng)絡(luò)

得到了分割后的超像素塊以及它們的對(duì)應(yīng)的特征向量后,本文通過神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,常用的神經(jīng)網(wǎng)絡(luò)包括全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks,FCN)[16]和U形網(wǎng)絡(luò)(U-Net)[17]等,近期提出的新的神經(jīng)網(wǎng)絡(luò)包括ShuffleNet[18],RefineDet[19],NetAdapt[20]等,本文中使用的神經(jīng)網(wǎng)絡(luò)是DNN,其優(yōu)點(diǎn)使用DNN可以將識(shí)別率顯著地提高,得到的效果更好.

DNN神經(jīng)網(wǎng)絡(luò)模型又叫全連接神經(jīng)網(wǎng)絡(luò),是現(xiàn)在許多現(xiàn)代AI應(yīng)用的基礎(chǔ).具有準(zhǔn)確度高,魯棒性強(qiáng)等特點(diǎn).DNN的基本結(jié)構(gòu)如圖2所示.

圖2 DNN基本結(jié)構(gòu)

DNN結(jié)構(gòu)可以按照其位置分為輸入層,隱含層,輸出層3部分,隱含層位于輸入層與輸出層之間,在這些層之間都是全連接的,即對(duì)某一層的一個(gè)神經(jīng)元,一定與下一層的任意一個(gè)神經(jīng)元都是相連的.與其他神經(jīng)網(wǎng)路不同的是DNN包含多于一個(gè)隱含層,輸入層接收數(shù)據(jù)后,將數(shù)據(jù)傳輸?shù)街虚g的隱含層,經(jīng)過多個(gè)隱含層的加權(quán)處理后,將結(jié)果傳遞給輸出層,由輸出層對(duì)其進(jìn)行處理后得到最后的結(jié)果.在將一個(gè)圖像輸入DNN后,DNN將輸出得分向量來實(shí)現(xiàn)對(duì)圖像的分類,通過對(duì)權(quán)重的優(yōu)化將輸出得分與正確分類的差值保持最小,即確保損失函數(shù) loss最小,即對(duì)權(quán)重進(jìn)行訓(xùn)練.常見的方法是所有訓(xùn)練樣本均有標(biāo)簽的監(jiān)督學(xué)習(xí),本文使用了這種方法,因此,其過程由訓(xùn)練和檢測(cè)兩個(gè)步驟組成.

得到訓(xùn)練后的DNN模型后,本文便使用此模型來檢測(cè)待檢測(cè)的圖像,實(shí)現(xiàn)對(duì)通道環(huán)境的巡檢.

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)分為圖像拼接,超像素圖像分割和圖像分類并將結(jié)果保存3個(gè)部分.實(shí)驗(yàn)中使用戴爾G7進(jìn)行實(shí)驗(yàn),CPU為Intel Core i5-8300H CPU @ 2.30 GHz,內(nèi)存為8.0 GB,硬盤為1 TB,實(shí)驗(yàn)中使用到的支撐軟件為Python3.6和OpenCV 2.4.9.

3.1 圖像拼接實(shí)驗(yàn)

本實(shí)驗(yàn)的第一步是使用無人機(jī)對(duì)待巡檢的區(qū)域進(jìn)行拍攝,拍攝得到的圖像尺寸均為4000×3000,如圖3為使用無人機(jī)對(duì)一個(gè)區(qū)域進(jìn)行拍攝得到的3張圖像,而對(duì)這3張圖像進(jìn)行拼接便可以得到待巡檢的區(qū)域的整體圖像.

圖3 對(duì)待檢測(cè)區(qū)域進(jìn)行拍攝得到的圖像

本文對(duì)使用SURF方法進(jìn)行拼接與使用SIFT方法進(jìn)行拼接所用的時(shí)間進(jìn)行了比較,比較結(jié)果如表1所示,可以看到,SURF方法在時(shí)間上相比于SIFT方法有很大的優(yōu)勢(shì).由于基于SURF特征點(diǎn)的拼接算法無論從拼接效果上還是在拼接時(shí)間上相比基于SIFT特征點(diǎn)的算法都更有優(yōu)勢(shì),因此本文使用基于SURF特征點(diǎn)的拼接算法來對(duì)拍攝得到的圖像進(jìn)行拼接,圖3的3張圖像使用基于SURF特征點(diǎn)的拼接算法進(jìn)行拼接后得到的區(qū)域整體圖像如圖4所示.而提取圖4中的SURF特征點(diǎn)的結(jié)果如圖5所示.

表1 圖像拼接時(shí)間比較(單位:s)

圖4 對(duì)圖3的3幅圖像進(jìn)行拼接后的結(jié)果

本文還對(duì)SURF方法的拼接結(jié)果進(jìn)行了檢測(cè),在155組待拼接的圖像中,使用本文中的SURF算法成功拼接了其中143組圖像,拼接成功率高達(dá)92.26%,其結(jié)果如表2所示.

圖5 對(duì)圖4提取其中特征點(diǎn)的結(jié)果

表2 圖像拼接效果統(tǒng)計(jì)

3.2 圖像超像素分割實(shí)驗(yàn)

拼接得到區(qū)域的整體圖像后,為了增加檢測(cè)時(shí)的圖像數(shù)據(jù),本文使用SLIC超像素分割算法將整體圖像分割為一定數(shù)量的超像素塊,從而通過這些超像素塊實(shí)現(xiàn)各個(gè)區(qū)域的識(shí)別.

將整體圖像分割為一個(gè)個(gè)超像素塊后,本文在每一個(gè)超像素塊內(nèi)提取其顏色,灰度共生矩陣和梯度特征并對(duì)應(yīng)每一個(gè)超像素塊都生成一個(gè)包含這些特征的特征向量,其示意圖如圖6所示.本文拼接得到的整體圖像進(jìn)行超像素分割后的結(jié)果如圖7所示,從圖中可以看到,完整圖像已經(jīng)被分割為許多個(gè)具有相似局部信息的超像素塊.

3.3 圖像識(shí)別實(shí)驗(yàn)

將圖像分割為超像素塊并提取出其特征后,根據(jù)處理后的真值圖像來進(jìn)行訓(xùn)練得到對(duì)應(yīng)的深度神經(jīng)網(wǎng)絡(luò),訓(xùn)練過程中本文使DNN對(duì)每一超像素塊的輸出類別盡量接近對(duì)應(yīng)的真值,通過訓(xùn)練可以得到能夠識(shí)別綠地區(qū)域,大棚區(qū)域和其他區(qū)域的深度神經(jīng)網(wǎng)絡(luò)模型,本文對(duì)待檢測(cè)圖像進(jìn)行超像素分割并將分割得到的超像素塊輸入訓(xùn)練得到的DNN模型后,可以得到輸入的超像素塊的輸出結(jié)果,將輸出結(jié)果可視化到圖像上后,就得到了對(duì)目標(biāo)區(qū)域圖像檢測(cè)的識(shí)別結(jié)果,本實(shí)驗(yàn)中識(shí)別結(jié)果如圖8所示,由于本次實(shí)驗(yàn)中的DNN只對(duì)綠地,大棚以及其它區(qū)域進(jìn)行了訓(xùn)練,因此本文得到的輸出結(jié)果中只識(shí)別了這三種區(qū)域類型.

本文對(duì)模型的檢測(cè)結(jié)果進(jìn)行了分析,其數(shù)據(jù)如表3所示,從表3中可以看出,本文中使用的算法的檢測(cè)成功率可達(dá)95.6%.

圖6 分割后的圖像超像素塊提取特征示意圖

圖7 圖像超像素分割結(jié)果

圖8 圖像識(shí)別結(jié)果,綠色代表綠地區(qū)域,白色代表大棚區(qū)域,灰色代表其他區(qū)域

表3 檢測(cè)數(shù)量以及成功率

4 結(jié)論與展望

本方法從基于無人機(jī)的高壓線路通道環(huán)境巡檢這一現(xiàn)實(shí)要求出發(fā),實(shí)現(xiàn)了一種基于超像素和深度神經(jīng)網(wǎng)絡(luò)的航拍高壓輸電線路環(huán)境檢測(cè)的方法.實(shí)驗(yàn)包括對(duì)基于SURF特征的圖像拼接算法,基于SLIC超像素分割技術(shù),對(duì)超像素塊的特征提取以及使用DNN進(jìn)行圖像分類檢測(cè).