(西安工程大學(xué) 電子信息學(xué)院,西安 710048)
輸電線路中出現(xiàn)絕緣子串表面污穢、自爆、破損和裂紋等故障嚴(yán)重威脅著輸電線路的安全可靠運(yùn)行?;谝曨l分析的輸電線路監(jiān)測(cè)平臺(tái)是智能電網(wǎng)核心組成部分。隨著極端天氣比如沙塵暴、霧霾、以及暴風(fēng)雪等對(duì)現(xiàn)場(chǎng)輸電線路監(jiān)測(cè)的影響,因而采用優(yōu)秀的圖像顯著特征檢測(cè)算法來(lái)更清晰提取絕緣子串或?qū)Ь€的實(shí)時(shí)狀態(tài)顯得越來(lái)越重要。
目前對(duì)于遠(yuǎn)程采集的絕緣子串或?qū)Ь€工作狀態(tài)圖像的處理方法包括:基于顏色特征的絕緣子串和導(dǎo)線的狀態(tài)監(jiān)測(cè)[1],該類方法依據(jù)單一特征變化量監(jiān)測(cè)識(shí)別,如果采集的圖像背景較復(fù)雜時(shí),絕緣子串和導(dǎo)線的特征檢測(cè)效果較差,影響輸電線路的工作狀態(tài)實(shí)時(shí)檢測(cè)。
近年來(lái),顯著物體檢測(cè)受到了廣泛的關(guān)注,作為一種在圖像處理領(lǐng)域高效使用的預(yù)處理方法,顯著特征檢測(cè)在各種圖像處理領(lǐng)域應(yīng)用變得至關(guān)重要,例如,物體檢測(cè)和分割,圖像重新定位,對(duì)比度增強(qiáng),圖像融合,圖像分類等。
顯著性檢測(cè)模型可以分為兩類:從元素的角度來(lái)看類。第一類是基于像素的方法,這些方法受到非均勻突出顯著區(qū)域的影響會(huì)產(chǎn)生不連續(xù)的邊界;為了克服這些缺點(diǎn),已經(jīng)提出了第二類基于超像素的方法,首先,與基于像素的方法相比,基于超像素的方法包括一些基于區(qū)域特征,如顏色直方圖,這比單個(gè)像素的顏色更有效。
基于區(qū)域的方法很好地保留了顯著對(duì)象的形狀,而基于像素的方法忽略了物體形狀的多樣性。全局特征檢測(cè)方法是以整個(gè)圖像為對(duì)象來(lái)計(jì)算顯著特征,通過(guò)整體稀有度和唯一性預(yù)測(cè)圖像的顯著區(qū)域,并將噪聲敏感到邊緣等高頻圖像內(nèi)容。當(dāng)區(qū)域與背景類似時(shí),全局方法無(wú)法突出顯示紋理的效果。
對(duì)于不同尺度的顯著性檢測(cè),一些超像素可能包含完全突出的對(duì)象,忽略異構(gòu)的局部細(xì)節(jié)特征,不能得到準(zhǔn)確完整的顯著特征,影響顯著區(qū)域的檢測(cè)效果。
深度學(xué)習(xí)在各領(lǐng)域的應(yīng)用越來(lái)越廣泛,該模型是參考人腦分層工作原理,從底層輸入信號(hào)到高層輸出語(yǔ)義之間建立映射關(guān)系。將卷積神經(jīng)網(wǎng)絡(luò)(CNN)應(yīng)用于顯著性檢測(cè)模型中可以提取圖像的高級(jí)特征,提高檢測(cè)的效率。
近年來(lái)特征檢測(cè)領(lǐng)域出現(xiàn)很多代表性模型:LC模型[2]:該模型將一幅圖像劃分為不同的區(qū)域, 計(jì)算各區(qū)域之間顏色元素的差異度,相比于全局對(duì)比度模型能更好的提取顯著目標(biāo)的細(xì)節(jié);Goferman等人[3]先通過(guò)局部對(duì)比方法產(chǎn)生較模糊顯著圖,利用區(qū)域協(xié)方差對(duì)對(duì)結(jié)構(gòu)信息進(jìn)行編碼,并在不同的特征圖上進(jìn)行非線性積分得到顯著區(qū)域;文獻(xiàn)[4]提出了UCF模型,是在特定卷積層之后構(gòu)建一個(gè)不確定的內(nèi)部特征集合,用于提高顯著性檢測(cè)的魯棒性和準(zhǔn)確性。文獻(xiàn)[5]的顯著性檢測(cè)方案是對(duì)前景依照顏色和紋理線索,依次在每個(gè)特征集群中集成它們,再通過(guò)兩幅顯著圖的線性組合生成最終顯著圖,該方法魯棒性較好,但算法耗時(shí)較多。
本課題以提高絕緣子串特征檢測(cè)效果為目標(biāo),引入視覺(jué)顯著機(jī)制與深度學(xué)習(xí)算法,改善在遮擋或背景較復(fù)雜時(shí)對(duì)于絕緣子串的檢測(cè)效果,達(dá)到無(wú)顏色沾粘,更清晰完整,減少算法運(yùn)行時(shí)間,提高電網(wǎng)系統(tǒng)可靠性。
本課題首先采用多尺度方法將圖像分解為不同的層,然后采用SLIC[6]將每層圖像分解為不同的超像素,采用超像素特征來(lái)描述多尺度圖像的某個(gè)區(qū)域的特征信息,計(jì)算各超像素的紋理特征和信息熵特征得到圖像的粗略顯著區(qū)域,并作為樣本集輸入Region Net網(wǎng)絡(luò),最后通過(guò)多次網(wǎng)絡(luò)迭代訓(xùn)練得到顯著物體特征。采用上述方法對(duì)輸電線路中的絕緣子進(jìn)行提取,并對(duì)狀態(tài)進(jìn)行監(jiān)測(cè),提高特征檢測(cè)的準(zhǔn)確性和完整性。
對(duì)于較復(fù)雜的圖像,對(duì)象特征檢測(cè)容易錯(cuò)過(guò)一些顯著信息,比如顯著對(duì)象周?chē)嬖陔s亂背景,或者物體和背景之間的對(duì)比度較低等[7]。由于顯著對(duì)象可能出現(xiàn)在圖像不同的尺度上,與背景形成不同的對(duì)比度,因而本課題引入超像素和統(tǒng)計(jì)方法來(lái)降低復(fù)雜場(chǎng)景的難度。采用多尺度方式將圖像分解為不同的層,然后通過(guò)SLIC將每層分解為不同大小的超像素,超像素優(yōu)勢(shì)表現(xiàn)在保證特征信息不變的情況下大大減少運(yùn)算量,多尺度結(jié)構(gòu)可以保持不同尺度下獲得的顯著區(qū)域之間的一致性,同時(shí)有效地組合區(qū)域和邊界特征獲得更完整的顯著特征。
圖1 不同k劃分結(jié)果圖
(1)
(2)
式中,w(l)和w(l,m)是兩個(gè)維度矩陣nl×nl和nl×nm。w可以通過(guò)矩陣表示為:
(3)
上式中應(yīng)中的每個(gè)子矩陣的對(duì)角元素都設(shè)置為0。
為了對(duì)上述算法進(jìn)行對(duì)比說(shuō)明,圖2展示了使用單尺度和多尺度處理的效果進(jìn)行對(duì)比??梢缘贸觯菏褂没诙喑叨葎澐值姆椒梢员葐纬叨确椒ǜ鼫?zhǔn)確的定位顯著信息,同時(shí)剔除周?chē)糠衷肼暋?/p>
圖2 單尺度與多尺度對(duì)比
由于復(fù)雜背景下絕緣子串圖像易受光照、霧霾等影響,會(huì)產(chǎn)生色差、變形以及部分遮擋,本課題提出將改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)和顯著性檢測(cè)的方法相結(jié)合,用于絕緣子串特征提取,提高絕緣子串特征的檢測(cè)的準(zhǔn)確性。圖3為卷積神經(jīng)網(wǎng)絡(luò)工作的流程圖。
圖3 卷積神經(jīng)網(wǎng)絡(luò)流程圖
將CNN應(yīng)用于顯著性檢測(cè)網(wǎng)絡(luò)可以自動(dòng)學(xué)習(xí)圖像的結(jié)構(gòu)化特征功能,通過(guò)端到端的傳播方法提取圖像的特征,代替復(fù)雜的手工提取特征,大大提高特征提取的效率。
針對(duì)實(shí)時(shí)采集的輸電線路工作圖片,通過(guò)本課題算法對(duì)圖片中有效區(qū)域進(jìn)行監(jiān)控,本課題提出了Region Net網(wǎng)絡(luò),該網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、效率高,Region Net利用CNN具有完全連接的層,各層負(fù)責(zé)不同特征的提取,并利用區(qū)域細(xì)化方法用于實(shí)現(xiàn)顯著區(qū)域的精確計(jì)算,進(jìn)一步提高了檢測(cè)精度?;贑NN的顯著區(qū)域細(xì)化處理的特點(diǎn)是基于物體特征的稀有性和獨(dú)特性,考慮整個(gè)圖像信息以檢測(cè)出突出區(qū)域,從而檢測(cè)出盡可能多的顯著對(duì)象。由于該方法檢測(cè)出的顯著特征不同于對(duì)高頻圖像中的敏感的邊緣和噪聲特征,該方法減少背景特征和噪聲特征的影響。
本課題提出的顯著性檢測(cè)框架如圖4所示:首先對(duì)圖像進(jìn)行預(yù)處理,然后將1.1節(jié)中提取粗略顯著區(qū)域(如圖4中b圖)和原圖(如圖4中a圖)分別送入到Region Net,通過(guò)Region Net能夠預(yù)測(cè)端到端的準(zhǔn)確的顯著區(qū)域,分別為圖4中的FS和FC,最后形成整個(gè)圖像的顯著特征圖FH,明顯提高顯著對(duì)象檢測(cè)性能。
圖4 區(qū)域網(wǎng)路框圖
本課題提出的顯著特征檢測(cè)網(wǎng)絡(luò)中,采用VGG16 CNN[10]進(jìn)行訓(xùn)練。VGG16的訓(xùn)練是先從各層中提取特征后進(jìn)行線性組合,增強(qiáng)對(duì)輸入圖像的顯著特征提取,然后使用子模型從前到后依次經(jīng)過(guò)3個(gè)卷積層(見(jiàn)圖3)依次為:Conv3、Conv4、Conv5以及一個(gè)完全連接的層(FC)。同時(shí)每一個(gè)卷積子模型增加三層卷積,接著是三次ReLU操作,最后送入池化層。顯著特征圖計(jì)算如公式(4)所示:
S=STD×eSBU
(4)
(5)
(6)
在式(4)中,S表示輸入圖像經(jīng)過(guò)計(jì)算得到的顯著特征圖,SBU表示自下而上的顯著特征圖,STD表示建議的自上而下的顯著圖。在等式2中,n代表子模型數(shù){conv3,conv4,conv5,fc},SLayer_n表示從VGG16中的子模型獲得的特征映射;Wn表示對(duì)應(yīng)的權(quán)重每個(gè)特征圖,中心偏置加權(quán)M=1-d,縮放到d∈{0.25-1},大小為224×224。
實(shí)驗(yàn)首先將SLayer_n的行和列調(diào)整到224×224,然后對(duì)每個(gè)SLayer_n進(jìn)行高斯模糊操作,提高顯著性檢測(cè)的整體性能,最后采用歸一化操作來(lái)計(jì)算最終顯著圖,如公式(7)所示:
(7)
Region Net的池化操作是對(duì)每個(gè)Region Net中的特征按一定的比率進(jìn)行聚合(本課題實(shí)驗(yàn)中為7×7)。
誤差反向傳播需要計(jì)算誤差,誤差通過(guò)Om與理想輸出Ym的差值得出;然后采用極小化誤差算法調(diào)整權(quán)值。訓(xùn)練第m個(gè)樣本的誤差函數(shù)計(jì)算方法如式(8)所示:
(8)
將顯著對(duì)象檢測(cè)作為二元分類問(wèn)題,形成端到端的顯著圖像,采用該方法能夠更完整準(zhǔn)確的提取圖像中的高級(jí)特征,高級(jí)特征能更好的反映圖像的顯著物體的特征,能夠顯著對(duì)象特征提取更準(zhǔn)確,同時(shí)降低計(jì)算成本。
為驗(yàn)證本課題提出的算法的高效性,首先選取不同光照環(huán)境、陰影環(huán)境、以及惡劣環(huán)境下各類絕緣子串的不同工作圖像,然后進(jìn)行絕緣子的顯著特征提取結(jié)果對(duì)比實(shí)驗(yàn)[3]。采用不同的顯著檢測(cè)模型分別檢測(cè)絕緣子串特征。包括CSD模型[3]、FT模型[2]、GU模型[11]、GC模型[3]、SR模型[1]以及本課題提出的模型。其中實(shí)驗(yàn)環(huán)境選擇Intel 酷睿i7處理器,主頻3 GHz,內(nèi)存8 GHz的配置,編輯環(huán)境為Matlab 2017a和VS2010。
實(shí)驗(yàn)選取在不同光照對(duì)比明顯的三幅圖像進(jìn)行絕緣子串特征提取,實(shí)驗(yàn)結(jié)果如圖5所示,可以得出:在光照較弱的時(shí),CSD模型、GU模型、FT模型和SR模型、GC模型以及本課題提出的模型都能很好的提取絕緣子的特征,但在光照強(qiáng)度增大后,采集的絕緣子圖像特征對(duì)比度越來(lái)越低的時(shí)候,GU模型、FT模型和SR模型、GC模型提取的絕緣子特征圖中含有的噪聲較大。
圖5 不同光照下絕緣子串特征檢測(cè)
實(shí)驗(yàn)還選取不同陰影環(huán)境下工作的兩幅絕緣子圖像,采用不同的方法提取絕緣子串特征,實(shí)驗(yàn)結(jié)果如圖6所示,可以得出:在陰影部分較多時(shí),CSD模型、GU模型、FT模型和SR模型、GC模型提取絕緣子的特征信息丟失嚴(yán)重。
圖6 不同陰影下絕緣子串特征檢測(cè)
通過(guò)實(shí)時(shí)讀取攝像機(jī)的數(shù)據(jù),由于絕緣子特征與背景對(duì)比度較大,因而采用本課題算法和其它的顯著性檢測(cè)算法對(duì)圖片進(jìn)行處理,得到絕緣子串特征,結(jié)果如圖5所示。表明本課題算法能更好的檢測(cè)到絕緣子破損區(qū)域。
圖7 惡劣天氣下識(shí)別結(jié)果圖
根據(jù)圖像在不同光照、陰影以及惡劣天氣條件下的實(shí)驗(yàn)結(jié)果得出:本課題模型比CSD模型[11]、GU模型[12]能更好的突出顯著物體的邊緣連續(xù)性和準(zhǔn)確性,能更好的去除背景信息;比FT模型[3]和SR模型[1]能更完整、清晰的提取顯著物體局部信息,適用于場(chǎng)景變化不大的場(chǎng)合;比GC模型[3]提取的絕緣子串圖像對(duì)比度更好。
評(píng)價(jià)標(biāo)準(zhǔn)中的客觀性能評(píng)價(jià)包括準(zhǔn)確率-召回率(precision recall, PR)曲線、F-measure 和平均絕對(duì)誤差(mean absolute error, MAE)的值[10]。MAE值的計(jì)算通過(guò)式(13)得到:
(9)
式(13)中H表示圖像中像素點(diǎn)的總數(shù),h表示任意像素點(diǎn),該評(píng)價(jià)標(biāo)準(zhǔn)可以表明顯著圖與真值圖之間的相似度。本課題采用F-Measure進(jìn)行評(píng)估, F-Measure的計(jì)算公式為:
(10)
本課題采用PR曲線對(duì)所有算法進(jìn)行評(píng)價(jià), 首先設(shè)定閾值為 0~255,獲得PR 值可描繪成曲線作為對(duì) PR 曲線的補(bǔ)充,其中,θPRE和θRE分別表示顯著結(jié)果圖與原圖對(duì)比的準(zhǔn)確率和召回率。為了給予準(zhǔn)確率更高的權(quán)重, 本課題設(shè)置η2=0.3。
圖8 不同算法ROC曲線特征
復(fù)雜度對(duì)比實(shí)驗(yàn)是從室外拍攝的不同環(huán)境中絕緣子串工作的圖像庫(kù)中選取500幅圖像平均分成5組進(jìn)行處理,分別計(jì)算每組處理方法所用的平均時(shí)間。表1測(cè)量6種不同算法的運(yùn)行時(shí)間對(duì)比。測(cè)試結(jié)果表明本課題提出的算法運(yùn)行速度僅次于SR 算法, 但本課題提出的算法效果明顯優(yōu)于SR 算法。
表1 不同方法每張圖像平均計(jì)算時(shí)間
本課題將人類視覺(jué)注意模型中感知前景的顯著區(qū)域和改進(jìn)后卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合,提取不同環(huán)境中的絕緣子串特征圖。實(shí)驗(yàn)效果通過(guò)PR曲線、F-measure、MAE值和算法運(yùn)行時(shí)間綜合對(duì)比各模型性能。結(jié)果表明本課題算法能更清楚提取絕緣子串內(nèi)部信息,同時(shí)也較完整的保留絕緣子串的邊緣信息。本課題算法將輸電線路中的絕緣子串工作狀態(tài)檢測(cè)效果得到提升,避免人工巡視的缺陷,提高巡視的自動(dòng)化程度和效率。
下一步研究工作:可將本課題算法模型應(yīng)用于更多類型的典型輸電線路故障識(shí)別,比如絕緣子自爆識(shí)別、絕緣子串污穢和導(dǎo)線斷股等方面[13-15]。