陳躍偉,彭道剛,夏 飛,錢玉良

(上海電力學院自動化工程學院,上海 200090)

1 引 言

目前在變電站巡檢機器人監(jiān)控系統(tǒng)中針對變電設備紅外圖像的識別問題缺少統(tǒng)一的技術評價指標,巡檢機器人拍攝的紅外圖像背景復雜多樣,遠程監(jiān)控系統(tǒng)針對該圖像進行識別時經常存在錯識、漏識、識不出等現(xiàn)象,設備紅外診斷結果無法正確匹配到相應設備類型,影響變電站監(jiān)控系統(tǒng)的正常運行[1]。

紅外圖像中設備的特征提取與識別是紅外診斷技術的重要組成部分,常用的特征提取和識別方法有邊緣檢測法、正交矩法、神經網絡法、支持向量機法等[2]。文獻[3]采用SURF法將圖像中絕緣子的特征向量進行提取和識別,縱向統(tǒng)計經角度矯正和形態(tài)學開運算后絕緣子灰度極小值的分布規(guī)律,定位出不良絕緣子,該方法在提取絕緣子特征向量時忽略絕緣子邊緣模糊帶來的特征向量誤差。文獻[4]針對110 kV線路絕緣子在不同污穢等級和濕度下的零值絕緣子紅外圖像識別問題,提出自適應學習法和共軛梯度法來優(yōu)化BP神經網絡模型,根據(jù)網絡誤差曲面的變化自適應調整學習步長,使得網絡快速收斂到全局最優(yōu)值,但由于其各層觸發(fā)函數(shù)在高次數(shù)迭代中產生邊緣誤差,使得網絡收斂時產生明顯波動。

紅外圖像分割技術是圖像特征提取的基礎,其分割目標設備的完整性和準確性決定后續(xù)圖像特征提取和識別的效果。文獻[5]將變電站紅外圖像進行反轉后減去原始圖像以增強圖像中目標設備的邊緣區(qū)域,最大限度地減少背景噪聲,利用Otsu分割方法分割設備目標,但該方法存在因設備邊緣模糊而導致的欠分割問題。文獻[6]采用半自動區(qū)域生長法對豬食管OCT圖像中粘膜層進行精確分割,通過局部平均值判定法確定種子點位置,采用等比例變換縮放圖像法縮短分割時間,利用最鄰近差值法確定分割閾值,實現(xiàn)縮放后OCT圖像中粘膜層的分割,最后映射到原圖像中,但其在種子點選取時采用5×5區(qū)域內部取灰度平均值作為種子點像素,容易將種子點特征模糊化。

2 紅外圖像識別原理

2.1 紅外圖像分割

2.1.1 構建圖像溫度場

在一定測溫范圍內,紅外圖像中像素點的亮度值與溫度值之間線性相關,通過線性變換可將圖像中像素點的亮度矩陣映射到設備的溫度場[7]。在紅外圖像中獲取圖像的三維數(shù)值矩陣,通過顏色分量的加權可將真彩色圖像數(shù)值轉換為圖像亮度值,轉換公式為:

Y=0.299R+ 0.587G+ 0.114B

(1)

式中,Y為YUV格式中Y分量,R、G、B分別是RGB格式的分量。根據(jù)變電站設備紅外圖像中標定最低溫度Tmin和最高溫度Tmax,在[Tmin,Tmax]等間隔取60個樣本溫度點。對每一溫度值的樣本點找到50個該溫度值點的坐標,并記錄在臨時數(shù)組中,同時計算出該50個位置處的像素亮度值,統(tǒng)計每個亮度值出現(xiàn)的次數(shù),出現(xiàn)次數(shù)最高的亮度值作為該溫度值對應的像素亮度值,并記錄在相應數(shù)組中。找到60個溫度值對應的亮度值后,對樣本數(shù)據(jù)進行最小二乘法擬合,得到亮度值與溫度值之間的線性關系,將紅外圖像的亮度陣列用溫度矩陣替代,記錄設備溫度最高點對應亮度值的位置坐標。圖1為穿墻套管亮度值與溫度的線性擬合效果。圖2為圖1(a)中方框內溫度場坐標分布,其中坐標原點為方框的左上角,水平向右、向下分別為x、y軸正方向,圖2中溫度最高區(qū)域對應圖1(a)中溫度最高區(qū)域。

圖1 亮度與溫度的線性擬合

圖2 設備溫度場分布

2.1.2 改進區(qū)域生長法

區(qū)域生長法是像素級的圖像分割方法,將圖像中具有某些相似特性的像素點集合提取構成目標區(qū)域,實現(xiàn)對復雜背景進行高精確地分割[8]。選取待分割圖像中滿足一定要求的區(qū)域集合作為分割的種子集合,從種子點區(qū)域按照給定的規(guī)則生長,將種子集合鄰域內符合條件的像素歸并到種子集合,將合并后的像素集合看作新的種子集合繼續(xù)按照生長規(guī)則生長,直到沒有滿足條件的像素存在。

種子點再生長過程中,利用Otsu法確定的閾值作為種子再生長的約束。Otsu法是基于閾值的分割方法,設紅外圖像的灰度范圍為[0,L-1],灰度為i的像素個數(shù)為N,ni為灰度i的像素個數(shù),灰度i出現(xiàn)的概率為pi=ni/N,閾值t將圖像灰度級劃分為C0=(0,1,…,t)和C1=(t+1,t+2,…,L-1),各灰度級的概率分別為:

(2)

式中,ω0、ω1分別表示C0、C1灰度等級的概率分布?；叶染捣謩e為:

(3)

式中,μ0、μ1分別表示C0、C1灰度等級的灰度均值。由式(2)、(3)可得:

μt=ω0μ0+ω1μ1

(4)

式中,μt表示整幅圖像的灰度均值。則類間方差定義為:

σB2=ω0(μ0-μt)2+ω1(μ1-μt)2

=ω0ω1(μ0-μ1)2

(5)

最佳閾值為:

(6)

式中,t*為σB2的最大值。從灰度值最小到最大找出使得式(6)中t*為最大值時L的灰度值即為分割的最佳閾值。采用類間方差衡量灰度分布均勻性時,當類間方差取最大值,圖像中目標設備和背景的像素差別最大,錯分的概率最小,此時的L可作為分割的最佳閾值[9]。改進區(qū)域生長法的描述如下:

(1)種子點的獲取

種子點代表目標區(qū)域的一個或一組像素,紅外圖像的亮度反映目標區(qū)域的溫度信息,利用上述建立的圖像溫度場選擇圖像中設定溫度范圍對應的像素區(qū)域作為種子點。

(2)生長準則

設已生長合并的區(qū)域為R,R中像素點個數(shù)為N,灰度均值為μR,T1是經Otsu法確定的最優(yōu)閾值,T2為灰度相似性閾值,待合并像素點(x,y)的鄰域內灰度均值為:

(7)

生長準則可用如下式表示:

(8)

式中,T1為Otsu確定的3×3鄰域內最優(yōu)閾值,T2為圖像灰度相似性閾值。對于滿足式(8)的像素點,可將其作為新的種子并合并到已分割區(qū)域,此時區(qū)域R的均值可表示為:

(9)

式中,μold、μnew分別為合并前、后的圖像灰度均值。如果待檢測的像素點與種子點像素灰度值之差的絕對值大于設定門限值或者不滿足式(8),可認為該像素不符合生長規(guī)則,終止對該像素點的合并,繼續(xù)進行其他像素的合并,直至該截屏窗口內部完全分割。在區(qū)域生長過程中引入最佳分割閾值T1和灰度相似性閾值T2后,可避免因紅外圖像中目標設備灰度變化過大而導致的目標設備過分割,同時生長規(guī)則中加入T1的約束,也可避免因紅外圖像中目標設備邊緣模糊而導致的目標圖像欠分割。

為定量地評價分割算法性能,采用假陰性率(False Negative Ratio,FNR)、分割錯誤率(Ratio of Segmentation Error,RSE)、Dice相似性系數(shù)(Dice Similarity Coefficient,DSC)來檢驗改進區(qū)域生長法的分割精度[10]。設S1為文中方法分割得到的設備圖像,S2為人工分割圖像邊界,則上述評價準則定義如下:

(10)

式中,N(·)為封閉區(qū)域內像素數(shù)目,FNR、RSE值越接近0,DSC值越接近1,說明分割精度越高。

2.2 設備形狀特征提取

變電站電氣設備的形狀不因工作狀態(tài)和環(huán)境變化而改變,具有較強的穩(wěn)定性,可使用其形狀作為分類識別的依據(jù)。根據(jù)上述方法對紅外圖像中目標設備進行形狀分割提取后,利用Hu矩計算其形狀特征向量。

Hu矩描述圖像設備區(qū)域特征,具有平移、縮放、旋轉和尺度不變性,是基于目標設備形狀識別的重要參數(shù)[11]。設二維離散函數(shù)f(x,y)的(p+q)階矩為:

mpq=∑x∑yxpyqf(x,y)

(11)

由式(11)可得到零階矩m00=∑x∑yf(x,y),則圖像的質心為:

(12)

式中,m10和m01為一階矩。二維離散圖像的中心矩為:

(13)

歸一化的中心矩為:

(14)

式中,γ=(p+q)/2+1,則Hu矩為:

φ1=η20+η02

φ3=(η30-3η12)2+(3η21-η03)2

φ4=(η30+η12)2+(η21+η03)2

φ5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+3(η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]

φ6=(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)

φ7=(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]

(15)

由于Hu矩的7個特征φ1～φ7量的數(shù)量級差別較大且有正有負,工程上采用變換后的Hu矩作為圖像形狀特征,式(15)變換后的Hu矩為:

φ′=|log10|φ||

(16)

為描述不同設備形狀的相似度,選擇設備形狀特征向量間的歐氏距離來表示[12],其定義為:

(17)

式中,X、Y分別為不同設備形狀特征向量；xi、yi為向量內元素。設備形狀特征向量間距離越小,說明設備形狀差別越小,反之亦然。

2.3 BP神經網絡模型

2.3.1 BP神經網絡優(yōu)化

針對傳統(tǒng)BP神經網絡存在的不足,廣泛應用的改進算法有共軛梯度法、附加動量法、Levenberg- Marquardt法、自適應學習率法等,本文采用附加動量和自適應調整學習率來優(yōu)化BP神經網絡模型[13-14]。引入附加動量后,傳統(tǒng)BP神經網絡連接權值的迭代關系為:

wuv(n+1)=wuv(n)+Δwuv(n+1)

(18)

式中,mcΔwuv(n)為附加動量;mc為動量因子,進而可得:

(19)

由式(19)可得:

(20)

上式中附加動量項系數(shù)增加為η/(1-mc),BP神經網絡誤差在反向傳播過程中,給各個權值都加上一個正比于上一次權值變化的量,可彌補傳統(tǒng)BP網絡在權值調整時易陷入局部最優(yōu)的不足。同時為避免恒定學習速率帶來的網絡收斂誤差,保證BP網絡訓練過程中迭代收斂穩(wěn)定性,引入自適應調整學習率,其根據(jù)權值修正值是否有效降低誤差函數(shù)作相應變化,如果誤差函數(shù)降低過大,說明學習率較小,自適應學習速率法會自動增大學習率,反之亦然,其定義如下:

(21)

式中,kinc為學習率增長比;kdec為學習率下降比;E(k)、E(k+1)為第k、k+1迭代誤差。

2.3.2 基于Hu矩的BP網絡模型

在基于變電設備形狀的識別過程中,將設備形狀的Hu矩特征向量輸入到BP網絡第一層的節(jié)點中,經過隱藏層反向傳播輸出層的誤差,修正各神經元的權值,直至迭代精度滿足要求。設BP神經網絡的結構為輸入層-隱藏層-輸出層的3層結構,所有節(jié)點的激活函數(shù)均采用S型函數(shù)。BP神經網絡輸入元素的個數(shù)等于識別對象特征向量的維數(shù),針對同一設備不同類型的形狀特征向量,BP網絡的輸入元素個數(shù)也不同,而輸出元素的個數(shù)為訓練樣本中的設備種類的數(shù)目[15]。使用Hu矩作為形狀特征向量,網絡輸入元素為7維,同時輸入向量按照下式作歸一化處理:

(22)

式中,Z、Z′為設備Hu矩歸一化前、后特征向量,Zmax、Zmin為Hu特征向量中最大、最小值。隱藏層節(jié)點數(shù)目的確定是通過多次實驗對比驗證來確定的,取為12,輸出層主要識別8種設備,可設置3個輸出層,通過二進制編碼確定輸出設備類型。當網絡輸出的全局誤差小于期望誤差或者迭代步數(shù)達到最大時,網絡迭代終止,而網絡的全局誤差e定義為:

(23)

式中,N為輸入樣本數(shù),N取7;q為輸出樣本維度,q取3;k為樣本序列;o為網絡隱藏層到輸出層的樣本序列;do(k)、yo(k)分別為期望輸出和實際輸出。

基于優(yōu)化區(qū)域生長法和BP神經網絡對紅外圖像識別的流程如圖3所示。

圖3 紅外圖像識別流程圖

3 實驗結果分析

3.1 紅外圖像分割結果

在給定設備運行溫度范圍條件下采用區(qū)域生長法分割紅外圖像時,根據(jù)圖像溫度場關系確定種子點位置,作為改進區(qū)域生長法的起始點。圖4(a1)中方框內部為種子點主要匯集區(qū)域,圖中溫度為[20,50] ℃,熱點溫度為48 ℃,設置溫度>44 ℃區(qū)域為種子點,根據(jù)上述建立的溫度場分布定位出種子點區(qū)域。截取100×100像素的窗口并使其包含導線熱點區(qū)域,利用Otsu原理計算該窗口內最優(yōu)閾值T1約為204,灰度相似性閾值T2設為20.5,在該窗口上按照3×3步長進行分割,再將分割的結果映射到原圖像上,完成此次窗口的分割。然后再重新設定溫度范圍,將溫度>38 ℃的像素點按上述方法進行分割,窗口大小、分割步長保持不變,重新利用Otsu計算該窗口內部最優(yōu)閾值T1約為137,灰度相似性閾值T2設為23.7,最終實現(xiàn)此窗口的分割結果并將其映射到原圖像中。如此重復分割直至分割溫度設為30 ℃后停止,最終完成導線區(qū)域分割,分割結果如圖4(a3)所示。圖4(a2)為傳統(tǒng)區(qū)域生長法分割結果,圖中導線內部細小局部邊緣存在欠分割,導線絕緣子掛柄處因污損產熱而出現(xiàn)過分割,使得圖像的特征向量存在較大干擾,而本文方法可有效地排除紅外圖像中目標設備與背景間的連接干擾,有效地避免傳統(tǒng)區(qū)域生長法閾值恒定帶來的欠分割或過分割的不足。同時將經本方法分割得到的導線故障區(qū)域圖像與變電站運行人員人工分割的導線故障區(qū)域進行對比,求取FNR、RSE、DSC等指標定量分析本方法的分割效果,結果如表1所示。運用本方法分割圖像的FNR、RSE參數(shù)比經傳統(tǒng)區(qū)域生長法分割圖像得到的參數(shù)小,而且非常接近于0,說明本方法分割錯誤率較傳統(tǒng)區(qū)域生長法低,而經本方法分割圖像的DSC較傳統(tǒng)區(qū)域生長法高,而且接近于1,說明本方法分割出的導線邊緣與真實導線邊緣更加接近,分割精度較高。圖4(b)電壓互感器的溫度范圍為[25,70] ℃,將溫度>50 ℃像素區(qū)域作為初次分割窗口的種子點,主要位于圖4(b1)中方框內,分割窗口設為60×100,該窗口內Otsu最優(yōu)閾值T1為213,灰度相似性閾值T2為20.5,分割步長為3×3,最后將截屏窗口分割結果映射到原圖像中。按照上述分割方法繼續(xù)分割,直至目標設備從原圖像中完全分割出來,最終結果如圖4(b3)所示。

表1 圖像分割精度對比

圖4 各方法分割對比

3.2 設備的特征提取

將紅外圖像進行種子點定位,利用Otsu優(yōu)化區(qū)域生長法分割目標設備,提取出設備的二值形態(tài)圖像后,取圖5中(a)為導線連接觸頭、(b)為電流互感器、(c)為絕緣子片、(d)為電壓互感器、(e)為變壓器出線套管、(f)、(g)、(h)為避雷器等設備形狀圖像進行Hu矩運算,得到各設備的形狀特征向量,表2為圖5中設備形狀圖像的Hu矩特征向量。

圖5 變電站電氣設備二值圖像

為比較不同電氣設備形狀特征向量間的歐式距離,需先對提取的設備形狀特征向量作歸一化處理,再計算形狀特征向量間的距離,用圖5(f)分別與其他圖像比較,結果如表3所示。

表2 變電站電氣設備二值圖像特征提取

表3 不同設備間特征向量的距離

圖5(f)～(h)為避雷器的旋轉和縮放二值圖,三種形狀特征向量間的歐式距離分別為0、0.00001和0.0001,可認為Hu矩對同一設備的縮放、旋轉等尺度變化具有良好的不變性。圖5(f)與(a)(b)(c)(d)(e)的特征向量距離較大,其值分別為0.90517、0.81262、0.84607、0.82014和0.83176,可認為它們屬于不同的設備。特征向量距離反映其形狀差別的大小,可看出Hu矩具有較好的類間區(qū)分度,可將Hu矩作為圖像識別的特征向量。

3.3 BP網絡識別結果

選取圖5中8種變電設備圖像400幅,每種設備各50幅,隨機對各設備圖像進行旋轉、縮放和尺度變化及加入隨機噪聲等處理后,計算各圖像的Hu矩特征向量,將歸一化后的Hu矩作為BP神經網絡的輸入,運用附加動量法和自適應調整學習率法優(yōu)化BP神經網絡模型,實現(xiàn)不同設備的識別。在400幅圖像中隨機選取300幅求取其Hu矩特征向量,歸一化后作為BP網絡的輸入樣本,余下圖像的Hu矩作為網絡測試樣本。BP網絡結構為7-12-3,期望最小誤差e為0.01,動量因子mc為0.852,學習增長、下降比kinc、kdec分別為1.017、0.657,最大迭代次數(shù)為7000。在多次訓練BP網絡過程中,平均迭代次數(shù)為2950時,迭代誤差約為0.00987,BP神經網絡迭代誤差如圖6所示,BP網絡對設備識別的結果如表4所示。由圖6和表4可知:

(1)采用附加動量和自適應學習率優(yōu)化BP神經網絡并采用S型激活函數(shù),使得BP網絡以較快的迭代收斂速度達到誤差允許范圍內,在迭代收斂過程中有效地避免陷入局部最優(yōu)值。圖6中迭代誤

差曲線局部出現(xiàn)少許尖波跳動,整體平穩(wěn)收斂,說明全局最優(yōu)值在局部誤差曲面中以較快速度逃離該平坦區(qū)域,最終很快收斂到0.01以下。

圖6 BP神經網絡迭代次數(shù)與誤差曲線

(2)優(yōu)化后的BP神經網絡能夠根據(jù)歸一化后的Hu矩準確識別出設備對應的二進制編碼,但對于經過旋轉縮放處理的避雷器圖片,由于其Hu矩特征向量相同,該網絡僅僅識別出第一次訓練網絡所用的正常避雷器圖像,說明Hu矩具有良好的不變性和類間區(qū)分度。實驗統(tǒng)計400幅設備二值圖像的Hu矩特征向量識別結果中正確識別設備類型為92.74%,錯誤識別設備為5.78%,未識別設備僅為1.48%。

表4 部分測試數(shù)據(jù)和結果

4 結 論

針對變電站巡檢機器人遠程監(jiān)控系統(tǒng)中紅外圖像設備識別存在的錯識、漏識、識不出等問題,提出基于優(yōu)化區(qū)域生長法和BP神經網絡的紅外圖像設備分割與識別方法。利用最小二乘法擬合紅外圖像中圖像亮度與溫度之間的線性關系,建立基于像素的紅外圖像溫度場,根據(jù)設定溫度范圍來確定區(qū)域生長法的種子點位置,利用Otsu法確定使得截屏窗口灰度分布均勻性最大時的最優(yōu)分割閾值,結合其灰度相似性閾值,確定區(qū)域生長的分割準則；將分割后設備二值圖像的Hu矩作為設備的形狀特征向量,并對其進行不變性和類間區(qū)分度驗證；采用引入附加動量法和自適應調整學習率的BP神經網絡實現(xiàn)導線連接、電流互感器、電壓互感器、絕緣子、變壓器出線套管、避雷器等電氣設備的分類識別,優(yōu)化后的BP神經網絡具有迭代收斂快,誤差波動性小,分類準確度高等特點,實驗數(shù)據(jù)表明本方法具有很強的適用性。

[1] GUO R,HAN L,SUN Y,et al.A mobile robot for inspection of substation equipments[C]//2010 1st International Conference on Applied Robotics for the Power Industry.Montreal,Canada:IEEE,2010:1-5.

[2] WANG B,GUO R,LI B,et al.Smart guard:an autonomous robotic system for inspecting substation equipment[J].Journal of Field Robotics,2012,29(1):123-137.

[3] YANG Hongmei,LIU Zhigang,HAN Ye,et al.Defective condition detection of insulators in electrified railway based on feature matching of speeded-up robust features[J].Power System Technology,2013,37(8):2297-2302.(in Chinese)

楊紅梅,劉志剛,韓燁,等.基于快速魯棒性特征匹配的電氣化鐵路絕緣子不良狀態(tài)檢測[J].電網技術,2013,37(8):2297-2302.

[4] YAO Jiangang,GUAN Shilei,LU Jiazheng,et al.Identification of zero resistance insulators by combining relative temperature distribution characteristics with artificial neural network[J].Power System Technology,2012,36(2):170-176.(in Chinese)

姚建剛,關石磊,陸佳政,等.相對溫度分布特征與人工神經網絡相結合的零值絕緣子識別方法[J].電網技術,2012,36(2):170-176.

[5] Jadin M S,Taib S.Infrared image enhancement and segmentation for extracting the thermal anomalies in electrical equipment[J].Electronics and Electrical Engineering,2012,4(120):107-112.

[6] 曹彪.基于區(qū)域生長的OCT圖像分割算法研究[D].北京:北京理工大學,2014.

[7] SONG X,Fan S,Yang B.Implementation of infrared measuring temperature on remote image monitoring and control system in transformersubstation[C]//International Conference on Image Analysis and Signal Processing,Hong Kong,2012:1-4.

[8] 崔金濤,牛林,戰(zhàn)杰,等.基于圖像處理的變電設備異常自動識別方法:中國,CN104331521A[P].2015.

[9] GAO Song,LI Fudong.Regional joint segmentation and active contour model of the image edge extraction[J].Laser & Infrared,2013,43(1):94-99.(in Chinese)

高頌,李富棟.圖像邊緣提取的區(qū)域聯(lián)合分割與主動輪廓模型[J].激光與紅外,2013,43(1):94-99.

[10] Refael C Gonzalez,Richard E.Woods.Digital Image Processing(Third Edition)[M].Pearson Education,2010:115-200.

[11] B Vanajakshi,Dr.K.Sri Rama Krishna.Classification of boundary and region shapes using Hu-moment invariants[J].Indian Journal of Computer Science and Engineering,2012,3(2):386-393.

[12] Fadwa Al-Azzo,Arwa Mohammed Taqi,Mariofanna Milanova.3D human action recognition using Hu-moment invariants and Euclidean distance classifier [J].International Journal of AdvancedComputer Science and Applications,2017,8(4):13-21.

[13] Ming Yu,HeRong Wang,Ting Lan.The BP neural network for improvement of classification accuracy in remote sensing image [J].International Journal of Environmental Protection and Policy,2016,4(3):93-97.

[14] MingYu,He-RongWang,Ting Lan.The BP neural network for improvement of classification accuracy in remote sensing image[J].International Journal of Environmental Protection and Policy,2016,4(3):93-97.

[15] 任新輝.基于紅外技術的變電站設備識別與熱故障診斷[D].西安:西安交通大學,2016.