戴進墩， 陳雅慧， 劉亞東， 盛戈皞， 江秀臣， 彭紅霞， 王智杰

(1.上海交通大學(xué) 電氣工程系，上海 200240；2. 國家電網(wǎng)山東省電力公司菏澤供電公司)

0 引 言

智能電網(wǎng)在保證電網(wǎng)安全可靠運行的前提下，對其自愈性和自適應(yīng)性提出了更為嚴格的要求。作為智能電網(wǎng)智能設(shè)備的重要組成部分，電氣設(shè)備的在線監(jiān)測與故障診斷通過對多種傳感器信息進行融合分析，能夠及時發(fā)現(xiàn)設(shè)備缺陷，快速排除設(shè)備故障。

紅外傳感器能夠利用熱輻射捕捉電氣設(shè)備的溫度特征，而可見光傳感器能夠直觀地反映實際場景的視覺特征。兩者的融合分析在電氣設(shè)備監(jiān)測中得到了廣泛的應(yīng)用。例如，文獻[1-2]提出的變電站自動巡檢機器人以及文獻[3]提出的光伏電站自動巡檢無人機，均包含圖像融合處理單元。

一般地說，紅外圖像空間分辨率較低，且容易丟失物體的紋理和輪廓等細節(jié)信息。可見光圖像細節(jié)信息豐富，易受拍攝條件影響。紅外與可見光圖像的融合分析既能克服單源圖像的固有缺陷，又能提高信息的冗余性和互補性，尤其在電氣設(shè)備實時監(jiān)測中，更可以有效定位故障點，增強故障診斷的準確性。

作為圖像融合分析的必要步驟，圖像配準的目的是尋找兩圖像間的空間變換關(guān)系。圖像配準方法一般可分為基于灰度和基于特征的配準方法[4]。由于紅外與可見光圖像成像原理的差異，兩者的像素相關(guān)性較小，基于灰度的配準方法難以取得良好的配準效果，且計算量很大，因此，并不適用于電氣設(shè)備在線實時監(jiān)測系統(tǒng)。相對地，基于特征的配準方法通過提取和匹配圖像的局部特征呈現(xiàn)出較高的穩(wěn)定性和適應(yīng)性。其中研究最為深入的基于特征點的配準方法主要依靠圖像中的角點、奇異點和曲率點等幾何元素。改進圖像預(yù)處理方法、尋找合適的描述子、改善相似性度量標準和設(shè)計高效的錯配消除算法是目前國內(nèi)外研究的主要方向。

紅外與可見光圖像配準問題是典型的多源多模態(tài)的圖像配準，為此，國內(nèi)外的研究學(xué)者已經(jīng)提出了一些配準方法。文獻[5-6]引入了SIFT描述子，但未考慮圖像局部扭曲帶來的復(fù)雜的空間變換關(guān)系。文獻[7]采用Canny邊緣檢測算子與效率優(yōu)于SIFT的SURF描述子，但特征點間的對應(yīng)關(guān)系較弱，匹配準確率低。文獻[8]在圖像預(yù)處理環(huán)節(jié)利用基于灰度冗余的圖像實時均衡技術(shù)，突出原圖像的輪廓特征，但預(yù)處理后的紅外與可見光圖像的相似度依然高度受限于分辨率差異。文獻[9]將斜率一致性作為特征點精匹配的標準用于剔除錯配，提高了匹配精度。總的來說，由于可見光與紅外圖像截然不同的圖像特點，現(xiàn)有的基于特征點的配準方法往往關(guān)注于圖像像素分布的局部結(jié)構(gòu)，提取到的特征點往往不甚理想，在特征點匹配時又難以剔除錯配，實際應(yīng)用時配準結(jié)果不如人意。

針對已有配準方法的問題，本文提出一種基于特征四邊形的電氣設(shè)備紅外與可見光圖像的配準方法:首先提取紅外與可見光圖像的邊緣；再利用累計概率霍夫變換提取邊緣中的直線；然后對直線進行復(fù)雜的處理，得到目標物體的近似輪廓線，構(gòu)造對應(yīng)的特征四邊形；最后根據(jù)得到的兩個特征四邊形計算空間變換關(guān)系，并通過試驗驗證本方法的有效性。

1 配準流程

圖1 本文配準方法的主要流程

紅外與可見光圖像雖然在局部像素點上特征迥異，但是在目標物體的外輪廓上呈現(xiàn)較高的相似性。本文方法旨在通過提取貼合實際物體的外輪廓直線尋找兩圖像對應(yīng)的空間變換關(guān)系,配準流程如圖1所示。

(1)利用圖像預(yù)處理，分別進行通道成分提取，突出觀測圖像主體，并平滑圖片噪聲。

(2)對兩幅圖像利用Canny算子提取邊緣。

(3)從提取到的邊緣利用累計概率霍夫變換提取直線。

(4)通過直線合并、連接以及端點搜索篩選特征四邊形的特征邊，構(gòu)造特征四邊形。

(5)根據(jù)兩圖像中的特征四邊形的頂點坐標信息計算空間變換矩陣，從而實現(xiàn)圖像的精確配準。

2 圖像預(yù)處理

由于紅外與可見光圖像成像效果存在明顯差異，兩圖像對于目標物體的表現(xiàn)力也截然不同。本文所涉及的圖像預(yù)處理主要包括通道圖像提取以及噪聲抑制兩個部分。

彩色圖像通道圖像提取可以弱化背景對目標物體的干擾，增強目標物體的顯著性特征，縮短圖像處理時間[10]。RGB色彩模式是工業(yè)界通用的一種色彩標準。紅外與可見光彩色圖像通常映射到RGB空間上進行處理。在RGB空間里，每個像素點都含有R，G和B三個通道分量。具有不同色彩特征的圖像，應(yīng)采用不同的通道分量提取規(guī)則來提取通道圖像。

在本文方法中，對可見光圖像，考慮其在邊緣處通常呈現(xiàn)較高的對比度，提取G通道分量作為通道圖像。而紅外圖像中，作為觀測對象的高溫物體通常表現(xiàn)為高亮度的像素塊，且圖像的整體色調(diào)偏紅，為了盡可能保持圖片的可識別度，將R通道分量與G通道分量按照3∶1的比例加權(quán)混合，得到其通道圖像。

在噪聲抑制環(huán)節(jié)，采用自適應(yīng)的雙邊濾波器來克服高斯噪聲的干擾。首先使用一個水平方向和一個豎直方向的差分算子壓縮原圖像，然后使用窗函數(shù)法計算直方圖的局部標準差，進而得到噪聲的估計值，自適應(yīng)地調(diào)整雙邊濾波參數(shù)。

3 邊緣提取與直線提取

在多模態(tài)圖像中，邊緣以及輪廓特征往往比點特征更易識別。Canny邊緣檢測算子根據(jù)對信噪比與定位乘積進行測度，可以從圖像中快速提取有效的邊緣結(jié)構(gòu)信息。利用Canny算子進行邊緣檢測的主要步驟包括：降噪；計算每個像素點的亮度梯度；對亮度梯度幅值進行非極大值抑制；雙閾值跟蹤并連接圖像邊緣。天津理工大學(xué)的李冬梅等比較了Robert、Sobel、 Prewitt和Canny四個算子的邊緣檢測結(jié)果，試驗證明，相比其他算子，Canny邊緣檢測算子檢測的邊緣紋理清晰度和連續(xù)性更好[7]269。因此，本文也采用Canny算子來提取紅外和可見光圖像的邊緣輪廓。

圖2給出了Canny邊緣檢測結(jié)果的一個實例。比較圖2(a)與圖2(b)可以看出，尤其在接頭位置，可見光圖像中包含的變壓器邊緣細節(jié)更為豐富。

圖2 使用Canny算子檢測圖像邊緣

本文的應(yīng)用場景為監(jiān)測重要電氣設(shè)備的工作狀態(tài)，如變壓器、配電箱和開關(guān)柜等。這些箱式或者盒式的電氣設(shè)備在紅外和可見光圖像上一般連續(xù)成塊，表現(xiàn)為帶有局部扭曲的類四邊形。因此，其邊緣信息包含較為豐富的直線信息，從邊緣上進行直線提取可行且有效。

一條直線在圖像表現(xiàn)為許多離散點組成的集合。圖像上任意一個像素點(x,y)，都可以用極坐標表示為如下的形式：

r=xcosθ+ysinθ

(1)

式中：r是從該像素點到直線的垂直距離;θ是r到直線的垂線與x軸所成的夾角。由公式(1)，在笛卡爾坐標上的一個點可以對應(yīng)極坐標霍夫空間上的一條正弦曲線。在圖像空間上搜索一段直線的問題，便可以轉(zhuǎn)換為在極坐標霍夫空間搜索盡可能多的曲線的交點。標準霍夫變換需要對每個像素點都進行變換，并在霍夫空間統(tǒng)計交點信息，這使得它計算效率低下。累計概率霍夫變換通過調(diào)節(jié)最小線段長度以及同一直線上零碎線段的最大間隔，可以大大減少搜索的復(fù)雜度并獲得較好的提取結(jié)果。因此，本文應(yīng)用累計概率霍夫變換來提取邊緣上的直線。

圖3為在圖2(a)的基礎(chǔ)上使用累計概率霍夫變換提取直線的結(jié)果?？梢钥闯?，提取到的直線段較為豐富，但并不都是變壓器圖像的實際輪廓線。因此，需要后續(xù)處理篩選能表征變壓器輪廓特征的直線，即特征邊。

圖3 使用累計概率霍夫變換檢測圖2(a)中的直線

4 特征四邊形與空間變換矩陣

篩選特征邊包含三種類型的必要操作：直線合并、直線連接以及端點搜索。

直線合并目的是去除冗余的直線。當兩條直線的斜率接近，且從其中一條直線上的任意一端點到另一條直線的垂直距離足夠小，則判定兩條直線相似并且可視為同一條直線。這時，按照最小二乘法的規(guī)則對兩條直線的斜率和截距分別加權(quán)平均，生成合并直線，并從圖像上去除原來兩條直線。

直線連接是指由于Canny算子檢測的輪廓可能不連續(xù)以及累計概率霍夫變換提取的直線也可能出現(xiàn)意外的斷點，需要對分斷的直線進行連接。直線連接的實質(zhì)是一種特殊的直線合并。分別選擇兩直線各一個端點，添加新直線連接兩端點。若新增直線的斜率與原來的兩條直線都足夠接近，則認為原兩直線應(yīng)為同一直線的分斷，此時按照直線合并的規(guī)則兩兩合并，直至三條直線合并為一條直線。

特征四邊形構(gòu)造的主要問題是如何判斷某條直線是否是特征四邊形的邊。圖4所示為篩選特征邊的流程:首先對所有直線在兩端點創(chuàng)建臨近搜索域，臨近搜索域的大小與直線長度成正比；然后在各自的臨近搜索域內(nèi)搜索其他直線的端點，若兩端同時尋找到其他直線，則認為此直線是可能的特征邊;在得到所有可能的特征邊集合后，通過直線再篩選再合并或者擴大臨近搜索域的范圍，或增或減，直到可能的特征邊數(shù)為4,由此，通過延長特征邊使之各自相交得到特征四邊形的四個頂點。

圖4 特征邊的篩選流程

圖像的幾何變換主要包括剛體變換、仿射變換和透射變換等。常見的多源圖像配準方法均假設(shè)紅外傳感器與可見光傳感器視場幾乎重合，其幾何變換接近仿射變換。然而，實際應(yīng)用過程很難保證目標平面與像平面處于特殊位置(如平行)，直線間的平行性在圖像上難以保持。為了提高配準算法的靈活性以及可靠性，采用非線性的透射變換的方式計算紅外與可見光圖像的空間變換矩陣。

透射變換通用的變換公式如下：

(2)

式中：(u,v，w)是原圖像坐標;(x′,y′,w′)是變換后的圖像坐標，其中x=x′/w′，y=y′/w′。式(2)中的參數(shù)計算需要至少四個像素點對。這也是構(gòu)造特征四邊形而不是特征三角形的另一個出發(fā)點。

5 試驗與分析

為了進一步評價本配準方法的有效性，選取了多組電氣設(shè)備的樣本圖像進行配準試驗。

試驗的開發(fā)平臺是VisualStudio 2013以及 OpenCV3.0。開發(fā)環(huán)境是Intel(R) Core(TM) i5-4210U 1.70 GHz CPU和4 G內(nèi)存。

為了模擬電氣設(shè)備監(jiān)測的實際需求情景，在配準試驗中使用室外電氣設(shè)備的實際圖片。在可見光傳感器上，使用Sony公司開發(fā)的第二代堆棧式CMOS圖像傳感器IMX214，其顏色信號信噪比高，低光表現(xiàn)優(yōu)秀。而在紅外傳感器上，使用南京駒電電氣公司推出的JD-2000高品質(zhì)紅外熱成像儀來拍攝電氣設(shè)備的紅外圖像。

圖5 使用Canny算子與SURF描述子的配準結(jié)果

在圖5中，給出了使用改進的SURF算法[7]270得到的配準結(jié)果。由于紅外和可見光圖像在物體邊緣表現(xiàn)力的差異，使用同樣的SURF描述子提取到的特征點數(shù)量和位置的對應(yīng)關(guān)系都不理想。即使通過RANSAC隨機抽樣一致性算法不斷迭代尋找到最優(yōu)的模型參數(shù)，給出的特征點對仍然包含大量錯配，配準準確率低。

圖6給出的是使用本文方法進行電氣設(shè)備圖像配準的兩組實例。為了直觀地展示配準結(jié)果，將配準后的紅外圖像與可見光圖像進行灰度疊加，如圖6(c)所示。本方法通過篩選提取貼合目標物體外輪廓的直線并構(gòu)造特征四邊形的方法，可以得到四個頂點對。特征四邊形的構(gòu)造不易受圖像分辨率的影響，穩(wěn)定性較強。

總的來說，本文的配準方法展現(xiàn)出如下特點：

圖6 使用本方法的配準結(jié)果

(1)配準精度高。通過圖6的配準結(jié)果可以看出，本方法無需進行特征點提取和匹配，因此匹配誤差較小。需要注意的是，光學(xué)成像系統(tǒng)引起的圖像的真實畸變，是無法消除的。特別對于異源圖像配準，完全消除匹配誤差是不可能的。

(2)可靠性高。使用本方法對不同場景、不同角度、不同成像品質(zhì)的電氣設(shè)備紅外與可見光圖像進行了配準試驗。在多數(shù)情況下，通過調(diào)節(jié)閾值參數(shù)都可以準確提取到特征四邊形并配準。

(3)速度快。與其他配準算法相比，由于本方法不必對特征點的匹配進行復(fù)雜的運算，在相同的硬件和軟件條件下，本方法運行速度更快，可以實現(xiàn)近實時配準。

6 結(jié)束語

電氣設(shè)備在線監(jiān)測與故障診斷是智能電網(wǎng)建設(shè)的重要內(nèi)容。針對電氣設(shè)備的監(jiān)測系統(tǒng)的紅外與可見光圖像處理，提出了一種基于特征四邊的配準方法，充分利用目標物體的實際輪廓特征，可以實現(xiàn)快速準確配準，不易受異源圖像特征差異的干擾，對后續(xù)的信息融合以及故障定位等分析提供了有力的支持。試驗表明，本方法較之其他方法，穩(wěn)定性以及實用性均較強。今后的研究可以圍繞著如何使用直線構(gòu)造非規(guī)則目標物體的特征多邊形以及優(yōu)化圖像融合方法等內(nèi)容進行展開。