劉曉康,夏天雷,吳晨媛,姜雄彪,周明玉,王慶華

(1.國網(wǎng)常州供電公司,江蘇 常州 213000; 2.河海大學物聯(lián)網(wǎng)工程學院,江蘇 常州 213022;3.常州中能電力科技有限公司,江蘇 常州 213000)

0 引 言

電網(wǎng)的建設(shè)和維護對于國家以及社會的發(fā)展有著重要的作用，電力事業(yè)是國家綜合實力提升以及社會高速發(fā)展的重要保障。為保障電網(wǎng)的安全穩(wěn)定運行，有必要對電力設(shè)備進行安全檢測并判斷其是否發(fā)生故障?？梢酝ㄟ^測溫儀或紅外相機等方式檢測電力設(shè)備的異常發(fā)熱狀態(tài)并進行故障診斷。但是使用測溫儀或紅外相機檢測的成本高、效率低，需要技術(shù)人員對檢測結(jié)果進行分析判斷，智能化程度不高[1]。并且紅外圖像中物體細節(jié)信息較差，不易觀察。而可見光圖像能獲得物體的細節(jié)信息，具有較高的分辨率。因此在實際應用中可以采用紅外與可見光圖像協(xié)同處理的方式，具有結(jié)合紅外圖像能檢測物體溫度、抗干擾能力強以及可見光圖像細節(jié)信息豐富、分辨率高的優(yōu)點，實現(xiàn)在可見光圖像背景中獲取目標溫度信息的功能[2-4]。結(jié)合紅外與可見光圖像的檢測結(jié)果信息豐富，易于觀察，便于技術(shù)人員對電力設(shè)備進行故障檢測。

紅外與可見光圖像協(xié)同處理的前提是需要對二者進行配準。圖像配準是從不同傳感器、不同視角、不同時間獲取的2幅或多幅圖像中進行識別，然后對應出相同或相似的結(jié)構(gòu)和內(nèi)容，依據(jù)一些相似性度量決定圖像間的變換參數(shù)，使2幅或多幅圖像變換到同一坐標系下，在像素層上得到最佳匹配的過程[2-3,5-6]。紅外與可見光圖像配準屬于多模態(tài)圖像配準，由于成像機理不同導致圖像之間存在明顯差異，并且二者的灰度特征具有較大差異，配準難度較大[1-2]。

目前紅外與可見光圖像配準多采用了基于特征的方法，文獻[7-9]采用了基于SIFT特征的圖像配準方法，其中文獻[7]在配準過程中加入了多尺度Harris角點檢測算子，提高了同源圖像間匹配點對的重復率，但對紅外與可見光圖像的配準效果差；文獻[8]對紅外圖像取負像后再與可見光圖像配準，但對溫度分布不均勻的目標配準效果差；文獻[9]提出了基于SIFT特征和角度相對距離的圖像配準算法，但會出現(xiàn)無法正確篩選匹配點的情況。文獻[10-12]采用了基于SURF特征的圖像匹配方法，其中文獻[10]結(jié)合使用了Canny邊緣檢測算子，但算法匹配準確率較低； 文獻[11]利用基于灰度冗余的圖像實時均衡技術(shù)對電力設(shè)備的紅外與可見光圖像配準，但在復雜場景下的配準效果差；文獻[12]利用正確匹配點對斜率一致性剔除錯誤匹配，提高了匹配準確率。本文提出一種電力巡檢場景下的紅外與可見光圖像配準方法，首先提取紅外與可見光圖像的邊緣信息，提高圖像的相似度；然后檢測2幅邊緣圖像的特征點，并進行特征點的匹配，剔除錯誤匹配點對；最后計算仿射變換模型參數(shù)，實現(xiàn)紅外與可見光圖像的配準。實驗結(jié)果表明了本算法的成功率和準確率更高。

1 圖像配準算法

1.1 算法流程

如圖1所示，本文的算法流程如下：

圖1 本文方法思路框圖

1)通過雙目紅外與可見光相機拍攝待檢測的電力設(shè)備，獲得紅外與可見光圖像。

2)通過Sobel邊緣檢測算子分別提取紅外與可見光圖像的邊緣信息，得到紅外與可見光邊緣圖像。

3)通過SuperPoint特征提取網(wǎng)絡分別檢測2幅邊緣圖像的特征點并計算描述子。

4)通過SuperGlue特征匹配網(wǎng)絡對特征點進行匹配，篩選得出正確的特征點匹配對，同時剔除不可匹配的特征點。

5)計算求得仿射變換模型參數(shù)，通過雙線性插值對待配準圖像進行空間幾何變換，實現(xiàn)圖像配準。

1.2 圖像邊緣檢測

由于紅外與可見光圖像成像機理不同，圖像相似度低，灰度特征具有較大差異，并且電力設(shè)備的圖像較為復雜，因此配準的難度大[13]。紅外與可見光圖像的邊緣具有一定的相似特性，同時邊緣也是圖像中最基本和比較固定的特征[10,14]。通過Sobel邊緣檢測算子分別提取紅外與可見光圖像的邊緣信息后，突出了圖像的輪廓信息，提高了紅外與可見光圖像的相似度，增加了圖像配準的成功率。同時Sobel邊緣檢測算子計算簡單、速度快、提取出的邊緣效果較好，而且對噪聲具有一定的平滑作用，在一定程度上減小了圖像對噪聲的敏感性。

1.3 紅外與可見光圖像配準

1.3.1 基于SuperPoint的特征提取

SuperPoint特征提取網(wǎng)絡屬于基于自監(jiān)督訓練的深度學習網(wǎng)絡[15]，能夠檢測圖像的特征點并計算描述子，網(wǎng)絡結(jié)構(gòu)如圖2所示。首先構(gòu)建一個由大量的簡單幾何形狀圖片組成的合成形狀數(shù)據(jù)集，圖片中的幾何形狀具有位置明確的特征點。隨后通過該數(shù)據(jù)集訓練全卷積神經(jīng)網(wǎng)絡得到MagicPoint檢測器[16]。對于現(xiàn)實世界圖像，MagicPoint在視角變化時特征點檢測的可重復性較差，對圖像中紋理和圖案的特征點檢測效果不佳。通過結(jié)合單應性適應(Homographic Adaptation)[15]對圖像進行單應變換，使MagicPoint檢測器在多尺度、多視角下重復觀測圖像。同時通過迭代地重復單應變換的過程，不斷改進MagicPoint檢測器，提高其在現(xiàn)實世界圖像上的泛化能力，實現(xiàn)對MagicPoint檢測器的自監(jiān)督訓練。最后結(jié)合特征點以及描述子訓練得到SuperPoint網(wǎng)絡。

圖2 SuperPoint網(wǎng)絡框架

通過邊緣檢測得到紅外與可見光邊緣圖像后，SuperPoint提取特征的具體步驟為：

1)首先采用VGG[17]式結(jié)構(gòu)的編碼器來減小輸入圖像的尺寸，編碼器由卷積層、池化層和非線性激活層組成。通過編碼器后，輸入的邊緣圖像尺寸由H×W變?yōu)镠c×Wc，其中Hc=H/8，Wc=W/8。此時，邊緣圖像由I∈H×W映射到具有更小的空間尺寸(Hc×Wc)以及更大的通道深度(F>1)的張量B∈Hc×Wc×F。

2)對于編碼器輸出的張量B∈Hc×Wc×F，在特征點解碼器中通道數(shù)F=65，對應于不重疊的8×8局部像素網(wǎng)格區(qū)域，以及1個在8×8區(qū)域中未檢測到特征點的通道[16]。經(jīng)過特征點解碼器后，首先將不含特征點的1個通道移除，實現(xiàn)Hc×Wc×65?Hc×Wc×64。然后通過子像素卷積的方法，將尺寸較小的特征圖采樣回到初始分辨率大小，實現(xiàn)Hc×Wc×64?H×W并輸出特征點檢測結(jié)果圖。

3)在描述子解碼器中，首先使用類似于UCN[18]的網(wǎng)絡模型輸出描述子的半稠密網(wǎng)格，以此減少運行過程中的內(nèi)存開銷以及運行時間；然后解碼器通過雙線性插值算法得到完整的描述子；最后通過L2標準歸一化得到固定長度的描述子。

1.3.2 基于SuperGlue的特征匹配

SuperGlue是能實現(xiàn)圖像間特征匹配的深度學習網(wǎng)絡，能篩選出特征點集之間的正確匹配，同時剔除不可匹配的特征點[19]。SuperGlue的網(wǎng)絡結(jié)構(gòu)如圖3所示，由基于注意力機制的圖神經(jīng)網(wǎng)絡和最優(yōu)匹配層2個部分組成。通過SuperPoint網(wǎng)絡分別檢測到2幅邊緣圖像的特征點并計算出描述子后，首先注意力圖神經(jīng)網(wǎng)絡將特征點和描述子編碼形成特征匹配向量f，并模擬人類進行特征匹配判斷的過程來回使用Self-Attention和Cross-Attention注意聚合機制增強其性能；隨后最優(yōu)匹配層計算2幅圖像特征匹配向量f的內(nèi)積得到特征匹配得分矩陣，并通過Sinkhorn算法迭代求解最優(yōu)特征分配矩陣。具體步驟為：

圖3 SuperGlue網(wǎng)絡框架

1)假設(shè)紅外圖像A和可見光圖像B通過SuperPoint算法分別提取到M和N個特征點，分別記為A={1,…,M},B={1,…,N}。首先通過特征點編碼器對圖像A中每個特征點i的位置pi以及描述子di編碼形成新的向量，向量在特征匹配中具有更強的特異性。向量初始表示形式為：

(0)xi=di+MLPenc(pi)

其中，MLP為多層感知機，用以將特征點位置pi嵌入到高維向量。然后將升維后的特征點位置pi與描述子di相加獲得向量的初始表示形式。圖像B的每個特征點j也是類似處理。

2)對于一個完整的圖，圖中每個節(jié)點為待匹配的2幅圖像中的所有特征點。圖中包含有2種類型的無向邊：圖像內(nèi)邊緣εself以及圖像間邊緣εcross。

4)最后通過最小二乘法求解仿射變換模型參數(shù)，實現(xiàn)紅外與可見光圖像的配準。

2 實驗結(jié)果與分析

2.1 不同邊緣的配準效果對比

在紅外與可見光圖像配準過程中，通過利用圖像邊緣信息的相似特性可以提高配準的成功率。為了對比不同邊緣檢測方法對本文特征點匹配精確性的影響，本文選取了原圖以及2種不同邊緣檢測方法進行對比：Canny以及隨機化結(jié)構(gòu)森林(SRF)。實驗結(jié)果如表1所示，其中*表示配準失敗，不予考慮。

表1 不同邊緣檢測方法配準精度的比較

從實驗數(shù)據(jù)可以看出，當紅外與可見光圖像不進行邊緣檢測時，由于正確匹配點對個數(shù)過少，導致無法計算仿射變換模型參數(shù)，配準失敗。對紅外與可見光圖像進行邊緣檢測后，正確匹配點對的個數(shù)均大幅增加，從而可以計算仿射變換模型參數(shù)，實現(xiàn)精確配準。在不同的邊緣檢測方法中，本文所采用的Sobel邊緣檢測方法能獲得足夠多的正確匹配點對個數(shù)，同時配準所需的時間最少。

2.2 不同算法的配準效果對比

為驗證本文算法的成功率，選取100組電力設(shè)備的紅外與可見光圖像進行配準實驗。圖像由FLIR T420相機拍攝，紅外圖像的尺寸為640×480像素，可見光圖像的尺寸為2048×1536像素。

現(xiàn)有的紅外與可見光圖像配準方法多是基于特征進行的，因此本文選取了4種此類方法進行對比：SURF[20]、KAZE[21]、EHD(Edge-oriented Histogram Descriptor)[22]以及LGHD(Log-Gabor Histogram Descriptor)[23]，算法配準成功率P=A/B，其中A為配準成功圖像個數(shù)，B為待配準圖像個數(shù)。結(jié)果如表2所示。

表2 各算法配準成功率

SURF算法在同源圖像配準上具有較好的效果，對于圖像的尺度變換和旋轉(zhuǎn)具有不變性，同時在光照變換和噪聲影響下具有魯棒性。但是如圖4(f)所示，SURF在紅外與可見光圖像配準過程中，只檢測到了很少的匹配點對并且多為錯誤匹配點對，無法生成正確的變換矩陣。

KAZE算法通過構(gòu)建非線性尺度空間，保證圖像邊緣在尺度變化中信息損失較少，從而保留了圖像更多的細節(jié)信息，算法配準成功率有所提升。如圖4(g)所示，KAZE檢測到的匹配點對數(shù)目更多，然而正確匹配點對仍然很少，無法生成正確的變換矩陣。

EHD算法首先檢測圖像的邊緣信息，計算圖像多個方向的邊緣直方圖，然后通過MPEG-7標準生成邊緣直方圖的描述子，最后進行配準，如圖4(h)所示。LGHD算法類似于EHD算法，LGHD算法對圖像邊緣檢測的速度更快，通過Log-Gabor濾波器生成描述子然后進行配準，如圖4(i)所示。

在上述4種配準方法的實驗中，SURF和KAZE算法在大部分配準實驗中出現(xiàn)了匹配點對個數(shù)不足，無法生成變換矩陣的問題，配準成功率低。EHD和LGHD算法在配準實驗中出現(xiàn)了配準結(jié)果形狀出現(xiàn)偏差，不夠精確的問題。本文算法能夠?qū)崿F(xiàn)電力設(shè)備的紅外與可見光圖像精確配準，如圖4(e)所示。并且本文方法與其它方法相比，配準成功率更高。

圖4 各配準算法結(jié)果

2.3 算法適用性驗證

本文對不同場景以及不同相機拍攝的圖像進行配準實驗，以驗證算法的適用性。實驗結(jié)果如圖5所示，其中圖5(a)為FLIR T420手持紅外相機拍攝圖像及配準結(jié)果，圖5(b)為FLIR VUE PRO航拍紅外相機拍攝圖像及配準結(jié)果，圖5(c)為無人機航拍圖像及配準結(jié)果。實驗結(jié)果可見，本文對不同場景以及不同相機拍攝的紅外與可見光圖像都能實現(xiàn)精確的配準，算法適用性強。

圖5 不同場景下的配準結(jié)果

同時，對待配準的10組紅外與可見光圖像分別進行增加噪聲、旋轉(zhuǎn)變換、尺度變換以及改變圖像亮度等操作，將處理后的圖像進行配準實驗。配準過程中特征點的正確匹配點對個數(shù)如表3所示。其中，對圖像增加不同大小的高斯噪聲后的特征點匹配結(jié)果如圖6所示；對圖像進行旋轉(zhuǎn)變換后的特征點匹配結(jié)果如圖7所示；通過將可見光圖像進行倍數(shù)放大或縮小實現(xiàn)圖像的尺度變換，特征點匹配結(jié)果如圖8所示；通過將可見光圖像的亮度進行調(diào)整，模擬在不同光照條件下拍攝的圖像，特征點匹配結(jié)果如圖9所示。

表3 不同條件影響下的正確匹配點對數(shù)

圖6 不同噪聲影響下的特征點匹配結(jié)果

圖7 旋轉(zhuǎn)變換影響下的特征點匹配結(jié)果

圖8 尺度變換影響下的特征點匹配結(jié)果

圖9 不同亮度影響下的特征點匹配結(jié)果

通過實驗表明，本文算法在噪聲、旋轉(zhuǎn)變換、尺度變換以及不同亮度影響下仍能獲得數(shù)目較多的正確匹配點對個數(shù)，實現(xiàn)了紅外與可見光圖像的精確配準，從而驗證了本算法對噪聲、旋轉(zhuǎn)變換、尺度變換和光照影響具有較強的魯棒性。

2.4 紅外和可見光圖像配準的應用

電力設(shè)備的紅外圖像可以反映物體的溫度信息，然而紅外圖像的細節(jié)信息差，并且在電力系統(tǒng)中設(shè)備布局復雜，數(shù)量較多。僅通過紅外圖像難以精確定位異常發(fā)熱設(shè)備及異常發(fā)熱區(qū)域，不易于檢修人員進行觀察判斷。

如圖10所示，首先讀取電力設(shè)備的紅外與可見光圖像，在軟件系統(tǒng)主界面中進行可視化。然后采用本文方法實現(xiàn)紅外與可見光圖像的配準。利用紅外圖像的溫度信息，通過設(shè)定異常溫度閾值進行異常發(fā)熱檢測判斷；利用可見光圖像獲得電力設(shè)備的細節(jié)信息，定位異常發(fā)熱設(shè)備及發(fā)熱區(qū)域。便于檢修人員確認異常發(fā)熱設(shè)備并診斷熱故障的原因，有助于電力設(shè)備維護檢修。

圖10 異常發(fā)熱檢測系統(tǒng)應用

3 結(jié)束語

本文提出了一種電力巡檢場景下的紅外與可見光圖像配準方法。由于紅外與可見光圖像的成像機理不同，圖像的相似度低，灰度特征具有較大差異，現(xiàn)有的配準方法成功率低，無法獲得準確的配準結(jié)果。本文算法利用紅外與可見光圖像邊緣信息的相似特性，并結(jié)合SuperPoint特征提取網(wǎng)絡和SuperGlue特征匹配網(wǎng)絡進行配準。實驗結(jié)果表明，本文方法有效提高了圖像配準的成功率，能夠?qū)﹄娏υO(shè)備的紅外與可見光圖像實現(xiàn)高精度的配準。同時本文方法對不同場景以及不同相機拍攝的圖像均能實現(xiàn)精確配準，并且對于噪聲、旋轉(zhuǎn)變換、尺度變換和光照具有較強的魯棒性，適用性強。