盧 毅，張婧嫻，周 維，高語陽

(1.蘇州中科天啟遙感科技有限公司，江蘇 蘇州 215000；2.江蘇省地質測繪院，江蘇 南京 211102； 3.南京航空航天大學航天學院，江蘇 南京 210016)

0 引 言

熱紅外技術形成的熱感圖像的灰度與場景溫度直接相關，利用熱紅外傳感器可在圖像內(nèi)定位具有較高溫度的物體[1]。熱感圖像的清晰度往往低于可見光圖像，通過二者融合，便可在場景中確定熱源物體的精確位置，或獲得場景內(nèi)溫度分布情況。鑒于熱感圖像和可見光圖像的融合被廣泛應用于計算機視覺、工業(yè)零件檢測、交通管理等諸多領域[2]。

圖像配準是圖像融合前必須進行的預處理，只有在幾何和灰度上嚴格配準，才能對多幅影像進一步進行信息提取和分析[3]。近年來，對多模態(tài)影像配準有獨特優(yōu)勢的基于互信息圖像配準方法得到了廣泛關注?；诨バ畔⒌膱D像配準方法不需要對待配準圖像進行預處理，且配準精度較高[4]。然而這種方法也存在易誤匹配、計算效率低、易受圖像灰度影響，圖像本質特征利用率低等缺陷。

為了解決互信息法圖像配準存在的問題，本文利用圖像邊緣輪廓上的特征點進行粗配準，然后在粗配準基礎上利用互信息法進行縮小搜索范圍的精配準，結合邊緣特征匹配和互信息配準各自優(yōu)勢，設計了精度更高、速度更快、魯棒性更強的配準方法，使這兩種最常用的多源圖像中的互補信息得到快速、準確融合，進而服務于社會生產(chǎn)生活的各個領域。

1 熱感圖像與可見光圖像配準

本文研究的熱感與可見光圖像配準方法分為兩步：① 通過同名特征點坐標，利用最小二乘法原理解算出6個仿射變換參數(shù)，得到兩幅圖像間的幾何變換關系；② 利用互信息作為相似性測度構建影像匹配流程，通過Powell[5]優(yōu)化搜索算法確定3個參數(shù)的最佳值，實現(xiàn)兩幅圖像間最佳變換。

在影像匹配過程中，利用Sobel邊緣提取算子提取兩幅待配準圖像A、B的邊緣圖像AS、BS；對邊緣圖像AS、BS匹配同名特征點，利用最小二乘法原理對6個仿射變換參數(shù)求解；按照所得到的仿射變換參數(shù)與仿射變換模型一起對熱感和可見光圖像進行變換，得到粗配準后的熱感和可見光圖像AF、BF；對粗配準后的熱感和可見光圖像AF、BF進行基于互信息法的圖像配準。

由于步驟①中是粗匹配的邊緣興趣點，因而選取的點具有偶然誤差，可以根據(jù)對誤差的估計限定互信息法圖像配準時的迭代次數(shù)，將搜索范圍限定在一定區(qū)域內(nèi)，從而減少直接利用互信息法配準巨大計算量導致的計算時間過長以及大量計算時可能發(fā)生的陷入局部極小值而失配的情況。

2 實驗與分析

2.1 圖像配準過程

基于邊緣特征點和互信息的熱感與可見光圖像配準流程如下所示(圖1)。

圖1 基于邊緣特征點和互信息的熱感與可見光圖像配準流程圖

由圖1可知：① 在圖像預處理階段，把可見光和熱感的彩色JPG圖像轉化為灰度級為[0，255]的灰度圖像；② 對圖像進行讀取并顯示，利用Sobel邊緣檢測算子提取可見光圖像和熱感圖像上的邊緣；③ 在左右圖像上選取若干同名點；④ 利用同名點和最小二乘原理計算仿射變換參數(shù)，利用仿射變換參數(shù)對熱感圖像進行圖像變換(由于變換后的熱感圖像可能會超出原可見光圖像范圍，因此也要對可見光圖像進行變換)；⑤ 將經(jīng)第一步粗配準得到的變換后的熱感和可見光圖像進行限定搜索范圍的互信息配準(其中，參數(shù)優(yōu)化搜索算法選擇的是Powell優(yōu)化算法，插值方法選擇的是PV插值法)。

2.2 圖像配準結果

本次試驗所使用的紅外圖像是紅外熱像儀拍攝的某廣場周邊的建筑和場景，主要是夜間拍攝的景物；而可見光圖像是根據(jù)紅外圖像所拍攝的場景進行后期拍攝的，拍攝時考慮到熱感與可見光圖像配準的目的是對同一場景的溫度識別，因而拍攝的角度和距離盡量保持一致，使其適用于圖像的仿射變換模型和剛性變換模型。本次實驗進行了兩組圖像配準(圖2—7)。

圖2 第一組待配準圖像

圖3 第一組配準后的圖像

圖4 第一組配準后圖像疊加顯示

圖5 第二組待配準圖像

圖6 第二組配準后的圖像

圖7 第二組配準后圖像疊加顯示

2.3 算法評價

從以下幾個方面進行考察，評價本文算法用于實際配準結果的精度和效果。

2.3.1 互信息算法運行的時間

經(jīng)過粗配準后的圖像，各參數(shù)搜索區(qū)域可以縮小到一定范圍，運算次數(shù)將會大大減小，從而提高了基于最大互信息的圖像配準速度(表1)。

表1 有無粗配準的互信息法酸準用時對比

由表1可知，在不考慮匹配結果情況下(實際計算中直接使用互信息法配準時，雖然得到的最大互信息值比粗配準后使用互信息法高，但存在較多誤匹配問題)，粗配準后限定搜索范圍的互信息法配準比直接使用互信息法配準要快。

2.3.2 配準前后互信息值大小

將配準前圖像互信息、粗配準后圖像互信息和精配準后圖像互信息進行對比(表2)。

表2 配準前、粗配準后、精配準后圖像互信息對比

由表2可知，對比粗配準前、粗配準后及精配準后兩幅圖像的互信息值可知，隨著配準精度提高，圖像的互信息值呈上升趨勢。證明該方法可以提高兩幅圖像的配準精度。

2.3.3 檢查對應點坐標

檢查對應點坐標對應情況和坐標(表3)。

表3 檢查點在配準后的五組可見光和熱感圖像上的誤差

均勻分布的檢查點在配準后坐標誤差中基本控制在一個像素左右，考慮本文選取的變換是全局的仿射變換和剛性變換，很難完全改正圖像上所有位置的形變的原因，因此表3中的精度基本能達到配準要求。

2.3.4 目視檢查

目視檢查通過觀察明顯點和目標輪廓、紋理等特征對配準后圖像進行檢查。本文中通過目視檢查可以發(fā)現(xiàn)，配準后圖像上目標物大部分能夠有較好重疊，圖像銜接處的目標扭曲較少、大部分直線特征能保持連貫，結果基本滿足融合需求。

3 結 語

(1)采用了基于邊緣點和互信息的圖像配準方法對熱感和可見光圖像進行配準，并對兩組待配準圖像進行試驗和結果分析。

(2)由結果可知，基于邊緣點和互信息相結合的圖像配準方法結合了特征點和互信息兩種配準方法優(yōu)點，提高了配準速度和可靠性，實現(xiàn)較簡單。該算法的缺點是粗配準時需要人工選點，并且需要選取圖像邊緣特征比較明顯的點，否則難以達到良好配準效果。后續(xù)研究可在邊緣提取基礎上引入自動提取興趣點(如利用曲率最大值點、拐點等)的方法，并利用一定匹配方法進行興趣點匹配，從而實現(xiàn)粗配準自動化，提高配準效率。

[1] 朱英宏，李俊山，楊威，等.紅外與可見光圖像特征點邊緣描述與匹配算法[J].計算機輔助設計與圖形學學報，2013，25(6):857-864.

[2] 江靜，張雪松.紅外與可見光圖像自動配準算法的研究[J].紅外技術，2010，32(3)：137-141.

[3] 余先川，呂中華，胡丹.遙感圖像配準技術綜述[J].光學精密工程，2013，21(11)：2960-2972.

[4] 高飛，王聰，矯東航.基于分塊信息熵和特征尺度的圖像配準算法[J].北京理工大學學報，2016，36(11)：1194-1199.

[5] 別術林.基于互信息的醫(yī)學圖像配準算法研究[D].北京：北京交通大學，2014.