張雄美,易昭湘,蔡幸福,宋建社

(第二炮兵工程大學(xué),西安710025)

基于改進SIFT的SAR圖像配準方法

張雄美,易昭湘,蔡幸福,宋建社

(第二炮兵工程大學(xué),西安710025)

針對尺度不變特征變換(SIFT)配準方法在處理SAR圖像時精度不高的問題,提出一種基于改進SIFT的精確配準方法。在提取關(guān)鍵點SIFT描述子及其鄰域多尺度自卷積矩不變特征的基礎(chǔ)上,利用基于典型相關(guān)分析的融合算法對SIFT與矩不變特征進行融合,形成新的關(guān)鍵點描述子,使用閾值實現(xiàn)粗匹配,并結(jié)合關(guān)鍵點的距離與鄰域灰度相關(guān)性構(gòu)建相似矩陣,采用奇異值分解方法精確確定匹配點對,求出仿射變換模型參數(shù),從而完成圖像配準。實驗結(jié)果表明,該方法的配準結(jié)果優(yōu)于SIFT方法,且配準精度達到亞像素級。

SAR圖像配準;尺度不變特征變換;多尺度自卷積;典型相關(guān)分析;奇異值分解

1 概述

圖像配準是將不同時間、不同視角或不同傳感器獲取的關(guān)于同一場景的2幅或多幅圖像進行對準并確定彼此對應(yīng)關(guān)系的過程[1]。圖像配準是圖像融合、變化檢測、多通道圖像恢復(fù)等的前提與基礎(chǔ)[2-3]。配準的精度直接影響其后續(xù)圖像處理工作的結(jié)果。

目前,常用的圖像配準方法有基于區(qū)域相關(guān)的配準方法和基于特征的配準方法[4]。其中,前者基于圖像的灰度信息進行配準,易受相干斑噪聲、輻射差異等因素的影響,配準精度不高,效果不是很理想,基于特征的配準方法則是基于提取的顯著性特征進行配準,對噪聲、輻射差異等具有較強的魯棒性,獲得的結(jié)果更加穩(wěn)定、準確,是圖像配準領(lǐng)域的研究熱點。

在眾多基于特征的配準算法中,尺度不變特征變換(Scale Invariant Feature Transform,SIFT)算法[5]由于具有較好的尺度、旋轉(zhuǎn)不變性,對光照、噪聲和仿射變化具有較強的魯棒性,且提取的關(guān)鍵點穩(wěn)定、數(shù)量豐富等優(yōu)點而得到了廣泛的應(yīng)用。但是,該算法不具備仿射不變性,在處理幾何變化較大的2幅圖像時存在性能退化的現(xiàn)象;此外,該算法的相似性度量只考慮了描述子間的距離,而沒有考慮關(guān)鍵點的位置及其鄰域的灰度相關(guān)性,在處理灰度弱相關(guān)圖像時存在較大的誤差[6-8]。

基于上述分析,在引入多尺度自卷積(Multi-Scale Autoconvolution,MSA)矩不變量與基于典型相關(guān)分析(Canonical Correlation Analysis,CCA)的特征融合算法的基礎(chǔ)上,本文提出一種基于SIFT與MSA的SAR圖像配準方法,結(jié)合關(guān)鍵點鄰域的仿射不變特征,且配準過程中充分利用關(guān)鍵點的位置及其鄰域的灰度相關(guān)性。

2 SIFT算法

SIFT算法是在總結(jié)現(xiàn)有的特征檢測方法的基礎(chǔ)上提出的一種基于多尺度空間理論的、對圖像旋轉(zhuǎn)和縮放保持不變性的特征匹配算法[5]。SIFT算法分為關(guān)鍵點檢測和描述子生成與匹配2個部分:

(1)關(guān)鍵點檢測及定位

首先采用唯一線性的高斯卷積核與原圖像I(x,y)進行卷積,得到高斯差分(Difference of Gaussian, DoG)圖像,通過比較DoG圖像中各采樣點的幅值確定極值點的位置、尺度,然后去除低對比度的極值點和不穩(wěn)定的邊緣響應(yīng)點得到最終的關(guān)鍵點集。其中,DoG圖像定義為:

其中,(x,y)為空間坐標;σ為尺度因子;k為常數(shù)乘積因子。

(2)SIFT描述子生成與匹配

首先計算關(guān)鍵點鄰域像素的梯度方向,并繪制梯度直方圖,直方圖峰值對應(yīng)的方向即為關(guān)鍵點的主方向,并將坐標軸旋轉(zhuǎn)到關(guān)鍵點主方向,以保證旋轉(zhuǎn)不變性。然后,以關(guān)鍵點為中心、梯度方向為主方向取大小為16×16的鄰域,并將其分成16個4×4大小的子塊,每一子塊計算8個方向的梯度方向向量,這樣就可得到16×8共128維SIFT描述子。

在關(guān)鍵點匹配階段,若圖像中的某個SIFT特征與另一幅圖像的最近鄰特征和次近鄰特征間的距離比小于預(yù)先設(shè)定的閾值,則認為這2個最近鄰特征匹配。

3 MSA特征

MSA方法是Rahtu在引入概率模型的基礎(chǔ)上提出的一種基于點的圖像不變特征提取方法,不僅具有尺度不變性、旋轉(zhuǎn)不變性、仿射不變性等優(yōu)良特性,還具有較好的抗噪性[9-10]。

MSA的基本原理為:圖像中任意不共線3點的坐標可以線性表示出其他任意一點的坐標,經(jīng)仿射變換后,這4個點的線性表示形式保持不變。Rahtu正是利用了這種系數(shù)不變性構(gòu)造出了仿射不變量。

設(shè)2維仿射變換A=A{T,t},A是一個二階可逆矩陣。仿射變換A有6個自由度,3個不共線的點對應(yīng)一個仿射變換。則變量x的仿射變換為:

設(shè)f(x):R2→R為圖像強度函數(shù),其經(jīng)仿射變換后為:

設(shè)x0,x1,x2∈R2(x0,x1,x2是服從獨立同分布的隨機變量)為f(x)定義域中任意的3個點,則以這3個點定義的新的隨機變量可表示為:

其中,(α,β)是在以x0為原點、x1-x0與x2-x0為單位向量的仿射空間A2中的坐標。若設(shè)x′0,x′1,x′2分別為點x0,x1,x2的仿射變換,則有

由上式可知,uα,β經(jīng)坐標系仿射變換后得到的隨機變量u′α,β的坐標仍然是(α,β)。而u′α,β的圖像強度函數(shù)為:

由上式可知,隨機變量f(uα,β)與f′(u′α,β)有著相同的分布,因此,其數(shù)學(xué)期望或任何階矩也是相等的,這種關(guān)系不隨仿射變換而變化,因此,是仿射不變的。MSA不變特征即為f(Uα,β)的期望值:

其中,pUα,β(u)=(pα?pβ?pγ)(u)為概率密度函數(shù)。為了簡化運算,利用傅里葉變換將上式轉(zhuǎn)換到頻域中進行計算,即:

其中,為f的傅里葉變換。

4 改進的SIFT算法

在引入 MSA的基礎(chǔ)上,提出了一種改進的SIFT方法。新方法在提取關(guān)鍵點SIFT描述子與關(guān)鍵點鄰域MSA矩不變特征的基礎(chǔ)上,利用CCA特征融合算法對SIFT與MSA特征進行融合,形成新的關(guān)鍵點描述子,并利用該描述子對提取的關(guān)鍵點進行粗匹配,然后由粗匹配點對的距離及其鄰域的灰度相關(guān)性構(gòu)建相似矩陣,最后采用奇異值分解(Singular Value Decomposition,SVD)方法精確確定匹配點對,求出仿射變換模型參數(shù),完成圖像配準。具體步驟如下:

步驟1SIFT關(guān)鍵點檢測及描述子生成。利用SIFT算法進行關(guān)鍵點檢測并生成描述子。設(shè)ρ(x,y,σ,θ)為SIFT算法檢測到的關(guān)鍵點,其中,(x,y)為點ρ在原圖像上的位置,σ,θ分別為點ρ所在的尺度及其主方向。對于每一關(guān)鍵點,計算出128維的SIFT描述子z=(z1,z2,…,z128)。

步驟2MSA關(guān)鍵點描述。利用SIFT算法檢測到關(guān)鍵點ρ(x,y,σ,θ)后,首先根據(jù)σ值的大小,在點ρ所在的相應(yīng)尺度上,將坐標軸旋轉(zhuǎn)至關(guān)鍵點的主方向,以確保描述子的旋轉(zhuǎn)不變性,然后以關(guān)鍵點為中心取16×16大小的窗口鄰域作為待描述區(qū)域。對于每一關(guān)鍵點的待描述區(qū)域分別計算不同(α,β)對應(yīng)的MSA特征,形成該關(guān)鍵點的n維MSA描述子向量f=(f1,f2,…,fn),其中,n為不同(α,β)的點對數(shù)。

步驟3基于CCA的SIFT與MSA特征融合。提取關(guān)鍵點的SIFT特征與MSA特征后,利用基于 CCA的特征融合算法[11]融合 SIFT與MSA特征,以形成對關(guān)鍵點更全面、準確的描述子,從而最終提高圖像配準的精度及配準算法的穩(wěn)健性。

步驟4關(guān)鍵點匹配。關(guān)鍵點對間的匹配精度對配準結(jié)果有著直接的影響,關(guān)鍵點對間的錯誤匹配會直接導(dǎo)致整個配準過程的失敗。為此,采用SVD匹配算法[12]進行關(guān)鍵點對間的精確匹配。為降低計算復(fù)雜度,在進行SVD匹配前先對關(guān)鍵點進行粗匹配,具體方法是:對于提取的2個關(guān)鍵點集,計算2個點集中對應(yīng)描述子的最近與次近歐氏距離比,當(dāng)該比值小于預(yù)先設(shè)定的閾值時,初步確定為匹配點對。

步驟5變換參數(shù)估計。得到2幅圖像間的N對控制點后,根據(jù)仿射變換模型[13]求出變換參數(shù),完成圖像配準。

5 實驗結(jié)果及分析

為驗證方法的有效性,利用本文方法分別對有尺度與灰度變化(圖像配準實驗1)、幾何變化(圖像配準實驗2)的 SAR圖像進行配準,并與SIFT算法的配準結(jié)果進行了比較。本文算法在提取MSA特征時共采用了29對(α,β)值,即在集合{-1,-0.75,-0.5,-0.25,0.25,0.5, 0.75,1}中任取2個元素組成29對(α,β)值,同時計算前3階矩,這樣每個關(guān)鍵點的MSA特征都是一個29×3=87維的向量;在SIFT與MSA特征融合中,組合特征維數(shù)設(shè)置為75維;在關(guān)鍵點粗匹配中,由于匹配點對數(shù)隨著閾值的減小而減少,而匹配點對太少會導(dǎo)致最終的配準精度不高,匹配點對太多又會導(dǎo)致計算量過大,因此粗匹配中的閾值設(shè)為0.8。

為了對各方法的配準結(jié)果進行定量的比較,采用2幅圖像關(guān)鍵點對應(yīng)坐標的均方根誤差(Root Mean Squared Error,RMSE)和匹配正確率(CMR)作為量化指標。

實驗1為驗證本文方法對2幅尺度與灰度有較大差異的圖像配準的有效性,采用武漢地區(qū)SAR圖像數(shù)據(jù)進行實驗,如圖1所示,其中,圖1(a)、圖1(b)分別為參考圖像和待配準圖像,圖像大小分別為297×277像素、369×465像素。圖1(c)給出了本文方法的配準結(jié)果?？梢钥闯?2幅圖像間存在較大的尺度與灰度差異。

圖1 實驗1配準結(jié)果

實驗2為驗證本文方法對存在較大幾何變化的圖像配準的有效性,以圖2(a)為參考圖像(大小為440×263像素),以對其進行仿射變換后得到的部分圖像作為待配準圖像(如圖2(b)所示,圖像大小為200×152像素)進行實驗。圖2(c)給出了本文方法的配準結(jié)果。

圖2 實驗2配準結(jié)果

2種實驗下不同方法的配準精度如表1所示。

表1 2種實驗下不同方法的配準精度

表1實驗1給出了本文方法與SIFT方法對圖1(a)與圖1(b)的配準精度。從表1可以看出,在參考圖像與待配準圖像間存在較大的尺度與灰度差異時,本文方法的配準精度更高,CMR為0.93, RMSE為0.84。

表1實驗2給出了 SIFT方法和本文方法對圖2(a)與圖2(b)的配準精度。可以看出,相對于SIFT,本文方法的CMR值更高,RMSE值更低,表明本文方法的配準精度更高,且達到亞像素級。同時,相對于實驗1,實驗2的RMSE值要略低一些,這是由于實驗2中的參考圖像與待配準圖像間只涉及幾何變化,避免了灰度變化對配準結(jié)果的不利影響。

6 結(jié)束語

在引入MSA矩不變特征提取方法的基礎(chǔ)上,本文提出一種基于改進SIFT的SAR圖像配準方法。在關(guān)鍵點檢測階段,充分利用了SIFT算法在關(guān)鍵點檢測上的優(yōu)勢,提取的關(guān)鍵點穩(wěn)定且數(shù)量豐富;在描述子構(gòu)造階段,考慮到MSA特征具有尺度不變性、旋轉(zhuǎn)不變性、仿射不變性以及較好的抗噪性等優(yōu)良特性,通過提取關(guān)鍵點鄰域MSA特征對SIFT描述子進行補充,有效降低了描述子對噪聲與灰度變化的敏感性;在關(guān)鍵點匹配階段,在粗配準的基礎(chǔ)上結(jié)合關(guān)鍵點的位置及其鄰域的灰度相關(guān)性進行精確匹配,提高了匹配算法對大幾何變化與灰度變化的穩(wěn)健性。實驗結(jié)果表明,與SIFT方法相比,該方法能有效地處理幾何與灰度差異較大的2幅圖像間的配準問題,獲得了更高的配準精度。由于需要提取關(guān)鍵點的MSA特征并進行融合,本文方法的運行效率低于SIFT算法,如何在保持高配準精度的前提下提高運行效率是下一步的研究方向。

[1] Zitova B,Flusser J.Image Registration Methods:A Survey[J].Imageand Vision Computing,2003, 21(11):977-1000.

[2] Singh A.Digital Change Detection Technique Using Remotely-sensed Data[J].InternationalJournalof Remote Sensing,1989,10(6):989-1003.

[3] White R G.Change Detection in SAR Imagery[J]. International Journal of Remote Sensing,1991,12(2): 339-360

[4] Salvi J,Matabosch C,Fofi D,et al.A Review of Recent RangeImageRegistration Methodswith Accuracy Evaluation[J].Image and Vision Computing,2007, 25(5):578-596.

[5] Lowe D G.DistinctiveImageFeaturesfrom ScaleinvariantKeypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6] 趙 明,林長青.基于改進SIFT特征的紅外與可見光圖像配準方法[J].光電工程,2011,38(9):130-136.

[7] Paganelli C,Peroni M,Riboldi M,et al.Scale Invariant Feature Transform in Adaptive Radiation Therapy:A Tool for Deformable Image Registration Assessment and Re-planning Indication[J].Physics in Medicine and Biology,2013,58(2):287-299.

[8] 王 鵬,王 平,沈振康,等.一種基于SIFT的仿射不變特征提取新方法[J].信號處理,2011,27(1):88-93.

[9] Rahtu E,Salo M,Heikkila J.Affine Invariant Pattern Recognition Using Multi-scale Autoconvolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(6):908-917.

[10] Rahtu E,Heikkila J.Object Classification with Multi-scale Autoconvolution[C]//Proceedings of the 17th International Conference on Pattern Recognition.New York, USA:[s.n.],2004,37-40.

[11] 孫權(quán)森,曾生根,王平安,等.典型相關(guān)分析的理論及其在特征融合中的應(yīng)用[J].計算機學(xué)報,2005, 28(9):1524-1533.

[12] 劉向增,田 錚,溫金環(huán),等.基于仿射不變SIFT特征的SAR圖像配準[J].光電工程,2010,37(11): 121-127.

[13] Pankov S.Learning Image Transformations without Training Examples[C]//Proceedings of the 7th International Conference on Advances in Visual Computing. Monte Carlo,Monaco:[s.n.],2011:168-179.

編輯 劉 冰

SAR Image Registration Method Based on Improved SIFT

ZHANG Xiongmei,YI Zhaoxiang,CAI Xingfu,SONG Jianshe
(The Second Artillery Engineering University,Xi’an 710025,China)

Aiming at the problem of Scale Invariant Feature Transform(SIFT)achieving low precision when registating SAR images,an image registration method based on improved SIFT is proposed.Based on the construction of SIFT descriptors and the Multi-scale Autoconvolution(MSA)affine invariant moments of the region around keypoints, Canonical Correlation Analysis(CCA)based fusion method is adopted to fuse them together.The control points are rough matched by using threshold and the distance as well as gray correlation around the matched points are used to construct the similarity matrix.The Singular Value Decomposition(SVD)method is subsequently adopted to implement image registration precisely.The parameters of affine transformation are calculated and the images are registrated.Experimental results show that the registration results of this method is better than SIFT method and achieves precision in sub-pixel level.

SAR image registration;Scale Invariant Feature Transform(SIFT);Multi-scale Autoconvolution(MSA); Canonical Correlation Analysis(CCA);Singular Value Decomposition(SVD)

1000-3428(2015)01-0223-04

A

TP751

10.3969/j.issn.1000-3428.2015.01.041

國家自然科學(xué)基金資助重點項目(61132008)。

張雄美(1983-),女,講師、博士,主研方向:SAR圖像處理;易昭湘、蔡幸福,講師、博士;宋建社,教授、博士生導(dǎo)師。

2013-11-29

2014-02-23 E-mail:zxw.of@163.com

中文引用格式:張雄美,易昭湘,蔡幸福,等.基于改進SIFT的SAR圖像配準方法[J].計算機工程,2015,41(1):223-226.

英文引用格式:Zhang Xiongmei,Yi Zhaoxiang,Cai Xingfu,et al.SAR Image Registration Method Based on Improved SIFT[J].Computer Engineering,2015,41(1):223-226.