王　峰,尤紅建,傅興玉,許　寧,3

(1.中國科學院電子學研究所,北京 100190;2.中國科學院空間信息處理與應用系統(tǒng)技術重點實驗室,北京 100190;

3.中國科學院研究生院,北京 100190)

?

應用于多源SAR圖像匹配的級聯(lián)SIFT算法

王峰1,2,尤紅建1，2,傅興玉1,2,許寧1,2,3

(1.中國科學院電子學研究所,北京 100190;2.中國科學院空間信息處理與應用系統(tǒng)技術重點實驗室,北京 100190;

3.中國科學院研究生院,北京 100190)

摘要：針對多源SAR(Synthetic Aperture Radar)圖像幾何精處理需要大量離散控制點的問題,文章中提出一種級聯(lián)SIFT(Scale Invariant Feature Transform)匹配算法.首先,采用大尺度自適應各向異性高斯SIFT(Adapted Anisotropic Gaussian-SIFT,AAG-SIFT)算法進行圖像粗配準,大尺度AAG尺度空間可以在模糊不穩(wěn)定局部紋理干擾的同時,保持圖像的結構信息,提高算法的魯棒性;其次,級聯(lián)一種局部SIFT匹配算法,在粗配準后圖像間進行局部匹配,避免不相關區(qū)域內(nèi)重復紋理對特征匹配的影響;最后,通過尺度和旋轉(zhuǎn)等先驗條件篩選匹配點對,保證匹配結果的準確性.對比實驗表明,級聯(lián)SIFT處理可以增加提取同名點的數(shù)量和空間分布質(zhì)量,而且匹配點定位準確.

關鍵詞:多源SAR圖像匹配;級聯(lián)SIFT;AAG-SIFT;局部匹配

1引言

多源SAR匹配是綜合運用不同SAR圖像,全面反映地物信息的前提,是實現(xiàn)遙感數(shù)據(jù)融合、拼接、變化檢測等過程的關鍵步驟.由于多源SAR數(shù)據(jù)的成像條件不同,圖像間存在較為復雜的幾何和輻射差異,常用的圖像匹配方法的效果不理想,算法的魯棒性和匹配結果的準確度很難同時保證.

現(xiàn)階段,基于SIFT[1]算法的同名點提取方法成為SAR圖像匹配的研究熱點.SIFT算法具有尺度和旋轉(zhuǎn)不變性,是計算機視覺領域公認的區(qū)分能力很強的特征匹配算法.文獻[2]分析了SIFT算法應用于SAR圖像匹配時的檢測子性能,提出SIFT-OCT算法,去除受噪聲干擾嚴重的低尺度特征點,提高了匹配魯棒性和效率.近年來,各向異性尺度空間的提出明顯提升了圖像匹配算法的性能.Alcantarilla等[3]提出KAZE特征進行特征匹配,在各向異性尺度空間檢測和描述特征點,具有更好的區(qū)分性和準確性,在自然場景匹配中獲得了很好的性能.王山虎等[4]根據(jù)雙邊濾波與熱擴散方程的相似性,提出了基于雙邊濾波器建立各向異性尺度空間的BFSIFT算法,有效地增加了同名點提取數(shù)量.文獻[5]中提出根據(jù)圖像局部結構特征,自適應建立各向異性高斯尺度空間,在去除噪聲干擾的同時,保持圖像的結構信息,可以獲得更加穩(wěn)健的特征,增加了獲得匹配點對的數(shù)量和定位精度.基于各向同性尺度空間的SIFT算法全面描述圖像局部信息,得到的局部特征穩(wěn)定且定位精度高,具有較好的運算效率,但是特征區(qū)分度不足,算法的魯棒性較差.基于各向異性尺度空間的SIFT算法,更加注重局部結構信息的描述,有效地提高了算法的魯棒性,但是算法對大場景數(shù)據(jù)計算耗時較多.

針對上述問題,本文提出級聯(lián)SIFT匹配算法,通過級聯(lián)兩類配準算法,綜合兩類算法的優(yōu)勢.首先,運用大尺度自適應各向異性高斯SIFT算法實現(xiàn)圖像的粗配準;其次,針對粗配準后的圖像,級聯(lián)局部SIFT匹配算法,在圖像的局部區(qū)域內(nèi)進行特征匹配,高效地獲得定位準確的匹配結果.

2級聯(lián)SIFT匹配算法

級聯(lián)SIFT匹配算法,采用由粗到細的實現(xiàn)策略,通過級聯(lián)兩類SIFT匹配算法實現(xiàn).首先,利用AAG-SIFT算法實現(xiàn)圖像的粗配準,獲得圖像間整體幾何變換關系,保證算法的魯棒性;其次,針對粗配準后圖像,在局部對應區(qū)域內(nèi)比較SIFT特征的相似性,去除不相關區(qū)域的干擾,明顯提高匹配點對數(shù)量;最后,通過特征的主方向和尺度參數(shù)進行篩選,保證匹配結果的準確性.整體算法流程如圖1中所示.

2.1SIFT算法簡介

SIFT算法主要分為3個部分[1]:(1)構建尺度空間;(2)檢測特征點,生成描述符;(3)特征匹配.

首先,通過方差不斷增大的高斯函數(shù)與圖像卷積,可建立圖像的尺度空間表達:

(1)

其中,L(x,y,σ)為高斯尺度空間,I(x,y)為原圖像,G(x,y,σ)為標準差為σ的高斯函數(shù),k為尺度變化量,*代表卷積運算.建立圖像的尺度空間后,采用高斯拉普拉斯算子(LoG)檢測圖像中的極值點,并用高斯差分尺度空間(DoG)近似,其表達式為:

D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)

(2)

其中,D(x,y,σ)為高斯差分尺度空間.

其次,在尺度空間中檢測極值點,去除低對比度的不穩(wěn)定點,得到最終的特征點.對檢測到的特征點,統(tǒng)計鄰域梯度方向直方圖,確定主方向,旋轉(zhuǎn)鄰域到水平方向,統(tǒng)計分塊梯度方向直方圖,生成128維描述子.

最后,利用描述子間歐式距離建立匹配對,通過RANSAC(RANdom SAmple Consensus)[6]算法篩選出正確匹配點.

2.2自適應各向異性高斯尺度空間

高斯尺度空間是一種簡單的尺度空間,但不是唯一的尺度空間表示[3].高斯濾波核函數(shù)不能保持目標結構,紋理細節(jié)和圖像噪聲都會被同樣模糊處理,而且它只能擬合圓形目標,對實際場景中大量存在的具有一定方向性和扁曲率的目標擬合效果很差.另外,隨著濾波尺度的增加,圖像模糊程度增加,控制點的定位精度降低.自適應各向異性高斯濾波器克服了高斯尺度空間的上述不足,其在模糊圖像噪聲干擾的同時,可以保持圖像的邊緣紋理信息,因此,各向異性高斯尺度空間提取的特征對圖像噪聲干擾的魯棒性和穩(wěn)定性更佳[5].

各向異性高斯濾波器的一般表示為[7]:

gθ(u,v;σu,σv,θ)=

(3)

其中,*表示卷積運算,θ代表濾波器的方向,σu和σv分別表示u軸和v軸方向的尺度參數(shù),u軸與水平方向夾角為θ,v軸垂直于u軸,并且有:

(4)

相比于普通的高斯濾波器,各向異性高斯增加了空間旋轉(zhuǎn)角度θ和兩個尺度參數(shù)σu、σv(如圖2所示),可以更好地擬合局部結構.空間旋轉(zhuǎn)角度θ對應邊緣方向,以待濾波點為中心建立采樣鄰域窗口,統(tǒng)計窗口內(nèi)采樣點的梯度方向直方圖,以空間高斯模板和梯度幅值為權重對梯度方向加權,可以消弱噪聲影響.直方圖最大峰值對應的方向就對應了局部梯度的垂直方向,因此,各向異性高斯的空間旋轉(zhuǎn)角度θ對應梯度直方圖最大峰值角度的垂直方向.

第o組s層各向異性高斯濾波器的長軸尺度設置與原始高斯濾波器相同,如式(5)所示:

σu=σ(o,s)=σ02(o+s)/S,o∈[0,…,O-1],

s∈[0,…,S-1]

(5)

其中,σo是濾波器的基本尺度參數(shù),O和S分別代表尺度空間的組數(shù)和層數(shù),o和s分別表示當前組和層的標號.短軸尺度由圖像的局部二階矩矩陣決定,局部二階矩矩陣常用來擬合圖像的局部結構形狀[8,9].點P(x0,y0)附近σ尺度的二階矩矩陣M定義如下式所示:

(6)

其中Ix和Iy表示點(x,y)處x和y方向的偏導數(shù),σ對應濾波器的當前濾波尺度σ(o,s).權重參數(shù)wσ(x,y)是空間高斯濾波函數(shù):

(7)

二階矩矩陣的特征值表征局部像素的結構形狀,有三種情況[8]:

(1)當一個特征值大,另一個較小時,對應邊緣區(qū)域;

(2)當兩個特征值都較小時,對應平坦的勻質(zhì)區(qū)域;

(3)當兩個特征值都較大時,對應角點區(qū)域.

根據(jù)圖像的統(tǒng)計特性描述局部區(qū)域的各向異性程度可以定義為[9]:

(8)

其中λmax(M)表示較大的特征值,λmin(M)表示較小的特征值.因此,我們根據(jù)局部區(qū)域的各向異性程度確定各向異性高斯濾波器的形狀如下式所示:

σv=σu*γn

(9)

通過實驗驗證,推薦指數(shù)參數(shù)n=1/3[5].通過局部區(qū)域二階矩矩陣自適應調(diào)節(jié)濾波器的扁曲程度,可以很好的擬合圖像局域區(qū)域的結構特性:在均勻區(qū)域,σv≈σu,具有圓濾波器的模糊效果;在邊緣區(qū)域,扁曲程度增加,具有較好的邊緣保持效果.

2.3大尺度空間的構建

在原始分辨率處理SAR圖像,容易受到局部紋理的干擾,這種干擾的來源主要包括斑點噪聲和成像條件兩個方面.例如不同時相下河岸線的變化,不同視角條件下建筑物位置的偏移,不同極化方式導致的局部紋理差異,都會影響特征的匹配.但是在大尺度觀察圖像,圖像主要呈現(xiàn)的是圖像的整體結構信息,穩(wěn)定性好,圖像噪聲對局部紋理的干擾降低[2].如圖3所示,從大尺度圖像上觀察,湖泊的形狀以及城市間道路的方向等圖像的全局結構表征是穩(wěn)定的,但是在低尺度圖像上,局部細節(jié)明顯不同.因此,在大尺度空間檢測和描述特征,可以提高算法的魯棒性[4].

另一方面,各向異性高斯尺度空間的構建,計算量較大[3,4],而提高尺度空間的尺度,可以降低待處理圖像的尺寸,提高計算效率.雖然隨著尺度空間的增加,濾波器濾波參數(shù)變大,圖像的模糊程度增加,會部分降低提取特征點的定位精度,但是部分特征精度的降低不會影響圖像整體的粗配準過程.因此,我們采用在大尺度構建AAG尺度空間,獲得AAG-SIFT特征.

對獲得的大尺度AAG-SIFT特征進行匹配,通過RANSAC算法獲得圖像間的剛體變換關系[6],然后校正圖像,就可以實現(xiàn)圖像的粗配準,剛體變換模型如下式所示:

(10)

其中,(x,y)和(u,v)表示兩幅圖像的坐標,λ是圖像間的尺度參數(shù),θ是圖像間的旋轉(zhuǎn)角度,(x0,y0)表示圖像間的整體平移量.

2.4局部SIFT匹配算法

通過大尺度AAG-SIFT算法實現(xiàn)圖像的粗配準,去除圖像整體間的尺度和旋轉(zhuǎn)差異.根據(jù)粗配準的先驗信息,在圖像局部進行圖像匹配,可以減少計算量.另一方面,局部匹配僅在圖像局部相關區(qū)域搜索匹配點對,去除其他區(qū)域中重復場景的干擾,保證匹配結果的正確性,因此,可以獲得更多準確的匹配點對.考慮到粗配準已經(jīng)去除了待匹配圖像間的尺度差異,圖像處于同樣的尺度條件下,因此,可以只構建一組尺度空間進行局部圖像匹配.也就是說,局部SIFT匹配算法只構建組數(shù)o=0的高斯尺度空間,然后生成SIFT特征.

粗配準后的圖像間,同名點對間只存在局部范圍內(nèi)的平移,如圖4所示.ui(x,y)和vj(x′,y′)分別表示兩幅圖像中的第i個和第j個特征向量,(x,y)和(x′,y′)分別表示這兩個特征點的坐標,假設空間搜索范圍半徑為R,則對于圖4(b)中特征vj(x′,y′)的局部空間限制可以表示為:

ui(x,y):(x-x′)2+(y-y′)2≤R2

(11)

圖4(a)中,以點(x′,y′)為圓心,R為半徑圓區(qū)域內(nèi)可以找到符合式(11)空間限制的一系列待匹配特征點u0,…,u3,ui.計算這些待匹配特征向量與特征向量vj的相似性,如下式所示:

(12)

其中,|*|2表示計算向量的二范數(shù),Td表示特征向量相似性閾值.在搜索范圍R內(nèi),特征向量間最小距離小于閾值Td,則特征vj(x′,y′)的最佳匹配特征為ui(x,y).為了保證匹配的正確性,這里采用雙向匹配策略:假設以特征ui(x,y)為基準局部匹配得到的最佳匹配特征為vj(x′,y′),相應地,要求以vj(x′,y′)為基準的局部匹配得到的最佳匹配特征也必須是ui(x,y),才能認定特征ui(x,y)和vj(x′,y′)是最佳匹配的.

除了特征向量,SIFT特征還具有主方向和尺度參數(shù).由于圖像間已經(jīng)去除了整體尺度和旋轉(zhuǎn)差異,對應匹配點對的主方向角度和尺度參數(shù)差異應該在一定范圍內(nèi).因此,我們可以通過特征主方向和尺度參數(shù)進一步篩選匹配點對,保證匹配結果的準確性.特征主方向限制可以表示為:

(13)

其中,θ(ui)和θ(vj)分別表示特征的主方向,Tθ表示特征主方向角度偏差閾值.特征尺度參數(shù)限制可以表示為:

(14)

其中,σ(ui)和σ(vj)分別表示特征對應的尺度參數(shù),計算公式見式(5),Tσ表示特征尺度參數(shù)偏差閾值.

3多源SAR圖像匹配對比實驗

為了測試本文算法的性能,分別基于機載和星載SAR圖像,與常用的OCT-SIFT[2]以及BF-SIFT[4]算法進行對比實驗.本文算法參數(shù)設置如下:大尺度AAG-SIFT尺度空間o=2～4,局部SIFT尺度空間o=0,空間搜索半徑R=50,特征向量相似性閾值Td=100000,主方向旋轉(zhuǎn)角度偏差閾值Tθ=10°,尺度參數(shù)偏差閾值Tσ=1.3.實驗對比準則包括:

(1)匹配點數(shù)量:

由于SAR圖像的成像特點,不同成像條件下的圖像會存在局部幾何畸變,需要在圖像局部處理,更多的匹配點對更利于圖像局部的精處理.

(2)匹配點空間分布質(zhì)量:

控制點的離散分布對于圖像的精確處理具有重要的意義,文獻[10]中嘗試用不同數(shù)量和分布的控制點對遙感圖像進行配準,發(fā)現(xiàn)配準精度不僅取決于同名點的數(shù)目,而且與同名點的分布質(zhì)量有重要的關系.描述控制點分布離散性的分布質(zhì)量公式見式(15):

(15)

(16)

3.1不同視角機載SAR實驗

本組實驗中選取兩幅機載X波段不同視角的長治郊區(qū)圖像,拍攝時間分別為2010年12月4日和7日.匹配結果見圖5,右圖獲取的視角較小,距離向壓縮明顯.圖5(a)～5(c)中分別展示了不同算法在原始圖像上的匹配結果,圖5(d)中展示了在粗配準后的圖像上,局部SIFT匹配的結果.幾種匹配算法提取匹配點數(shù)以及匹配結果空間分布質(zhì)量如表1所示.

對比實驗結果可以看出,本文中提出的級聯(lián)變換SIFT匹配算法提取匹配點數(shù)最多,而且匹配點的空間分布質(zhì)量最好.常用的SIFT-OCT和BFSIFT算法的尺度空間是由1～3組尺度構成,在降采樣后圖像進行圖像匹配,而局部SIFT算法在原始分辨率圖像構成尺度空間,因此,級聯(lián)SIFT算法可以提取更多的特征點,并保證了最終獲得匹配點的數(shù)量.另一方面,級聯(lián)SIFT算法采用局部匹配策略,匹配過程在局部區(qū)域內(nèi)進行,去除了圖像其他區(qū)域的相似紋理對匹配結果的干擾,大大提高了獲得圖像匹配點對的數(shù)量.SIFT-OCT和BFSIFT算法獲得的預匹配點對,需要通過RANSAC算法進行篩選.RANSAC算法假設圖像間符合一定的幾何模型,常用的幾何模型有仿射變換模型和剛體變換模型,這種圖像間幾何模型的假設限制了控制點的幾何分布,而且不能應對圖像間的局部幾何畸變問題.在級聯(lián)SIFT匹配算法中,圖像的粗配準為局部匹配算法提供了先驗幾何限制,因此,局部最佳匹配結果可以作為全局最佳匹配位置.特征向量相似性、特征主方向一致性以及特征尺度參數(shù)的篩選進一步確保匹配結果的正確性.不假設圖像間的幾何模型關系,使得級聯(lián)SIFT算法能獲得更好的匹配點對空間分布質(zhì)量,更適用于處理存在局部幾何畸變的SAR圖像數(shù)據(jù).

表1　不同視角影像間同名點提取結果

圖6展示了圖5(d)中矩形框標示的4對匹配點附近區(qū)域的交叉顯示圖.從圖中可以看出,同名點附近紋理過渡平滑,河流、道路、山脊等明顯地物結構特征連續(xù),匹配點定位準確.

3.2不同傳感器星載SAR實驗

本部分實驗選取兩幅來自TerraSAR-X和Cosmo的星載數(shù)據(jù),圖像經(jīng)過正射校正,都是HH極化方式,圖像的空間分辨率分別是2.5m和3.0m.表2中列出了不同匹配算法得到的同名點數(shù)量和空間分布質(zhì)量.

從表中看出,級聯(lián)SIFT算法明顯地提高了提取的匹配點對數(shù)量,而且控制點的空間分布質(zhì)量最佳.圖7中展示了不同算法得到的匹配結果,從圖中可以看出,由于數(shù)據(jù)來自不同傳感器,同一地物的輻射差異明顯,匹配難度較大.級聯(lián)SIFT算法能找到數(shù)量最多的同名點,而且控制點遍布圖像的各個區(qū)域,分布質(zhì)量最好,為后續(xù)圖像精處理提供了有力的依據(jù).

表2　不同傳感器影像間同名點提取結果

圖8展示了圖7中標注的4個典型匹配點對附近區(qū)域的交叉顯示結果.相同地物在不同圖像中的表征變化明顯,圖像間存在明顯的輻射差異性,匹配難度較大.通過級聯(lián)SIFT算法獲得的匹配點對,地物的結構特征過度平滑,定位精度高.局部SIFT匹配是由組數(shù)o=0的尺度構成,圖像模糊程度最低,特征點的定位精度最高.同時,局部匹配算法充分利用了圖像間已知的幾何關系,在圖像局部比較相似性,圖像的不相關區(qū)域不會對匹配結果產(chǎn)生干擾,而特征向量的相似性、方向性和尺度參數(shù)限制,保證了匹配結果的準確性.

4結論

文章針對多源SAR圖像匹配問題,提出一種級聯(lián)SIFT匹配算法.首先通過大尺度AAG-SIFT算法實現(xiàn)圖像的粗配準,然后采用局部SIFT匹配算法獲得大量離散分布的匹配點對.算法可以應用于不同場景下的多源SAR圖像間的匹配,大尺度AAG-SIFT算法通過在大尺度構建各向異性尺度空間,保證算法魯棒性;局部SIFT匹配算法在低尺度空間獲得大量特征點,定位精度高,同時充分利用預知幾何先驗篩選匹配結果,保證匹配結果的準確性.與已有的SIFT-OCT和BFSIFT算法相比,本文提出的算法有效地增加了獲得匹配點的數(shù)量和分布質(zhì)量.

參考文獻

[1]Lowe DG.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.

[2]Schwind P,Suri S,Reinartz P,et al.Applicability of the SIFT operator to geometric SAR image registration[J].International Journal of Remote Sensing,2010,31(8):1959-1980.

[3]Alcantarilla PF,Bartoli A,Davison AJ.KAZE features[A].Computer Vision—ECCV 2012[C].Firenze:Springer.214-227.

[4]Wang S,You H,Fu K.BFSIFT:A novel method to find feature matches for SAR image registration[J].Geoscience and Remote Sensing Letters,IEEE,2012,9(4):649-653.

[5]Wang F,You H,Fu X.Adapted anisotropic gaussian SIFT matching strategy for SAR registration[J].Geoscience and Remote Sensing Letters,IEEE,2015,10(3):573-577.

[6]Fischler MA,Bolles RC.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.

[7]Geusebroek J-M,Smeulders AW,Van De Weijer J.Fast anisotropic gauss filtering[J].Image Processing,IEEE Transactions on,2003,12(8):938-943.

[8]Harris C,Stephens M.A combined corner and edge detector[A].Fourth Alvey Vision Conference[C].Manchester,UK:AVC,1988,147-151.

[9]Mikolajczyk K,Schmid C.Scale & affine invariant interest point detectors[J].International journal of computer vision,2004,60(1):63-86.

[10]Zhu Q,Wu B,Xu Z.Seed point selection method for triangle constrained image matching propagation[J].Geoscience and Remote Sensing Letters,IEEE,2006,3(2):207-211.

王峰男,1988年出生于山東省日照市,現(xiàn)工作于中國科學院電子學研究所,博士,主要研究方向為多源遙感圖像配準處理.

E-mail:wfeng-gucas@126.com

Cascade SIFT Matching Method for Multi-Source SAR Images

WANG Feng1,2,YOU Hong-jian1,2,FU Xing-yu1,2,XU Ning1,2,3

(1.InstituteofElectronics,ChineseAcademyofSciences,Beijing100190,China;2.KeyLaboratoryofTechnologyinGeo-spatialInformationProcessingandApplicationSystem,InstituteofElectronics,ChineseAcademyofSciences,Beijing100190,China;3.GraduateSchool,ChineseAcademyofSciences,Beijing100190,China)

Abstract:This paper presents a cascade SIFT matching method to get large numbers of discrete distributed matches for accurate procedure of multi-source SAR images.Firstly,to obtain more robust matching result,a large scale adapted anisotropic Gaussian scale-invariant feature transform (AAG-SIFT) method is proposed.It is constructed based on large scale AAG scale space,where unstable local textures are blurred,but the structures remain unaffected.Secondly,a local SIFT matching method is recommended which extracts SIFT features from the coarse registered images.And then the features are matched in the local regions to avoid the interferences of the repeated textures from uncorrelated regions.Finally,the priori condition of scale and rotation consistency is used to filter matches,guaranteeing the accuracy of the matching results.Compared with traditional matching methods,the proposed method increases the number and distribution quality of the matches,and the location of the matches is accurate.

Key words:multi-source SAR images matching;cascade SIFT;AAG-SIFT;local matching

作者簡介

DOI:電子學報URL:http://www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.03.008

中圖分類號:TN957.52

文獻標識碼：A

文章編號：0372-2112 (2016)03-0548-07

收稿日期:2014-10-20;修回日期:2015-07-06；責任編輯：梅志強

E-mail：luoying2002521@163.com