王延釗,李彬,崔劍,占必超
(1.北京遙感設(shè)備研究所,北京 100854;2.火箭軍工程大學 初級指揮學院,陜西 西安 710025;3.中國人民解放軍31001部隊,北京 100094)
圖像配準是對不同視角、不同時間或不同傳感器獲取的同一場景的兩幅或多幅圖像進行對準并確定其幾何關(guān)系的過程[1],在導航制導、目標跟蹤等領(lǐng)域具有重要的應(yīng)用。合成孔徑雷達(synthetic aperture radar,SAR)能對目標區(qū)進行高精度成像,具備全天時、全天候優(yōu)勢[2],特別適用于景象匹配制導。SAR圖像配準的精度和效率直接影響其在匹配制導中的運用。
常用的圖像配準方法主要有基于灰度的方法和基于特征的方法。相比基于灰度的方法,基于特征的方法提取角點、邊緣、區(qū)域等圖像間共有的顯著特征,對灰度、噪聲、畸變等差異魯棒性強,是當前SAR圖像配準的主流方法[3]。作為點特征匹配的典型代表,尺度不變特征變換(scale-invariant feature transform,SIFT)[4]算法以其良好的旋轉(zhuǎn)和尺度不變性引起廣泛關(guān)注。文獻[2]利用ROEWA算子改進SIFT特征點梯度的計算并降低描述子維度,提高了特征的穩(wěn)健性;文獻[5]在分析SIFT檢測子性能的基礎(chǔ)上提出SIFT-OCT算法,提高了匹配的魯棒性;基于各向異性尺度空間的SIFT改進算法[6-7]有效保護了SAR圖像的邊緣特性,降低了相干斑噪聲對圖像配準的影響。
上述算法主要是針對圖像中斑點噪聲的影響提出的。然而,匹配制導中參考圖和實時圖往往是不同波段圖像,利用SIFT進行不同波段SAR圖像配準還存在2方面的問題:①構(gòu)建圖像高斯尺度空間、檢測提取和匹配特征點的過程計算量大,難以滿足實時性要求;②受傳感器姿態(tài)、成像視角等因素的影響,不同波段SAR圖像間往往存在顯著的非線性灰度變化和局部幾何畸變[8]。由于SIFT算法不具有完備的灰度和仿射不變性,因此存在性能退化的現(xiàn)象,導致配準誤差較大。
本文提出一種基于圖像閾值分割和改進SIFT特征描述子,適用于不同波段SAR圖像的配準方法,具有配準精度高、處理速度快的優(yōu)點。
SIFT[4]是一種基于多尺度空間和局部不變特征的圖像匹配算法,其主要步驟如下:
(1) 關(guān)鍵點檢測和定位
首先采用高斯卷積核與原圖像卷積,建立圖像的尺度空間;然后求取高斯差分尺度空間中相鄰尺度采樣點的局部極值確定候選特征點;最后通過擬合三維二次函數(shù)獲得特征點的位置和尺度,并去除對比度較低的點和不穩(wěn)定的邊緣響應(yīng)點。其中圖像的尺度空間L(x,y;σ)和高斯差分尺度空間D(x,y;σ)分別表示為
L(x,y;σ)=I(x,y)*G(x,y;σ),
(1)
D(x,y;σ)=L(x,y,kσ)-L(x,y,σ)=
(2)
式中:I(x,y)為原始圖像;G(x,y,σ)是標準差為σ的高斯函數(shù);k為尺度參數(shù)。
(2) 主方向計算及描述子生成
在以特征點為中心的鄰域窗口內(nèi)采樣,統(tǒng)計鄰域的梯度方向,特征點的主方向即直方圖峰值所在的方向。旋轉(zhuǎn)圖像坐標軸至主方向,將附近鄰域劃分為4×4個子區(qū)域,并分配8個梯度方向,統(tǒng)計每個子區(qū)域的梯度方向直方圖,連接得到128維SIFT特征描述子。其中,特征點在高斯圖像區(qū)域內(nèi)的梯度采用有限差分計算得到
m(x,y)= [(L(x+1,y)-L(x-1,y))2+
(3)
(4)
式中:m(x,y),θ(x,y)分別為特征點的梯度幅值和梯度方向。
(3) 特征匹配
若特征點與其最近鄰和次近鄰距離之比小于指定閾值,則判定該特征點和其最近鄰為匹配點(比值法)。最后通過隨機抽樣一致(random sample consensus,RANSAC)算法[9]優(yōu)化匹配結(jié)果,求得變換模型參數(shù)。
提出的配準方法主要包括3個部分:穩(wěn)定區(qū)域提取、特征描述子構(gòu)造和特征匹配。算法的整體流程如圖1所示。
由于SAR圖像參考圖和待配準圖像尺寸一般較大,計算的復雜度隨圖像的大小成幾何級數(shù)變化,配準效率很低。河流、湖泊、道路、機場等是SAR圖像中常見的地物特征,包含了主要目標信息,對應(yīng)圖像中比較穩(wěn)定的區(qū)域。而零碎的區(qū)域比較分散,不具有典型性。因此如果能夠?qū)D像中主要目標的穩(wěn)定區(qū)域提取出來,然后針對區(qū)域進行配準,那么算法的效率將得到很大提升。
2.1.1 預(yù)處理
SAR圖像中往往存在大量的乘性相干斑噪聲。噪聲不僅會干擾區(qū)域提取的準確度,且可能導致其中的亮斑被誤檢測為特征點,造成誤匹配。Frost[10]是一種基于斑點噪聲統(tǒng)計特性的自適應(yīng)濾波算法,可以有效抑制斑點噪聲。因此首先采用Frost對圖像中的相干斑噪聲進行濾波處理。
2.1.2 圖像分割
閾值分割是一種簡單高效的圖像分割方法。文獻[1]以改進的灰度級-梯度二維直方圖為基礎(chǔ),導出了相應(yīng)二維最小交叉熵閾值選取公式及其快速遞推算法,充分考慮了所有目標點和背景點,同時兼顧了算法的抗噪性,特別適用于SAR圖像的分割。因此本文采用該算法對圖像進行分割,并采用Tent映射混沌粒子群優(yōu)化(particle swarm optimization, PSO)算法[11]縮短最優(yōu)閾值搜索時間,提升算法效率。
實驗中,PSO算法的粒子個數(shù)n為20,最大迭代次數(shù)k為20,Tent映射的初值為0.456 7,算法中其他參數(shù)值的設(shè)置與文獻[11]相同。
2.1.3 區(qū)域選取
盡管用于配準的穩(wěn)定區(qū)域數(shù)量越少,算法運行時間越短,但與此同時提取到的SIFT特征點也會大幅減少,而變換模型參數(shù)的準確計算需要足夠數(shù)量的匹配點對。為此,采用形態(tài)學處理,根據(jù)區(qū)域面積大小對區(qū)域進行合理篩選,具體方法為:
步驟1:對分割后的二值圖像進行連通區(qū)域標記,計算每個區(qū)域的面積,記為S1,S2,S3…,Sw,w為區(qū)域個數(shù);整幅圖像的面積記為S;
步驟2:對于其中任一區(qū)域,若其面積Si(i=1,2,…,w)小于整幅圖像面積S的0.1%,則將該區(qū)域去除,反之予以保留;
(1)以某病險水庫加固工程為例,針對其上游壩坡不穩(wěn)問題,基于極限平衡法和非飽和滲流理論提出采用砂巖壓重進行處理的加固措施,對加固后的上游壩坡進行抗滑穩(wěn)定計算分析。
步驟3:對于保留下來的區(qū)域,提取出區(qū)域內(nèi)像素的位置信息,并對應(yīng)到原始圖像,得到相應(yīng)圖像塊,用于后續(xù)配準。
圖2,3給出了SAR圖像及對應(yīng)的分割結(jié)果、區(qū)域選取結(jié)果、對應(yīng)到原圖的結(jié)果。可以看出,分割后的圖像區(qū)域內(nèi)部均勻且較好地保持了輪廓邊界和紋理細節(jié);經(jīng)過區(qū)域選取,零碎的區(qū)域得到去除,同時主要目標區(qū)域被完整地保留下來。
不同波段SAR圖像間對應(yīng)同一區(qū)域的像素強度往往存在著顯著的非線性變化,使得同名特征及其鄰域產(chǎn)生較大的梯度差異,降低了SIFT特征描述子的魯棒性和區(qū)分力。同時,圖像間的紋理細節(jié)差異和幾何畸變易導致誤匹配的產(chǎn)生。為了消除灰度變化和幾何差異對特征匹配的影響,重新定義特征點梯度的計算并構(gòu)造新的關(guān)鍵點描述子。
2.2.1 基于Sobel算子的梯度計算
SIFT特征描述子的生成取決于關(guān)鍵點及其鄰域的梯度統(tǒng)計直方圖,且特征點正確匹配的基礎(chǔ)是描述子需具備較強的區(qū)分力,即不同區(qū)域?qū)?yīng)的特征向量明顯不同而相似區(qū)域的特征向量相接近,而圖像間的非線性灰度變化導致同一區(qū)域關(guān)鍵點鄰域的梯度幅值和方向差異都較大。式(3),(4)中采用差分算子計算梯度的幅值和方向,描述子對非線性灰度變化魯棒性較差,且受相干斑噪聲影響較大,易檢測出虛假特征點。
Sobel算子[12]是常用的梯度檢測算子,該算子受灰度變化的影響較小,且對噪聲具有平滑作用,因此本文利用Sobel算子計算特征點的梯度幅值和方向,以提高描述子的灰度魯棒性。首先,采用Sobel計算高斯尺度空間圖像的梯度幅值:
(5)
然后,利用該算子計算得到新的特征點梯度幅值和方向,其表達式為
(6)
(7)
其中,式(5)~(7)中水平和垂直方向的導數(shù)Rx和Ry分別代表橫向及縱向邊緣檢測的圖像,由水平和垂直2個方向模板Bx和By與圖像A卷積計算得到:
(8)
2.2.2 基于GLOH特征優(yōu)化的描述子生成
傳統(tǒng)SIFT算法通過主方向旋轉(zhuǎn)和描述子歸一化實現(xiàn)了旋轉(zhuǎn)和尺度不變性,但沒有完全實現(xiàn)仿射不變性,降低了應(yīng)對局部形變的能力。梯度位置方向直方圖(gradient location orientation hologram, GLOH)特征[13]是SIFT描述子的拓展,具有良好的仿射不變特性。其基本思想是采用仿射狀的對數(shù)-極坐標同心圓替代SIFT描述子的網(wǎng)格格局,并利用主成分分析(principal component analysis, PCA)算法[14]對描述子進行降維。本文對GLOH特征進行優(yōu)化,并生成新的特征描述子。
(1) 在原始GLOH特征中,特征區(qū)域中3個同心圓環(huán)的半徑分別為6,11和15。但在SIFT算法中圖像尺寸大小隨著空間尺度參數(shù)σ的增大而不斷變化,因此,本文根據(jù)關(guān)鍵點所在圖像尺度σ對各圓環(huán)半徑進行自適應(yīng)調(diào)整,將描述子中最大圓環(huán)半徑R1設(shè)置為12σ,第2大圓環(huán)半徑R2和中心圓形半徑R3分別設(shè)置為0.73R1和0.25R1[15]。
(2) 針對PCA降維需事先經(jīng)過大量樣本訓練,且降維過程效率不高的問題,在計算17個子區(qū)域的梯度方向直方圖時,用8梯度方向劃分代替原來的16方向,描述子特征向量從272維降為136維。
圖4給出了優(yōu)化生成的GLOH特征描述子。這里,主方向計算和描述子生成過程中特征點的梯度均由式(6),(7)計算得到。
首先采用比值法得到初始匹配點對??焖俪闃右恢?fast sample consensus,FSC)算法[16]是對經(jīng)典的RANSAC算法的改進,可以通過更少的迭代運算次數(shù)獲得更多的正確匹配。因此本文采用FSC算法優(yōu)化匹配結(jié)果并計算得到仿射變換模型參數(shù),對初始參考圖和待配準圖進行配準。
為驗證本文方法的有效性,選取3組不同波段SAR圖像進行配準實驗,并與傳統(tǒng)SIFT算法、SAR-SIFT算法[15]進行了對比。第1組數(shù)據(jù)分別是X和P波段圖像,分別為267×257和265×329像素;第2組數(shù)據(jù)分別是C和X波段圖像,分別為330×391和314×446像素;第3組數(shù)據(jù)分別是X和P波段圖像,分別為434×398和307×293像素。所有算法均在Windows7環(huán)境下運行,計算機配置為CPU 3.4 GHz,內(nèi)存8 GB,編程環(huán)境為Matlab R2012。實驗中,特征點與其最近鄰和次近鄰距離比的閾值均設(shè)為0.7。
為了對實驗結(jié)果進行定量比較,采用運行時間t、匹配正確率(correct match rate,CMR)和均方根誤差(root mean squared error,RMSE)作為量化評價指標。CMR表示正確匹配點對數(shù)占初始匹配點對數(shù)的比例,計算公式為
(9)
式中:Ncorrect和Ntotal分別為正確匹配點對數(shù)和初始匹配點對數(shù)。
RMSE是評價圖像配準質(zhì)量常用的指標,計算公式為
(10)
圖5~7給出了3種方法的配準實驗結(jié)果。
由表1可見,本文方法耗時最少,配準效率最高。相比SIFT算法和SAR-SIFT算法,本文方法針對圖像中的穩(wěn)定區(qū)域進行配準,縮小了特征搜索和匹配的范圍。采用Tent映射的混沌PSO算法在保證分割效果的同時縮短了最佳分割閾值搜尋時間。同時,GLOH特征維數(shù)的減少也降低了描述子的計算復雜度。因此大大提高了算法效率,在實際運用中更能滿足實時性要求。
表1 不同算法運行時間比較Table 1 Running time comparison of different algorithms s
從圖5~7中的實驗結(jié)果和表2中的配準性能量化統(tǒng)計值可以看出,相比SIFT算法和SAR-SIFT算法,雖然本文方法獲得的匹配點對數(shù)量相對較少,但其數(shù)量足夠支持變換模型參數(shù)的計算,且匹配的正確率和配準精度比SIFT算法有較大提高。主要由于基于Sobel算子和優(yōu)化的GLOH特征生成新的特征描述子,克服了不同波段圖像間非線性灰度變化和幾何畸變的不良影響,提高了匹配點在尺度、方向、位置屬性上的一致性,增強了描述子的區(qū)分力和魯棒性,因此提高了特征點正確匹配的概率。相比之下,傳統(tǒng)SIFT算法受圖像灰度變化影響較大,特征描述子穩(wěn)健性不強,不易匹配。
SAR-SIFT算法采用ROEWA算子改進特征點的梯度方向,抑制了圖像中相干斑噪聲的影響,相比傳統(tǒng)SIFT算法配準精度更高,但對于圖像的非線性灰度變化作用有限。因此對于含有較多相干斑噪聲的圖像(如第3組),SAR-SIFT算法可以取得與本文方法相當?shù)呐錅示?,但對不同波段SAR圖像的總體適應(yīng)性低于本文方法。
表2 不同算法配準性能比較
針對不同波段SAR圖像配準效率和配準精度較低的問題,提出一種基于圖像分割和改進SIFT的配準方法。該方法基于改進的二維交叉熵對圖像進行閾值分割和區(qū)域選取,利用Sobel算子改進特征點梯度幅值和方向的計算,并結(jié)合優(yōu)化的GLOH特征構(gòu)造新的特征描述子,通過比值法和FSC算法完成特征匹配和誤配點剔除,實現(xiàn)圖像配準。針對不同波段SAR圖像進行配準實驗,及與傳統(tǒng)SIFT和SAR-SIFT算法所做的比較表明,該方法能有效處理不同波段SAR圖像的配準問題,在配準精度和算法效率2方面都有優(yōu)勢。
參考文獻:
[1] ZITOVA B,FLUSSER J.Image Registration Methods:A Survey[J].Image and Vision Computing,2003,21(11):977-1000.
[2] 陳勇,趙惠昌,陳思,等.基于SIFT彈載SAR圖像匹配算法[J].系統(tǒng)工程與電子技術(shù),2016,38(6):1276-1280.
CHEN Yong,ZHAO Hui-chang,CHEN Si,et al.Image Matching Algorithm Based on SIFT for Missile-Borne SAR[J].Systems Engineering and Electronics,2016,38(6):1276-1280.
[3] YANG L,TIAN Z,ZHAO W,et al.Robust Image Registration Using Adaptive Coherent Point Drift method[J].Journal of Applied Remote Sensing,2016,10(2):025014.
[4] LOWE D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
[5] SCHWIND P,SURI S,REINARTZ P,et al.Applicability of the SIFT Operator to Geometric SAR Image Registration[J].International Journal of Remote Sensing,2010,31(8):1959-1980.
[6] WANG S H,YOU H J,FU K.BFSIFT:A Novel Method to Find Feature Matches for SAR Image Registration[J].IEEE Geoscience and Remote Sensing Letters,2012,9(4):649-653.
[7] FAN J W,WU Y,WANG F,et al.SAR Image Registration Using Phase Congruency and Nonlinear Diffusion-based SIFT[J].IEEE Geoscience and Remote Sensing Letters,2015,12(3):562-566.
[8] 陳天澤,李燕.一種高性能SAR圖像邊緣點特征匹配方法[J].自動化學報,2013,39(12):2051-2063.
CHEN Tian-ze,LI Yan.A High Performance Edge Point Feature Match Method of SAR Images[J].Acta Automatica Sinica,2013,39(12):2051-2063.
[9] FISCHLER M A,BOLLES R C.Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Communications of the ACM,1981,24(6):381-395.
[10] 張朝暉,潘春洪,馬頌德.一種基于修正Frost核的SAR圖像斑點噪聲抑制方法[J].中國圖象圖形學報,2005,10(4):431-435.
ZHANG Zhao-hui,PAN Chun-hong,MA Song-de.SAR Image De-Speckling Based on Modified Frost Filter[J].Journal of Image and Graphics,2005,10(4):431-435.
[11] 吳一全,吳詩婳,占必超,等.基于改進的二維交叉熵及Tent映射PSO的閾值分割[J].系統(tǒng)工程與電子技術(shù),2012,34(3):603-609.
WU Yi-quan,WU Shi-hua,ZHAN Bi-chao,et al.Thresholding Based on Improved Two-Dimensional Cross Entropy and Tent-Map PSO[J].Systems Engineering and Electronics,2012,34(3):603-609.
[12] 沈德海,張龍昌,鄂旭.一種基于Sobel算子梯度增強的邊緣檢測算法[J].電子設(shè)計工程,2015,23(10):162-165.
SHEN De-hai,ZHANG Long-chang,E Xu.An Strengthening Gradient Edge Detection Algorithm Based on Sobel[J].Electronic Design Engineering,2015,23(10):162-165.
[13] MIKOLAJCZYK K,SCHMID C.A Performance Evaluation of Local Descriptors [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.
[14] JOLLIFFE I T,CADIMA J.Principal Component Analysis:A Review and Recent Developments[C]∥Philosophical Transactions of the Royal Society A:Mathematical,Physical and Engineering Sciences,2016,374(2065):20150202.
[15] DELLINGER F,DELON J,GOUSSEAU Y,et al.SAR-SIFT:A SIFT-Like Algorithm for SAR Images[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(1):453-466.
[16] WU Y,MA W P,GONG M G,et al.A Novel Point-Matching Algorithm Based on Fast Sample Consensus for Image Registration[J].IEEE Geoscience and Remote Sensing Letters,2015,12(1):43-47.