丁海燕，劉合輝，劉春菊

（1. 61175部隊，武漢 430074）

SIFT遙感影像快速配準(zhǔn)方法

丁海燕1，劉合輝1，劉春菊1

（1. 61175部隊，武漢 430074）

針對SIFT算法存在內(nèi)存消耗多、運(yùn)算速度慢的問題，采用金字塔和分塊策略，首先對原始影像進(jìn)行粗配準(zhǔn)，然后再作分塊影像匹配，在匹配過程中根據(jù)局部熵過濾掉冗余特征點(diǎn)，并使其均勻分布于影像，以實(shí)現(xiàn)精確配準(zhǔn)。對錯誤匹配點(diǎn)先利用相關(guān)系數(shù)初步剔除錯誤點(diǎn)，再利用極線約束對錯誤匹配點(diǎn)進(jìn)行精細(xì)剔除，最后將RANSAC算法應(yīng)用于剩下的匹配點(diǎn)，進(jìn)一步提高匹配精確度。

SIFT；影像配準(zhǔn)；極線約束；點(diǎn)特征

影像配準(zhǔn)是多源數(shù)據(jù)融合、變化檢測、影像鑲嵌、運(yùn)動檢測和目標(biāo)識別等諸多遙感應(yīng)用的前期工作，其結(jié)果好壞直接影響后續(xù)工作的質(zhì)量[1]?；诨叶鹊呐錅?zhǔn)算法對幾何形變較為敏感，難以解決遙感影像中不連續(xù)、陰影、被遮蔽以及不同波段之間影像配準(zhǔn)的問題[2]?；谔卣鞯呐錅?zhǔn)算法通過提取點(diǎn)、線、面特征來實(shí)現(xiàn)影像之間的配準(zhǔn)，可以在一定程度上解決上述問題。在基于點(diǎn)特征的影像配準(zhǔn)算法中，SIFT（尺度不變特征變換）算法具有尺度和旋轉(zhuǎn)不變性[3]，對于較大范圍內(nèi)的仿射形變、三維視點(diǎn)變化、噪聲和明度變化可以提供穩(wěn)健的匹配，在影像配準(zhǔn)中得到了廣泛應(yīng)用。

1 SIFT算法原理步驟

SIFT算法是一種提取圖像局部特征的算法，通過在高斯差分尺度空間（difference of gaussian，DOG）尋找極值點(diǎn)作為關(guān)鍵點(diǎn)，提取尺度、亮度、旋轉(zhuǎn)不變量?；赟IFT點(diǎn)特征的提取與匹配算法由點(diǎn)特征提取、特征描述子計算和特征匹配3步組成[4]。

1）對原始影像采用不同標(biāo)準(zhǔn)差σ進(jìn)行高斯平滑，然后對平滑后的影像求差，得到高斯差分影像。在差分影像上取灰度值極大或極小的點(diǎn)作為特征點(diǎn)。高斯平滑公式如式（1）[5]：

2）以特征點(diǎn)為中心，取給定高寬的影像區(qū)域，計算該區(qū)域內(nèi)每個像元的梯度方向和梯度強(qiáng)度。統(tǒng)計不同梯度方向上的梯度強(qiáng)度總和，以此構(gòu)成特征向量。

3）計算待配準(zhǔn)影像和參考影像上不同特征點(diǎn)的特征向量的歐氏距離，將距離最小的特征點(diǎn)作為初始匹配點(diǎn)，并根據(jù)最鄰近和次鄰近的歐氏距離之比剔除誤匹配點(diǎn)。

2 提高SIFT運(yùn)算效率與特征點(diǎn)分布均勻性

2.1 金字塔和分塊策略

在原始影像的基礎(chǔ)上構(gòu)建影像金字塔，采取由粗到精的策略，從上層金字塔開始匹配，然后遞推到下一層，并為下一層金字塔的匹配提供控制參數(shù)，具體思路如下：

1）對原始影像進(jìn)行重采樣，生成高寬均小于給定閾值的縮小影像，并利用SIFT特征匹配實(shí)現(xiàn)縮小影像之間的配準(zhǔn)，獲得初始變換參數(shù)。

2）對原始待配準(zhǔn)影像進(jìn)行重采樣，生成初步消除縮放、平移和旋轉(zhuǎn)形變之后的粗配準(zhǔn)影像，確定粗配準(zhǔn)影像和參考影像的重疊區(qū)域，在重疊區(qū)內(nèi)對待配準(zhǔn)和參考影像進(jìn)行分塊。

3）在分塊影像中分別提取SIFT特征點(diǎn)，并進(jìn)行特征匹配。

4）收集各分塊影像的匹配點(diǎn)并剔除粗差，得到最終的匹配點(diǎn)集，解算幾何變換模型參數(shù)，生成精確配準(zhǔn)影像。

2.2 過濾冗余特征點(diǎn)并均勻分布剩余特征點(diǎn)

遙感影像具有數(shù)據(jù)量大和紋理信息豐富的特點(diǎn)，影像匹配可以得到大量的SIFT特征匹配點(diǎn)[6]，但匹配點(diǎn)數(shù)目過多也可能帶來一些問題，如解算幾何模型參數(shù)時存在冗余，實(shí)際所需要的控制點(diǎn)數(shù)目可能遠(yuǎn)小于匹配點(diǎn)數(shù)目；會增加后續(xù)特征匹配的運(yùn)算量，導(dǎo)致運(yùn)算效率下降。

影像配準(zhǔn)的成功率和可靠性在很大程度上取決于特征點(diǎn)的質(zhì)量與分布情況，因此，在兼顧效率與精度的情況下，應(yīng)在剔除冗余數(shù)據(jù)點(diǎn)的同時保證特征點(diǎn)分布均勻，具體思路如下：

1）確定所需特征點(diǎn)的總數(shù)N。太多的點(diǎn)會增加匹配的計算量，而太少的點(diǎn)可能會導(dǎo)致匹配失敗。

2）根據(jù)標(biāo)準(zhǔn)SIFT生成高斯尺度空間，該空間包含ON個組，每個組包含LN層，初始尺度因子為σ0。對每一層利用標(biāo)準(zhǔn)SIFT算法提取特征點(diǎn)作為初始候選點(diǎn)，剔除對比度區(qū)間前15%不可靠的特征點(diǎn)。由式（2）計算所需特征點(diǎn)個數(shù)Nol[2]：

將當(dāng)前尺度層影像劃分為規(guī)則格網(wǎng)，并且根據(jù)式（3）計算每個格網(wǎng)單元所需的特征點(diǎn)個數(shù)n_celli：

式中，Ei表示格網(wǎng)單元i的信息量（熵），由式（4）計算得到；WE和Wn分別表示信息量和所需特征數(shù)量的權(quán)重，MCi為平均對比度[7]。

每一格網(wǎng)單元保留3×n_celli個高對比度點(diǎn)，拋棄其他低對比度的點(diǎn)。由標(biāo)準(zhǔn)SIFT算法計算保留點(diǎn)的精確位置和尺度，然后用閾值T=10的主曲率分析方法去除質(zhì)量較低的特征點(diǎn)。由式（4）計算剩余特征點(diǎn)的信息量熵，然后在格網(wǎng)單元里選取信息量熵最大的n_celli個特征點(diǎn)。

3）由標(biāo)準(zhǔn)SIFT算法計算提取的特征點(diǎn)的主方向并生成特征描述子。

2.3 算法并行實(shí)現(xiàn)

由于多核環(huán)境采用的是共享存儲模式，易于實(shí)現(xiàn)算法級別上的并行，本文針對各環(huán)節(jié)的特點(diǎn)分別進(jìn)行并行化。在各處理步驟之間保持串行處理，在具體實(shí)現(xiàn)每一步驟時，則根據(jù)處理單元數(shù)目以像元或者特征點(diǎn)為單元進(jìn)行并行計算。

3 剔除SIFT錯誤匹配點(diǎn)

經(jīng)過以上步驟得到的SIFT匹配點(diǎn)依然會存在大量的錯誤匹配點(diǎn)，這些錯誤匹配點(diǎn)對圖像定位、圖像配準(zhǔn)和圖像特征庫的建立等都會產(chǎn)生嚴(yán)重的影響，所以研究如何刪除錯誤匹配點(diǎn)具有重要意義。

3.1 相關(guān)系數(shù)初剔除

給出基準(zhǔn)圖像中的特征點(diǎn)x（u，v），使用中心位于該點(diǎn)、尺寸大小為（2n+1）×（2m+1）的窗口作為目標(biāo)窗口，對該特征點(diǎn)在待配準(zhǔn)圖像中對應(yīng)的一個或多個特征點(diǎn)xi'（u'，v'）在大小為（2n+1）×（2m+1）的搜索窗口完成一個相關(guān)操作。其中，相關(guān)系數(shù)由公式（5）給出[2]：

式中，E（x）是以特征點(diǎn)為中心的（2n+1）×（2m+1）大小的矩形區(qū)域內(nèi)（相關(guān)窗口）的灰度均值。

由于在初步建立的特征匹配關(guān)系中，存在“一對多”或“多對一”的匹配關(guān)系，因此要保留相關(guān)系數(shù)最大的匹配點(diǎn)對，去除其他的匹配關(guān)系，建立一對一的匹配關(guān)系。

3.2 對極幾何約束

對極幾何關(guān)系可以用基礎(chǔ)矩陣F來描述,該矩陣包含了相機(jī)所有的內(nèi)部和外部參數(shù)信息，獨(dú)立于場景結(jié)構(gòu)，僅由兩幅圖像中的對應(yīng)點(diǎn)就可以求出。因此，對極幾何關(guān)系的求解可歸結(jié)為如何精確、魯棒地估計F。

假設(shè)同一場景的兩幅影像為I、I'，mi和 mi'分別為一空間點(diǎn)M在兩幅影像中的投影點(diǎn)，則mi'必定位于mi在圖像 I'中的對極線l'（ l'=Fm）上，即

由于實(shí)際中存在噪聲、錯誤匹配以及計算誤差，使得對應(yīng)點(diǎn)不能恰好位于對應(yīng)極線上，它們之間存在一定的距離。當(dāng)用殘差mi'TFMi來表征誤差的大小時，矩陣F的估計就轉(zhuǎn)化為用最小二乘法求解使殘差最小的無約束最優(yōu)化問題。

M-Estimators算法根據(jù)每個點(diǎn)對估計基礎(chǔ)矩陣的貢獻(xiàn)不同，對其進(jìn)行加權(quán)處理[5]，降低誤差大的點(diǎn)對估計基礎(chǔ)矩陣的影響。M-Estimators算法對每個點(diǎn)的殘差進(jìn)行加權(quán)處理，以此抑制大殘差的外點(diǎn)（outliers）對矩陣F估計過程的影響。用ri表示殘差mi'TFMi，則M-Estimators算法就是求解下面的表達(dá)式：

其中，wi是權(quán)重函數(shù),由式（8）給出；σ為殘差中誤差。

算法具體步驟如下：

1）用最小二乘法估計初始的基礎(chǔ)矩陣F，特征點(diǎn)對的權(quán)值均為1。

2）計算每個特征點(diǎn)對的殘差，大于閾值T1時去除該點(diǎn)對。

3）用剩余特征點(diǎn)對計算新的基礎(chǔ)矩陣F、權(quán)值函數(shù)wi。

4）轉(zhuǎn)步驟2，直到所有特征點(diǎn)對的殘差小于閾值T2。 5）最后對剩余的匹配點(diǎn)對應(yīng)用RANSAC算法進(jìn)一步剔除錯誤點(diǎn)，使匹配精度進(jìn)一步提高。

4 基于優(yōu)化SIFT算法的影像配準(zhǔn)

基于優(yōu)化SIFT算法的影像配準(zhǔn)流程為：首先利用上述優(yōu)化算法獲得匹配點(diǎn)對，然后將匹配點(diǎn)對作為后續(xù)影像配準(zhǔn)的同名點(diǎn)對,并利用最小二乘法求解配準(zhǔn)模型變換參數(shù),以實(shí)現(xiàn)影像精確自動配準(zhǔn)。

5 實(shí)驗(yàn)分析與結(jié)論

為了評價算法改進(jìn)部分對配準(zhǔn)精度和效率的影響，本文選取正寧地區(qū)的無人機(jī)黃土影像（2 848×4 272像素）進(jìn)行了實(shí)驗(yàn)。在實(shí)驗(yàn)過程中，預(yù)先通過人工選擇或者匹配得到控制點(diǎn)解算幾何變換模型，然后根據(jù)變換模型判定匹配點(diǎn)是否正確。影像采用一次多項(xiàng)式幾何模型，判定的粗差閾值設(shè)定為2個像元。剔除粗差后，以匹配點(diǎn)集的均方根誤差（RMSE）評價配準(zhǔn)精度，正確率和均方根誤差分別為：

式中，Vxi和Vyi分別為待配準(zhǔn)影像上第i個匹配點(diǎn)X方向和Y方向的殘余誤差，n為匹配點(diǎn)的數(shù)目。

如圖1所示，標(biāo)準(zhǔn)SIFT匹配點(diǎn)對582對,其中存在有大量交叉連接線，在攝像機(jī)視角變化不大的情況下，一般為錯誤匹配點(diǎn)對。經(jīng)過相關(guān)系數(shù)、極線約束、RANSAC剔除粗差點(diǎn)對和過濾冗余點(diǎn)后，取均勻分布的正確匹配點(diǎn)對120對，如圖2所示。表1為正確匹配點(diǎn)對的像片坐標(biāo)和X、Y方向殘差。實(shí)驗(yàn)結(jié)果說明此優(yōu)化SIFT算法匹配正確率有著很大提高，同時匹配點(diǎn)對在重疊區(qū)域分布較好。以此算法得到的匹配點(diǎn)對進(jìn)行配準(zhǔn)，得到結(jié)果如圖3，其全局RMSE為1.57，說明此優(yōu)化算法配準(zhǔn)精度很好。

同時，在采用了金字塔和分塊、特征點(diǎn)過濾和并行化策略后，速度有了很大提升。選擇一臺Intel 4核CPU，主頻3.1 GHz，內(nèi)存4.00 GB，操作系統(tǒng)為Microsoft Windows 7的計算機(jī)執(zhí)行設(shè)計程序。在4核并行下，處理時間由13 859 ms下降到了3 353 ms。

圖1 標(biāo)準(zhǔn)SIFT結(jié)果

圖2 正確匹配點(diǎn)對

表1 正確點(diǎn)對像片坐標(biāo)和X、Y方向殘差

圖3 配準(zhǔn)拼接結(jié)果

6 結(jié) 語

本文針對SIFT算法在遙感影像配準(zhǔn)中存在內(nèi)存消耗多、運(yùn)算速度慢的問題，從金字塔和分塊策略、特征點(diǎn)過濾和并行化3個方面對原算法進(jìn)行了改進(jìn)。實(shí)驗(yàn)證明，改進(jìn)后的算法對大范圍遙感影像之間的配準(zhǔn)具有較好的適應(yīng)性，算法效率也得到顯著提高。對于SIFT算法存在大量錯誤點(diǎn)對的問題，從相關(guān)系數(shù)、極線約束和RANSAC 3個方面進(jìn)行優(yōu)化，通過比較，改進(jìn)后算法能夠較好地剔除粗差點(diǎn)，提升配準(zhǔn)精度。不過，算法改進(jìn)部分對配準(zhǔn)精度的影響存在一定的隨機(jī)性，因而在實(shí)際應(yīng)用中應(yīng)當(dāng)根據(jù)精度和效率的需要合理設(shè)置參數(shù)。

[1] 張曼祺.基于線特征的多源遙感影像配準(zhǔn)研究[M].南京:河海大學(xué),2006

[2] 張劍清,潘勵,王樹根.攝影測量學(xué)[M].武漢:武漢大學(xué)出版社,2003

[3] LOWE D G. Distinctive Image Features from Scale-invariant Key Points[J]. International Journal of Computer Vision,2004, 60(2):91–110

[4] MOREL J M,YU G.ASIFT:a New Framework for Fully Affine Invariant Image Comparison[J].Siam Journal on Imaging Sciences,2009, 2(2): 438–469

[5] KAN K,SUKTHANKAR R. PCA-SIFT: a More Distinctive Representation for Local Image Descriptors[D]. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society,2004

[6] 李芳芳,肖本林,賈永紅,等．SIFT算法優(yōu)化及其用于遙感影像自動配準(zhǔn)[J].武漢大學(xué)學(xué)報（信息科學(xué)版）,2009,34(10): 1 245-1 249

[7] JI Hua, WU Yuanhao,SUN Honghai,et al. SIFT Feature Matching Algorithm with Global Information[J]. Optics and Precision Engineering, 2009, 17(2): 439-444

P237

B

1672-4623（2017）02-0069-03

10.3969/j.issn.1672-4623.2017.02.022

2015-04-15。

丁海燕，高級工程師，研究方向?yàn)榈乩硇畔⑾到y(tǒng)。