孫 灝，高俊強(qiáng)，許蘇蘇

(南京工業(yè)大學(xué) 測繪科學(xué)與技術(shù)學(xué)院, 江蘇 南京 211800)

基于SURF算法和改進(jìn)RANSAC算法的無人機(jī)影像匹配

孫 灝，高俊強(qiáng)，許蘇蘇

(南京工業(yè)大學(xué) 測繪科學(xué)與技術(shù)學(xué)院, 江蘇 南京 211800)

影像匹配是諸多遙感影像處理和影像分析的一個(gè)關(guān)鍵環(huán)節(jié)，結(jié)合加速魯棒性特征(SURF)算法和隨機(jī)采樣一致性(RANSAC)算法對影像進(jìn)行處理，得到特征穩(wěn)定、匹配點(diǎn)可靠的配準(zhǔn)影像。首先提取影像的SURF特征，利用特征點(diǎn)的歐式距離比來完成影像之間的粗匹配；然后使用RANSAC算法對粗匹配點(diǎn)進(jìn)行篩選；最后計(jì)算出圖像間的變換矩陣，完成匹配。文中選擇某城郊地區(qū)的無人機(jī)航拍影像，結(jié)合SURF算法，并改進(jìn)RANSAC算法來對影像進(jìn)行處理，實(shí)現(xiàn)影像的匹配，驗(yàn)證文中方法的可行性。

影像匹配；SURF算法；RANSAC算法；UAV影像

隨著智慧城市的發(fā)展，各個(gè)國家對高精度的遙感影像的需求越來越高，尤其是大比例尺、高分辨率的遙感影像以其儲存豐富的數(shù)據(jù)成為研究的熱點(diǎn)。近年來無人機(jī)技術(shù)的快速發(fā)展，無人機(jī)依靠其機(jī)動性高，成本低等特點(diǎn)，迅速成為低空遙感影像采集的生力軍。無人機(jī)遙感[1]影像在城市建設(shè)、土地管理、防災(zāi)減災(zāi)等方面都得到了廣泛的應(yīng)用，而影像匹配作為無人機(jī)影像處理的重要環(huán)節(jié)，對無人機(jī)影像處理后續(xù)工作產(chǎn)生了重要的影響。

影像匹配可以理解為將不同時(shí)間或不同角度所獲得的兩幅或多幅影像按照一定的原則進(jìn)行最佳匹配的過程，通常影像匹配的算法主要分為基于灰度的匹配算法和基于特征的匹配算法，本文主要介紹了SURF算法和RANSAC算法相結(jié)合對影像進(jìn)行匹配的方法。LOWE[2]提出了尺度不變特征(SIFT)算法，可以對影像的特征點(diǎn)進(jìn)行很好的提取，但是SIFT算法計(jì)算量大。BAY[3]基于SIFT算法提出SURF算法，SURF算法有著比SIFT算法更快的效率和魯棒性。史露等[4]將兩種算法應(yīng)用于影像的匹配中，SURF算法取得的效果更好。胡同喜，趙俊峰等[5-6]在無人機(jī)影像拼接中應(yīng)用SURF算法，但是發(fā)現(xiàn)SURF算法對角點(diǎn)的提取不是很理想，SURF算法在影像處理中值得進(jìn)一步研究。Fischler[7]提出RANSAC算法，在處理誤匹配的方面有很好的效果。楊海燕等[8]將空間一致性檢查整合到RANSAC算法中，結(jié)合SURF算法對影像進(jìn)行匹配，取得了很高的正確匹配率和較快的運(yùn)算速度。陳藝蝦等[9]運(yùn)用SURF算法和RANSAC算法在亮度、灰度變化大的影像上進(jìn)行匹配時(shí)，也能取得很好的效果，但對SURF粗匹配點(diǎn)對數(shù)和RANSAC精匹配點(diǎn)對數(shù)的研究還值得進(jìn)一步探討。李海洋等[10]改進(jìn)了SURF算法和RANSAC算法，通過降低迭代次數(shù)和改進(jìn)加權(quán)平滑，提高算法的效率并取得更優(yōu)的拼接效果。

本文在對影像的SURF特征提取之后，利用最近鄰匹配算法實(shí)現(xiàn)了特征點(diǎn)對的匹配，完成影像的粗匹配。然后結(jié)合改進(jìn)RANSAC算法對影像進(jìn)行精匹配，對粗匹配點(diǎn)對進(jìn)行過濾，剔除錯誤匹配點(diǎn)對和誤差比較大的匹配點(diǎn)對，完成影像的配準(zhǔn)。

1 SURF算法

SURF算法是SIFT算法的加速版，SURF算法在處理圖像的旋轉(zhuǎn)和模糊不變性、魯棒性方面都更優(yōu)于SIFT算法。SURF算法通過Hessian矩陣來檢測出關(guān)鍵點(diǎn)，并使用積分圖像進(jìn)行卷積運(yùn)算，實(shí)現(xiàn)了運(yùn)算速度的大幅提升。

1.1 尺度空間極值檢測

設(shè)X=(x,y)為圖像上一點(diǎn)，尺度為σ的Hessian矩陣H(x,σ)定義為

(1)

(2)

(3)

同理，Lxy(x,σ)和Lyy(x,σ)也類似，代表高斯二階偏導(dǎo)與圖像的卷積。

SURF算法引入了盒子濾波器，用盒子濾波器代替高斯二階偏導(dǎo)，用盒子濾波器和圖像進(jìn)行卷積運(yùn)算，其三個(gè)方向的卷積和分別為Dxx，Dxy，Dyy，于是Hessian矩陣可以簡化為

(4)

其中，0.9是歸一化比值，是代表在同一尺度下，盒函數(shù)替代高斯二階偏導(dǎo)數(shù)的歸一化模板比值，在任何尺度下，可以計(jì)算出近似Hessian行列式的值。

SURF算法由于使用了積分圖像和盒子濾波器，可以不進(jìn)行采樣操作，直接通過不斷改變盒子濾波器的大小來構(gòu)建尺度空間。然后在尺度空間內(nèi)進(jìn)行非極大值抑制，找到局部極值點(diǎn)(Hessian行列式)。最后再對尺度和圖像空間進(jìn)行插值，得到精確的特征點(diǎn)位置和尺度信息。

1.2 主方向的確定

為了獲得旋轉(zhuǎn)不變性，需要獲得特征點(diǎn)的主方向。SURF算法定義一個(gè)以特征點(diǎn)為圓心，6s(s為特征點(diǎn)對應(yīng)的尺度)為半徑的圓形區(qū)域，并求得特征點(diǎn)在x，y方向上的小波響應(yīng)，建立dx，dy坐標(biāo)系。然后以一個(gè)圓心角為60°的扇形進(jìn)行旋轉(zhuǎn)搜索，統(tǒng)計(jì)這個(gè)扇區(qū)內(nèi)所有響應(yīng)的總和，于是可以得到一個(gè)總的方向，最長的矢量方向即為主方向。

1.3SURF描述符

(5)

這樣每個(gè)特征點(diǎn)得到一個(gè)4×4×4=64維的特征向量。

1.4 特征匹配

SURF算法得到參考圖像和目標(biāo)圖像的特征點(diǎn)后，要進(jìn)行特征匹配，將兩幅或多幅影像之間的特征點(diǎn)一一對應(yīng)起來。本文使用的是基于歐式距離的最近鄰匹配算法，首先在一幅圖像中選中一個(gè)特征點(diǎn)，然后與另一幅圖像中的特征點(diǎn)進(jìn)行匹配，找出歐式距離最近的前兩個(gè)特征點(diǎn)，如果最近距離與次近距離的比值小于預(yù)設(shè)的某個(gè)閾值(通常取值小于0.8,本文取0.6)，則接受這一對匹配點(diǎn)，實(shí)現(xiàn)匹配。

2 RANSAC算法

SURF算法對影像進(jìn)行處理之后，用最近鄰匹配算法實(shí)現(xiàn)特征點(diǎn)的匹配，很大程度依賴于固定閾值的設(shè)置。如果閾值設(shè)置過大，則錯誤匹配點(diǎn)較多；閾值設(shè)置過小，則正確匹配點(diǎn)和錯誤匹配點(diǎn)都較少。所以SURF粗匹配點(diǎn)對中不可避免的都會存在一定數(shù)量的誤匹配點(diǎn)對，為了保證匹配的精度，需要最大程度的剔除這些誤匹配點(diǎn)對，本文引入了隨機(jī)抽樣一致性(RANSAC)算法。

2.1 變換矩陣的估計(jì)

(6)

或表示成向量形式

2.2RANSAC算法步驟

在RANSAC算法篩選匹配點(diǎn)前，首先要設(shè)定初始最佳內(nèi)點(diǎn)數(shù)Si(初始值為0)。

1)確定采樣次數(shù)。在進(jìn)行RANSAC算法抽樣時(shí)，盲目的嘗試進(jìn)行抽樣時(shí)不可取的，通常只需要選擇一定的次數(shù)N，得到合適的樣本。若n為計(jì)算模型需要的最小數(shù)據(jù)量，w為內(nèi)點(diǎn)比例，P為匹配點(diǎn)對是內(nèi)點(diǎn)的概率(P一般取值為95%)，則抽樣次數(shù)為

(7)

2)在粗匹配點(diǎn)對中隨機(jī)選取4對匹配點(diǎn)對，且選取的匹配點(diǎn)對不共線(若共線，則重新選擇)，計(jì)算出變換矩陣H；

3)根據(jù)變換矩陣計(jì)算出每個(gè)匹配點(diǎn)到對應(yīng)匹配點(diǎn)的歐式距離d；

4)指定一個(gè)閾值T(本文設(shè)置為3)，將滿足d

5)將得到的內(nèi)點(diǎn)數(shù)與Si比較，若大于Si，則當(dāng)前H矩陣為最佳估計(jì)矩陣，更新Si值；

6)經(jīng)過若干次隨機(jī)抽樣計(jì)算之后，當(dāng)循環(huán)次數(shù)N達(dá)到最大迭代次數(shù)時(shí)，可以發(fā)現(xiàn)內(nèi)點(diǎn)數(shù)量基本保持不變，得到最佳變換矩陣。

3 改進(jìn)算法及精度評定

3.1 改進(jìn)RANSAC算法

RANSAC算法在求取H矩陣的時(shí)候，需要多次隨機(jī)采樣大量的匹配點(diǎn)，并將匹配點(diǎn)對進(jìn)行一一匹配尋找內(nèi)點(diǎn)的數(shù)量，這對運(yùn)算條件提出了很高的要求，不停的重采樣和求變換矩陣也加大了工作量。本文針對具體的應(yīng)用改進(jìn)了RANSAC算法，來提高RANSAC算法運(yùn)算的效率。

改進(jìn)RANSAC算法的基本思想：從粗匹配點(diǎn)對中隨機(jī)選取4對不共線的匹配點(diǎn)對，求解出變換矩陣H，計(jì)算出匹配點(diǎn)間的歐式距離d。引入最近鄰算法的思想，計(jì)算最近距離d最近與次近距離d次近的比值，將這些數(shù)值按大到小的順序大致均等分成四組，從數(shù)值最小組中任意選擇四組匹配點(diǎn)對，作為一個(gè)最優(yōu)模型的判定。如果選取的四對匹配點(diǎn)對全不是內(nèi)點(diǎn)，則這組模型作為最優(yōu)模型的概率很小，這時(shí)舍棄這個(gè)模型且不對其他點(diǎn)進(jìn)行判定。重新選取匹配點(diǎn)進(jìn)行上述步驟，直到匹配點(diǎn)對中內(nèi)點(diǎn)數(shù)大于2，再對剩余匹配點(diǎn)對進(jìn)行內(nèi)點(diǎn)的判定。改進(jìn)RANSAC算法流程圖，見圖1。

圖1 改進(jìn)RANSAC算法流程

3.2 精度評定

對于影像匹配來說，通常用來匹配的影像數(shù)量都很大，從幾百張到幾千張不等，面對如此龐大的數(shù)據(jù)量，其中影像匹配的誤差累積是不能忽略的。影響影像匹配質(zhì)量的誤差來源主要分為以下幾種：①影像的原始誤差，一般指的是獲取影像的時(shí)候由于外部條件或內(nèi)部因素等原因造成的影像誤差，原始誤差通常在影像的預(yù)處理時(shí)會對其進(jìn)行處理；②提取影像特征點(diǎn)的過程中存在誤差；③建立影像之間的相對定向模型時(shí)產(chǎn)生的誤差，即求取變換矩陣過程的誤差。

影像匹配通常是以配準(zhǔn)精度作為評價(jià)影像匹配質(zhì)量的標(biāo)準(zhǔn)，而中誤差是衡量精度的一種數(shù)字標(biāo)準(zhǔn)，均方根誤差則可以反映數(shù)據(jù)之間的偏差。所以本文采用中誤差σ作為精度評價(jià)標(biāo)準(zhǔn)，并以均方根誤差RMSE來反映數(shù)據(jù)之間的離散程度，計(jì)算式：

(8)

4 實(shí)驗(yàn)與分析

無人機(jī)以其上面搭載的GPS、IMU、高精度數(shù)碼相機(jī)等儀器對地表進(jìn)行觀測，從而獲取地表高分辨率影像。無人機(jī)遙感以高效率、高性能等優(yōu)勢成為現(xiàn)代遙感的主要力量之一，但是無人機(jī)由于其飛行高度、相機(jī)高度等條件的限制，單張影像覆蓋的區(qū)域較小，所以必須對影像進(jìn)行拼接，而影像拼接的質(zhì)量很大程度上取決于影像匹配的精度。

本文實(shí)驗(yàn)選取是某城郊地區(qū)的無人機(jī)航拍影像，見圖2，拍攝時(shí)氣象條件優(yōu)，無人機(jī)平臺穩(wěn)定，成像清晰，航向重疊度為70%，旁向重疊度為40%。選取兩幅影像分別為無人機(jī)同航帶上相鄰的影像。按照本文所介紹的方法，首先用SURF算法對兩幅影像進(jìn)行特征提取和匹配，進(jìn)行粗匹配后，用改進(jìn)RANSAC算法對影像進(jìn)行精匹配，見圖3。

圖2 原始影像像對

圖3 影像處理效果

影像經(jīng)過粗匹配和精匹配處理后，影像中篩選大量的匹配點(diǎn)對。SURF算法在提取特征點(diǎn)和特征點(diǎn)匹配的效率很高，改進(jìn)RANSAC算法在剔除誤匹配點(diǎn)和匹配特征點(diǎn)的效果也很好。實(shí)驗(yàn)中記錄了數(shù)據(jù)，見表1。

表1 影像處理結(jié)果表

為了評價(jià)影像匹配的質(zhì)量，分別計(jì)算兩種算法在對影像處理時(shí)的中誤差和均方根誤差，見表2。

從誤差統(tǒng)計(jì)表可以看出兩種算法進(jìn)行影像匹配的中誤差和均方根誤差都小于2個(gè)像素，配準(zhǔn)精度可以滿足影像匹配條件。影像匹配效果圖，見圖4。

表2 誤差統(tǒng)計(jì)表 像素

圖4 影像匹配效果

5 結(jié)束語

本文研究了SURF算法和RANSAC算法的基本思想，并將兩種算法結(jié)合起來運(yùn)用在無人遙感影像的匹配中，針對具體的應(yīng)用改進(jìn)RANSAC算法。在用SURF算法實(shí)現(xiàn)影像的粗匹配之后，引入RANSAC算法剔除一些誤匹配點(diǎn)，而改進(jìn)RANSAC算法先進(jìn)行了內(nèi)外點(diǎn)的判定，再有目的性的進(jìn)行內(nèi)外點(diǎn)的篩選，直至最后得出最佳變換矩陣，這樣可以大大減少運(yùn)算量，實(shí)現(xiàn)了影像的快速匹配。無人機(jī)影像的匹配實(shí)驗(yàn)表明，本文的方法可以取得很好的效果。但是本文的研究仍有許多不足之處，比如算法中的閾值選取問題、算法對不同分辨率影像的匹配處理等問題，都有待于進(jìn)一步研究。

[1] 李德仁,李明.無人機(jī)遙感系統(tǒng)的研究進(jìn)展與應(yīng)用前景[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2014(5):505-513,540.

[2] LOWE D G.Distinctive Image Featuresfrom Scale-Invariant Keypoints[J].InternationalJournalof Computer Vision,2004,602.

[3] BAY H,ESS A,TUYTELAARS T,et al.Speeded-Up Robust Features(SURF).[J].Computer VisionandImage Understanding,2008,110.

[4] 史露,蘇剛,韓飛.基于SIFT和SURF圖像拼接算法的改進(jìn)算法[J].計(jì)算機(jī)應(yīng)用與軟件,2013(6):72-74,78.

[5] 胡同喜,牛雪峰,譚洋,等.基于SURF算法的無人機(jī)遙感影像拼接技術(shù)[J].測繪通報(bào),2015(1):55-58,74.

[6] 趙俊峰，代亞貞，范玉茹.無人機(jī)影像快速拼接改進(jìn)[J].測繪與空間地理信息，2016,39(9)：182-185.

[7] FISCHLER M A,BOUES R C.Random Sample Consensus:AParadigmfor Model Fittingwith ApplicationstoImage Analysisand Automated Cartography.[J].Commun.ACM,1981,24:.

[8] 楊海燕,羅文超,劉國棟.基于SURF算法和SC-RANSAC算法的圖像配準(zhǔn)[J].計(jì)算機(jī)應(yīng)用研究,2013(5):1586-1588.

[9] 陳藝蝦,孫權(quán)森,徐煥宇,等.SURF算法和RANSAC算法相結(jié)合的遙感圖像匹配方法[J].計(jì)算機(jī)科學(xué)與探索,2012(9):822-828.

[10] 李海洋,張睿哲.一種改進(jìn)的基于SURF特征匹配的圖像拼接算法[J].太原理工大學(xué)學(xué)報(bào),2016(1):91-95,119.

[11] 潘梅.無人機(jī)影像序列拼接技術(shù)的研究與實(shí)現(xiàn)[D].四川綿陽：西南科技大學(xué),2015.

[責(zé)任編輯：李銘娜]

UAV image matching based on SURF algorithm and improved RANSAC algorithm

SUN Hao,GAO Junqiang,XU Susu

College of Geomatics Science and Technology,Nanjing Tech University, Nanjing 211800，China)

Image match is an important step in remote sensing image process and image analysis. Combined Speed-Up Robust Features(SURF) and Random Sample Consensus (RANSAC) algorithms for image process, it can get registration image with stable feature and reliable match point. First, the SURF feature is extracted to achieve the initial matched with Euclidean distance between images; then, filtering matched points are chozen with RANSAC algorithm; at last, the transformation matrix is calculated between the images in order to complete match.This paper processes the UAV images of suburban area with SURF algorithms and improved RANSAC algorithms and realizes the image matched, which proves the feasibility of this method.

image matching; SURF algorithm; RANSAC algorithm; UAV image

著錄：孫灝，高俊強(qiáng)，許蘇蘇.基于SURF算法和改進(jìn)RANSAC算法的無人機(jī)影像匹配[J].測繪工程，2017，26(11)：55-59，64.

10.19349/j.cnki.issn1006-7949.2017.11.012

2016-08-23

孫 灝(1990-)，男，碩士研究生.

P232

A

1006-7949(2017)11-0055-05