徐志遠(yuǎn)，劉嘉文，王山東，李天昊

（1.河海大學(xué) 地球科學(xué)與工程學(xué)院，江蘇 南京 210098；2.江蘇省測(cè)繪地理信息局，江蘇 南京 210098）

低空無(wú)人機(jī)影像的快速拼接技術(shù)研究

徐志遠(yuǎn)1，劉嘉文2，王山東1，李天昊1

（1.河海大學(xué) 地球科學(xué)與工程學(xué)院，江蘇 南京 210098；2.江蘇省測(cè)繪地理信息局，江蘇 南京 210098）

對(duì)低空無(wú)人機(jī)影像的快速拼接技術(shù)進(jìn)行研究，采用SIFT算法和SURF算法對(duì)尺度不變特征進(jìn)行提取，根據(jù)特征描述符間的歐氏距離進(jìn)行特征匹配，并使用RANSAC算法對(duì)匹配中產(chǎn)生的誤匹配點(diǎn)對(duì)進(jìn)行剔除，然后利用單應(yīng)性矩陣實(shí)現(xiàn)無(wú)人機(jī)的影像拼接。實(shí)驗(yàn)結(jié)果表明，SIFT算法和SURF算法均能較好地對(duì)影像特征進(jìn)行提取，SURF算法在效率上更優(yōu)，RANSAC算法的剔除效果較好，能夠得到良好的拼接影像。

無(wú)人機(jī)影像；影像拼接；SIFT算法；SURF算法；RANSAC算法

低空無(wú)人機(jī)系統(tǒng)作為一種近年來(lái)高速發(fā)展的航空遙感平臺(tái)，因其成本低、起降靈活、不受氣象條件影響、可工作在云端等，受到越來(lái)越多的青睞。因?yàn)闊o(wú)人機(jī)能夠獲取大比例尺高分辨率的影像，并且影像具有實(shí)時(shí)性強(qiáng)、獲取方式靈活、獲取成本低等優(yōu)點(diǎn)，無(wú)人機(jī)的應(yīng)用已從最初的軍事領(lǐng)域擴(kuò)展到民用領(lǐng)域，無(wú)人機(jī)遙感在森林火災(zāi)監(jiān)測(cè)、災(zāi)害的應(yīng)急保障、交通事故的現(xiàn)場(chǎng)模擬和其他應(yīng)急響應(yīng)中發(fā)揮著越來(lái)越重要的作用[1]。

從目前無(wú)人機(jī)遙感的應(yīng)用情況來(lái)看，單張無(wú)人機(jī)影像無(wú)法完全覆蓋整個(gè)研究區(qū)域，而正射影像的生成又需要耗費(fèi)大量的時(shí)間，因此，如何快速獲取較寬視野的無(wú)人機(jī)影像成為其應(yīng)用的關(guān)鍵[2,3]。雖然在攝影測(cè)量領(lǐng)域影像拼接有著廣泛的應(yīng)用，但是針對(duì)無(wú)人機(jī)影像之間重疊度、旋轉(zhuǎn)角變化較大、難以找到高精度的地面控制點(diǎn)等難點(diǎn)，無(wú)人機(jī)的影像拼接仍有許多值得研究的地方[4]。

針對(duì)低空無(wú)人機(jī)影像的拼接技術(shù)，國(guó)內(nèi)外很多專(zhuān)家學(xué)者進(jìn)行研究。Kim 等提出了一種在規(guī)則格網(wǎng)特征空間采用連續(xù)塊匹配的全景影像快速拼接方法[5]，Richard提出了基于運(yùn)動(dòng)的全景影像拼接模型[6]，袁曉亞提出了基于改進(jìn)Harris角點(diǎn)特征匹配的圖像拼接方法[7]，陳宏敏等針對(duì)無(wú)人機(jī)遙感平臺(tái)的特點(diǎn)，提出了一種基于遞歸的影像拼接方法[8]。

本文采用基于特征的影像匹配方法，并采用RANSAC算法剔除誤匹配點(diǎn)對(duì)，進(jìn)而實(shí)現(xiàn)了影像的高效無(wú)縫拼接。針對(duì)低空無(wú)人機(jī)相鄰影像之間重疊度、旋轉(zhuǎn)角變化大，特征不連續(xù)，預(yù)定義關(guān)系不能?chē)?yán)格保證等問(wèn)題，采取一種基于尺度不變特征的影像拼接方法。

1 無(wú)人機(jī)影像拼接方法

影像拼接的總體流程如圖1所示。

圖1 影像拼接總體流程

1.1 影像匹配

影像匹配是影像拼接的前提，其主要目的是在影像特征提取的基礎(chǔ)上將位于兩幅或多幅影像上的特征點(diǎn)對(duì)應(yīng)起來(lái)。

1.1.1 尺度不變的特征提取

尺度不變特征包括特征點(diǎn)和特征描述符兩部分，其提取算法主要有SIFT（scale-invariant feature transform）算法和SURF（speeded up robust features）算法。

SIFT算法由Lowe于1999年提出[9]，并于2004年進(jìn)一步完善[10]。其主要思想是在構(gòu)建的尺度空間中進(jìn)行極值檢測(cè)，并對(duì)提取到的極值點(diǎn)進(jìn)行篩選，剔除不穩(wěn)定的點(diǎn)，定義每個(gè)穩(wěn)定特征點(diǎn)的主方向，最后根據(jù)特征點(diǎn)周?chē)鷪D像的局部特性形成特征描述符，用以匹配。

SURF算法由Bay于2006年提出，是SIFT算法的一種改進(jìn)。與SIFT算法相比，SURF算法的不同主要在于使用Hessian-Laplacian來(lái)近似 Gaussian-Laplacian，并使用方框?yàn)V波代替二階高斯濾波進(jìn)行計(jì)算，從而實(shí)現(xiàn)了更快的特征提取速度。

1.1.2 特征匹配

匹配測(cè)度是利用提取出的尺度不變特征進(jìn)行匹配，計(jì)算特征描述符之間的歐氏距離。由于尺度不變特征的描述符一般均為高維向量，如128維的SIFT特征描述符、64維的SURF特征描述符以及128維的擴(kuò)展SURF描述符，故利用BBF-Tree搜索算法對(duì)每一個(gè)特征點(diǎn)進(jìn)行搜索，返回其特征描述符間最近鄰與次近鄰歐氏距離之比，若比值小于事先設(shè)定的閾值，則認(rèn)為該鄰近點(diǎn)為正確的匹配點(diǎn)。

1.1.3 RANSAC剔除誤匹配點(diǎn)對(duì)

在利用SIFT和SURF算法對(duì)特征點(diǎn)進(jìn)行匹配的過(guò)程中，由于影像中某些特征的相似性，會(huì)造成特征點(diǎn)之間的錯(cuò)誤匹配，進(jìn)而影響后續(xù)的影像拼接，需要對(duì)錯(cuò)誤的匹配點(diǎn)對(duì)進(jìn)行剔除。

隨機(jī)抽樣一致性（RANSAC）算法是一種不確定算法，它能夠從一組包含“局外點(diǎn)”的數(shù)據(jù)集中，通過(guò)迭代的方式根據(jù)某種給定的目標(biāo)方程估計(jì)并優(yōu)化模型參數(shù)，以使其最大程度地適應(yīng)所給定的數(shù)據(jù)集，估算出數(shù)學(xué)模型并能夠剔除“局外點(diǎn)”數(shù)據(jù)，從而得到有效的樣本數(shù)據(jù)。因?yàn)樗惴ú淮_定，只是由一定的概率得到一個(gè)合理的結(jié)果，為了提高這一概率，必須提高迭代的次數(shù)。

使用RANSAC算法進(jìn)行特征點(diǎn)精確匹配的過(guò)程如下：首先選取足夠的興趣點(diǎn)，使用興趣點(diǎn)進(jìn)行特征匹配后的點(diǎn)集計(jì)算基本矩陣，并計(jì)算滿足基本矩陣的點(diǎn)的個(gè)數(shù)。重復(fù)上述步驟，選取能夠有最多點(diǎn)滿足的基本矩陣，滿足此矩陣的為局內(nèi)點(diǎn)，不滿足的為局外點(diǎn)。

1.2 影像拼接

在影像匹配完成后，通過(guò)影像對(duì)應(yīng)特征點(diǎn)的匹配關(guān)系估計(jì)影像之間的幾何變換模型，即單應(yīng)性矩陣；在使用RANSAC算法剔除誤匹配點(diǎn)對(duì)時(shí)，已經(jīng)得到一個(gè)最優(yōu)單應(yīng)性矩陣；將待拼接影像通過(guò)單應(yīng)性矩陣映射到參考影像的坐標(biāo)系中，并將影像進(jìn)行復(fù)制疊加，最終實(shí)現(xiàn)影像的拼接操作。

2 實(shí)驗(yàn)與分析

選取SONY NEX-5R相機(jī)拍攝的兩組無(wú)人機(jī)影像，如圖2、圖3所示，第一組是相鄰航帶上的兩幅影像，像幅大小為1 378×916；第二組是同一航帶上的兩幅影像，像幅大小為2 756×1 831。對(duì)SIFT算法和SURF算法在VS2010編譯環(huán)境下進(jìn)行實(shí)驗(yàn)，將兩者在同樣條件下進(jìn)行影像匹配的各項(xiàng)評(píng)判因素進(jìn)行對(duì)比，通過(guò)實(shí)驗(yàn)分析確定哪一種提取算法更加適合無(wú)人機(jī)影像的快速拼接。

圖2 第一組影像

圖3 第二組影像

對(duì)兩組影像在相同的環(huán)境下分別進(jìn)行SIFT算法和SURF算法特征匹配實(shí)驗(yàn)，實(shí)驗(yàn)中SURF算法運(yùn)算過(guò)程中的Hessian矩陣行列式閾值設(shè)為3 000、匹配閾值取0．6，計(jì)算初始H矩陣時(shí)RANSAC閾值設(shè)為5。同時(shí)，本實(shí)驗(yàn)中還使用128維SURF描述符和64維SURF描述符分別進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表1所示。

表1 SIFT算法與SURF算法實(shí)驗(yàn)結(jié)果比較

從實(shí)驗(yàn)數(shù)據(jù)中可以看出，影像越大，特征越豐富，能夠提取出的特征數(shù)量就越多，能夠匹配的特征點(diǎn)對(duì)數(shù)也相應(yīng)增加；在SIFT算法和SURF算法的比較中，SIFT算法的特征提取耗時(shí)較長(zhǎng)，SURF算法的優(yōu)勢(shì)明顯；128位的SURF算法比64位的SURF算法耗時(shí)略長(zhǎng)；而在匹配時(shí)間的比較上，三者的區(qū)別不大，主要與數(shù)據(jù)量的大小有關(guān)。

圖4為第一組影像利用SIFT算法進(jìn)行特征匹配的效果，其中黃色連線表示匹配點(diǎn)對(duì)之間的連線。從圖中可以看出，存在些許誤匹配，需要剔除。圖5為RANSAC算法剔除誤匹配點(diǎn)對(duì)之后的結(jié)果。

圖4 特征匹配效果

圖5 精確匹配效果

完成精確匹配后，第一組影像的拼接效果如圖6所示。

圖6 影像拼接效果

3 結(jié) 論

針對(duì)低空無(wú)人機(jī)影像的快速拼接問(wèn)題，本文提出了一套匹配拼接的方法并進(jìn)行實(shí)驗(yàn)分析。利用SIFT和 SURF算法進(jìn)行尺度不變特征提取，根據(jù)歐氏距離進(jìn)行特征匹配。經(jīng)實(shí)驗(yàn)對(duì)比， SURF算法在提取效果、速度等方面優(yōu)于SIFT算法，64位的SURF算法又優(yōu)于128位的SURF算法；RANSAC算法也能夠有效地進(jìn)行精確匹配，通過(guò)得到的單應(yīng)性矩陣進(jìn)行無(wú)人機(jī)影像的拼接效果良好。

[1] Everaerts J．The Use of Unmanned Aerial Vehicles (UAVs) for Remote Sensing and Mapping[J]．The International Archives of the Photogrammetry[J]． Remote Sensing and Spatial Information Sciences, 2008(37)：1187-1192

[2] 劉金萍,劉文宋,陳勇,等．基于Harris與RANSAC算法的無(wú)人機(jī)影像拼接方法研究[J]．測(cè)繪與空間地理信息,2014(9)：103-105

[3] 于瑤瑤．無(wú)人機(jī)影像快速拼接關(guān)鍵技術(shù)研究[D]．鄭州：信息工程大學(xué),2012

[4] 李明,曹瀚,劉良明,等．面向應(yīng)急的無(wú)人機(jī)影像拼接方法研究[C]．第一屆全國(guó)高分辨率遙感數(shù)據(jù)處理與應(yīng)用研討會(huì),西安,2011

[5] Kim D W,Hong K S．Real-time Mosaic Using Sequential Graph[J]．Journal of Electronic Imaging, 2006, 15(2)： 023 005-023 013

[6] Szeliski R．Video Mosaics for Virtual Environments[J]．Computer Graphics and Applications, IEEE, 1996, 16(2)： 22-30

[7] 袁曉亞．基于改進(jìn)Harris角點(diǎn)特征匹配的圖像拼接算法研究[D]．信陽(yáng)：信陽(yáng)師范學(xué)院,2013

[8] 陳宏敏,楊朝輝．無(wú)人機(jī)影像自動(dòng)拼接方法[J]．測(cè)繪技術(shù)裝備,2013(3)：22-24

[9] Lowe D G．Object Recognition from Local Scale-invariant Features[C]．The Seventh IEEE International Conference on．Computer Vision, IEEE, 1999

[10] Lowe D G．Distinctive Image Features From Scale-Invariant Keypoints[J]．International Journal of Computer Vision, 2004, 60(2)： 91-110

P231

B

1672-4623（2016）04-0039-03

10.3969/j.issn.1672-4623.2016.04.013

徐志遠(yuǎn)，碩士，研究方向?yàn)镚IS工程。

2015-02-12。

項(xiàng)目來(lái)源：國(guó)家自然科學(xué)基金資助項(xiàng)目（41271538）。