徐志遠(yuǎn),劉嘉文,王山東,李天昊
(1.河海大學(xué) 地球科學(xué)與工程學(xué)院,江蘇 南京 210098;2.江蘇省測(cè)繪地理信息局,江蘇 南京 210098)
低空無(wú)人機(jī)影像的快速拼接技術(shù)研究
徐志遠(yuǎn)1,劉嘉文2,王山東1,李天昊1
(1.河海大學(xué) 地球科學(xué)與工程學(xué)院,江蘇 南京 210098;2.江蘇省測(cè)繪地理信息局,江蘇 南京 210098)
對(duì)低空無(wú)人機(jī)影像的快速拼接技術(shù)進(jìn)行研究,采用SIFT算法和SURF算法對(duì)尺度不變特征進(jìn)行提取,根據(jù)特征描述符間的歐氏距離進(jìn)行特征匹配,并使用RANSAC算法對(duì)匹配中產(chǎn)生的誤匹配點(diǎn)對(duì)進(jìn)行剔除,然后利用單應(yīng)性矩陣實(shí)現(xiàn)無(wú)人機(jī)的影像拼接。實(shí)驗(yàn)結(jié)果表明,SIFT算法和SURF算法均能較好地對(duì)影像特征進(jìn)行提取,SURF算法在效率上更優(yōu),RANSAC算法的剔除效果較好,能夠得到良好的拼接影像。
無(wú)人機(jī)影像;影像拼接;SIFT算法;SURF算法;RANSAC算法
低空無(wú)人機(jī)系統(tǒng)作為一種近年來(lái)高速發(fā)展的航空遙感平臺(tái),因其成本低、起降靈活、不受氣象條件影響、可工作在云端等,受到越來(lái)越多的青睞。因?yàn)闊o(wú)人機(jī)能夠獲取大比例尺高分辨率的影像,并且影像具有實(shí)時(shí)性強(qiáng)、獲取方式靈活、獲取成本低等優(yōu)點(diǎn),無(wú)人機(jī)的應(yīng)用已從最初的軍事領(lǐng)域擴(kuò)展到民用領(lǐng)域,無(wú)人機(jī)遙感在森林火災(zāi)監(jiān)測(cè)、災(zāi)害的應(yīng)急保障、交通事故的現(xiàn)場(chǎng)模擬和其他應(yīng)急響應(yīng)中發(fā)揮著越來(lái)越重要的作用[1]。
從目前無(wú)人機(jī)遙感的應(yīng)用情況來(lái)看,單張無(wú)人機(jī)影像無(wú)法完全覆蓋整個(gè)研究區(qū)域,而正射影像的生成又需要耗費(fèi)大量的時(shí)間,因此,如何快速獲取較寬視野的無(wú)人機(jī)影像成為其應(yīng)用的關(guān)鍵[2,3]。雖然在攝影測(cè)量領(lǐng)域影像拼接有著廣泛的應(yīng)用,但是針對(duì)無(wú)人機(jī)影像之間重疊度、旋轉(zhuǎn)角變化較大、難以找到高精度的地面控制點(diǎn)等難點(diǎn),無(wú)人機(jī)的影像拼接仍有許多值得研究的地方[4]。
針對(duì)低空無(wú)人機(jī)影像的拼接技術(shù),國(guó)內(nèi)外很多專(zhuān)家學(xué)者進(jìn)行研究。Kim 等提出了一種在規(guī)則格網(wǎng)特征空間采用連續(xù)塊匹配的全景影像快速拼接方法[5],Richard提出了基于運(yùn)動(dòng)的全景影像拼接模型[6],袁曉亞提出了基于改進(jìn)Harris角點(diǎn)特征匹配的圖像拼接方法[7],陳宏敏等針對(duì)無(wú)人機(jī)遙感平臺(tái)的特點(diǎn),提出了一種基于遞歸的影像拼接方法[8]。
本文采用基于特征的影像匹配方法,并采用RANSAC算法剔除誤匹配點(diǎn)對(duì),進(jìn)而實(shí)現(xiàn)了影像的高效無(wú)縫拼接。針對(duì)低空無(wú)人機(jī)相鄰影像之間重疊度、旋轉(zhuǎn)角變化大,特征不連續(xù),預(yù)定義關(guān)系不能?chē)?yán)格保證等問(wèn)題,采取一種基于尺度不變特征的影像拼接方法。
影像拼接的總體流程如圖1所示。
圖1 影像拼接總體流程
1.1 影像匹配
影像匹配是影像拼接的前提,其主要目的是在影像特征提取的基礎(chǔ)上將位于兩幅或多幅影像上的特征點(diǎn)對(duì)應(yīng)起來(lái)。
1.1.1 尺度不變的特征提取
尺度不變特征包括特征點(diǎn)和特征描述符兩部分,其提取算法主要有SIFT(scale-invariant feature transform)算法和SURF(speeded up robust features)算法。
SIFT算法由Lowe于1999年提出[9],并于2004年進(jìn)一步完善[10]。其主要思想是在構(gòu)建的尺度空間中進(jìn)行極值檢測(cè),并對(duì)提取到的極值點(diǎn)進(jìn)行篩選,剔除不穩(wěn)定的點(diǎn),定義每個(gè)穩(wěn)定特征點(diǎn)的主方向,最后根據(jù)特征點(diǎn)周?chē)鷪D像的局部特性形成特征描述符,用以匹配。
SURF算法由Bay于2006年提出,是SIFT算法的一種改進(jìn)。與SIFT算法相比,SURF算法的不同主要在于使用Hessian-Laplacian來(lái)近似 Gaussian-Laplacian,并使用方框?yàn)V波代替二階高斯濾波進(jìn)行計(jì)算,從而實(shí)現(xiàn)了更快的特征提取速度。
1.1.2 特征匹配
匹配測(cè)度是利用提取出的尺度不變特征進(jìn)行匹配,計(jì)算特征描述符之間的歐氏距離。由于尺度不變特征的描述符一般均為高維向量,如128維的SIFT特征描述符、64維的SURF特征描述符以及128維的擴(kuò)展SURF描述符,故利用BBF-Tree搜索算法對(duì)每一個(gè)特征點(diǎn)進(jìn)行搜索,返回其特征描述符間最近鄰與次近鄰歐氏距離之比,若比值小于事先設(shè)定的閾值,則認(rèn)為該鄰近點(diǎn)為正確的匹配點(diǎn)。
1.1.3 RANSAC剔除誤匹配點(diǎn)對(duì)
在利用SIFT和SURF算法對(duì)特征點(diǎn)進(jìn)行匹配的過(guò)程中,由于影像中某些特征的相似性,會(huì)造成特征點(diǎn)之間的錯(cuò)誤匹配,進(jìn)而影響后續(xù)的影像拼接,需要對(duì)錯(cuò)誤的匹配點(diǎn)對(duì)進(jìn)行剔除。
隨機(jī)抽樣一致性(RANSAC)算法是一種不確定算法,它能夠從一組包含“局外點(diǎn)”的數(shù)據(jù)集中,通過(guò)迭代的方式根據(jù)某種給定的目標(biāo)方程估計(jì)并優(yōu)化模型參數(shù),以使其最大程度地適應(yīng)所給定的數(shù)據(jù)集,估算出數(shù)學(xué)模型并能夠剔除“局外點(diǎn)”數(shù)據(jù),從而得到有效的樣本數(shù)據(jù)。因?yàn)樗惴ú淮_定,只是由一定的概率得到一個(gè)合理的結(jié)果,為了提高這一概率,必須提高迭代的次數(shù)。
使用RANSAC算法進(jìn)行特征點(diǎn)精確匹配的過(guò)程如下:首先選取足夠的興趣點(diǎn),使用興趣點(diǎn)進(jìn)行特征匹配后的點(diǎn)集計(jì)算基本矩陣,并計(jì)算滿足基本矩陣的點(diǎn)的個(gè)數(shù)。重復(fù)上述步驟,選取能夠有最多點(diǎn)滿足的基本矩陣,滿足此矩陣的為局內(nèi)點(diǎn),不滿足的為局外點(diǎn)。
1.2 影像拼接
在影像匹配完成后,通過(guò)影像對(duì)應(yīng)特征點(diǎn)的匹配關(guān)系估計(jì)影像之間的幾何變換模型,即單應(yīng)性矩陣;在使用RANSAC算法剔除誤匹配點(diǎn)對(duì)時(shí),已經(jīng)得到一個(gè)最優(yōu)單應(yīng)性矩陣;將待拼接影像通過(guò)單應(yīng)性矩陣映射到參考影像的坐標(biāo)系中,并將影像進(jìn)行復(fù)制疊加,最終實(shí)現(xiàn)影像的拼接操作。
選取SONY NEX-5R相機(jī)拍攝的兩組無(wú)人機(jī)影像,如圖2、圖3所示,第一組是相鄰航帶上的兩幅影像,像幅大小為1 378×916;第二組是同一航帶上的兩幅影像,像幅大小為2 756×1 831。對(duì)SIFT算法和SURF算法在VS2010編譯環(huán)境下進(jìn)行實(shí)驗(yàn),將兩者在同樣條件下進(jìn)行影像匹配的各項(xiàng)評(píng)判因素進(jìn)行對(duì)比,通過(guò)實(shí)驗(yàn)分析確定哪一種提取算法更加適合無(wú)人機(jī)影像的快速拼接。
圖2 第一組影像
圖3 第二組影像
對(duì)兩組影像在相同的環(huán)境下分別進(jìn)行SIFT算法和SURF算法特征匹配實(shí)驗(yàn),實(shí)驗(yàn)中SURF算法運(yùn)算過(guò)程中的Hessian矩陣行列式閾值設(shè)為3 000、匹配閾值取0.6,計(jì)算初始H矩陣時(shí)RANSAC閾值設(shè)為5。同時(shí),本實(shí)驗(yàn)中還使用128維SURF描述符和64維SURF描述符分別進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表1所示。
表1 SIFT算法與SURF算法實(shí)驗(yàn)結(jié)果比較
從實(shí)驗(yàn)數(shù)據(jù)中可以看出,影像越大,特征越豐富,能夠提取出的特征數(shù)量就越多,能夠匹配的特征點(diǎn)對(duì)數(shù)也相應(yīng)增加;在SIFT算法和SURF算法的比較中,SIFT算法的特征提取耗時(shí)較長(zhǎng),SURF算法的優(yōu)勢(shì)明顯;128位的SURF算法比64位的SURF算法耗時(shí)略長(zhǎng);而在匹配時(shí)間的比較上,三者的區(qū)別不大,主要與數(shù)據(jù)量的大小有關(guān)。
圖4為第一組影像利用SIFT算法進(jìn)行特征匹配的效果,其中黃色連線表示匹配點(diǎn)對(duì)之間的連線。從圖中可以看出,存在些許誤匹配,需要剔除。圖5為RANSAC算法剔除誤匹配點(diǎn)對(duì)之后的結(jié)果。
圖4 特征匹配效果
圖5 精確匹配效果
完成精確匹配后,第一組影像的拼接效果如圖6所示。
圖6 影像拼接效果
針對(duì)低空無(wú)人機(jī)影像的快速拼接問(wèn)題,本文提出了一套匹配拼接的方法并進(jìn)行實(shí)驗(yàn)分析。利用SIFT和 SURF算法進(jìn)行尺度不變特征提取,根據(jù)歐氏距離進(jìn)行特征匹配。經(jīng)實(shí)驗(yàn)對(duì)比, SURF算法在提取效果、速度等方面優(yōu)于SIFT算法,64位的SURF算法又優(yōu)于128位的SURF算法;RANSAC算法也能夠有效地進(jìn)行精確匹配,通過(guò)得到的單應(yīng)性矩陣進(jìn)行無(wú)人機(jī)影像的拼接效果良好。
[1] Everaerts J.The Use of Unmanned Aerial Vehicles (UAVs) for Remote Sensing and Mapping[J].The International Archives of the Photogrammetry[J]. Remote Sensing and Spatial Information Sciences, 2008(37):1187-1192
[2] 劉金萍,劉文宋,陳勇,等.基于Harris與RANSAC算法的無(wú)人機(jī)影像拼接方法研究[J].測(cè)繪與空間地理信息,2014(9):103-105
[3] 于瑤瑤.無(wú)人機(jī)影像快速拼接關(guān)鍵技術(shù)研究[D].鄭州:信息工程大學(xué),2012
[4] 李明,曹瀚,劉良明,等.面向應(yīng)急的無(wú)人機(jī)影像拼接方法研究[C].第一屆全國(guó)高分辨率遙感數(shù)據(jù)處理與應(yīng)用研討會(huì),西安,2011
[5] Kim D W,Hong K S.Real-time Mosaic Using Sequential Graph[J].Journal of Electronic Imaging, 2006, 15(2): 023 005-023 013
[6] Szeliski R.Video Mosaics for Virtual Environments[J].Computer Graphics and Applications, IEEE, 1996, 16(2): 22-30
[7] 袁曉亞.基于改進(jìn)Harris角點(diǎn)特征匹配的圖像拼接算法研究[D].信陽(yáng):信陽(yáng)師范學(xué)院,2013
[8] 陳宏敏,楊朝輝.無(wú)人機(jī)影像自動(dòng)拼接方法[J].測(cè)繪技術(shù)裝備,2013(3):22-24
[9] Lowe D G.Object Recognition from Local Scale-invariant Features[C].The Seventh IEEE International Conference on.Computer Vision, IEEE, 1999
[10] Lowe D G.Distinctive Image Features From Scale-Invariant Keypoints[J].International Journal of Computer Vision, 2004, 60(2): 91-110
P231
B
1672-4623(2016)04-0039-03
10.3969/j.issn.1672-4623.2016.04.013
徐志遠(yuǎn),碩士,研究方向?yàn)镚IS工程。
2015-02-12。
項(xiàng)目來(lái)源:國(guó)家自然科學(xué)基金資助項(xiàng)目(41271538)。