劉玉梅,王仁禮,任保剛
(1.山東科技大學(xué) 山東省基礎(chǔ)地理信息與數(shù)字化技術(shù)重點實驗室,山東 青島 266590;2.珠海市測繪院,廣東 珠海 519015)
近年來,隨著全球信息化進程的加快,數(shù)字城市及智慧城市逐漸走進大眾的視野,人們對三維建模的精度、視覺效果,以及現(xiàn)勢性需求在不斷提高,傳統(tǒng)的豎直攝影已無法滿足需求需要,傾斜攝影測量[1]技術(shù)便應(yīng)運而生。但是,由于傾斜影像往往存在復(fù)雜的三維場景、幾何畸變和輻射畸變等現(xiàn)象,致使傳統(tǒng)空三中的自動選點與轉(zhuǎn)點難以進行。因此,研究適用于傾斜影像的匹配算法,有助于提高傾斜影像空中三角測量的自動化進程。
國內(nèi)外學(xué)者關(guān)于影像匹配算法[2]進行了大量的研究,并取得了較多成果,匹配方法、匹配策略及評價標(biāo)準(zhǔn)是當(dāng)前研究的重點內(nèi)容。目前影像匹配分為基于灰度的影像匹配和基于特征的影像匹配,基于灰度的影像匹配算法主要有Moravec算子[3]、Harris算子[4]等,這些算子主要適用于垂直攝影或近似垂直攝影,若直接用于多視角影像連接點的提取,在可靠性、精度和效率等方面都存在較大問題;基于特征的影像匹配算子主要有Harris-Laplacia和Harris-Affine算子[5-6]、SIFT算子[7-8]、SURF(Speeded Up Robust Features)算子(Bay等,2006)、CenSurE算子(Motilal Agrawal等,2008)、ASIFT算子(Yu G等,2009)、MSERs算子[9-10]等,這些算子主要是針對單一特征提取,后續(xù)還出現(xiàn)了多種特征相結(jié)合的匹配算法,一定程度上解決了場景部分遮擋、旋轉(zhuǎn)縮放、視點變化等引起的圖像變形等問題。
本文主要介紹SIFT、Harris-Affine(簡稱H-A)及MSERs3種基于特征的匹配算子,其基本過程包含特征提取、特征描述和特征匹配。
1)特征提?。悍謩e從參考影像和待匹配影像中提取SIFT、H-A及MSERs3種特征,SIFT提取算子先檢測DOG尺度空間上的局部極值點,再通過該算子的經(jīng)驗閾值剔除低對比度點和邊緣響應(yīng)點實現(xiàn)精確定位;Harris-Affine算子首先利用多尺度Harris算子檢測出初始角點,然后通過迭代不斷調(diào)整初始特征點的位置、尺度及鄰域形狀,得到收斂后的仿射不變特征點;MSERs算子基于分水嶺思想提取影像中灰度最穩(wěn)定的局部區(qū)域特征。
2)特征描述:即生成特征描述子,也就是建立特征空間,以每個特征點為中心均勻地利用4×4共16個種子點進行描述,對每個種子點進行8個梯度方向的直方圖統(tǒng)計,從而生成一個128維的SIFT特征描述子。
3)特征匹配:歐式距離主要用來衡量特征向量間的相似程度,是通過歐式空間距離或者最近鄰距離與次近鄰距離比率(最近鄰距離比率)來實現(xiàn)的,是特征匹配中常用的方法。過程如下:
設(shè)參考影像I1中某個特征點A,對應(yīng)特征向量DA;特征點A在待配準(zhǔn)影像Ii中最近鄰歐氏距離特征點B,次近鄰歐氏距離特征點C,對應(yīng)特征向量分別為DB和DC,當(dāng)滿足關(guān)系式(1):
則認(rèn)為特征點A和B是一對同名特征點。其中,t為最近鄰歐氏距離與次近鄰歐氏距離比值的閾值參數(shù),t取值越大,則匹配的要求越寬松,錯誤匹配點也越多;t取值越小,則匹配的要求越嚴(yán)格,錯誤匹配點也越少。
本文使用均方根誤差RMSE(單位:像素)、正確匹配率p和匹配時間t來評價圖像匹配算子的性能。其中RMSE和p的定義如公式(2)和公式(3):
一般來說,均方根誤差RMSE越小,匹配精度越高;正確匹配率p越高,匹配精度越高;匹配時間t越短,匹配效率越快。
如圖1所示,圖(a)為垂直鏡頭拍攝,作為基準(zhǔn)影像,圖(b)為傾斜鏡頭拍攝,作為待匹配影像,(a)-(b)構(gòu)成一組立體像對,立體像對間存在40°左右的視角變化。
圖1 實驗所用數(shù)據(jù)Fig.1 Experimental data
基于VS2010編程實現(xiàn)3種算法,分別對(a)-(b)立體像對影像數(shù)據(jù)進行特征點的提取和匹配實驗,實驗過程中各程序的閾值都是采用經(jīng)驗閾值。圖2、圖3和4圖分別表示3種算子提取的特征點和匹配結(jié)果圖,其中提取的特征點用黃色圓圈表示,正確匹配點對用紅線連接。
圖2 SIFT特征提取和匹配結(jié)果圖Fig.2 Feature extraction and matching results of SIFT operator
圖3 H-A特征提取和匹配結(jié)果圖Fig.3 Feature extraction and matching results of H-A operator
圖4 MSERs特征提取和匹配結(jié)果圖Fig.4 Feature extraction and matching results of MSERs operator
將匹配點保存為Envi識別的“.pts”格式,并導(dǎo)入Envi軟件中,具體步驟:①分別打開參考影像和待配準(zhǔn)影像,點擊“File-Open Image File”;②導(dǎo)入同名點坐標(biāo),按照“Map-Registration-Select GCPs:Image to Image”過程選擇基準(zhǔn)影像和待配準(zhǔn)影像,然后點擊“File-Restore GCPs from ASCII”導(dǎo)入“.pts”同名點文件,對左右立體像對匹配的同名點進行點對點檢查,查看同名點位置是否正確,結(jié)果見表1。
表1 3種經(jīng)典算子匹配結(jié)果分析表Tab.1 The matching results of three classic operators
由圖2、圖3及圖4可以看出,基于影像(a)-(b),3種算子提取的特征點數(shù)目存在較大差異,分布情況也不盡相同。Harris-Affine算子提取的特征點及正確匹配的同名點相對較多,而且分布也比較均勻;而SIFT和MSER算子提取的特征點數(shù)目則相對較少,分布情況也比較分散。
本文是以匹配時間t、正確匹配率p和均方根誤差RMSE作為評價3種算子匹配性能的標(biāo)準(zhǔn),對比分析結(jié)果見表1。從表1可以很直觀地看出每種算子的匹配結(jié)果統(tǒng)計值,進而可以得出如下的比較:①RMSE:Harris-Affine<MSERs<SIFT;②p:SIFT<Harris-Affine<MSERs;③t:Harris-Affine<SIFT<MSERs。因此,從正確匹配率的角度而言,Harris-Affine和MSERs算子的性能明顯優(yōu)于SIFT算子,即當(dāng)立體像對存在較大的視角變化時,Harris-Affine和MSERs算子具有更強的魯棒性。而在Harris-Affine和MSERs算子正確匹配率比較接近的情況下,Harris-Affine算子的匹配點數(shù)為379,明顯多于MSERs算子,而且Harris-Affine算子的匹配效率相對較高,均方根誤差相對較低,說明了Harris-Affine算子在特征檢測數(shù)量方面優(yōu)于MSERs算子,即Harris-Affine算子更適合于初始匹配。
綜上可知,當(dāng)立體像對存在較大的視角變化時,Harris-Affine和MSERs算子的適應(yīng)性優(yōu)于SIFT算子;而在特征檢測數(shù)量方面,Harris-Affine算子明顯優(yōu)于MSERs算子。
本文針對鄭州某地區(qū)的兩幅航空影像數(shù)據(jù),設(shè)計了SIFT、Harris-Affine及MSERs3種特征提取算子,為了更好地對比分析其匹配性能,均采用相同的匹配策略、匹配方法及評價標(biāo)準(zhǔn),發(fā)現(xiàn)Harris-Affine、MSERs算子的正確匹配率相對較高、適應(yīng)性較強,而考慮到匹配效率及特征點提取數(shù)量的要求,Harris-Affine算子性能則更理想。