趙政， 凌霄， 孫長奎， 李勇志

(1.中國國土資源航空物探遙感中心，北京　100083； 2.國土資源部航空地球物理與遙感地質(zhì)

重點實驗室,北京　100083； 3.武漢大學遙感信息工程學院，武漢　430079)

?

基于POS的無人機傾斜影像匹配方法

趙政1，2， 凌霄3， 孫長奎1， 李勇志1

(1.中國國土資源航空物探遙感中心，北京100083； 2.國土資源部航空地球物理與遙感地質(zhì)

重點實驗室,北京100083； 3.武漢大學遙感信息工程學院，武漢430079)

摘要：在充分考慮無人機傾斜影像特點的前提下，提出了一套基于POS的無人機傾斜影像匹配策略。在現(xiàn)有匹配方法的基礎(chǔ)上，以全球SRTM(shuttle Radar topography mission)數(shù)據(jù)為輔助，實現(xiàn)了影像重疊區(qū)域預(yù)測，建立了影像間近似核線關(guān)系，剔除了匹配中的粗差點。為了解決SIFT(scale invariant feature transform)特征匹配算法計算量大，耗時長的問題，采用基于 GPU(graphic processing unit)的SIFT方法，提高了SIFT的匹配效率。另外，考慮到無人機原始POS數(shù)據(jù)精度不高，因此在匹配策略中加入了逐步精化POS數(shù)據(jù)的思想。通過對多幅傾斜影像的匹配試驗表明： 該方法能夠提供足夠數(shù)量、分布均勻且點位正確的同名點。

關(guān)鍵詞：無人機傾斜影像； 自由網(wǎng)平差； 同名點預(yù)測； SIFT; SRTM

0引言

無人機低空遙感系統(tǒng)由于其機動性高、成本低、具有高分辨率影像獲取和對地快速實時調(diào)查監(jiān)測的能力而得到了廣泛應(yīng)用[1]。但無人機低空遙感影像的質(zhì)量受飛行條件影響較大，且由于載荷、成本等因素限制，無法裝載高精度的導(dǎo)航和平衡控制系統(tǒng)，使得飛機位置和姿態(tài)信息無法被精確紀錄。這也決定了相鄰影像間很可能存在較大的旋偏角和上下錯位，使得相鄰影像間的同名點識別及影像匹配難以自動完成。

無人機遙感影像匹配可采取2種方法： ①利用攝像時的6 個外方位元素(空間位置和姿態(tài)) 進行匹配初始點預(yù)測，并在預(yù)測點位附近一定范圍內(nèi)(此范圍不宜太大，否則很容易出現(xiàn)誤匹配)進行灰度相關(guān)匹配，得到匹配點位，但這種方法如果得不到準確的飛機位置和姿態(tài)信息，預(yù)測的初始點可能存在較大的系統(tǒng)偏移，難以保證匹配精度； ②直接對影像本身進行處理，即通過尋找影像上的同名特征點進行匹配，這種方法的匹配精度和穩(wěn)定性在很大程度上依賴于特征點的選取和匹配算法。從無人機傾斜影像的特點出發(fā)，找到一種適合于不同重疊度、比例尺差異大、大旋偏角影像的同名特征點自動匹配算法，是低空遙感影像能否應(yīng)用于生產(chǎn)實踐的前提。

現(xiàn)有的大部分文獻中所采取的思路均是基于Lowe[2-5]提出的尺度不變特征轉(zhuǎn)換(scale invariant feature transform,SIFT)特征匹配算法，并對其進行優(yōu)化，如李芳芳等[6]提出在SIFT關(guān)鍵點匹配策略中采用雙向匹配算法與RANSAC 算法[7]，能夠有效地解決重復(fù)匹配與多對一匹配的問題； 劉立等[8]介紹了通過采用12維特征向量代替原SIFT中的128維特征向量，大大縮短了匹配時間，但其代價是犧牲了在復(fù)雜環(huán)境下的匹配效率； 陳信華[9]提出將 SIFT特征應(yīng)用于影像的自動相對定向，結(jié)合最小二乘法實現(xiàn)了影像的自動匹配。總的來說，現(xiàn)有的匹配方法均適用于旋轉(zhuǎn)或偏移并不大的影像，方法與策略均很單一。鑒于此，本文研究了一種基于POS的無人機傾斜影像匹配方法。

1匹配方法

1.1基于POS的重疊影像預(yù)測

重疊影像的預(yù)測等同于在已知高程面上的像點正反投影。即將某影像A的四角點初始像方坐標投影至高程面，再反投影至影像B上，從而獲得影像A四角點在影像B上的預(yù)測范圍； 判斷此預(yù)測范圍與影像B是否有交集，便可初步判斷出影像A與影像B是否有重疊。在上述過程中，像點的正反投影公式均是基于攝影測量學中的共線方程[10]，從影像正投影到高程面上的公式為

(1)

式中: (x,y)為像點的像平面坐標； (X,Y,Z)為地面點的物方空間坐標； (XS,YS,ZS)為攝站點的物方空間坐標；x0,y0,f為影像的內(nèi)方位元素；aij(i,j=1,2,3)為影像的3個外方位角元素組成的9個方向余弦。

由于低空影像所覆蓋的地面范圍小，因此在其覆蓋范圍內(nèi)可以認為每個像點所對應(yīng)物方點Z值都近似等于(XS,YS)所對應(yīng)的地面高程值，而(XS,YS)處的高程值可以直接在SRTM(shuttle Radar topography mission)上取得。

從物方點反投到影像上的公式為

(2)

式中各變量的物理意義與式(1)相同。

在運用上述步驟時需要注意的是由于無人機的POS精度不高，在預(yù)測影像A的范圍時需要外擴一定的寬度，本文外擴了1/3的影像寬度。

1.2快速SIFT匹配——SIFT GPU

由于傳統(tǒng)SIFT算法存在著計算量大、效率低的問題，而隨著計算機硬件的發(fā)展，特別是NVIDIA公司CUDA架構(gòu)圖形處理器(graphy processing unit,GPU)在最近5 a的飛速發(fā)展，文獻[11]中提出了一種基于GPU的SIFT特征提取算法，經(jīng)過大量實驗證實此方法能夠在很大程度上提高SIFT的計算效率。

在Windows 8 操作系統(tǒng)、CPU為Intel Core i3、主頻為2.40 GHz、系統(tǒng)內(nèi)存為4 GB、GPU為NVIDIA GeForce GT 620 M、顯存為1 GB的硬件環(huán)境下，在設(shè)置算法參數(shù)基本相當?shù)那闆r下，對傳統(tǒng)SIFT算法與SIFT GPU算法進行了2組試驗，表1列出了試驗結(jié)果。

表1　2種SIFT算法的效率比較

1.3基于近似核線的粗差剔除

在攝影測量中，攝影基線與任一地面點構(gòu)成的平面稱為核面，核面與像面的交線稱為核線。在重疊影像對上，同名像點一定位于同名核線上，而且同名核線上的像點是一一對應(yīng)的[10]，因此，可以實現(xiàn)匹配點粗差的剔除。

根據(jù)影像POS記錄的外方位元素，計算出影像覆蓋的概略地理范圍。本文使用SRTM數(shù)據(jù)獲取該范圍的最大高程Hmax和最小高程Hmin。對于影像A和B上的某對匹配點p和p′來說，將影像A上的點p根據(jù)式(1)分別投影到高程面Hmin與Hmax上，并根據(jù)式(2)反投到影像B上，得到點p在影像B上的近似核線L，若2幅影像的POS精度足夠的話，p′應(yīng)該在L上。但由于POS存在誤差，因此p′是在L附近的一定閾值范圍內(nèi)。對于每對匹配點，可以計算出一個距離(即p′到L的距離)，統(tǒng)計出所有距離的均值與中誤差，刪除距離與距離均值之差的絕對值超過2倍中誤差的點。

1.4影像間相對定向

光束法區(qū)域網(wǎng)平差是以共線條件方程作為基本數(shù)學模型，以影像坐標作為觀測值，對共線方程進行線性化處理后，使用最小二乘原理進行迭代，逐漸趨近求出未知數(shù)最小二乘解的過程[10]。在內(nèi)方位元素視為已知的情況下，其誤差方程式可表示為

(3)

式中： △XS，△YS，△ZS，△φ，△ω，△κ為外方位元素改正數(shù)；Vx，Vy為像點觀測值的改正數(shù)； △X，△Y，△Z為地面點坐標的改正數(shù)；lx=x-(x),ly=y-(y)，其中x,y為像點觀測值，(x)和(y)為把未知數(shù)初值帶入式(2)得到的計算值；cij(i=1,2;j=1,2,…,6)為各未知數(shù)的偏導(dǎo)系數(shù)。

本文在使用同名點對影像間相對定向精度進行改進時，采用與光束法區(qū)域網(wǎng)平差相同的方式。接下來，對立體像對間相對定向的情況進行討論。假設(shè)立體像對中某幅影像A的外方位元素已知，所有同名點所對應(yīng)的初始物方坐標由該點在影像A上的像方坐標通過式(1)投影到平均高程面上得到，當在立體像對中有n個待定點時，需解求(6+3n)個未知數(shù)，而每對像點可以列出4個誤差方程，n個點有(4n)個誤差方程，因此至少需要6對同名點才能確定平差的基準。在完成平差后，能夠得到立體像對間更加精確的相對關(guān)系。

1.5匹配窗口局部畸變消除

對于傾斜影像來說，由于正視相機與側(cè)視相機本身就存在著很大的交會角，導(dǎo)致獲得的影像幾何變形差異較大。如果在參考影像上定義一個相關(guān)窗口，其在待匹配影像上的對應(yīng)窗口往往是不規(guī)則的，甚至是不連續(xù)的，因此無法直接進行相關(guān)匹配。

如圖1所示，以特征點p為中心，定義一個矩形小面元，利用該面元4個角點，采用1.1節(jié)所述的方式計算待匹配影像上的預(yù)測范圍Sp。

圖1　匹配窗口局部畸變消除示意圖

依據(jù)上述4個角點的對應(yīng)關(guān)系，計算出一套仿射變換參數(shù)與線性灰度畸變參數(shù)，分別用來描述2個影像之間的幾何變形與輻射畸變。具體公式為

(4)

式中： (x,y)為參考影像小面元角點的影像坐標，g(x,y)為其灰度值； (x′,y′)為待匹配影像上對應(yīng)點的影像坐標，g′(x′,y′)為其灰度值；ai,bi(i=0,1,2)為仿射變換參數(shù);h0,h1為線性輻射變換參數(shù)。

1.6基于POS的傾斜影像匹配策略

基于上述認識，針對無人機傾斜影像特點，設(shè)計了基于POS并有SRTM作為輔助的傾斜影像匹配策略，具體流程如圖2所示。

圖2　匹配流程

1)初始匹配。利用初始POS數(shù)據(jù)進行影像是否重疊判斷，考慮到直接在原始影像上使用SIFT GPU匹配運行耗時長且對內(nèi)存的使用量大; 另外，由于低空無人機的影像長與寬均在3 000~9 000像素范圍，按照3×3方式建立金字塔,若建立2層金字塔，其頂層金字塔會因為尺寸太小不利于SIFT特征的提取與匹配，因此對原始影像建立1層影像金字塔，在金字塔的頂層使用SIFT GPU進行匹配，并對匹配結(jié)果進行近似核線約束的粗差剔除，得到一定數(shù)量且可靠的匹配點，并通過相對定向?qū)Τ跏嫉腜OS進行精化。

2)精確匹配。在底層金字塔上進行Harris特征提取，得到足夠的特征點，然后利用初始匹配中得到的精確POS數(shù)據(jù)，對底層金字塔進行局部畸變改正，并進行灰度相關(guān)與最小二乘匹配。在RANSAC算法基礎(chǔ)上，利用光束法前方交會，得到特征點的前方交會精度，將高于3倍前方交會中誤差的點作為誤匹配點，予以剔除。

2試驗

為了驗證本文提出算法的可行性與適用性，選取2組傾斜影像數(shù)據(jù)進行試驗。

第1組試驗數(shù)據(jù)是下視影像與側(cè)視影像，2臺相機之間繞X軸有45°夾角，繞Z軸有90°夾角，2幅影像之間重疊度達到80%； 第2組試驗數(shù)據(jù)采用前視影像與后視影像，2臺相機之間繞Y軸有90°夾角，繞Z軸有180°夾角，2幅影像之間重疊度有40%。具體試驗數(shù)據(jù)參數(shù)見表2。

表2　試驗數(shù)據(jù)詳細信息

2.1SIFT GPU匹配結(jié)果

對4幅試驗影像，通過兩兩間是否重疊預(yù)測后，對具有重疊度的影像按照3×3的方式縮小，得到頂層金字塔影像，并在兩兩有重疊度的影像之間進行SIFT GPU匹配，得到初始匹配結(jié)果。重疊度預(yù)測結(jié)果表明，在2組試驗數(shù)據(jù)中，只有組內(nèi)影像之間有重疊度，因此只有組內(nèi)影像間有SIFT GPU的匹配結(jié)果，如圖3和4所示。

(a) 下視SIFT點位分布(b) 側(cè)視SIFT點位分布

圖3第1組試驗數(shù)據(jù)的頂層金字塔影像SIFT GPU匹配結(jié)果

Fig.3SIFT GPU matching results of top pyramid images of the first test data

(a) 前視SIFT點位分布(b) 后視SIFT點位分布

圖4第2組試驗數(shù)據(jù)的頂層金字塔影像SIFT GPU匹配結(jié)果

Fig.4SIFT GPU matching results of top pyramid images of the second test data

2組試驗數(shù)據(jù)經(jīng)SIFT GPU匹配之后，其匹配結(jié)果的統(tǒng)計數(shù)據(jù)如表3所示。

表3　SIFT GPU 匹配結(jié)果統(tǒng)計

2.2相對定向前后影像間相對定向精度

對于每組影像，由人工在左、右影像上選取均勻分布且特征明顯的20個同名點，然后將左影像上的點分別通過原始的POS和精化后的POS投影到右影像上，得到預(yù)測點位，統(tǒng)計預(yù)測點位坐標與真實同名點位坐標之間的差值，匯總得到表4。

表4　相對定向前后POS精度比較

由表4可以看出，2組試驗數(shù)據(jù)的原始POS在垂直于航線方向上均存在著較大的系統(tǒng)誤差，經(jīng)過相對定向之后，精度得到了顯著提高。由于是在影像金字塔上進行SIFT匹配，受到其匹配精度與地面高程起伏的影響，相對定向后像方仍有10個像素以內(nèi)的中誤差。但是已經(jīng)能夠為之后的精確匹配提供良好的預(yù)測初值。

2.3精確匹配結(jié)果

在完成影像間的初始匹配后，得到了影像間更加精確的POS數(shù)據(jù)，在此POS數(shù)據(jù)的基礎(chǔ)上，進行原始影像的精確匹配，得到每組影像的最終匹配結(jié)果(圖5，圖6)。

(a) 下視影像精確匹配點位分布 (b) 側(cè)視影像精確匹配點位分布

圖5第1組試驗數(shù)據(jù)的精確匹配結(jié)果

Fig.5Precise matching results of the first test data

(a) 前視影像精確匹配點位分布 (b) 后視影像精確匹配點位分布

圖6第2組試驗數(shù)據(jù)的精確匹配結(jié)果

Fig.6Precise matching results of the second test data

2組試驗數(shù)據(jù)精確匹配的匹配點數(shù)統(tǒng)計如表5所示。

表5　精確匹配結(jié)果統(tǒng)計

2.4結(jié)果分析

通過2組數(shù)據(jù)的測試結(jié)果可以看到，在初始匹配中，經(jīng)過對SIFT匹配結(jié)果進行粗差剔除后，雖然點位稀少，但所有點位準確無誤，完全能夠為像對間的相對定向打下堅實基礎(chǔ)； 精確匹配之后，能夠得到大量的、分布均勻的匹配點，雖然由于少數(shù)點落在了重復(fù)紋理區(qū)域(如森林、房屋上的窗戶)與遮擋區(qū)域而導(dǎo)致出現(xiàn)誤匹配的現(xiàn)象，但在這2組試驗中均有75%以上的同名點匹配結(jié)果正確無誤。

3結(jié)論

本文在現(xiàn)有的匹配算法基礎(chǔ)上，充分考慮傾斜影像數(shù)據(jù)特點，對匹配流程及策略進行了整合與改進，總結(jié)出了一套適合無人機多視角傾斜影像的匹配策略。試驗結(jié)果表明，本文匹配方法能夠在傾斜影像上獲得大量分布均勻且點位可靠的匹配點，匹配結(jié)果令人滿意。同時仍需注意到，由于傾斜視角不同，房屋在影像上畸變不同，導(dǎo)致本文方法在房屋上的點容易出現(xiàn)誤匹配的現(xiàn)象，如何提高這部分點的正確率，將是接下來進一步研究的重點。

參考文獻(References)：

[1]李德仁,李明.無人機遙感系統(tǒng)的研究進展與應(yīng)用前景[J].武漢大學學報:信息科學版,2014,39(5):505-513.

Li D R,Li M.Research advance and application prospect of unmanned aerial vehicle remote sensing system[J].Geomatics and Information Science of Wuhan University,2014,39(5):505-513.

[2]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[3]Lowe D G.Local feature view clustering for 3D object recognition[C]//The Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai,HI,USA:IEEE,2001:I-682-I-688.

[4]Lowe D G.Object recognition from local scale-invariant features[C]//The Proceedings of the 7th IEEE International Conference on Computer Vision.Kerkyra:IEEE,1999:1150-1157.

[5]Lowe D G.Fitting parameterized three-dimensional models to images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1991,13(5):441-450.

[6]李芳芳,肖本林,賈永紅,等.SIFT算法優(yōu)化及其用于遙感影像自動配準[J].武漢大學學報:信息科學版,2009,34(10):1245-1249.

Li F F,Xiao B L,Jia Y H,et al.Improved SIFT algorithm and its application in automatic registration of remotely-sensed imagery[J].Geomatics and Information Science of Wuhan University,2009,34(10):1245-1249.

[7]Fischler M A,Bolles R C.Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.

[8]劉立,彭復(fù)員,趙坤,等.采用簡化SIFT算法實現(xiàn)快速圖像匹配[J].紅外與激光工程,2008,37(1):181-184.

Liu L,Peng F Y,Zhao K,et al.Simplified SIFT algorithm for fast image matching[J].Infrared and Laser Engineering,2008,37(1):181-184.

[9]陳信華.SIFT特征匹配在無人機低空遙感影像處理中的應(yīng)用[J].現(xiàn)代測繪,2007,30(6):10-12.

Chen X H.The application of SIFT feature matching in the process of unmanned air vehicle remotely-sensed imagery on the low altitude[J].Modern Surveying and Mapping,2007,30(6):10-12.

[10]張祖勛,張劍清.數(shù)字攝影測量學[M].武漢:武漢大學出版社,1997.

Zhang Z X,Zhang J Q.Digital Photogram-Metry[M].Wuhan:Wuhan University Press,1997.

[11]王瑞,梁華,蔡宣平.基于GPU的SIFT特征提取算法研究[J].現(xiàn)代電子技術(shù),2010,33(15):41-43.

Wang R,Liang H,Cai X P.Study of SIFT feature extraction algorithm based on GPU[J].Modern Electronics Technique,2010,33(15):41-43.

(責任編輯： 刁淑娟)

UAV tilted images matching research based on POS

ZHAO Zheng1,2， LING Xiao3， SUN Changkui1， LI Yongzhi1

(1.ChinaAeroGeophysicalSurveyandRemoteSensingCenterforLandandResources,Beijing100083,China； 2.KeyLaboratoryofAirborneGeophysicsandRemoteSensingGeology,MinistryofLandandResources,Beijing100083,China; 3.SchoolofRemoteSensingandInformationEngineering,WuhanUniversity,Wuhan430079，China)

Abstract:In full consideration of the characteristics of the UAV tilted images, this paper presents an UAV tilt image matching method based on POS. Compared with existing matching method, this paper firstly introduces the global SRTM data as auxiliary to forecast the images overlap area, and secondly set up an approximate relationship of epipolar line between images to exclude the gross error. As known to all, the SIFT matching algorithm has large computation and spends a lot of time, so this paper replaces it with SIFT GPU to improve operating efficiency. Specially, this paper refines the accuracy of POS step by step, because the initial accuracy of POS is not high. The experimental results of UAV tilt images from different tilt cameras shows that this method can provide a sufficient number of corresponding points which are evenly distributed and correct.

Keywords:UAV titled images; free network adjustment; corresponding points forecast； SIFT； SRTM

通信作者：凌霄(1989-)，男，博士研究生，主要從事影像匹配及三維重建方面的研究。Email： 517748840@qq.com。

作者簡介：第一 趙政(1986-)，男，碩士，主要從事無人機航空攝影及遙感應(yīng)用方面的研究。Email： zhaoz1986@foxmail.com。

中圖法分類號：TP 79

文獻標志碼：A

文章編號：1001-070X(2016)01-0087-06

基金項目：國土資源部航空地球物理與遙感地質(zhì)重點實驗室航遙青年創(chuàng)新基金項目“低空無人機影像快速匹配算法研究”(編號： 2013YFL11)資助。

收稿日期：2014-09-26；

修訂日期：2014-12-29

doi:10.6046/gtzyyg.2016.01.13

引用格式： 趙政，凌霄，孫長奎，等.基于POS的無人機傾斜影像匹配方法[J].國土資源遙感,2016,28(1):87-92.(Zhao Z，Ling X，Sun C K,et al.UAV tilted images matching research based on POS[J].Remote Sensing for Land and Resources,2016,28(1):87-92.)