程爭剛，張　利

清華大學電子工程系，北京 100084

?

一種基于無人機位姿信息的航拍圖像拼接方法

程爭剛，張利

清華大學電子工程系，北京 100084

Foundation support： The National Natural Science Foundation of China (Nos. 61172125; 61132007)

摘要：針對現(xiàn)有航拍圖像拼接方法處理速度較慢的問題，提出一種基于無人機位姿信息的快速拼接方法。首先從機載GPS和慣性導航單元獲得無人機航拍時的坐標和姿態(tài)角，根據每一幅航拍圖像對應的無人機坐標和姿態(tài)角計算它們之間的單應變換矩陣，實現(xiàn)航拍圖像之間的快速配準。然后通過單應變換矩陣的運算得到拼接圖像之間的配準，最后完成多幅圖像的拼接得到整個區(qū)域的全景圖。試驗結果證明該方法快速有效。

關鍵詞：航拍圖像；位置和姿態(tài)；圖像配準；單應矩陣；全景圖

近幾年無人機受到了人們越來越多的關注，無人機圖像拼接方法也隨之得到了快速發(fā)展。無人機圖像拼接是指在無人機平臺上對多幅在不同時刻、從不同視角獲得的航拍圖像經過對齊處理后，然后無縫地融合在一起，從而得到一幅視野更大、分辨率更高的全景圖像。目前被廣泛應用于數(shù)字地圖繪制、城市建設規(guī)劃以及戰(zhàn)場態(tài)勢評估等領域。

航拍圖像的拼接一般包括4個步驟：待拼接圖像的獲取、圖像畸變校正、圖像配準以及圖像融合。其中圖像配準是整個圖像拼接技術的核心部分，它直接關系到圖像拼接的質量[1]，其主要目的是得到兩幅圖像之間的變換矩陣。目前無人機圖像配準技術主要是基于特征點匹配的方法，該方法利用圖像中提取到的局部特征進行匹配，其關鍵步驟是圖像特征的提取和匹配[2]，其中基于SIFT特征點匹配的方法被廣泛地應用于航拍圖像的配準。該方法能夠有效地適應航拍圖像間存在的視角和尺度變化，由文獻[3—4]在1999年提出，并在2004年又對該算法進行了完善[3-4]。后來又出現(xiàn)了很多改進的SIFT算法應用到圖像配準中[5-9]。文獻[5]提出的PCA-SIFT方法，采用主成分分析對SIFT算子進行降維操作，大大減少了計算時間。文獻[6]提出的尺度和仿射不變量興趣點檢測的GLOH算法,采用一種SIFT變體的描述子，用對數(shù)極坐標分級結構替代SIFT使用的4象限，之后再做PCA將其降維，因此保有和SIFT一樣精簡的表示方法。文獻[7]提出的SURF算法，采用快速Hessian方法進行特征點檢測，是SIFT算法的加速版。文獻[8]提出擴展SURF描述符，采用鄰域采樣點的局部歸一化灰度統(tǒng)計信息以及二階梯度值細節(jié)信息，增強了描述符的約束性與獨特性。文獻[9]提出的ASIFT算法，通過模擬不同經緯度的圖像，克服了SIFT算法的不完全仿射性。但是上述圖像配準方法的一個明顯不足就是提取特征點比較耗時，從而導致圖像拼接速度較慢。為了提高航拍圖像的拼接速度，近幾年國內外研究者提出了多種拼接方法[10-14,16-18]。文獻[10]中估計變換矩陣以及圖像間關系的不確定性，并考慮如何消除圖像拼接中的累積誤差。文獻[11—12]通過預測拼接圖像的重疊區(qū)域減少拼接的時間消耗。文獻[13]提出的F-SIFT圖像拼接算法,采用基于子圖像塊的頻域相位相關算法提高圖像拼接的速度。文獻[14]通過分塊Harris角點的方法均勻提取圖像中的角點，然后采用金字塔光流算法進行角點配準，縮短了航拍圖像的匹配時間。這些方法對于航拍圖像的配準和一般圖像的配準相同，首先是對航拍圖像進行特征點的提取，然后通過相似性度量進行特征點匹配，最后根據得到的兩幅圖像中對應特征點的坐標關系，采用RANSAC算法[15]計算出最佳匹配的變換矩陣，并沒有利用航拍圖像特有的優(yōu)勢。文獻[16—17]結合了航拍時的參數(shù)信息進行圖像配準，提高了航拍圖像拼接的速度，但是還沒有完全發(fā)揮航拍參數(shù)對圖像配準的作用。文獻[18]針對機載傳感器的精度問題，提出了一種混合的方法，利用基于圖像的方法校正由位姿計算帶來的拼接誤差。本文結合無人機航拍的特點，利用航拍時獲得的航拍參數(shù)來計算圖像間的變換矩陣，然后通過變換矩陣的分解推導出多幅圖像連續(xù)拼接的變換矩陣，基本不依賴拍攝圖像的質量情況，提出了一種快速的航拍圖像配準方法。

1兩幅航拍圖像的配準

1.1航拍圖像間的單應變換矩陣

如圖1所示，無人機在位置O1和O2對地面場景進行拍攝，得到圖像I1和I2。M(Xw,Yw,Zw)T為場景中的一點，M1(Xc1,Yc1,Zc1)T和M2(Xc2,Yc2,Zc2)T表示M在兩個位置的相機坐標。m1(u1,v1,1)T和m2(u2,v2,1)T分別為M在圖像I1和I2上對應的點。如果矩陣H能滿足

m2=sHm1

(1)

則稱矩陣H為圖像I1到I2的單應變換矩陣。其中s為非零常數(shù)項。

圖1　不同視角的航拍圖像Fig.1　Aerial image from different angles of view

將O1點作為世界坐標系原點，則由相機的成像原理可知

(2)

式中，K為攝像機的內參數(shù)矩陣

(3)

式中，K可以通過相機標定得到[19]；dx和dy分別表示圖像上每一個像素在坐標軸方向的物理尺寸，單位為mm/pixel；(u0,v0)為攝像機光軸與圖像平面交點的坐標，一般位于圖像的中心處；f表示攝像機的焦距。

由式(2)可得

(4)

(5)

設大地平面的方程為

nTX=d

(6)

式中，X為地面上任意一點；n為地面的單位法向量；d為坐標原點到大地平面的距離。由式(6)可得

(7)

綜合式(4)、式(5)、式(7)可以得到

(8)

(9)

至此就得到了航拍圖像間的單應變換矩陣。對無人機所在的拍攝位置O可以用6個參數(shù)表示，記為Oi(φi,θi,ψi,xi,yi,zi)。無人機上裝有慣性導航單元(INU)和GPS，可以實時保存無人機航行時的姿態(tài)角和坐標。根據無人機在兩個視點間3個姿態(tài)角的變化量φ、θ、ψ和兩個視點的坐標(x1,y1,z1)、(x2,y2,z2)就可以確定R和t，其中

R=RφRθRψ

(10)

(11)

t=[x2-x1y2-y1z2-z1]T

(12)

從而兩幅航拍圖像之間的變換矩陣就可以通過這6個參數(shù)計算得到。由式(9)中可以看出本文對航拍圖像間單應變換矩陣的推導要求圖像中所有點的d相同，也就是要保證O1視點下圖像里所有的場景都要在一個成像深度中，否則圖像之間就不能滿足單應變換。

1.2測量參數(shù)的校正

由1.1節(jié)可知，通過對航拍參數(shù)的測量就可以計算得到對應航拍圖像間的單應變換矩陣。其中姿態(tài)角可以通過無人機上裝有的慣性導航單元(IMU)獲得，坐標可由GPS獲得，飛行高度可由氣壓計獲得。但是一般情況下，得到的測量結果會受到誤差的干擾，這對于單應變換矩陣的計算影響較大。因此要得到準確的單應變換矩陣，就需要對測量的參數(shù)進行校正。

根據式(9)，如果已知兩幅圖像的單應變換矩陣H和相機的內參數(shù)矩陣K，通過奇異值分解的方法就可以計算出攝像機參數(shù)[20]。本文首先在離線情況下對測量系統(tǒng)進行校準，得到參數(shù)測量誤差的補償量，然后再通過航拍參數(shù)進行圖像的配準。參數(shù)校準的具體步驟如下：

(1) 在離線情況下通過特征點匹配的方法對航拍圖像進行配準，得到圖像之間的單應變換矩陣H。

(2) 根據文獻[20]的方法由H計算出航拍參數(shù)。

(3) 將直接測量的航拍參數(shù)與參數(shù)的計算結果進行對比(試驗選擇比較80組結果)，然后通過多項式擬合的方法得到測量參數(shù)的誤差補償量(本文選擇3次多項式)。

試驗結果如圖2所示(以偏航角的校正為例)，其中圖(a)為直接測量得到的80組結果，圖(b)為對應的計算結果，對比這兩組結果并計算出測量誤差如圖(c)所示。由試驗結果可以得到測量值與測量誤差之間的相關系數(shù)為0.902 6，說明這兩個量是高度相關的。通過RANSAC算法[15]擬合出測量誤差與測量結果的關系為

e=f(c)=0.057 1c3-0.160 9c2+0.484 9c-0.083 2

(13)

式中，c為當前的測量結果；e為測量誤差。這樣就得到了測量結果的誤差補償量，從而就能對測量的航拍參數(shù)進行校正，保證了單應變換矩陣計算的精度。

2多幅圖像的拼接

2.1多幅圖像的拼接方法

多幅圖像的拼接一般就是多次圖像的兩兩拼接。假設有待拼接的圖像I1～In，首先拼接圖像I1和I2，得到第一次的拼接結果Im1。圖像Im1包含兩部分內容，一部分是I1變換后的圖像I1,2(假設以I2作為基準圖像)，另一部分則是完整的圖像I2，兩部分的重疊區(qū)域進行加權平均，從而就將I1和I2融合為Im1。然后再拼接Im1和I3得到第2次的拼接結果Im2，直到拼接完所有的圖像。這樣不斷變換基準圖的拼接策略可以減少拼接誤差的累積[21-22]。

圖2　偏航角的校正Fig.2　Correction results of yaw angle

由上節(jié)可知根據航拍圖像對應的坐標和姿態(tài)角可以直接計算出圖像間的單應變換矩陣，因此H1,2可直接算出，進而可以得到第1次的拼接結果Im1。但圖像Im1并沒有對應的航拍參數(shù)信息，因此Im1和I3的變換矩陣Hm1,3無法直接得到。所以要實現(xiàn)多幅圖像的連續(xù)拼接，關鍵就是要知道上一次的拼接圖像與下一幅航拍圖像之間的變換矩陣。

2.2單應矩陣的分解

設無人機在位置O1和O2分別拍攝到圖像I1和I2，I1到I2的單應變換矩陣為H1,2。從O1到O2可以看作是首先從O1到O3，然后再從O3到O2，如圖3所示。若I3為無人機在O3拍攝到的圖像，I1到I3的單應變換矩陣為H1,3，I3到I2的單應變換矩陣為H3,2。

圖3　單應變換的分解Fig.3　Decomposition of homography matrix

對于圖像I1上的任意一點m1(x1,y1)，其經過H1,2和H1,3變換后在I2和I3上對應的點分別為m2(x2,y2)和m3(x3,y3)?？梢缘玫?/p>

(14)

(15)

而點m3(x3,y3)經過H3,2變換后對應為m2(x2,y2)，所以有

(16)

因此

H1,2=H3,2H1,3

(17)

這樣，就可以將兩幅圖像的單應變換矩陣分解為兩個矩陣，從而可以得到

Hm1,3=H2,3Hm1,2

(18)

式中，H2,3可直接根據圖像對應的姿態(tài)信息算出，因此只要確定了Hm1,2即可得到Hm1,3。

2.3推導Hm1,2

由于圖像Im1是由圖像I1和I2拼接得到，其中I1向I2做變換后得到圖像I1,2，而圖像I2本身沒有發(fā)生變形。因此I2完整地包含在Im1里面，所以Hm1,2為一個三維平移矩陣。因此設

(19)

式中，平移量x和y可以取圖像I2與Im1頂點的平移量。如圖4所示，以A2作為坐標原點，若圖像I1和I2的大小分別為m1×n1和m2×n2，則圖上各點坐標分別為A2(0,0)、B2(0,n2)、C2(m2,n2)、D2(m2,0),而A1、B1、C1、D1分別可以通過(0,0)、(0,n1)、(m1,n1)、(m2,0)與H1,2運算得到。

圖4　兩幅圖像拼接Fig.4　Sample of two images mosaic

則圖像Am(xm,ym)的坐標為

(20)

因此矩陣Hm1,2的平移分量為

(21)

這樣我們就得到了變換矩陣Hm1,2，進一步由式(18)可以得到矩陣Hm1,3，從而實現(xiàn)多幅圖像的連續(xù)拼接。

3相關試驗和結果分析

試驗選取無人機在位置O1—O5所拍攝的5幅圖像I1—I5，圖像大小為960×540。其中5個視點之間的坐標和姿態(tài)角如表1所示(試驗中將O1作為世界坐標原點，測量參數(shù)均為校正后的結果)。試驗平臺為IntelCore(TM)i5-4590CPU3.30GHz，16GB內存，仿真軟件為MATLAB7.0。通過相機標定得到相機的內參數(shù)矩陣為

表1　各視點的坐標和姿態(tài)角

視點高度(h)坐標(x,y,z)姿態(tài)角(φ,θ,ψ)O154.48(0,0,0)(1.35,7.61,-6.83)O254.47(-14.76,-1.65,-0.01)(1.31,7.64,-21.79)O354.49(-19.83,0.45,0.01)(1.41,7.62,-45.57)O454.49(-20.28,3.29,0.01)(1.43,7.62,-63.26)O554.50(-16.14,9.49,0.02)(1.40,7.65,-94.77)

3.1圖像配準和拼接試驗

(1) 利用各視點的坐標和姿態(tài)信息，計算各視點與O1之間的單應變換矩陣，然后根據式(17)計算出相鄰視點航拍圖像之間的變換矩陣。

(2) 根據2.3節(jié)計算出Hm1,2，進而由式(18)及H2,3得到Hm1,3。

(3) 同樣可以得到Hm2,4與Hm3,5。

為驗證本文方法的有效性，選擇利用SIFT特征點匹配的方法進行對比，結果如表2所示。

表2　試驗結果

圖5　拼接結果Fig.5　Result of the image mosaic

3.2結果分析

圖5(d)、(e)分別為本文方法和用SIFT特征點匹配法的拼接結果，可以看出本文方法與SIFT特征點匹配法的圖像拼接效果基本相同，但是在場景細節(jié)中還存在一些差距(比如圖(d)中籃球場區(qū)域的拼接出現(xiàn)錯位)。這主要是因為航拍參數(shù)測量誤差的原因，雖然經過了參數(shù)的校正，但是由于校正模型精確度的影響，由航拍參數(shù)計算出的單應變換矩陣不可避免地會出現(xiàn)誤差。為更好地比較兩種方法圖像配準的準確程度，定義兩幅配準圖像中每個匹配特征點的匹配誤差和平均配準誤差分別為

(22)

(23)

式中，Ex(i)與Ey(i)分別表示第i個特征點匹配的坐標誤差，定義如下

(24)

x1(i)、x2(i)分別表示第i個特征點在第1幅圖像和第2幅圖像中的橫坐標；y1(i)、y2(i)分別表示第i個特征點在第1幅圖像和第2幅圖像中的縱坐標。

比較兩種方法在4次圖像拼接中的配準誤差，結果如圖6所示。

表3為兩種方法的平均匹配誤差以及最終的圖像拼接時間。可以看出SIFT方法在初始的圖像配準中效果好于本文方法，但是隨著拼接圖像的增加而帶來的累積誤差，之后該方法的圖像配準誤差明顯增大，而且效果也不如本文的方法。這是因為本文方法通過航拍參數(shù)推導圖像之間的變換矩陣，連續(xù)拼接時拼接圖像與航拍圖像之間的變換矩陣也是根據航拍圖像間的變換矩陣推導而來，因此拼接的累積誤差也就只與航拍圖像的配準精度相關。也就是說只要得到的航拍圖像之間的變換矩陣足夠準確，多幅圖像連續(xù)拼接的誤差就不會越來越大。從試驗的拼接誤差可以發(fā)現(xiàn)用特征匹配的方法會導致拼接誤差逐漸增大(從6.129增加到21.6)，而本文方法的拼接誤差基本不隨圖像的增加而變大。同時可以發(fā)現(xiàn)本文方法的拼接速度更快，這是因為該方法只需要進行一些矩陣的運算，而不用提取圖像的特征點，因此可以極大地減少圖像拼接時間。而對于基于SIFT特征的一類拼接方法，提取圖像的SIFT特征極為耗時(提取特征點的耗時占總拼接時間的80%左右)。即便是一些方法采用改進的SIFT描述子(比如SURF等方法)提高特征提取速度，但其拼接耗時仍然大大高于本文的方法。

圖6　圖像配準誤差結果　Fig.6　Error result of image registration

拼接圖像特征點數(shù)本文方法SIFT方法誤差時間/s誤差時間/sIm11514.8951.007 6.1293.565Im28812.7151.1447.0395.244Im31295.4831.22810.2297.043Im411114.5191.33321.6008.679

4結論

本文結合無人機航拍的特點，提出了一種利用航拍參數(shù)進行圖像快速配準的方法。該方法對于航拍圖像的質量和場景信息要求不高，主要依賴航拍圖像對應的無人機姿態(tài)和坐標的測量精度。試驗結果顯示，本文方法對于低分辨率的航拍視頻影像能有效地降低圖像拼接的時間，而且對于多幅圖像連續(xù)拼接產生的累積誤差更小。但是對于高分辨率的航拍圖像的拼接和幾何處理仍需要POS系統(tǒng)提供高精度的測量數(shù)據支持。下一步工作是通過建立更好的航拍參數(shù)校正模型來提高測量參數(shù)的精度，進一步提高航拍圖像的拼接效果。

參考文獻：

[1]阮芹, 彭剛, 李瑞. 基于特征點的圖像配準與拼接技術研究[J]. 計算機與數(shù)字工程, 2011, 39(2): 141-144, 183.

RUANQin,PENGGang,LIRui.StudyonImageRegistrationandMosaicTechnologhyBasedonSurfFeature[J].Computer&DigitalEngineering, 2011, 39(2): 141-144, 183.

[2]呂金建, 文貢堅, 李德仁, 等. 一種新的基于空間關系的特征匹配方法[J]. 測繪學報, 2008, 37(3): 367-373, 379.

LüJinjian,WENGongjian,LIDeren,etal.ANewMethodBasedonSpatialRelationsforFeatureMatching[J].ActaGeodaeticaetCartographicaSinica, 2008, 37(3): 367-373, 379.

[3]LOWEDG.ObjectRecognitionfromLocalScale-invariantFeatures[C]∥Proceedingsofthe7thIEEEInternationalConferenceonComputerVision.Kerkyra:IEEE, 1999: 1150-1157.

[4]LOWERDG.DistinctiveImageFeaturesfromScale-invariantKeypoints[J].InternationalJournalofComputerVision, 2004, 60(2): 91-110.

[5]KEYan,SUKTHANKARR.PCA-SIFT:AMoreDistinctiveRepresentationforLocalImageDescriptors[C]∥Proceedingsofthe2004IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Washington:IEEE, 2004: 511-517.

[6]MIKOLAJCZYKK,SCHMIDC.APerformanceEvaluationofLocalDescriptors[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2005, 27(10): 1615-1630.

[7]BAYH,TUYTELAARST,VANGOOLL.SURF:SpeededUpRobustFeatures[C]∥Proceedingsofthe9thEuropeanConferenceonComputerVision.Berlin:Springer-Verlag, 2006: 404-417.

[8]羅楠, 孫權森, 耿蕾蕾, 等. 一種擴展SURF描述符及其在遙感圖像配準中的應用[J]. 測繪學報, 2013, 42(3): 383-388.LUONan,SUNQuansen,GENGLeilei,etal.AnExtendedSURFDescriptorandItsApplicationinRemoteSensingImagesRegistration[J].ActaGeodaeticaetCartographicaSinica, 2013, 42(3): 383-388.

[9]MORELJM,YUGuoshen.ASIFT:ANewFrameworkforFullyAffineInvariantImageComparison[J].SIAMJournalonImagingSciences, 2009, 2(2): 438-469.

[10]CABALLEROF,MERINOL,FERRUZJ,etal.HomographyBasedKalmanFilterforMosaicBuilding.ApplicationstoUAVPositionEstimation[C]∥Proceedingsofthe2007IEEEInternationalConferenceonRoboticsandAutomation.Roma:IEEE, 2007: 2004-2009.

[11]李巖山, 裴繼紅, 謝維信, 等. 一種新的無人機航拍序列圖像快速拼接方法[J]. 電子學報, 2012, 40(5): 935-940.

LIYanshan,PEIJihong,XIEWeixin,etal.ANewFastAutomaticMosaicMethodonUnmannedAerialVehicleImages[J].ActaElectronicaSinica, 2012, 40(5): 935-940.

[12]XIONGPeng,LIUXianpeng,GAOChao,etal.AReal-timeStitchingAlgorithmforUAVAerialImages[C]∥Proceedingsofthe2ndInternationalConferenceonComputerScienceandElectronicsEngineering.Paris:AtlantisPress, 2013: 1613-1616.

[13]何賓, 陶丹, 彭勃. 高實時性F-SIFT圖像拼接算法[J]. 紅外與激光工程, 2013, 42(S2): 440-444.

HEBin,TAODan,PENGBo.HighReal-timeF-SIFTImageMosaicAlgorithm[J].InfraredandLaserEngineering, 2013, 42(S2): 440-444.

[14]楊宇博, 程承旗. 基于分塊Harris特征的航拍視頻拼接方法[J]. 北京大學學報(自然科學版), 2013, 49(4): 657-661.YANGYubo,CHENGChengqi.BlockHarrisBasedMosaicMethodforAerialVideo[J].ActaScientiarumNaturaliumUniversitatisPekinensis, 2013, 49(4): 657-661.

[15]FISCHLERMA,BOLLESRC.RandomSampleConsensus:AParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartography[J].CommunicationsoftheACMCACMHomepageArchive, 1981, 24(6): 381-395.

[16]何貝, 王貴錦, 沈永玲, 等. 結合地理參數(shù)的航拍視頻實時拼接算法[J]. 應用科學學報, 2012, 30(2): 151-157.

HEBei,WANGGuijin,SHENYongling,etal.Real-timeMosaicingforAerialVideosCombinedwithGeographicalParameters[J].JournalofAppliedSciences:ElectronicsandInformationEngineering, 2012, 30(2): 151-157.

[17]徐玉華, 龔文全, 蘇昂, 等. 近似平面場景多視點圖像拼接算法[J]. 國防科技大學學報, 2014, 36(2): 148-155.

XUYuhua,GONGWenquan,SUAng,etal.Multi-viewpointImageMosaicingAlgorithmforRoughlyPlanarScenes[J].JournalofNationalUniversityofDefenseTechnology, 2014, 36(2): 148-155.

[18]YAHYANEJADS,WISCHOUNIG-STRUCLD,QUARITSCHM,etal.IncrementalMosaickingofImagesfromAutonomous,Small-scaleUAVs[C]∥Proceedingsofthe2010SeventhIEEEInternationalConferenceonAdvancedVideoandSignalBasedSurveillance.Boston:IEEE, 2010: 329-336.

[19]朱云芳. 攝像機徑向畸變校正和內參估計的單圖標定方法[J]. 光電工程, 2012, 39(9): 125-131.

ZHUYunfang.CalibrationofRadialDistortionandIntrinsicParametersUsingaSingleImage[J].Opto-ElectronicEngineering, 2012, 39(9): 125-131.

[20]丁建華, 姚明海, 趙瑜. 基于單應性矩陣的機器人視覺伺服系統(tǒng)研究[J]. 機電工程, 2012, 29(12): 1485-1489.

DINGJianhua,YAOMinghai,ZHAOYu.StudyofVisualServoingSystemofRobotBasedonHomographyMatrix[J].JournalofMechanical&ElectricalEngineering, 2012, 29(12): 1485-1489.

[21]唐琎, 谷士文, 蔡自興. 圖象拼接誤差的理論分析[J]. 小型微型計算機系統(tǒng), 2003, 24(12): 2185-2189.

TANGJin,GUShiwen,CAIZixing.TheoreticalAnalysisonImageStitchingError[J].Mini-MicroSystems, 2003, 24(12): 2185-2189.

[22]李從利, 薛模根, 冷曉艷, 等. 空中偵察序列圖像連續(xù)拼接的累積誤差分析與消除[J]. 中國圖象圖形學報, 2008, 13(4): 814-819.

LICongli,XUEMogen,LENGXiaoyan,etal.AnalysisandEliminationonAerialReconSequentialImageStitchingAccumulativeError[J].JournalofImageandGraphics, 2008, 13(4): 814-819.

(責任編輯：叢樹平)

修回日期： 2016-02-02

Firstauthor：CHENGZhenggang(1988—),male,post-graduate,majorsinimageprocessing,computervisionandsoon.

E-mail：chengzhenggang2012@163.com

E-mail：chinazhangli@tsinghua.edu.cn

An Aerial Image Mosaic Method Based on UAV Position and Attitude Information

CHENG Zhenggang,ZHANG Li

Department of Electronic Engineering, Tsinghua University, Beijing 100084, China

Abstract：As the existing methods for aerial image mosaic take high computational, a fast and effective algorithm based on the position and attitude information of unmanned aerial vehicles (UAV) is proposed. Firstly, the coordinates and attitude angles of UAV can be obtained by airborne GPS and inertial measurement unit (IMU), and each aerial image has a corresponding position and attitude information. The homography matrix between two aerial images with the positions and attitude information can be calculated. Then the registration of the mosaic images is obtained by the operation of homography matrix. Finally, the multiple images can be stitched and the whole panorama got. A large number of experiments demonstrate this algorithm is efficient.

Key words：aerial image; position and attitude; image registration; homography matrix; panorama

中圖分類號：P231

文獻標識碼：A

文章編號：1001-1595(2016)06-0698-08

基金項目：國家自然科學基金(61172125;61132007)

收稿日期：2015-11-05

第一作者簡介：程爭剛(1988—)，男，碩士生，研究方向為圖像處理、計算機視覺等。

通信作者：張利

Correspondingauthor：ZHANGLi

引文格式：程爭剛，張利.一種基于無人機位姿信息的航拍圖像拼接方法[J].測繪學報，2016,45(6)：698-705. DOI:10.11947/j.AGCS.2016.20150567.

CHENG Zhenggang,ZHANG Li.An Aerial Image Mosaic Method Based on UAV Position and Attitude Information[J]. Acta Geodaetica et Cartographica Sinica,2016,45(6):698-705. DOI:10.11947/j.AGCS.2016.20150567.