張永軍,熊小東,王夢秋,魯一慧

武漢大學遙感信息工程學院,湖北武漢 430079

機載激光雷達點云與定位定姿系統(tǒng)數(shù)據(jù)輔助的航空影像自動匹配方法

張永軍,熊小東,王夢秋,魯一慧

武漢大學遙感信息工程學院,湖北武漢 430079

提出一種由機載LiDAR點云和POS數(shù)據(jù)共同輔助的航空影像連接點自動匹配算法。首先,改進了傳統(tǒng)相關(guān)系數(shù)匹配算法的最佳匹配點位搜索策略,提出快速算法。其次,提出一種基于虛擬地面控制點的相機安置角誤差自動檢校方法,并在此基礎(chǔ)上重新自適應確定影像匹配搜索范圍,用于整測區(qū)影像的自動匹配。試驗結(jié)果表明,本文提出的快速相關(guān)系數(shù)匹配算法可在保證匹配結(jié)果正確性的情況下節(jié)省約25%的匹配耗時,相機安置角誤差自動檢校方法能夠有效地提高由POS數(shù)據(jù)計算的影像外方位元素的精度,從而明顯改善匹配時同名點的預測精度。本文算法能處理多分辨率、多視角的交叉飛行航空影像,獲得高精度的匹配結(jié)果。

航空影像;連接點匹配;快速相關(guān)系數(shù)匹配;相機安置角;激光雷達

1 引 言

機載激光探測與測距(airborne light detection and ranging,機載LiDAR)是一項集成激光掃描儀和定位定姿系統(tǒng)(position and orientation system,POS)的三維地形數(shù)據(jù)快速獲取技術(shù)。通過在機載LiDAR設(shè)備上搭載數(shù)碼相機,可同步獲取具有很強互補性[1]的LiDAR點云和高分辨率彩色航空影像。兩種數(shù)據(jù)的集成在三維建模以及正射影像制作等領(lǐng)域有著廣泛應用[2]。然而由于相機多為臨時安置,其與POS設(shè)備之間的安置角很難準確測量[3],導致由POS數(shù)據(jù)計算獲得的影像外方位元素精度不高,為此仍需對航空影像進行區(qū)域網(wǎng)空中三角測量解算影像的準確外方位元素[4-5]。

航空影像區(qū)域網(wǎng)空中三角測量中一個重要步驟是影像間連接點自動匹配[6-8]。目前在攝影測量領(lǐng)域常采用SIFT(或SURF以及其他尺度與旋轉(zhuǎn)不變性特征)匹配、相關(guān)系數(shù)匹配、最小二乘匹配等算法以及金字塔影像匹配、仿射變換糾正等策略以獲取高精度匹配點[9-15]。為縮小影像匹配過程中同名點搜索范圍,還可利用有理多項式模型、POS數(shù)據(jù)等建立幾何約束條件輔助影像匹配[16-18]。由于機載LiDAR數(shù)據(jù)采集中,常會出現(xiàn)多個航高、交叉飛行的航帶,還需采用POS數(shù)據(jù)恢復影像間的重疊關(guān)系。文獻[18]提出了POS輔助航空影像自動轉(zhuǎn)點方法,取得了很好的匹配結(jié)果,但需采用地面檢校場對POS系統(tǒng)進行檢校,在檢校場布置較困難的地區(qū)應用受到制約。有研究表明POS數(shù)據(jù)的主要誤差源在角元素中[19],而角元素的誤差主要來源于相機安置角誤差[3]。目前已有一些無需真實地面控制點、結(jié)合LiDAR數(shù)據(jù)進行相機安置角誤差檢校的方法[3,20],但在自動化程度和效率上不適合在影像匹配之前進行安置角誤差快速檢校。

鑒于對機載LiDAR設(shè)備搭載的數(shù)碼相機同步獲取的影像進行匹配時,可將同步獲得的較高精度LiDAR點云數(shù)據(jù)生成數(shù)字表面模型(digital surface model,DSM)進行物方約束的影像匹配[7,21],故本文研究了LiDAR點云和POS輔助航空影像連接點自動匹配方法。從基于物方約束的影像匹配原理出發(fā),研究了快速相關(guān)系數(shù)匹配算法,并采用一種基于虛擬地面控制點的相機安置角誤差快速檢校方法提高影像外方位元素精度,在檢校基礎(chǔ)上自適應確定影像匹配搜索范圍,無需對影像進行排航帶、旋轉(zhuǎn)、畸變糾正等操作即可自動進行匹配。研制了相應的點云和POS輔助航空影像連接點自動匹配軟件。采用8條航帶共62張航空影像及相應LiDAR點云進行試驗,驗證了本文算法的有效性。

2 LiDAR點云和POS輔助航空影像連接點自動匹配原理

本文從基于物方約束的影像匹配原理出發(fā),先進行基于虛擬地面控制點的相機安置角誤差檢校,在優(yōu)化影像外方位元素精度后進行測區(qū)內(nèi)所有影像的連接點自動匹配。在匹配過程中,采用快速相關(guān)系數(shù)匹配算法加快同名點搜索速度。相關(guān)算法原理如下。

2．1 物方約束匹配原理及快速相關(guān)系數(shù)匹配算法

2．1．1 基于物方約束的航空影像匹配基本原理

本文將與航空影像同步獲取的LiDAR點云按一定的間隔(取點云平均間距)采樣生成DSM,結(jié)合POS數(shù)據(jù),進行物方約束的航空影像連接點匹配。方法如下:①依次將每張影像當做參考影像,提取特征點,對于參考影像上的特征點,依據(jù)共線條件方程將其投影到DSM上,獲得該點對應的概略物方坐標;②采用文獻[18]提出的POS輔助同名像點位置預測以及待匹配窗口影像的幾何變形改正方法,獲得特征點在所有相鄰待匹配影像上的搜索區(qū);③在參考影像與待匹配影像之間進行兩級金字塔影像相關(guān)系數(shù)匹配,獲取準確匹配點位,并采用最小二乘匹配方法精化匹配結(jié)果。

2．1．2 快速相關(guān)系數(shù)匹配算法

傳統(tǒng)的相關(guān)系數(shù)影像匹配需在搜索區(qū)逐點計算相關(guān)系數(shù),考慮到影像上相鄰像素點的灰度具有一定的連續(xù)性,相應的相關(guān)系數(shù)值也應具有一定連續(xù)性。圖1為某特征點在對應匹配搜索區(qū)上的相關(guān)系數(shù)示意圖(相關(guān)系數(shù)小于0時設(shè)為0),用灰度表示點位處的相關(guān)系數(shù)值。圖中將相關(guān)系數(shù)值從0到1依次按從白到黑顯示,顏色越黑表示相應點位處相關(guān)系數(shù)值越大。從圖1可見在最佳匹配點位(灰度最黑的點位)附近存在一片相關(guān)系數(shù)值連續(xù)區(qū)域。據(jù)此,設(shè)計如下用于相關(guān)系數(shù)匹配的最佳匹配點位快速搜索算法(簡稱快速相關(guān)系數(shù)匹配):首先,在圖2中格網(wǎng)所示的搜索區(qū)(共有16×16＝256個搜索點位,以圖2中左上角5×5格網(wǎng)為一個基本單元對搜索區(qū)進行劃分)中先逐個計算黑色點位處的相關(guān)系數(shù)值,找出相關(guān)系數(shù)大于閾值T1的所有點位;其次,判斷以上點位八鄰域內(nèi)還未參與計算的格網(wǎng)處是否存在相關(guān)系數(shù)大于閾值T1的點位,如有則繼續(xù)對這些點位八鄰域的格網(wǎng)點進行分析,直至不再有新的相關(guān)系數(shù)大于閾值T1的點位出現(xiàn);最后,統(tǒng)計所有參與計算的點位處相關(guān)系數(shù)最大值,若其大于閾值T2,以最大值對應的點位為最佳匹配點位。

該算法優(yōu)勢在于,對于圖1所示的大片相關(guān)系數(shù)為0的白色區(qū)域,只需通過在較稀疏的點位上進行計算即可自動跳過這一區(qū)域,無需逐點進行相關(guān)系數(shù)計算。對于圖2所示搜索區(qū)中任何一個白色格網(wǎng)點,在其周圍四個方向上(上下、左右及兩個對角方向)最少相鄰1個像素、最多相鄰2個像素均有在第一次搜索中參與計算的點位,無論該點的灰度值與周圍像素在哪一方向上連續(xù),只要該點的相關(guān)系數(shù)足夠大,均可保證該點最終被搜索到。將本算法應用到2．1．1節(jié)的最上層金字塔影像匹配中,可節(jié)省計算量。在后文的試驗部分將通過試驗分析閾值T1與T2取值。

圖1 某特征點在影像匹配搜索區(qū)上的相關(guān)系數(shù)示意圖Fig．1 Illustration of correlation coefficient values between matching window and searching window

圖2 相關(guān)系數(shù)匹配最佳匹配點位快速搜索算法示意圖Fig．2 Illustration of fast searching algorithm for obtaining conjugate point in correlation matching

2．2 基于虛擬地面控制點的相機安置角誤差檢校及匹配搜索范圍自適應確定

2．2．1 基于虛擬地面控制點的相機安置角誤差檢校

本文提出一種虛擬地面控制點計算模型,在對其理論分析基礎(chǔ)上設(shè)計了一種基于虛擬地面控制點的相機安置角誤差檢校算法:

首先,進行基準片匹配。結(jié)合POS數(shù)據(jù)與DSM,自動選擇位于測區(qū)中間、地勢較平坦且非紋理貧乏區(qū)域(如無大面積水體、植被覆蓋的區(qū)域)的一張影像作為基準片影像,采用物方約束影像匹配方法將該基準片與所有相鄰影像進行連接點自動匹配,并進行匹配點粗差剔除。由于受相機安置角誤差的影響,預測點位偏差較大,在匹配時需要設(shè)置較大的同名點搜索范圍。

然后,根據(jù)下文方法計算虛擬地面控制點的近似物方坐標值。

最后,進行外方位元素修正。在獲取的虛擬控制點的數(shù)目足夠且在基準片上分布均勻的情況下,采用全部虛擬控制點對基準片進行單片空間后方交會,在固定外方位線元素的條件下修正外方位角元素。在對基準片進行外方位角元素修正后,根據(jù)式(1)計算相機安置角誤差補償矩陣Rrot,然后根據(jù)公式(2)修正測區(qū)內(nèi)所有影像的外方位角元素

式(1)、式(2)中,R1為改正前影像外方位角元素構(gòu)成的旋轉(zhuǎn)矩陣;R2為經(jīng)過相機安置角誤差改正后的外方位角元素組成的旋轉(zhuǎn)矩陣;Rrot為相機安置角誤差補償矩陣。

本文采用下述方法計算虛擬控制點的近似物方坐標。從位于地形局部平坦處的航帶間4°及以上重疊加密點(在每航帶內(nèi)至少有2°重疊)中選擇虛擬控制點,假設(shè)某一加密點P的理想地面坐標為(XPt,YPt,ZPt)(影像外方位元素無誤差的情況下的投影點位),其在各影像上的像點為pi(i＝0,1,2,…,m;m≥3)。首先,采用影像初始外方位元素將各像點pi投影到DSM上,分別獲得對應的物方點Pi(XPi,YPi,ZPi),通過比較各ZPi的最大值與最小值的差值是否小于閾值(設(shè)置為1．0 m)判斷投影點是否位于地形局部平坦處,如是則將該加密點作為一個虛擬地面控制點。然后,按式(3)計算點P的近似物方平面坐標值(XP,YP)

式中,Wi(i＝0,1,2,…,m;m≥3)為各影像對應投影點的權(quán)值;W＝W0＋…＋Wi＋…＋Wm。Wi＝式中,XSi、YSi、ZSi為影像i的攝影中心坐標;H＝ZS0－ZP0為概略航高。在計算各影像相應投影點的權(quán)值時,考慮到各物方投影點Pi的高程坐標ZPi差別較小,故均用均值ˉZP代替。在計算出點P的近似物方平面坐標值(XP,YP)后再在點云中內(nèi)插出該位置的高程值作為點P的近似高程值ZP。

下面分析上述計算獲得的P點的坐標(XP,YP,ZP)相對于單張影像投影獲得的地面點坐標(XPi,YPi,ZPi)(i＝0,1,2,…,m;m≥3)的精度(由于位于局部平坦處,為方便分析,此處可近似認為ZPi＝ˉZP＝ZP＝ZPt,故僅需分析平面精度)。假設(shè)P點為位于S0、S1、S2、S34張影像上的航帶間4°重疊點,S0、S1位于第一航帶,S2、S3位于第二航帶,第一航帶和第二航帶的飛行方向相反(影像飛行路線為S0—S1—S2—S3)。假設(shè)3個角元素的誤差分別為Δφ、Δω、Δκ,圖3分別為Δφ、Δω及Δκ對投影點的平面坐標的影響示意圖。從圖3(a)和圖3(b)可見對于航帶間重疊影像S1和S3,由于飛行方向相反,導致Δφ(或Δω)對兩影像作用相反,使得投影點P1、P2與理想投影點P的偏移量相反;從圖3(c)可見Δκ亦對航帶間影像投影點的平面坐標值造成相反的偏移量。由于Δφ、Δω及Δκ均為小角,可近似認為3幅圖中偏移量分別為Δφ|SiP|、Δω|SiP|和Δκ|SiP|,即離該地面點距離越近的影像,其投影獲得的地面點坐標值受安置角誤差的影響越小,地面點精度相對越高,故在式(3)中其權(quán)值應越大。需說明的是,以上分析中的距離均為在投影面上的平面距離,由于其分別幾乎與相應的三維空間距離成正比,故在計算權(quán)值時統(tǒng)一由攝影中心到地面點的三維距離代替。

2．2．2 影像匹配搜索范圍自適應確定方法

本文在進行相機安置角誤差檢校并更新影像外方位元素的基礎(chǔ)上,提出了同名點搜索范圍自適應確定方法。其原理如下:①對于基準片匹配獲得的加密點,將基準片上的像點投影到DSM上,獲取每一個像點對應的物方坐標值;②將獲得的物方坐標值反投影到每張重疊影像上,分別計算投影點位與匹配點位的差值,并統(tǒng)計點位差值中誤差DRMS;③在對所有影像進行連接點匹配過程中,將特征點投影到DSM上獲取其物方坐標的同時,判斷該點所處位置是否平坦。如果該點位于平坦處,匹配搜索范圍取4倍DRMS大小的窗口,否則,如果該點處于不平坦區(qū)域,預測點位誤差可能較大,相應的搜索范圍取6倍DRMS大小的窗口。

圖3 3個角元素誤差分量對投影點的平面坐標影響示意圖Fig．3 The affection of three angular elements errors to the horizontal coordinates of the projected ground point

3 試驗與分析

3．1 試驗數(shù)據(jù)

基于以上匹配算法,開發(fā)了LiDAR點云和POS數(shù)據(jù)輔助航空影像匹配軟件,采用某試驗區(qū)的LiDAR點云、POS數(shù)據(jù)和航空影像進行了影像連接點匹配試驗。試驗區(qū)為城區(qū),如圖4所示共有8條航帶62幅航空影像,以及同步獲取的8個條帶LiDAR點云,其中包括東西飛行的5條航帶和南北飛行的3條航帶(影像7-13與影像28-34所在航線重疊)。試驗數(shù)據(jù)由Trimble H68機載掃描儀獲取,相機的像元大小為0．006 mm,焦距為51．71 mm,影像像幅大小為8984像素× 6732像素。東西飛行影像航向重疊度為60%,旁向重疊度為60%,飛行高度為750 m,影像地面分辨率為0．08 m;南北飛行的影像航向重疊度為68%,旁向重疊度為69%,飛行高度為1050 m,影像地面分辨率為0．12 m。LiDAR點云平均點間距約為0．7 m,點云高程精度約0．2 m。試驗計算機配置為Intel雙核處理器,頻率2．53 GHz,內(nèi)存2 GB。

圖4 試驗區(qū)正射影像及航線分布圖Fig．4 The orthoimage and distribution of flight line of the test site

3．2 快速相關(guān)系數(shù)匹配算法試驗效果

為分析快速相關(guān)系數(shù)匹配算法的匹配效果,分別選擇兩組影像進行匹配試驗。對于每一組影像首先采用傳統(tǒng)的搜索區(qū)逐點搜索法進行匹配,將匹配結(jié)果作為參考值。然后采用本文提出的快速搜索算法,分別取T1為0．01、0．1、0．2、…、0．6,統(tǒng)計漏匹配加密點數(shù)、漏匹配像點數(shù)、誤匹配像點數(shù)以及匹配耗時,試驗結(jié)果如表1所示。試驗中影像相關(guān)窗口大小為19像素×19像素,影像搜索范圍大小為59像素×59像素(不包括相關(guān)窗口尺寸),T2值統(tǒng)一取0．7。

從對以上82個像對的匹配試驗結(jié)果可見,隨著T1值的增大,錯誤匹配數(shù)增多,而匹配耗時逐漸減少。當T1取0．4時錯誤匹配數(shù)仍然可忽略,綜合考慮匹配錯誤率與匹配耗時,本文匹配時取T1為0．3。從表1可知,在取T1為0．3時平均每對同名像點可節(jié)省匹配時間0．02 s,與傳統(tǒng)算法平均每對同名像點匹配耗時0．08 s相比,節(jié)省了25%的匹配耗時。由于本試驗采用物方匹配,對影像進行仿射變換糾正占據(jù)了部分的匹配耗時,故采用快速搜索算法在節(jié)省影像匹配耗時上具有可觀的效益。

表1 最佳匹配點位快速搜索算法與傳統(tǒng)逐點搜索算法匹配結(jié)果對比Tab．1 Comparison of matching results using fast searching algorithm and conventional exhaustive searching algorithm

3．3 相機安置角誤差檢校試驗分析

3．2．1 虛擬地面控制點坐標精度驗證

首先分析本文提出的虛擬地面控制點計算模型的正確性。由于試驗中自動匹配獲得的虛擬控制點一般位于平坦處,很難從點云中量取同名點作為參考值評價虛擬控制點的坐標精度,故采取人工量測的方式在基準片上均勻量測了18個4°及以上重疊的航帶間加密點(主要為房角點)作為用于檢查的虛擬控制點。對于每個檢查點P,在點云中量測其坐標(XP,YP,ZP),分別將該檢查點對應的每一像點pi(i＝0,1,2,…,m;m≥3)投影到ZP高程面上獲取投影的平面坐標(XPi,YPi),并分別統(tǒng)計按式(3)計算的點P在單航帶內(nèi)投影點平面坐標加權(quán)均值以及其全部投影點平面坐標加權(quán)均值相對于點云中量測坐標的殘差,統(tǒng)計結(jié)果如表2所示,其中dX、dY、dXY分別表示X坐標殘差、Y坐標殘差以及平面整體殘差。

從表2可見,所有投影點平面坐標加權(quán)均值的精度相比單航帶投影點平面坐標加權(quán)均值的精度有明顯提高?？梢娪捎诤綆чg飛行方向相反,在計算虛擬地面控制點的物方平面坐標時,可以在一定程度上抵消相機安置角誤差的不利影響,獲得較為準確平面坐標值。另由于虛擬地面控制點高程值從精度較高的點云獲取(點云高程精度約0．2 m),故虛擬地面控制點坐標平面精度和高程精度均較理想,此試驗驗證了本文設(shè)計的虛擬地面控制點計算模型的合理性。

表2 18個虛擬地面控制點的坐標殘差結(jié)果統(tǒng)計Tab．2 Residuals of 18 virtual ground control points m

3．2．2 相機安置角誤差檢校前后點云與影像套合情況分析

在相機安置角誤差檢校過程中,對基準片影像進行匹配時,2級金字塔影像(1級金字塔影像即原始影像)相關(guān)窗口大小為19像素×19像素, 2級金字塔影像搜索范圍大小(不包括相關(guān)窗口的大小)為59像素×59像素(相當于原始影像上177像素×177像素,根據(jù)初始外方位元素的精度人工設(shè)定這一搜索范圍),原始影像上相關(guān)窗口大小為11像素×11像素,原始影像上搜索范圍大小為11像素×11像素,2級金字塔影像匹配相關(guān)系數(shù)閾值T2為0．70,原始影像匹配相關(guān)系數(shù)閾值T2為0．85。匹配獲得443個加密點,初步剔除粗差后共有439個加密點,包含有3378個像點,其中4°及以上重疊航帶間加密點342個。

為分析相機安置角誤差檢校前后的影像外方位元素精度,在測區(qū)內(nèi)選擇了多張航空影像,在其覆蓋范圍內(nèi)的LiDAR點云中人工截取若干建筑物屋頂點,分別采用相機安置角誤差檢校前后的影像外方位元素將建筑物屋頂點反投影到相應影像上進行對比。因篇幅所限,圖5展示了測區(qū)中兩幅影像(與基準片距離很遠且不在同一航帶上)上部分投影效果。從圖5可見,相機安置角誤差檢校后,屋頂點與影像套合效果得到明顯改善,證實了本文相機安置角誤差檢校的有效性。

3．2．3 相機安置角誤差檢校前后匹配像點預測點位精度分析

試驗中選擇了一些影像上的若干特征點,分析在相機安置角誤差檢校前后其預測同名點位與真實點位的接近程度。因篇幅限制,此處僅展示圖6中所示的一組預測結(jié)果,其中圖6(a)、圖6(b)分別為相機安置角誤差改正前后特征點在同一重疊影像上的預測點位,圖中的影像塊進行過旋轉(zhuǎn)和尺度糾正,圖中圖片所在的影像與參考影像的飛行方向相差大約180°,真實同名點位用白色圓圈標于圖6(a)中。試驗中對所有預測點位進行分析后發(fā)現(xiàn),相機安置角誤差改正后,預測同名點位均非常接近真實位置,證實了相機安置角誤差補償?shù)挠行浴?/p>

圖5 部分影像上建筑物屋頂點云投影結(jié)果(其中每組圖片左右分別為相機安置角誤差檢校前后的投影結(jié)果)Fig．5 The fitness of roof points to images(for each group,the left is the result before calibration and the right is the result after calibration)

圖6 某特征點在重疊影像上的預測點位Fig．6 The predicted conjugate point in correspond image

3．3 影像匹配結(jié)果分析

在相機安置角誤差改正后,通過搜索窗口大小自適應計算,確定2級金字塔影像(1級金字塔影像即原始影像)最大搜索范圍大小為18×18(相當于原始影像上54像素×54像素)。搜索窗口與最初的設(shè)定值相比,減小了123像素×123像素,有效地縮小了搜索范圍。2級金字塔影像相關(guān)窗口大小設(shè)定為15像素×15像素,原始影像上相關(guān)窗口大小為11像素×11像素,原始影像上搜索范圍大小為11像素×11像素,2級金字塔影像匹配相關(guān)系數(shù)閾值為0．70,原始影像匹配相關(guān)系數(shù)閾值為0．85。為節(jié)省連接點匹配時間,匹配時將各影像劃分成9×7個格網(wǎng),每個格網(wǎng)選擇一個特征點參與匹配。

表3為測區(qū)影像匹配獲得的各重疊度的加密點及其個數(shù)統(tǒng)計情況,總共獲得加密點2201個,同名點13 511對。其中6°及以上重疊加密點1036個,占總加密點數(shù)的47%,最高匹配出19°重疊的加密點。

表3 測區(qū)匹配結(jié)果中各重疊度的加密點及其個數(shù)Tab．3 Numbers of matched points at each overlap

圖7所示為某一特征點的匹配結(jié)果。從匹配結(jié)果可見,本文算法可以成功匹配出大旋角(90° 或180°)、較大尺度差異的影像間同名點。

圖7 測區(qū)某一特征點部分匹配結(jié)果Fig．7 Matched conjugate points in four images

為驗證本文匹配算法的有效性,與不進行安置角誤差檢校、不采用相關(guān)系數(shù)快速匹配的傳統(tǒng)的物方約束影像匹配進行了對比試驗,試驗結(jié)果如表4所示。從表4可見,傳統(tǒng)算法匹配的加密點和對應像點數(shù)分別為2367和14 780個,本文算法匹配獲得的加密點和像點數(shù)分別為2201和13 511個,其原因在于本文自適應地縮小了匹配搜索范圍,減少了因搜索范圍過大導致的誤匹配像點的數(shù)目;對加密點進行光束法自由網(wǎng)平差后,本文算法的像點殘差中誤差為0．002 33 mm,約為1/3像素大小,相對于傳統(tǒng)算法的0．002 45 mm有所降低,其中傳統(tǒng)算法和本文算法匹配后殘差小于3倍對應的像點殘差中誤差大小的像點比例分別為87．6%和92．0%,證明本文算法提高了匹配正確率;傳統(tǒng)算法和本文算法匹配總耗時分別為59 min和39 min,其中Harris特征點提取耗時均為14 min,因本文算法進行安置角誤差檢校時需在基準影像上對所有特征點(625個)進行逐一匹配,故耗時6 min。本文算法對相機安置角誤差檢校后自適應縮小了匹配搜索范圍,且采用快速相關(guān)系數(shù)匹配,故在最終對所有影像進行連接點匹配時僅耗時19 min,相比傳統(tǒng)算法節(jié)省26 min?？紤]到安置角檢校耗時固定且與測區(qū)影像數(shù)目和匹配連接點數(shù)目無關(guān),當測區(qū)內(nèi)影像數(shù)目越多、匹配連接點數(shù)目越多,本文算法所節(jié)省時間越可觀。

表4 本文算法與傳統(tǒng)算法匹配結(jié)果對比Tab．4 Comparison of matching results between using methods developed in this paper and conventional methods

4 結(jié) 論

針對機載LiDAR設(shè)備搭載數(shù)碼相機獲取的航空影像空三連接點匹配問題,本文提出一種LiDAR點云和POS輔助航空影像匹配方法。在基于物方約束的航空影像匹配算法基礎(chǔ)上,提出了一種快速相關(guān)系數(shù)匹配算法;同時采用虛擬地面控制點進行相機安置角誤差檢校,提高影像外方位元素的精度,并在此基礎(chǔ)上實現(xiàn)影像匹配搜索范圍自適應確定;最后采用更新后的外方位元素和LiDAR點云數(shù)據(jù)輔助進行影像連接點匹配。

對快速相關(guān)系數(shù)匹配算法進行的大量試驗結(jié)果表明,所提出的快速算法能夠在幾乎不影響匹配正確率的情況下節(jié)省約25%的匹配耗時。相機安置角誤差檢校的試驗表明,本文設(shè)計的虛擬地面控制點具有較好的精度,相機安置角檢校后點云與影像的套合效果以及匹配時同名點預測精度有了很大改善,匹配搜索范圍自適應確定方法取得了良好的效果。采用本文設(shè)計的影像連接點匹配方法對62張影像進行了匹配試驗,驗證了該方法能匹配出大量6°及以上重疊的加密點,可以成功匹配出大旋角(90°或180°)、較大尺度差異影像間同名點,自由網(wǎng)平差精度達到約1/3像素,與傳統(tǒng)算法相比提高了匹配精度、節(jié)省了大量匹配耗時。

由于本文所能獲取的數(shù)據(jù)有限,無法進一步驗證本文算法對于無序影像的連接點匹配效果,后續(xù)的研究工作可圍繞此方面進行。此外,還可采用GPU并行匹配算法[22]進一步提高連接點匹配速度。

[1] BALTSAVIAS E P．A Comparison between Photogrammetry and Laser Scanning[J]．ISPRS Journal of Photogrammetry and Remote Sensing,1999,54(2-3):83-94．

[2] SHAN J,TOTH C K．Topographic Laser Ranging and Scanning:Principles and Processing[B]．Boca Raton: CRC Press,2008:445-477．

[3] YASTIKLI N,TOTH C,GREJNER-BRZEZINSKA D A．In-situ Camera and Boresight Calibration with LiDAR Data[C]∥Proceedings of the fifth International Symposium on Mobile Mapping Technology．Padua:ISPRS,2007．

[4] IP A,EI-SHEIMY N,MOSTAFA M．Performance Analysis of Integrated Sensor Orientation[J]．Photogrammetric Engineering and Remote Sensing,2007,73(1):1-9．

[5] ZHANG Yongjun,XIONG Xiaodong,SHEN Xiang．Automatic Registration of Urban Aerial Imagery with Airborne LiDAR Data[J]．Journal of Remote Sensing,2012,16 (3):579-595．(張永軍,熊小東,沈翔．城區(qū)機載LiDAR數(shù)據(jù)與航空影像的自動配準[J]．遙感學報,2012,16(3): 579-595．)

[6] SCHENK T．Towards Automatic Aerial Triangulation[J]．ISPRS Journal of Photogrammetry and Remote Sensing, 1997,52(3):110-121．

[7] KRUPNIK A,SCHENK T．Experiments with Matching in the Object Space for Aerotriangulation[J]．ISPRS Journal of Photogrammetry and Remote Sensing,1997, 52:160-168．

[8] TANG L,BRAUN J,DEBITSCH R．Automatic Aerotriangulation:Concept,Realization and Results[J]．ISPRS Journal of Photogrammetry and Remote Sensing,1997, 52(3):122-131．

[9] ZEBEDIN L,KLAUS A,GRUBER-GEYMAYER B,et al．Towards 3D Map Generation from Digital Aerial Images [J]．ISPRS Journal of Photogrammetry and Remote Sensing,2006,60(6):413-427．

[10] WILKINSON B E,DEWITT B A,WATTS A C,et al．A New Approach for Pass-point Generation from AerialVideo Imagery[J]．Photogrammetric Engineering and Remote Sensing,2009,75(12):1415-1423．

[11] BARAZZETTI L,SCAIONI M,REMONDINO F．Orientation and 3D Modelling from Markerless Terrestrial Images: Combining Accuracy with Automation[J]．The Photogrammetric Record,2010,25(132):356-381．

[12] ZHANG Y J,XIONG J X,HAO L J．Photogrammetric Processing of Low-altitude Images Acquired by Unpiloted Aerial Vehicles[J]．Photogrammetric Record,2011,26 (134):190-211．

[13] LERMA J L,NAVARRO S,CABRELLES M,et al．Automatic Orientation and 3D Modelling from Markerless Rock Art Imagery[J]．ISPRS Journal of Photogrammetry and Remote Sensing,2013,76:64-75．

[14] XIONG Xinghua,CHEN Ying,QIAN Zengbo．A Fast, Accruate and Robust Image Matching Algorithm[J]．Acta Geodaetica et Cartographica Sinica,2005,34(1):40-45．(熊興華,陳鷹,錢曾波．一種快速、高精度和穩(wěn)健的影像匹配算法[J]．測繪學報,2005,34(1):40-45．)

[15] ZHAO Xi'an,CHEN Zhixue,LV Jingguo,et al．The Scale and Rotating Invariant Auto Stereo Matching[J]．Acta Geodaetica et Cartographica Sinica,2012,41(1):81-86．(趙西安,陳志學,呂京國,等．具有尺度與旋轉(zhuǎn)不變性的立體影像自動匹配研究[J]．測繪學報,2012,41(1): 81-86．)

[16] JI Shunping,YUAN Xiuxiao．Automatic Matching of High Resolution Satellite Images Based on RFM[J]．Acta Geodaetica et Cartographica Sinica,2010,39(6):592-598．(季順平,袁修孝．基于RFM的高分辨率衛(wèi)星遙感影像自動匹配研究[J]．測繪學報,2010,39(6): 592-598．)

[17] ZHANG Guo,CHEN Tan,PAN Hongbo,et al．Patchbased Least Squares Image Matching Based on Rational Polynomial Coeffcients Model[J]．Acta Geodaetica et Cartographica Sinica,2011,40(5):592-597．(張過,陳鉭,潘紅播,等．基于有理多項式系數(shù)模型的物方面元最小二乘匹配[J]．測繪學報,2011,40(5):592-597．)

[18] YUAN Xiuxiao,MING Yang．POS-supported Matching Method for Aerial Images between Neighboring Strips[J]．Acta Geodaetica et Cartographica Sinica,2010,39(2):156-161．(袁修孝,明洋．POS輔助航帶間航攝影像的自動轉(zhuǎn)點[J]．測繪學報,2010,39(2):156-161．)

[19] ZHANG Yongjun,XIONG Jinxin,XIONG Xiaodong,et al．Main Error Source of Vertical Parallax and Compensation Regression Model of POS Data[J]．Acta Geodaetica et Cartographica Sinica,2011,40(5):604-609．(張永軍,熊金鑫,熊小東,等．POS數(shù)據(jù)的上下視差誤差源檢測及誤差補償回歸模型[J]．測繪學報,2011,40(5):604-609．)

[20] CHEN S Y,MA H C,ZHANG Y C,et al．Boresight Calibration of Airborne LiDAR System without Ground Control Points[J]．IEEE Geoscience and Remote Sensing Letters,2012,9(1):85-89．

[21] WALKER A S．Responses to Users:The Continuing Evolution of Commercial Digital Photogrammetry[J]．Photogrammetric Record,1999,16(93):469-483．

[22] XIAO Han,ZHANG Zuxun．Parallel Image Matching Algorithm Based on GPGPU[J]．Acta Geodaetica et Cartographica Sinica,2010,39(1):46-51．(肖漢,張祖勛．基于GPGPU的并行影像匹配算法[J]．測繪學報,2010,39(1): 46-51．)

(責任編輯:叢樹平)

A New Aerial Image Matching Method Using Airborne LiDAR Point Cloud and POS Data

ZHANG Yongjun,XIONG Xiaodong,WANG Mengqiu,LU Yihui
School of Remote Sensing and Information Engineering,Wuhan University,Wuhan 430079,China

A novel aerial image tie point matching algorithm with the assistance of airborne LiDAR point cloud and POS data is proposed．Firstly,the conjugate point searching strategy used in traditional correlation coefficient matching is improved and a fast algorithm is presented．Secondly,an automatic camera boresight misalignment calibration method based on virtual ground control points is proposed,then the searching range of image matching is adaptively determined and applied to the image matching of the entire surveying area．Test results verified that the fast correlation coefficient matching algorithm proposed can reduce approximately 25%of the matching time without the loss of matching accuracy．The camera boresight misalignment calibration method can effectively increase the accuracy of exterior orientation elements of images calculated from POS data,and thus can significantly improve the predicted position of conjugate point for tie point matching．Our proposed image matching algorithm can achieve high matching accuracy with multi-scale,multi-view,cross-flight aerial images．

arial image;tie point matching;fast correlation match;camera boresight misalignment;LiDAR

P237

A

1001-1595(2014)04-0380-09

2012-12-17

張永軍(1975—),男,博士,教授,博士生導師,研究方向為數(shù)字攝影測量與遙感、計算機視覺等。First author:ZHANG Yongjun(1975—),male,PhD, professor,PhD supervisor,majors in digital photogrammetry and remote sensing,computer vision．

E-mail:zhangyj＠whu．edu．cn

ZHANG Yongjun,XIONG Xiaodong,WANG Mengqiu,et al．A New Aerial Image Matching Method Using Airborne LiDAR Point Cloud and POS Data[J]．Acta Geodaetica et Cartographica Sinica,2014,43(4):380-388．(張永軍,熊小東,王夢秋,等．機載激光雷達點云與定位定姿系統(tǒng)數(shù)據(jù)輔助的航空影像自動匹配方法[J]．測繪學報,2014,43(4):380-388．)

10．13485/j．cnki．11-2089．2014．0057

國家自然科學基金(41171292;41322010);國家973計劃(2012CB719904);“教育部博士研究生學術(shù)新人獎”資助(5052012213001);中央高?；究蒲袠I(yè)務(wù)費專項資金(2012213020207;2012213020205)

修回日期:2013-06-12