楊阿華, 楊阿鋒, 張強(qiáng), 常鑫

(1.北京跟蹤與通信技術(shù)研究所, 北京 100094; 2.杭州電子科技大學(xué)通信工程學(xué)院, 杭州 310018)

當(dāng)前,三維物體、場(chǎng)景重建主要有主動(dòng)和被動(dòng)兩種方式[1-2]。其中,主動(dòng)方式采用主動(dòng)傳感器設(shè)備(如激光雷達(dá))感知物體表面的三維信息,由獲取的三維數(shù)據(jù)經(jīng)過(guò)一系列數(shù)據(jù)后處理操作,達(dá)到重建場(chǎng)景三維結(jié)構(gòu)的目的。此種方式精度高,效率較高,但需要較為昂貴的測(cè)量設(shè)備,數(shù)據(jù)獲取過(guò)程較為繁瑣,若想獲得具有照片真實(shí)感的虛擬三維模型,則需要在采集三維信息的同時(shí)采集圖像信息,在數(shù)據(jù)后處理時(shí)則涉及點(diǎn)云與圖像的配準(zhǔn)問(wèn)題[3-4]。被動(dòng)方式采用圖像傳感器獲取物體表面的圖像信息,根據(jù)雙目立體視覺原理,由具有一定視差的二維圖像對(duì)恢復(fù)出物體表面的三維(深度)信息。此種方式僅需廉價(jià)的普通相機(jī),對(duì)目標(biāo)的形狀、尺寸沒有特殊要求,數(shù)據(jù)獲取簡(jiǎn)單、易行,可以生成具有照片真實(shí)感的三維模型和場(chǎng)景。但其精度一般較前者要低,且數(shù)據(jù)后處理過(guò)程較為復(fù)雜、耗時(shí),對(duì)于紋理單一或無(wú)紋理的圖像區(qū)域,則無(wú)法獲取準(zhǔn)確的三維信息。

雖然主動(dòng)三維掃描在很多應(yīng)用領(lǐng)域已經(jīng)成為獲取三維信息的重要手段,但基于圖像的三維建模仍然是最經(jīng)濟(jì)、靈活、易行和廣泛使用的方法。

基于圖像重建三維物體、場(chǎng)景和地表的關(guān)鍵是同名點(diǎn)稠密匹配,精確、稠密的同名點(diǎn)是獲取高精度三維信息的基礎(chǔ)。稠密匹配廣泛應(yīng)用于物體精細(xì)重建、真實(shí)感場(chǎng)景重建和數(shù)字表面模型(digital surface model,DSM)及真數(shù)字正射影像(true digital ortho map,TDOM)的生成。由于圖像色彩偏差、圖像形變、圖像遮擋、無(wú)紋理或弱紋理、重復(fù)紋理等問(wèn)題,導(dǎo)致圖像稠密匹配成為一項(xiàng)有挑戰(zhàn)的任務(wù)。若能實(shí)現(xiàn)同名點(diǎn)的準(zhǔn)確、稠密和高效匹配,則解決了基于圖像的三維重建中精度、效率較低的問(wèn)題。

傳統(tǒng)的圖像匹配方法分為基于特征的方法和基于影像相關(guān)的方法[5]。基于特征的方法精度和準(zhǔn)確率高,但只針對(duì)圖像中的角點(diǎn)、線、邊緣等特征顯著區(qū)域,因此僅能獲取稀疏的匹配點(diǎn)集,且單點(diǎn)計(jì)算開銷較影像相關(guān)方法高很多,一般用來(lái)為稠密匹配提供種子點(diǎn)或約束條件[6];基于影像相關(guān)的方法由于計(jì)算量較大,效率較低,且在紋理單一區(qū)域具有自相似性,容易產(chǎn)生誤匹配,從而限制了其使用。此外,傳統(tǒng)稠密匹配方法或者要求待匹配影像對(duì)的基線較短,或者需要多視圖約束[7],以提高匹配的可靠性,一定程度限制了其使用。

文獻(xiàn)[8]提出了一種基于區(qū)域生長(zhǎng)的稠密匹配方法,該方法以圖像特征點(diǎn)匹配作為初始種子,以零均值歸一化互相關(guān)系數(shù)和雙視幾何約束作為生長(zhǎng)過(guò)程中圖像對(duì)應(yīng)點(diǎn)的匹配標(biāo)準(zhǔn),在整幅圖像上進(jìn)行匹配生長(zhǎng),采取視差梯度約束和置信度約束進(jìn)行匹配優(yōu)化,獲得稠密匹配點(diǎn)。文獻(xiàn)[9]將特征匹配結(jié)果作為匹配基元,構(gòu)建 Delaunay 三角網(wǎng),利用 Delaunay 三角網(wǎng)間的同名三角單元的單應(yīng)矩陣關(guān)系對(duì)已有匹配結(jié)果進(jìn)行加密,最后利用最小二乘匹配提高匹配精度,但未達(dá)到逐像素的匹配密度。文獻(xiàn)[10]同樣采用稀疏同名點(diǎn)建立三角網(wǎng),以描述符與馬氏距離作為兩種影響因素,通過(guò)計(jì)算目標(biāo)點(diǎn)與候選點(diǎn)的匹配得分來(lái)確定匹配點(diǎn),較好地解決了傳統(tǒng)算法對(duì)于明暗變換和幾何變形影像適應(yīng)性較差的問(wèn)題,但該方法僅能獲取稀疏匹配點(diǎn)凸殼所圍區(qū)域內(nèi)的同名點(diǎn),且匹配效率較低。文獻(xiàn)[11]提出了一種結(jié)合密度聚類平滑約束與三角網(wǎng)等比例剖分的像對(duì)稠密匹配方法,該方法首先基于稀疏同名點(diǎn)構(gòu)建局部?jī)?nèi)點(diǎn)集,基于內(nèi)點(diǎn)集構(gòu)建三角網(wǎng),再利用三角網(wǎng)提純內(nèi)點(diǎn)集,最后用提純后的內(nèi)點(diǎn)集計(jì)算稠密匹配點(diǎn)位置,該方法能避免由于局部外點(diǎn)造成仿射變換矩陣估計(jì)不準(zhǔn)確進(jìn)而影響稠密匹配準(zhǔn)確率的情況,但匹配的精度較低,且對(duì)于遮擋引起的誤匹配無(wú)法消除。文獻(xiàn)[12]提出了一種基于局部光照一致性約束的準(zhǔn)稠密匹配方法,該方法將已知匹配點(diǎn)作為種子點(diǎn),根據(jù)種子點(diǎn)及其鄰域提供的影像約束進(jìn)行匹配擴(kuò)散,從而得到種子點(diǎn)鄰域內(nèi)的匹配點(diǎn),進(jìn)而實(shí)現(xiàn)圖像之間的準(zhǔn)稠密匹配。文獻(xiàn)[13]比較了基于深度學(xué)習(xí)的影像匹配和傳統(tǒng)影像匹配方法,結(jié)果表明采用深度學(xué)習(xí)方法訓(xùn)練的匹配模型泛化遷移能力較差,需要針對(duì)特定數(shù)據(jù)集訓(xùn)練特定模型,對(duì)訓(xùn)練數(shù)據(jù)要求高,且時(shí)間開銷較大,推廣應(yīng)用優(yōu)勢(shì)不明顯。因此,傳統(tǒng)的影像匹配方法仍然是基于影像的三維重建的主要實(shí)現(xiàn)途徑。

現(xiàn)提出一種基于傾斜校正和視差估計(jì)的遙感影像同名點(diǎn)稠密匹配方法,該方法基于核線影像進(jìn)行視差估計(jì)和搜索匹配,同時(shí)充分利用已有信息來(lái)優(yōu)化搜索過(guò)程,達(dá)到減少計(jì)算量、增加匹配約束的效果,最終實(shí)現(xiàn)提高匹配效率和降低誤匹配的目的。

1 解決方案

遙感相機(jī)獲取的原始影像不可避免地存在旋轉(zhuǎn)、縮放及透視變形,所以在以匹配點(diǎn)對(duì)為中心的左、右影像窗口內(nèi),各對(duì)應(yīng)位置的像素并不是完全對(duì)準(zhǔn),而是有一定的相對(duì)變形,對(duì)于近景、寬基線及視角變化較大的攝影情況,變形更為明顯,這種變形可以用仿射變換來(lái)近似[14]。理想的解決方案是首先求解兩個(gè)影像窗口的仿射變換參數(shù),再根據(jù)該變換參數(shù)重采樣目標(biāo)影像塊,從而生成相對(duì)原始影像塊無(wú)變形的目標(biāo)影像塊,最后再求原始與無(wú)變形影像塊間的相關(guān)系數(shù),以確定最佳的匹配點(diǎn)。然而上述過(guò)程存在2個(gè)問(wèn)題:一是原始與目標(biāo)影像塊間的仿射變換參數(shù)難于獲取;二是針對(duì)每個(gè)目標(biāo)影像窗口的重采樣開銷巨大,將極大地降低匹配效率。因此這種理想方案不具可操作性。

針對(duì)上述2個(gè)問(wèn)題,本文方法通過(guò)傾斜校正處理,一次性生成幾乎無(wú)仿射變形的核線影像對(duì),然后在核線影像上進(jìn)行稠密匹配,既基本消除了仿射變形,又無(wú)需在每次相關(guān)匹配時(shí)對(duì)影像窗口反復(fù)進(jìn)行重采樣,避免了重復(fù)計(jì)算,極大降低了計(jì)算量。

本文方法包括5個(gè)步驟,分別是:特征匹配、相對(duì)定向、核線影像生成、一維灰度相關(guān)匹配、最小二乘影像匹配,下面對(duì)各步驟所采用的方法進(jìn)行介紹,其中重點(diǎn)介紹核線影像生成和一維灰度相關(guān)匹配。

1.1 特征匹配

Mikolajczyk等[15]對(duì)多種特征描述子的性能進(jìn)行了評(píng)價(jià),結(jié)果表明尺度不變特征變換(scale invariant feature transform,SIFT)[16]特征描述子具有最強(qiáng)的穩(wěn)健性,因此,首先采用SIFT特征描述子提取左右圖像的特征點(diǎn),然后進(jìn)行特征匹配;采用隨機(jī)抽樣一致算法(random sample consensus,RANSAC)[17]算法,根據(jù)特征匹配點(diǎn)求解兩幅圖像的仿射變換關(guān)系,并剔除少量誤匹配點(diǎn),最終獲得一定數(shù)量分布于整個(gè)重疊區(qū)的可靠同名像點(diǎn),由左右影像構(gòu)成一個(gè)立體模型。

1.2 相對(duì)定向

基于左右影像間的同名點(diǎn)及相機(jī)內(nèi)參數(shù),通過(guò)相對(duì)定向直接解法[18],再結(jié)合光束法平差[19]優(yōu)化,可以獲得立體模型的精確相對(duì)定向元素,即確定構(gòu)成立體模型的兩個(gè)相機(jī)的相對(duì)位姿關(guān)系,亦即確定右相機(jī)坐標(biāo)系相對(duì)于左相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣R和平移向量t。

1.3 核線影像生成

為了生成核線影像,首先構(gòu)造水平核線坐標(biāo)系(下文簡(jiǎn)稱核線坐標(biāo)系),然后將左右傾斜影像校正為核線影像。

1.3.1 核線坐標(biāo)系構(gòu)建

最后,左核線坐標(biāo)系的Z軸在左傾斜坐標(biāo)系下的坐標(biāo)為:Z=XY。

至此,左核線坐標(biāo)系的三軸向量在左傾斜坐標(biāo)系下的坐標(biāo)已經(jīng)求得,上述過(guò)程構(gòu)造的是一個(gè)右手三維直角坐標(biāo)系。

根據(jù)左核線坐標(biāo)系,構(gòu)造一個(gè)虛擬的左核線相機(jī),該相機(jī)的像平面與左核線坐標(biāo)系的XY平面平行,主光軸與左核線坐標(biāo)系的Z軸平行,X、Y、Z三軸與左核線坐標(biāo)系三軸平行。

構(gòu)造了左核線坐標(biāo)系后,將任一向量從左傾斜坐標(biāo)系變換到左核線坐標(biāo)系的旋轉(zhuǎn)變換矩陣為

(1)

右核線坐標(biāo)系的三軸與左核線坐標(biāo)系三軸平行,原點(diǎn)與右傾斜坐標(biāo)系原點(diǎn)重合,類似的可以構(gòu)造虛擬右核線相機(jī)。將任一向量從右傾斜坐標(biāo)系變換到右核線坐標(biāo)系的旋轉(zhuǎn)變換矩陣為

(2)

1.3.2 影像校正

以左相機(jī)對(duì)應(yīng)的左影像為例,介紹將傾斜影像校正為核線影像的過(guò)程。

(3)

(4)

根據(jù)式(3)和式(4),可將左原始影像中任一像素映射到左核線影像,通過(guò)求逆亦可將左核線影像中任一像素映射到左原始影像;類似的,通過(guò)將式(4)中的Ml替換為Mr,可得右原始影像與右核線影像的映射關(guān)系。

具體校正過(guò)程為:首先將c′x、c′y設(shè)為0,采用式(3)與式(4)計(jì)算原始影像矩形4個(gè)頂點(diǎn)像素在核線影像中的坐標(biāo),從而得到覆蓋核線影像的最小矩形包圍盒;將c′x、c′y的值設(shè)置為包圍盒左下角的x、y坐標(biāo)(即包圍盒的最小x、y坐標(biāo)),從而使包圍盒的左下角與核線影像的左下角重合,同時(shí)將核線影像的寬高設(shè)置為包圍盒的寬高。根據(jù)式(3)和式(4),可得核線影像任一像素點(diǎn)在原始影像上的對(duì)應(yīng)點(diǎn)坐標(biāo)(該坐標(biāo)為小數(shù)值),進(jìn)而通過(guò)灰度重采樣從原始影像得到核線影像點(diǎn)的色彩值;遍歷核線影像全部像素點(diǎn),最終生成經(jīng)過(guò)校正的核線影像。圖1是位于相鄰航線的兩幅重疊影像經(jīng)傾斜校正后的結(jié)果。

圖1 相鄰航線重疊影像傾斜校正結(jié)果Fig.1 Tilt correction results of overlapping images of adjacent airlines

1.4 相關(guān)匹配

灰度相關(guān)匹配基于校正后的核線影像,以保證左、右影像窗口間僅有x方向的較小透視變形。首先以三角形為單元估計(jì)左右影像的初始視差;對(duì)于左影像的任一待匹配點(diǎn),根據(jù)視差值估計(jì)初始匹配點(diǎn);然后在初始匹配點(diǎn)的鄰域內(nèi),通過(guò)灰度相關(guān)匹配搜索最佳匹配點(diǎn)。

1.4.1 視差估計(jì)

為了估計(jì)核線影像對(duì)的初始視差,首先采用式(4),將所有稀疏同名點(diǎn)的原始影像坐標(biāo)轉(zhuǎn)為核線影像坐標(biāo);然后由稀疏點(diǎn)三角構(gòu)網(wǎng)[20],根據(jù)每個(gè)三角形3個(gè)頂點(diǎn)在x和y方向的核線影像視差,在三角形內(nèi)插值出核線影像每個(gè)像素的x和y視差。如圖2所示,p1(x1,y1)、p2(x2,y2)、p3(x3,y3)為三角形的3個(gè)頂點(diǎn),對(duì)應(yīng)的x視差分別為dx1、dx2、dx3,p(x,y)為三角形內(nèi)一點(diǎn),p12(x12,y)、p13(x13,y)為第y像素行與三角形兩邊P1P2、P1P3的交點(diǎn)。首先通過(guò)在y方向上線性插值求得點(diǎn)p12、p13的x視差dx12、dx13,即

圖2 三角形插值示意圖Fig.2 Sketch map of triangle interpolation

(5)

通過(guò)將式(5)中的視差換成對(duì)應(yīng)點(diǎn)的x坐標(biāo),可求得點(diǎn)p12、p13的x坐標(biāo)x12、x13。然后由點(diǎn)p12、p13的坐標(biāo)在x方向上線性插值,即可求得p點(diǎn)的x視差dx,為

(6)

同理可求p點(diǎn)的y視差dy。

值得注意的是,理論上核線影像對(duì)中任意位置的y視差是固定的(理論值隨校正時(shí)采用的像主點(diǎn)列坐標(biāo)c′y的不同而不同),但實(shí)際處理中發(fā)現(xiàn),由于相機(jī)畸變系數(shù)的誤差及畸變的復(fù)雜性,生成的核線影像在y方向的視差并不固定,而是在理論值附近的若干個(gè)像素范圍內(nèi)波動(dòng)(此波動(dòng)范圍隨畸變大小不同而變化)。因此,此處對(duì)y視差也進(jìn)行插值,使視差的估算精度大大提高,進(jìn)而提高了匹配的正確率。

1.4.2 相關(guān)匹配

采用規(guī)范化互相關(guān)(normalized cross correlation, NCC)[13]系數(shù)來(lái)度量?jī)蓚€(gè)影像塊的相似程度,NCC系數(shù)對(duì)影像塊間的線性亮度變化魯棒。對(duì)于左右影像的兩個(gè)影像塊,其NCC系數(shù)ENCC的計(jì)算公式為

ENCC=

(7)

值得注意的是,對(duì)于彩色影像,應(yīng)該分別計(jì)算各通道的灰度均值,并聯(lián)立全部顏色通道來(lái)計(jì)算互相關(guān)系數(shù),對(duì)應(yīng)的計(jì)算公式為

ENCC=

(8)

將匹配間隔設(shè)為m×n,即每隔m行、n列匹配一個(gè)同名點(diǎn),間隔越小,密度越大,重建的精細(xì)程度越高,此值可根據(jù)實(shí)際場(chǎng)景的復(fù)雜程度來(lái)設(shè)置。對(duì)于左核線影像上任一待匹配點(diǎn)p1(x,y),根據(jù)該點(diǎn)處的視差估算其在右影像中的粗略匹配點(diǎn)為p2(x+dx,y+dy),并以該點(diǎn)為中心,在右影像第y+dy掃描行的[x+dx-r,x+dx+r]像素范圍內(nèi)進(jìn)行一維搜索匹配。需要說(shuō)明的是,雖然1.4.1節(jié)提到y(tǒng)視差并不固定,但在搜索區(qū)域的小范圍內(nèi),y視差波動(dòng)很小,故搜索時(shí)假設(shè)dy固定不變。由于粗匹配點(diǎn)p2的估算精度較高,因此搜索半徑r不必很大,這一方面減小了搜索范圍,提高了匹配效率,另一方面降低了誤匹配的概率,提高了匹配正確率。

對(duì)于每個(gè)候選匹配點(diǎn),根據(jù)式(8)計(jì)算以該點(diǎn)為中心的目標(biāo)影像塊(大小一般取11×11)與以p1為中心的源影像塊間的歸一化相關(guān)系數(shù);從所有候選點(diǎn)中取相關(guān)系數(shù)最大的點(diǎn),若該點(diǎn)的相關(guān)系數(shù)不小于t(t一般取0.7,避免遮擋導(dǎo)致的無(wú)對(duì)應(yīng)點(diǎn)的情況,保證匹配的正確性),且該相關(guān)系數(shù)與次大相關(guān)系數(shù)之差大于某一間隔e(e一般取0.01,保證同名點(diǎn)具有一定的顯著性,提高置信度),則認(rèn)為是最佳匹配點(diǎn);否則剔除該點(diǎn)。

在搜索最佳點(diǎn)時(shí),采用如下2個(gè)策略來(lái)提高匹配效率。

(1)一維搜索時(shí),將搜索步長(zhǎng)設(shè)為2,即不是遍歷[x+dx-r,x+dx+r]范圍內(nèi)的每一個(gè)像素,而是每間隔一個(gè)求一次相關(guān)系數(shù),從而使搜索量減半,進(jìn)而達(dá)到提高匹配效率的目的。這樣做的合理性在于:由于搜索到的最佳匹配點(diǎn)都會(huì)采用最小二乘匹配進(jìn)行微調(diào),而最小二乘匹配的校正范圍可以達(dá)到2個(gè)像素[21],所以即使實(shí)際最佳匹配點(diǎn)為未被掃描的間隔像素,而搜索到的最佳位置為其鄰近像素,亦可通過(guò)最小二乘匹配來(lái)校正到實(shí)際的最佳位置,故無(wú)需逐點(diǎn)匹配。

此外,沿掃描線對(duì)匹配點(diǎn)加入了順序一致性約束,即對(duì)于左圖某一核線上的兩點(diǎn)p1、p2,對(duì)應(yīng)的匹配點(diǎn)分別為p′1、p′2,由于p2位于p1的右邊,則p′2必位于p′1的右邊(從左向右掃描)。這樣的處理進(jìn)一步增強(qiáng)了匹配的可靠性。

1.5 最小二乘匹配

由于逐點(diǎn)搜索匹配僅能達(dá)到1個(gè)像素的匹配精度,所以最后采用最小二乘影像匹配[21]對(duì)搜索到的初始匹配點(diǎn)進(jìn)行微調(diào),使同名點(diǎn)達(dá)到亞像素級(jí)的匹配精度,以改善重建場(chǎng)景的視覺效果。由于最小二乘匹配能校正同名影像窗口的仿射變形,所以最終的相關(guān)系數(shù)應(yīng)大于某一較大門檻(一般取0.9),才認(rèn)為是正確的匹配點(diǎn)。

2 實(shí)驗(yàn)與分析

實(shí)驗(yàn)所用機(jī)器的軟硬件配置如下:操作系統(tǒng)為64位windows10,處理器為AMD Ryzen 7 4800H,主頻2.9 GHz,內(nèi)存8 G。

利用小型無(wú)人駕駛飛機(jī)對(duì)某一村莊進(jìn)行俯視航拍,航高約為300 m,所用相機(jī)為佳能5DⅡ,圖像大小為5 616像素×3 744像素,全航區(qū)共拍攝了78(13幅×6航線)幅影像。

從上述數(shù)據(jù)中取一個(gè)立體像對(duì),從左影像中均勻選取20個(gè)樣本點(diǎn),確保樣本點(diǎn)覆蓋各類典型地物、且紋理較為豐富;人工拾取各樣本點(diǎn)在右影像的對(duì)應(yīng)匹配點(diǎn),拾取過(guò)程將影像放大8倍刺點(diǎn),確保人工同名點(diǎn)達(dá)到較高精度。

對(duì)上述左影像樣本點(diǎn)分別采用累積絕對(duì)差方法(sum of absolute differences, SAD)[22-23],和本文方法自動(dòng)匹配右影像同名點(diǎn),比較自動(dòng)同名點(diǎn)與人工同名點(diǎn)(真值)的位置誤差,結(jié)果如下。從表1可以看出,本文方法的各同名點(diǎn)位置誤差均小于SAD方法,平均位置誤差亦顯著小于SAD方法,表明本文方法的匹配精度要明顯優(yōu)于SAD方法。

表1 使用SAD方法和本文方法的同名點(diǎn)位置誤差比較Table 1 Comparison of the position errors of corresponding points using SAD method and proposed method

分別采用SAD方法和本文方法對(duì)該像對(duì)執(zhí)行稠密匹配,匹配間隔設(shè)為5×5。圖3是本文方法的匹配結(jié)果示意。表2是匹配耗時(shí)、最終點(diǎn)數(shù)、匹配點(diǎn)平均相關(guān)系數(shù)3項(xiàng)指標(biāo)的統(tǒng)計(jì)結(jié)果,從表2中可以看出,本文方法的同名點(diǎn)數(shù)量較SAD方法要少,其原因是為了保證匹配的正確性,本文方法對(duì)部分不可靠的匹配點(diǎn)進(jìn)行了剔除;本文方法的匹配耗時(shí)少于SAD方法,可見匹配效率得到了一定提高;本文

表2 使用SAD方法和本文方法的匹配統(tǒng)計(jì)結(jié)果比較Table 2 Comparison of matching statistical results using SAD method and proposed method

圖3 稠密匹配結(jié)果Fig.3 Dense matching results

方法的全部同名點(diǎn)歸一化相關(guān)系數(shù)均方值較傳統(tǒng)方法顯著提高,表明匹配準(zhǔn)確性和精度明顯優(yōu)于SAD方法。

取其中10個(gè)像對(duì),分別用SAD和本文方法進(jìn)行稠密匹配,圖4和圖5分別是各像對(duì)的匹配耗時(shí)、平均相關(guān)系數(shù)兩個(gè)指標(biāo)的直方圖統(tǒng)計(jì)結(jié)果。從圖4和圖5可以看出,每個(gè)像對(duì)采用本文方法的匹配耗時(shí)和平均相關(guān)系數(shù)均優(yōu)于SAD方法,進(jìn)一步證明了本文方法在匹配效率和精度方面的優(yōu)勢(shì),同時(shí)也證明了本文方法的穩(wěn)定性。

圖4 10個(gè)像對(duì)匹配耗時(shí)比較Fig.4 Comparison of matching time of 10 image pairs

圖5 10個(gè)像對(duì)平均相關(guān)系數(shù)比較Fig.5 Comparison of average correlation coefficients of 10 image pairs

由航區(qū)的全部影像通過(guò)特征匹配、相對(duì)定向共建立了64個(gè)立體像對(duì)模型,對(duì)這些立體像對(duì)進(jìn)行稠密匹配,匹配間隔為4×4,每個(gè)像對(duì)提取的同名點(diǎn)數(shù)量為20多萬(wàn)至70多萬(wàn)個(gè)(根據(jù)場(chǎng)景的不同,匹配點(diǎn)數(shù)量有差異,因?yàn)閷?duì)于紋理單一區(qū)域,很多點(diǎn)因可靠性低而被剔除),耗時(shí)約3.48 h。

通過(guò)三角測(cè)量[13]解算稠密點(diǎn)的空間坐標(biāo),得到稠密空間點(diǎn)云,圖6是某個(gè)像對(duì)模型對(duì)應(yīng)的空間點(diǎn)云,對(duì)每個(gè)空間點(diǎn)進(jìn)行了紋理映射;圖7是由稠密點(diǎn)云構(gòu)網(wǎng)生成的三角網(wǎng)場(chǎng)景;圖8是在三角網(wǎng)地形上貼紋理后生成的真實(shí)感場(chǎng)景;圖9是拼接好的全景地形的正射視圖,與傳統(tǒng)的基于二維變換的航片拼接方法不同,此處的正射影像是根據(jù)精細(xì)三維模型通過(guò)正射校正生成,因此是真正射影像;圖10是用偽彩色表示的全景稠密深度圖(從紅色到藍(lán)色深度逐漸增加),從圖10可清晰地看到,與圖9影像相對(duì)應(yīng)的地物(房屋等)輪廓,表明稠密深度圖達(dá)到了較高的精細(xì)程度。

圖6 空間點(diǎn)云Fig.6 Spatial point cloud

圖7 網(wǎng)格場(chǎng)景Fig.7 Mesh scene

圖8 紋理貼圖三維場(chǎng)景Fig.8 Texture map 3D scene

圖9 全景正射圖Fig.9 Panoramic DOM

圖10 全景偽彩色深度圖Fig.10 Panoramic pseudocolor depth map

3 結(jié)論

提出了一種用于三維場(chǎng)景重建的航空遙感影像同名點(diǎn)稠密匹配方法。該方法以特征匹配同名點(diǎn)為基礎(chǔ),首先生成核線影像,并估算核線影像對(duì)的初始視差;然后在核線影像上進(jìn)行基于核線約束的一維灰度相關(guān)搜索匹配;最后對(duì)灰度相關(guān)匹配結(jié)果做最小二乘匹配,從而使同名點(diǎn)達(dá)到亞像素級(jí)匹配精度。實(shí)驗(yàn)結(jié)果表明,本文方法可逐像素提取同名點(diǎn),匹配的效率、精度和正確率均優(yōu)于傳統(tǒng)方法,且具有很好的匹配穩(wěn)定性。