宋文平，楊志強(qiáng)，計(jì)國鋒，童雅妮，高 歌

(1．長安大學(xué)測繪與空間信息研究所，陜西 西安710064;2．陜西國土測繪工程院，陜西 西安710064)

一、引 言

傾斜攝影技術(shù)是在攝影測量技術(shù)之上發(fā)展起來的。與攝影測量不同的是傾斜攝影是通過在同一飛行平臺(tái)上搭載多臺(tái)傳感器(目前常用的五鏡頭相機(jī))，同時(shí)從垂直、傾斜等不同角度采集影像，獲取地面物體更為完整準(zhǔn)確的信息。垂直地面角度拍攝獲取的影像稱為正片(一組影像)，鏡頭朝向與地面成一定夾角拍攝獲取的影像稱為斜片(4組影像)。傾斜攝影技術(shù)雖然具有高真實(shí)性、全要素的優(yōu)勢，但是單獨(dú)利用傾斜攝影測量技術(shù)還存在很多不足之處，特別是在近地面細(xì)節(jié)上，傾斜攝影測量技術(shù)往往會(huì)出現(xiàn)大面積的數(shù)據(jù)失真和細(xì)節(jié)模糊。

本文從傾斜攝影測量的不足之處著手，將傾斜攝影和地面街景進(jìn)行有機(jī)的耦合，由于地面街景技術(shù)具有在近地面的數(shù)據(jù)的完整性和不失真性，并且其具有大量的數(shù)據(jù)資源，因此將地面街景技術(shù)與傾斜攝影技術(shù)進(jìn)行融合將極大地彌補(bǔ)傾斜攝影測量的局限性。再將傾斜影像模型中細(xì)節(jié)的丟失和模糊進(jìn)行恢復(fù)，得到識(shí)別度和精度更高的的傾斜影像模型，然后將恢復(fù)后的地面細(xì)節(jié)模型與恢復(fù)之前的模型進(jìn)行比較分析，從而驗(yàn)證將傾斜攝影與地面街景技術(shù)進(jìn)行融合能夠極大地提高數(shù)據(jù)信息的準(zhǔn)確性、減少細(xì)節(jié)的丟失和失真，其相互之間具有很強(qiáng)的耦合性，必將為將來的測繪工作開辟新的手段和思路。

二、技術(shù)原理

1．傾斜攝影技術(shù)原理

傾斜影像是通過具有一定傾角的傾斜航攝相機(jī)獲取的，其可以獲取多個(gè)視點(diǎn)和視角的多重分辨率的影像，從而獲取更為詳盡的側(cè)面信息，具有較高的分辨率和較大的視場角。但是傾斜攝影測量受地面的遮擋比較嚴(yán)重，從而造成近地面的數(shù)據(jù)失真，因此處理傾斜攝影影像要進(jìn)行影像的畸變糾正、區(qū)域網(wǎng)聯(lián)合平差、多視影像匹配等關(guān)鍵內(nèi)容。其中，多視影像區(qū)域網(wǎng)聯(lián)合平差和多視影像匹配最為關(guān)鍵。

(1)多視影像區(qū)域網(wǎng)聯(lián)合平差

多視影像包括垂直攝影數(shù)據(jù)和傾斜攝影數(shù)據(jù)，由于傾斜影像上每一個(gè)點(diǎn)的外方位元素都是不一樣的。因此，傳統(tǒng)的空中三角測量系統(tǒng)不能較好地對(duì)傾斜攝影數(shù)據(jù)進(jìn)行處理，必須結(jié)合POS系統(tǒng)提供的多視影像外方位元素，并充分考慮多視影像的幾何形變和遮擋關(guān)系，采取由粗到細(xì)的金字塔并行匹配策略進(jìn)行每級(jí)影像同名點(diǎn)的自動(dòng)提取、匹配、自由網(wǎng)光束法平差，然后根據(jù)連接點(diǎn)、控制點(diǎn)和定位輔助數(shù)據(jù)建立區(qū)域網(wǎng)平差的誤差方程，通過聯(lián)合解算，確保結(jié)果的精度。

(2)多視影像匹配

多視影像具有覆蓋范圍大、分辨率高的特點(diǎn)，其關(guān)鍵是如何在冗余信息中快速準(zhǔn)確地獲取多視影像上的同名點(diǎn)坐標(biāo)。本文在進(jìn)行多視影像匹配時(shí)采用逆仿射變換模型，其能夠很好地采集多視影像的同名點(diǎn)坐標(biāo)。逆仿射變換模型是利用下視影像的粗略外方位元素、下視相機(jī)與各側(cè)相機(jī)之間的相對(duì)姿態(tài)計(jì)算同一攝站各張傾斜影像的粗略外方位元素。利用傾斜影像的姿態(tài)參數(shù)來計(jì)算傾斜影像的旋轉(zhuǎn)矩陣，并利用此旋轉(zhuǎn)矩陣逆向推算出航測相機(jī)光軸的方向角，進(jìn)而得出逆仿射矩陣，利用此逆仿射矩陣的尺度和旋轉(zhuǎn)不變性，對(duì)原始的傾斜影像進(jìn)行逆仿射變換，即進(jìn)行傾斜影像的糾正。對(duì)糾正后的影像進(jìn)行sift匹配，匹配策略采用最近鄰匹配，對(duì)于sift匹配中出現(xiàn)的誤匹配，利用主方向差值一致性進(jìn)行剔除，并將剔除后的正確匹配點(diǎn)對(duì)反算到原始影像上。

2．地面街景技術(shù)原理

地面街景技術(shù)是虛擬現(xiàn)實(shí)領(lǐng)域的重要內(nèi)容，其是借助于計(jì)算機(jī)技術(shù)和圖像圖形處理技術(shù)，對(duì)現(xiàn)實(shí)環(huán)境建立適合于計(jì)算機(jī)表示和處理的模型，并進(jìn)行實(shí)時(shí)渲染，從而具有更強(qiáng)的逼真度和沉浸感。首先基于稠密深度進(jìn)行立體平行拼圖，得到一幅多視點(diǎn)全景圖像和一幅與其相對(duì)應(yīng)的稠密深度圖像，根據(jù)兩類圖像數(shù)據(jù)就可以渲染出新視角的視圖，從而完成重構(gòu)。然后利用分段連續(xù)密閉立面模型簡化擬合街景的實(shí)際幾何建構(gòu)，并以分段連續(xù)立面為投影面得到無縫平滑的多視點(diǎn)全景圖像拼接結(jié)果，以便作為紋理使用。其多視點(diǎn)成像示意圖如圖1所示。

圖1 地面街景成像原理

三、耦合全空間信息提取

1．傾斜攝影技術(shù)分析

傾斜攝影技術(shù)作為一項(xiàng)新的對(duì)地觀測技術(shù)，在國外發(fā)達(dá)國家已經(jīng)得到了較為廣泛的應(yīng)用。相對(duì)傳統(tǒng)的建模方式其具有一定的優(yōu)勢，但是也相應(yīng)地存在不足之處。

(1)傾斜攝影測量的優(yōu)勢分析

1)周期短、效率高。一個(gè)面積約50 km2的城市，運(yùn)用傾斜攝影建模技術(shù)，在理想情況下，從獲取影像之后，處理數(shù)據(jù)直至生成真三維模型僅需一周左右。同等工作量，若采用人工建模，則需投入100人干足3個(gè)月。

2)高真實(shí)性。傾斜攝影模型與傳統(tǒng)的手工模型相比，其模型具有更強(qiáng)的真實(shí)性，如圖2所示，從圖中對(duì)比可以看出，傾斜攝影模型能夠更加接近人的視覺特點(diǎn)，給人更高的真實(shí)性。

3)全要素性。傾斜攝影建模與傳統(tǒng)手工建模相比，能夠?qū)孛孢M(jìn)行全覆蓋，對(duì)房頂、地面公共設(shè)施等的詳細(xì)構(gòu)造能夠更加詳細(xì)全面地進(jìn)行反映。如圖3所示，在傾斜攝影模型中，可以清晰地鑒別出屋頂上的詳細(xì)構(gòu)造、地面停車上的詳細(xì)情況等細(xì)節(jié)，而在手工模型上只能夠大體的鑒別房屋、綠化帶等的相對(duì)位置關(guān)系，對(duì)于細(xì)小的詳細(xì)細(xì)節(jié)不能夠客觀準(zhǔn)確地表示出來，即傾斜攝影模型能夠?qū)孛娴囊剡M(jìn)行全方位的表示。

圖2 高真實(shí)性比對(duì)圖

圖3 全要素對(duì)比示意圖

4)可量測性。傾斜攝影模型具有高精度的可量測性。如圖4所示，傳統(tǒng)的手工模型為非真實(shí)模型，其可能與實(shí)地不一致，但是傾斜攝影模型具有高精度的可量測性，其量測結(jié)果與實(shí)地一致。

圖4 可量測性比對(duì)圖

(2)傾斜攝影存在的問題分析

1)近地面數(shù)據(jù)丟失。傾斜攝影由于建筑物等地面實(shí)體的遮擋，造成了近地面數(shù)據(jù)的丟失，特別是近地面的路燈、圍欄、行道樹等近地面數(shù)據(jù)。如圖5所示，可以看出傾斜攝影測量在近地面存在大量的數(shù)據(jù)丟失。

圖5 傾斜攝影近地面數(shù)據(jù)丟失

2)近地面細(xì)節(jié)不清晰。由于傾斜攝影角度等不同，其在地面數(shù)據(jù)上的鑒別效果也不一樣。這就造成了近地面數(shù)據(jù)的細(xì)節(jié)不清晰，特別是行道上的招牌字、行道樹、居民窗戶等近地面細(xì)節(jié)。如圖6所示。

圖6 傾斜攝影近地面細(xì)節(jié)不清晰

3)近地面模型有空洞、表面模糊粗糙。

傾斜攝影測量的近地面模型有空洞，并且其表面模糊粗糙。由于這種原因，造成了其在近地面模型無法量測或量測的精度較低。如圖7所示。

圖7 傾斜攝影近地面的空洞和不可量測性圖

傾斜攝影雖然存在近地面數(shù)據(jù)丟失、近地面細(xì)節(jié)不清晰、地面模型空洞和不可量測性等不足之處，但是其具有較好的全局性和完整準(zhǔn)確的高層數(shù)據(jù)信息;相反，地面街景技術(shù)作為一種發(fā)展較為成熟的技術(shù)，其地面街景圖像是最為真實(shí)的，任何建模效果都達(dá)不到圖像的效果。其近地面數(shù)據(jù)完整、細(xì)節(jié)清晰，但是其在全局上呈現(xiàn)不足，高層信息存在缺失。因此，將傾斜攝影與地面街景技術(shù)進(jìn)行較為完美的耦合，必然會(huì)解決傾斜攝影在近地面的不足之處，極大地發(fā)揮傾斜攝影在生產(chǎn)生活中的作用。

2．耦合全空間信息提取

為了最大限度地彌補(bǔ)傾斜攝影在近地面的不足，充分發(fā)揮地面街景技術(shù)在近地面的優(yōu)勢，將傾斜攝影與地面街景技術(shù)進(jìn)行有機(jī)的契合，建立空地全方位信息一體化可量測模型來進(jìn)行全方位空間信息的提取，從而進(jìn)行傾斜攝影數(shù)字產(chǎn)品的快速生產(chǎn)，將傳統(tǒng)的攝影測量放在一個(gè)更大的泛在空間。為了修復(fù)傾斜攝影測量在近地面的數(shù)據(jù)失真現(xiàn)象，將地面街景技術(shù)在近地面的圖像匹配到其傾斜攝影相片相對(duì)應(yīng)的位置之上，但是在匹配過程中會(huì)出現(xiàn)較大的影像位置和姿態(tài)的融合誤差。因此，其融合最大的難點(diǎn)在于街景相機(jī)位置和姿態(tài)要足夠精確。

(1)傾斜相機(jī)的架設(shè)方法

基于地面街景和傾斜相機(jī)的原理，可以用同一個(gè)傾斜攝影相機(jī)進(jìn)行傾斜攝影和地面街景的影像獲取。將傾斜相機(jī)安裝在空中的無人機(jī)等平臺(tái)上，向下按規(guī)程拍攝就是傾斜攝影;將此傾斜相機(jī)倒過來安裝在地面的車上，向上拍攝來獲取地面街景的影像序列。這樣利用相同的計(jì)算機(jī)視覺方法，就會(huì)獲得相對(duì)精度較高的相機(jī)初始位置和姿態(tài)數(shù)據(jù)信息。其傾斜相機(jī)的架設(shè)方法示意圖如圖8所示。

圖8 傾斜相機(jī)的架設(shè)

(2)改進(jìn)普通的地面街景

普通的地面街景技術(shù)利用360°全景相機(jī)來獲取全景圖像，并利用GPS和慣導(dǎo)的綜合定位系統(tǒng)來確定相機(jī)的位置和姿態(tài)，其位置確定基本上依賴于GPS。但是利用GPS來確定相機(jī)的位置、利用慣導(dǎo)系統(tǒng)來確定相機(jī)的姿態(tài)都會(huì)帶來較大的位置和姿態(tài)誤差。為了提高相機(jī)的位姿精度，本文不把GPS和慣導(dǎo)綜合系統(tǒng)獲取的位置和姿態(tài)作為其相機(jī)的最終位姿，而是將GPS和慣導(dǎo)綜合系統(tǒng)獲取的位置和姿態(tài)作為初始值，采用一定的優(yōu)化算法進(jìn)行優(yōu)化，將優(yōu)化后的相機(jī)的位姿作為其最終的位姿。

首先對(duì)街景圖像序列進(jìn)行獲取，然后利用并行sift算法、并行RANSAC算法結(jié)合來進(jìn)行特征點(diǎn)的提取、同名點(diǎn)的匹配、初始相機(jī)位置姿態(tài)的求取，并利用獲取的初始相機(jī)位置姿態(tài)來計(jì)算街景圖像序列的初始結(jié)構(gòu)，再基于并行捆集調(diào)整算法來對(duì)街景圖像序列進(jìn)行整體的捆集調(diào)整，最后基于并行多視圖匹配算法求得相機(jī)的最優(yōu)化位置姿態(tài)及整體的場景結(jié)構(gòu)，這樣由GPS和慣導(dǎo)綜合系統(tǒng)獲取的相機(jī)的初始位置和姿態(tài)將會(huì)得到最優(yōu)化，不僅大大地提高了相機(jī)位置和姿態(tài)的精度，而且保證了整體運(yùn)算的高速度，其加速比如圖9所示，從圖中可以看出，隨著圖片張數(shù)的不斷增多，其加速比基本成正相關(guān)增長，從而反映了此改進(jìn)的地面街景技術(shù)，能夠極大地提高運(yùn)算速度。將改進(jìn)的地面街景與普通的地面街景的技術(shù)參數(shù)進(jìn)行比較，見表1?？梢姼倪M(jìn)的地面街景方案是基于圖像來獲取相機(jī)的位置，并且其相機(jī)的位置精度從分米級(jí)提高到了厘米級(jí)，由于改進(jìn)的地面街景方案在模型上也具有可量測性的優(yōu)點(diǎn)，因此其能夠與傾斜攝影測量進(jìn)行完美的耦合。

圖9 加速比示意圖

表1 改進(jìn)地面街景與普通地面街景技術(shù)參數(shù)對(duì)比表

(3)細(xì)節(jié)信息提取

在數(shù)據(jù)生產(chǎn)中，首先進(jìn)行傾斜影像數(shù)據(jù)采集和街景影像數(shù)據(jù)采集，利用傾斜影像數(shù)據(jù)進(jìn)行數(shù)據(jù)建模，街景影像數(shù)據(jù)進(jìn)行精確定向。由于僅利用傾斜影像進(jìn)行建模存在較大的誤差，本文在傾斜影像建模的基礎(chǔ)上，以傾斜攝影基本原理為基礎(chǔ)，利用地面街景技術(shù)進(jìn)行精確定向，從而進(jìn)行精細(xì)建模。精細(xì)建模的傾斜模型將具有更加詳細(xì)的細(xì)節(jié)，傾斜影像無法準(zhǔn)確地恢復(fù)近地面細(xì)節(jié)，其得到的近地面模型并不能包含近地面的全部標(biāo)的物模型，而街景影像可以清晰地獲取標(biāo)的物的位置和形狀等數(shù)據(jù)信息。

a．細(xì)節(jié)提取1:丟失的垃圾桶信息

如圖10，在傾斜影像模型當(dāng)中，其一垃圾桶標(biāo)的物信息丟失，但是在街景影像中可以清楚地觀察到此細(xì)節(jié)。

圖10 近地面垃圾桶信息丟失比對(duì)圖

為了找回丟失的垃圾桶信息，本文在街景影像模型數(shù)據(jù)庫中，找到相應(yīng)的模型，利用街景影像的精確定位作用，將此模型添加到傾斜影像數(shù)據(jù)模型中，其位置和姿態(tài)的精度都符合測繪級(jí)要求。如圖11所示，添加到傾斜影像模型中丟失的垃圾桶信息。

圖11 添加垃圾桶信息后的傾斜影像模型

b．細(xì)節(jié)提取2:街面字幕信息提取

通過傾斜影像進(jìn)行建模其模型中近地面的字幕不清晰，不能夠提供給人以指導(dǎo)信息，但是在街景影像中，此近地面細(xì)節(jié)，能夠清晰地辨識(shí)，利用地面街景影像進(jìn)行精確的定向，將街景影像數(shù)據(jù)模型庫中相應(yīng)的字幕模型添加到傾斜影像模型中，如圖12為恢復(fù)模型數(shù)據(jù)前后的比對(duì)圖，從對(duì)比圖中可以看出，模型恢復(fù)后其能夠清晰地對(duì)標(biāo)的物進(jìn)行辨識(shí)。

通過對(duì)兩次細(xì)節(jié)信息的提取?？梢钥闯鰧⒌孛娼志坝跋衽c傾斜影像進(jìn)行耦合，在保證精度的前提下，能夠很好地改善傾斜攝影在近地面數(shù)據(jù)的丟失，提高細(xì)節(jié)的辨識(shí)度。

圖12 恢復(fù)前后模型對(duì)比圖

四、結(jié) 論

本文基于傾斜攝影的基本原理，對(duì)傾斜攝影的優(yōu)勢和不足進(jìn)行了詳細(xì)的分析，考慮到傾斜攝影在近地面的不足之處和地面街景技術(shù)在近地面強(qiáng)大的優(yōu)勢，本文將傾斜攝影影像和地面街景技術(shù)進(jìn)行耦合，得出如下結(jié)論:

1)地面街景采用基于球形相機(jī)模型的大規(guī)模場景三維重建算法，可以準(zhǔn)確地恢復(fù)街景影像數(shù)據(jù)的位置和姿態(tài)信息，與傾斜影像數(shù)據(jù)能進(jìn)行完美的結(jié)合。

2)傾斜影像無法準(zhǔn)確地恢復(fù)近地面細(xì)節(jié)，而街景影像提供了近地面的清晰影像，將傾斜影像與地面街景影像進(jìn)行耦合，能夠通過地面街景的視角對(duì)傾斜模型在近地面的細(xì)節(jié)進(jìn)行較為完善的恢復(fù)和瀏覽。

3)傾斜影像無法得到近地面全部標(biāo)的物的模型，即其在近地面存在大量的模型丟失，例如交通燈、路燈、垃圾桶等城市部件，通過地面街景模型可以清晰地獲取這些標(biāo)的物的位置和形狀等數(shù)據(jù)信息。

4)將傾斜攝影與地面街景影像進(jìn)行耦合，能夠極大地改善傾斜攝影在近地面的細(xì)節(jié)不清晰的弊端，恢復(fù)后的模型可以給人更加詳細(xì)的指導(dǎo)信息。

綜上所述，傾斜攝影在國內(nèi)還處在發(fā)展初期，通過不斷的技術(shù)提升，傾斜攝影將會(huì)給測繪工作者帶來極大的便利，必將是對(duì)傳統(tǒng)測繪的變革。

［1］ 袁修孝．航空攝影測量影像定向的若干探討［J］．地球科學(xué)進(jìn)展，2007，22(8):828-834．

［2］ 楊愛玲，孫汝岳，徐開明．基于固定翼無人機(jī)航攝影像獲取及應(yīng)用探討［J］．測繪與空間地理信息，2010，33(5):160-162．

［3］ 王玉鵬．無人機(jī)低空遙感影像的應(yīng)用研究［D］．鄭州:河南理工大學(xué)，2011．

［4］ 李德仁．無縫立體正射影像數(shù)據(jù)庫的概念、原理及其實(shí)現(xiàn)［J］．武漢大學(xué)學(xué)報(bào):自然科學(xué)版，2007，32(11):950-954．

［5］ 胡翔云．航空遙感影像現(xiàn)狀地物與房屋的自動(dòng)提取［D］．武漢:武漢大學(xué)，2001．

［6］ KUNTZ N，OH P．Development of Autonomous Cargo Transport for an Unmanned Aerial Vehicle Using Visual Servoing［C］∥Proceedings of the ASME Dynamic Systems and Control Division．［S．l．］:ASME，2008．

［7］ 張強(qiáng)．低空無人直升機(jī)航空攝影系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］．鄭州:信息工程大學(xué)，2007．

［8］ 陳樂書．土地利用現(xiàn)狀調(diào)查中數(shù)字正射影像圖和GIS技術(shù)的應(yīng)用［J］．測繪通報(bào)，2007(6):65-67．

［9］ 杜全葉，陸錦忠．無人飛艇低空攝影測量系統(tǒng)及其DOM制作關(guān)鍵技術(shù)［J］．測繪通報(bào)，2010(6):23-27．

［10］ BEARD R W，MCLAINT W．Multiple UAV Cooperative Search under Collision Avoidance and Limited Range Communication Constraints［C］∥IEEE Conference on Decision and Control．［S．l．］:IEEE，2003．

［11］SCHWARZ K P，CHAPMAN M A，CANNON M E，et al．An Integrated INS/GPSApproach to the Georeferencing of Remotely Sensed Data［J］．Photogrammatric Engineering and Remote Sensing，1993．59(11):1667-1674．