張帥哲 劉振東 劉 新 蔡昊琳 屈文虎 張 棟

(1. 山東科技大學(xué) 測繪與空間信息學(xué)院, 山東 青島 266590; 2. 中國測繪科學(xué)研究院, 北京 100089; 3. 泰安金土地測繪整理有限公司, 山東 泰安 271018)

0 引言

基于多視立體視覺的三維重建技術(shù)是攝影測量與計算機視覺領(lǐng)域中的研究熱點,涉及多學(xué)科知識,被廣泛應(yīng)用于自動駕駛、城市建設(shè)、醫(yī)學(xué)成像、文化遺址保護等領(lǐng)域[1]。在三維重建流程中,稠密重建是二維影像轉(zhuǎn)換為三維模型的關(guān)鍵一環(huán),一般包括密集匹配和深度融合兩個主要步驟[2]。深度融合是指將不同視角的深度圖融合到統(tǒng)一的坐標(biāo)框架下并進行表面計算,以產(chǎn)生整個場景的密集點云。

根據(jù)文獻[3]所述,深度融合方法主要分為基于體素的融合方法[4-5]、基于特征點擴散的融合方法[6-8]和基于深度圖的融合方法[9-14]。其中,基于深度圖的融合方法具有較高的魯棒性、靈活性[13]。因此,該類方法成為最常用的深度融合方法。目前,學(xué)者們在基于深度圖的融合方法方面開展了大量的研究。Shen[9]首先計算出每個像素對應(yīng)的三維點,通過重投影將三維點重投影到鄰居影像上,比較三維點所對應(yīng)像素的深度值和三維點與影像的距離,并結(jié)合深度一致性篩選點云。劉怡光等人[13]提出一種基于置信度的方法來刪除密集點云中的冗余,該方法賦予每個三維點一個置信度,并在互為冗余的三維點中保留置信度最高的三維點。Liu等人[14]通過定義有限數(shù)量的虛擬視角,盡可能地減少密集點云的冗余并覆蓋全部場景,在虛擬視角上融合深度圖。

以上幾種方法至少在以下兩方面有待改進：一是,密集點云存在密度較大的問題;二是,密集點云存在較多噪聲和異常點。鑒于此,本文提出一種基于物方體素約束的深度圖融合方法,用于降低點云密度同時盡可能保證點云質(zhì)量。

1 本文方法

1.1 體素網(wǎng)格尺寸自適應(yīng)計算

多視影像進行深度圖融合時,針對現(xiàn)有大多數(shù)方法生成的密集點云的密度不可控問題,本文將在物方建立體素網(wǎng)格進行空間唯一性約束。體素尺寸是需要根據(jù)影像的地面分辨率來自適應(yīng)確定的。一般來說,影像地面分辨率越高,經(jīng)深度圖融合方法生成的點云越密集且質(zhì)量越高。本文依據(jù)影像地面分辨率構(gòu)建體素網(wǎng)格尺寸函數(shù)。

構(gòu)建體素網(wǎng)格尺寸函數(shù)時,首先應(yīng)計算影像地面分辨率。考慮到小孔成像原理導(dǎo)致圖像中不同區(qū)域的像素對應(yīng)的地面分辨率存在一定差異,因此本文將計算影像的平均地面分辨率作為體素網(wǎng)格尺寸函數(shù)中的影像地面分辨率。另外,為加快計算速度,本文將整幅影像劃分為多個子區(qū)域;然后在每個子區(qū)域中,隨機采樣1～3個像素坐標(biāo),并將其作為計算影像平均地面分辨率的采樣點。構(gòu)建體素網(wǎng)格尺寸函數(shù)的第二步是求解場景的地面分辨率并計算體素網(wǎng)格尺寸。①求解影像的地面分辨率。影像中所有采樣點的地面分辨率的平均值近似作為影像的地面分辨率;而采樣點的地面分辨率則以采樣點及其1階鄰居在物方的距離求和取平均。②計算體素網(wǎng)格尺寸。由于影像地面分辨率是影像中可識別地面物體的最小像素單元,體素網(wǎng)格尺寸不應(yīng)小于影像地面分辨率,因此以場景中所有影像的地面分辨率的平均值乘以一個系數(shù)作為體素網(wǎng)格尺寸,如式(1)所示。

(1)

其中,ds表示體素網(wǎng)格尺寸;α表示計算系數(shù);li表示影像的地面分辨率;n表示影像數(shù)量。注意,α值的大小將會直接改變體素網(wǎng)格尺寸進而影響深度圖融合生成的密集點云的密度和質(zhì)量。在保證點云質(zhì)量的前提下,建議α合理的范圍為1.0～2.0。

1.2 基于幾何特征約束的融合點確定

本文方法第二步是融合點的確定,與文獻[9]和文獻[15]方法類似,在深度一致性條件的基礎(chǔ)上,本文方法引入物方點空間距離、物方點法線夾角、重投影誤差等幾何特征約束條件。具體過程如下。

步驟1：依次將多視影像集合中的每張影像作為參考影像Iref,并確定其鄰居影像集Isrc。然后,遍歷計算參考影像中像素q對應(yīng)的三維點P,如圖1所示。

圖1 融合點計算示意圖

步驟3：多幾何特征約束判斷。本文利用物方點空間距離、物方點法線夾角、重投影誤差等幾何特征作為判斷條件,如式(2)所示,確定參考影像的像素q能否生成融合點P。

(2)

其中,d為像素q與像素q″在圖像坐標(biāo)系中的距離;dep1為像素q在參考影像Iref所對應(yīng)深度圖中的深度值;dep2為三維點P′相對于參考影像Iref的深度值;A(nq,nq′)為像素q與像素q′所對應(yīng)法線之間的夾角;D為三維點P與三維點P′之間的距離;θrad為像素q所對應(yīng)的地面分辨率。

1.3 基于物方體素約束的融合點篩選

通過1.2節(jié)生成的融合點集合仍存在密度大的問題,本文還需對融合點集進行篩選。融合點集合的密度大主要是由于鄰近影像間的重疊度較大,導(dǎo)致同一地物極有可能會被多張影像觀察到,因此在同一地物處可能會生成多個融合點。如圖2所示,I0、I1、I2、I3、I4分別表示五張鄰近的影像;虛線框G0、G1、G2分別代表不同的影像組,影像組中的參考影像分別為I1、I2、I3,其余影像作為鄰居影像;點P表示真實世界中的三維點,位于體素V中;P0、P1、P2分別代表由相應(yīng)影像組確定的融合點。理想情況下,P0、P1、P2三個點的坐標(biāo)值應(yīng)與P點相同,但由于誤差的存在,導(dǎo)致P0、P1、P2三個點無法與真實世界的三維點完全重合。從圖2可以看出,體素V中產(chǎn)生了多個融合點。

圖2 深度圖融合示意圖

為解決上述問題,本文引入入射角角度、物方點的歸一化互相關(guān)系數(shù)(normalized cross correlation,NCC)、重投影誤差等多個約束條件聯(lián)合構(gòu)建融合點權(quán)重函數(shù),僅保留體素中權(quán)重值最高的融合點并作為體素的代表點,權(quán)重函數(shù)如式(3)所示。

(3)

由于八叉樹是一種常用且高效的三維空間搜索的樹結(jié)構(gòu),因此,本文利用動態(tài)八叉樹查詢?nèi)诤宵c位于的體素節(jié)點并利用融合點的權(quán)重值進行篩選。具體步驟如下。

步驟1：創(chuàng)建包含根節(jié)點的八叉樹。遍歷融合點,定位其在八叉樹中的體素節(jié)點v。

步驟2：判斷體素節(jié)點v內(nèi)是否存在融合點Pv。若不存在,則將融合點P的空間坐標(biāo)、權(quán)重值以及顏色信息存儲在體素節(jié)點v中;若存在則進入步驟3。

步驟3：若體素v的尺寸大于1.1節(jié)中自適應(yīng)計算的體素網(wǎng)格尺寸,則將體素v進行劃分,停止條件分為兩種情況：①融合點P與融合點Pv位于劃分后的不同體素節(jié)點中;②劃分后的體素節(jié)點尺寸等于1.1節(jié)中計算的體素網(wǎng)格尺寸,同時比較融合點P與融合點Pv的權(quán)重值,保留權(quán)重值較高的融合點。若體素v的尺寸等于1.1節(jié)中自適應(yīng)計算的體素網(wǎng)格尺寸,則在融合點P與融合點Pv中保留權(quán)重值較高的融合點。

步驟4：判斷所有的融合點是否全部完成篩選。若完成,則收集所有體素節(jié)點中存儲的融合點及其相關(guān)信息,生成密集點云;否則繼續(xù)執(zhí)行上述步驟。

2 實驗驗證

2.1 實驗數(shù)據(jù)及環(huán)境

本文依托中國測繪科學(xué)研究院研制的傾斜攝影自動化三維建模軟件IMS,嵌入本文的深度圖融合方法,采用兩類傾斜影像數(shù)據(jù)集進行實驗。第一類數(shù)據(jù)集為滕州市某鎮(zhèn)駐地傾斜影像數(shù)據(jù)。數(shù)據(jù)集共有影像34 364張,每張影像的地面分辨率為0.03 m,整個測區(qū)重建范圍為8.62 km2,具體如圖3所示。第二類數(shù)據(jù)集為ETH3D公開數(shù)據(jù)集,它不僅提供數(shù)碼單反相機(digital single lens reflex camera,DSLR)拍攝的高分辨率圖像,而且還提供高精度激光掃描儀記錄的真實點云數(shù)據(jù)。實驗硬件環(huán)境為：處理器Inter(R) Core(TM) i9-10900X 3.70 GHz,顯卡NVIDIA GeForce RTX 3080,運行內(nèi)存128 GB。

圖3 實驗區(qū)域展示

本文將從密集點云的密度以及質(zhì)量兩方面進行效果驗證。由于本文方法是在Shen的深度融合方法[9]基礎(chǔ)上進行改進,Shen的方法已經(jīng)嵌入在OpenMVS中,因此本文方法的結(jié)果將與OpenMVS的結(jié)果進行對比分析。

2.2 密集點云密度定量分析

本文方法和OpenMVS方法都將PatchMatch方法生成的深度圖作為輸入,并在同一環(huán)境下進行實驗。從實驗數(shù)據(jù)中選取代表性區(qū)域(包含植被、道路、建筑等地物)進行實驗。

若實驗區(qū)域的所有深度圖進行一次性整體融合生成密集點云,則計算機內(nèi)存無法滿足計算需求,因此本文將實驗區(qū)域劃分為多塊子區(qū)域(子區(qū)域大小為155 m×155 m)然后分塊融合。此處,隨機取其中6塊子區(qū)域進行分區(qū)域融合,具體如圖3所示,然后統(tǒng)計密集點云密度。結(jié)果如表1所示。

表1 密集點云密度統(tǒng)計對比

從表1可以看出,本文方法生成的密集點云的密度在各個子區(qū)域均比OpenMVS方法要少。證明了本文方法能夠有效降低密集點云的密度。主要是因為OpenMVS方法在融合過程中并未對場景中同一位置處的融合點進行識別篩選;而本文方法采用物方體素約束,對場景中同一位置處的融合點進行識別篩選,從而大幅降低密集點云的密度。此外,在邊緣區(qū)域的密集點云數(shù)量減少較少,主要是因為該子區(qū)域位于整個場景的邊緣部分,影像數(shù)量及冗余度較少;而在中間區(qū)域,影像數(shù)量及冗余度較多,密集點云數(shù)量減少明顯。

2.3 密集點云質(zhì)量定量分析

為驗證本文方法生成的密集點云質(zhì)量,本文將從密集點云的精度、完整度兩個方面進行定量分析。點云精度被定義為重建點云集合中所有點到真實點云集合中最小距離的平均值。點云完整度被定義為真實點云集合中所有點到重建點云集合中的最小距離小于1.5倍點云精度的點云數(shù)在真實點云集合中的比重。本節(jié)采用ETH3D公開數(shù)據(jù)集進行點云質(zhì)量的對比分析。質(zhì)量對比結(jié)果如表2所示，courtyard數(shù)據(jù)集的密集點云展示如圖4所示。

表2 密集點云質(zhì)量統(tǒng)計對比

(a)真實激光點云數(shù)據(jù)

(b)OpenMVS生成的密集點云

(c)本文方法生成的密集點云圖4 courtyard數(shù)據(jù)集的密集點云展示

結(jié)合表2和圖4可以看出,①精度方面：本文方法生成的密集點云精度均比OpenMVS方法要高。主要是由于在深度圖融合過程中,OpenMVS方法只考慮深度差異作為約束條件,導(dǎo)致生成的密集點云中存在較多的噪聲和異常點;而本文方法通過引入多重幾何特征約束計算融合點,且在融合點的篩選過程中,利用權(quán)重值選出高質(zhì)量的融合點,因此密集點云中的噪聲和異常點較少。從圖4(b)、圖4(c)的整體以及局部細節(jié)中可以看出本文方法相對于OpenMVS方法噪聲和異常點減少較多。②完整度方面：本文方法生成的密集點云完整度均低于OpenMVS方法。這是由于本文方法所使用的約束條件較為嚴格,且通過物方體素約束進一步降低密集點云的密度,導(dǎo)致完整度稍微偏低。但從圖4可以看出,本文方法生成的密集點云仍能較好地保證地物結(jié)構(gòu)的完整度,且與OpenMVS方法所得結(jié)果并無太大差異。

3 結(jié)束語

現(xiàn)有基于深度圖融合的方法生成的密集點云還存在點云密度大且質(zhì)量參差不齊的問題。為此,本文提出一種基于物方體素約束的深度圖融合方法,通過物方體素約束降低點云密度,同時通過多個約束條件聯(lián)合構(gòu)建融合點權(quán)重函數(shù),剔除噪聲和異常點,提高點云質(zhì)量。通過實驗驗證及對比分析,得出結(jié)論如下：

(1)通過構(gòu)建物方體素網(wǎng)格,同時利用動態(tài)八叉樹方法,能夠有效地降低點云密度。與現(xiàn)有基于深度圖融合的方法相比,本文方法在點云密度方面整體平均減少58.27%。

(2)通過多個約束條件聯(lián)合構(gòu)建融合點權(quán)重函數(shù),能夠有效地剔除密集點云中的噪聲和異常點。與現(xiàn)有基于深度圖融合的方法相比,本文方法在點云精度方面提升44.75%。但在密集點云的完整度方面,與現(xiàn)有基于深度圖融合方法相比降低8.60%。

在多視影像建模流程中,建模的質(zhì)量和效率是兩個主要關(guān)鍵指標(biāo)。目前,本文方法能夠在有效降低密集點云密度的同時保證點云的質(zhì)量,但效率還有待提升。在未來研究中,重點將集中解決深度融合中的冗余計算問題,用于提高融合效率。