汪子璐, 閆奕名

(哈爾濱工程大學(xué)信息與通信工程學(xué)院,黑龍江 哈爾濱 150001)

0 引 言

隨著虛擬現(xiàn)實和增強現(xiàn)實的發(fā)展,三維建筑模型在城市規(guī)劃、生態(tài)研究、災(zāi)害監(jiān)測等領(lǐng)域發(fā)揮著越來越重要的作用。機(jī)載LiDAR可以快速、實時地采集地物三維表面信息,因此航空掃描點云被廣泛運用于建筑物的三維重建[1-2]。然而,受地物遮擋與掃描路線等因素的影響,機(jī)載LiDAR點云中建筑物的立面通常存在缺失,所以許多研究只著力于重建出建筑物的屋頂結(jié)構(gòu)[3]。同時大多數(shù)現(xiàn)有的重建方法都以密集三角網(wǎng)格來表征光滑表面,復(fù)雜的網(wǎng)格模型忽略了城市建筑的平面性及立面關(guān)系[4-5]。因此,如何從稀疏、殘缺的建筑點云中重建出完整、水密的簡化建筑物模型十分具有挑戰(zhàn)性。

近年來,隱式神經(jīng)網(wǎng)絡(luò)被應(yīng)用到目標(biāo)三維形狀重建問題之中[6-8]。隱式表示能使用較小的內(nèi)存消耗將三維信息嵌入到神經(jīng)網(wǎng)絡(luò)中,因此能更好地建模出復(fù)雜建筑。然而,建筑物通常表現(xiàn)為屋頂、墻面等有強先驗形狀的結(jié)構(gòu),當(dāng)網(wǎng)絡(luò)應(yīng)用于稀疏、含噪的LiDAR點云時,重建出的網(wǎng)格模型往往具有不規(guī)則曲面,難以體現(xiàn)城市建筑的平面性。網(wǎng)格模型的大量面數(shù)也增加了對內(nèi)存空間的要求,導(dǎo)致模型的應(yīng)用場景受限。通常,通過對三角網(wǎng)格進(jìn)行簡化來解決這個問題[9-10]。然而迭代刪點、頂點聚類和邊折疊等簡化方法都致力于去除原始網(wǎng)格中的冗余面來簡化網(wǎng)格,如何在減少面數(shù)的同時充分描述出建筑的幾何形狀仍然是一個有待解決的問題。

本文提出了一種新的框架來從LiDAR點云重建出水密的輕量級網(wǎng)格模型。首先利用點-體素結(jié)合的特征提取網(wǎng)絡(luò)作為編碼器、占用概率譯碼網(wǎng)絡(luò)作為解碼器進(jìn)行預(yù)訓(xùn)練,從深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的隱式場中獲得建筑物密集網(wǎng)格模型;然后通過優(yōu)化網(wǎng)格模型中的平面分量與拓?fù)潢P(guān)系,生成簡化的網(wǎng)格模型。本文在蘇黎世建筑數(shù)據(jù)集上進(jìn)行了實驗,利用所提方法既能從稀疏、殘缺的LiDAR點云中生成完整的模型,又能高質(zhì)量地構(gòu)建建筑物的輕量級網(wǎng)格模型。

1 方 法

如圖1所示,首先對LiDAR點云進(jìn)行預(yù)處理,人工分離出單體建筑點云后再對其進(jìn)行重建。本文所提出的方法包括兩個主要的處理模塊:基于隱式表示的表面信息模塊和基于結(jié)構(gòu)感知的網(wǎng)格優(yōu)化模塊。具體內(nèi)容如下:

1.1 基于隱式表示的表面信息提取模塊

與需要離散化的顯示表示不同,隱式表示使用神經(jīng)網(wǎng)絡(luò)來逼近連續(xù)函數(shù),如式(1)所示,隱式表示將三維坐標(biāo)映射到0或者1,表示空間中的某一位置處于物體內(nèi)部還是外部,一旦該函數(shù)確定,那么一個目標(biāo)形狀就確定了。

f(x,y,z)→{0,1}

(1)

因此,為了更好地提取復(fù)雜建筑物的幾何信息,本文采用基于隱式表示的信息提取網(wǎng)絡(luò)。

圖1 網(wǎng)絡(luò)整體架構(gòu)

通過隱式神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)占用概率函數(shù)fθ(s,x)來擬合建筑表面。占用概率函數(shù)根據(jù)點是否在建筑物內(nèi)部標(biāo)識占用與否,這使得表面信息提取問題轉(zhuǎn)化為點的二分類問題。在訓(xùn)練過程中建立起點與隱式表示的映射關(guān)系來預(yù)測該點的占用概率,并以此逼近真值的占用函數(shù):

fθ(s,x)→[0,1]

(2)

其中,s為輸入點云的某一點,x為該點的特征向量。

如圖1所示,通過FPS (Farthest Point Sampling)將輸入點云下采樣至固定點數(shù)N,然后基于點-體素結(jié)合的幾何特征提取網(wǎng)絡(luò)提取到R×R×D維特征向量。其中點編碼器采用Res-PointNet,體素編碼器采用3D Unet。然后將該特征向量與查詢點坐標(biāo)共同輸入含有5個res block的占用譯碼模塊并推斷出各點的占用概率:

fθ(s,x)=g(dλ(s,x)),其中x=eα(s)

(3)

其中,α,λ分別參數(shù)化了編碼器和譯碼器模塊,g(x)是logit函數(shù),計算點s與建筑物表面的距離置信度作該點的占用概率。

圖2 兩種三維表示方法

如圖2所示,等值面fθ(s,x)=τ即是本文所提取到的建筑物幾何表面。

1.2 基于結(jié)構(gòu)感知的網(wǎng)格優(yōu)化模塊

如圖1所示,幾網(wǎng)格優(yōu)化模塊主要包含3步:(a)通過區(qū)域增長提取平面區(qū)域;(b)構(gòu)建并優(yōu)化平面區(qū)域的拓?fù)?(c)生成輕量級模型。

首先,區(qū)域增長的過程如下:選擇一個未分組的面作為初始平面,遍歷其k環(huán)鄰域面并比較它們的法線方向θ與距離d,合并方向、距離均相近的兩個面并使用PCA(Principal Components Analysis)擬合平面,直到不再具有符合條件的面。由此,每個面都被分配到一個區(qū)域中,最終得到一組平面區(qū)域。

其次,雖然在區(qū)域增長的過程中已經(jīng)建立起k環(huán)鄰域關(guān)系,但LiDAR點云中的噪聲會導(dǎo)致提取到的幾何信息不準(zhǔn)確,因此需要進(jìn)一步優(yōu)化拓?fù)?合并滿足共面條件的平面區(qū)域。合并平面區(qū)域的過程與區(qū)域增長類似:遍歷所有平面區(qū)域,尋找符合角度、距離關(guān)系的平面區(qū)域進(jìn)行合并。接著,根據(jù)平面區(qū)域的邊界鄰接關(guān)系,得到平面鄰接拓?fù)鋱DG,如式(4)。

G=(v,e)

(4)

式(4)中,節(jié)點v是平面的質(zhì)心,而e是連接兩節(jié)點的邊,節(jié)點相連即兩平面互為相鄰面。

最后,將最優(yōu)平面的選取問題轉(zhuǎn)化為二元線性規(guī)劃問題,把每個平面表示為二進(jìn)制變量Vi,通過最小化能量函數(shù)E來選擇最優(yōu)平面。目標(biāo)能量函數(shù)E為數(shù)據(jù)成本D、面覆蓋率F與模型復(fù)雜度C這3個能量項的加權(quán)和:

(5)

式(5)中,Nall是總面數(shù),Nc是候選平面所覆蓋的面的總數(shù),Aall是簡化后網(wǎng)格的表面積,Ai是該候選面的面積,Ac為該候選面與原始網(wǎng)格的并集面積,M是網(wǎng)格模型中邊總數(shù),當(dāng)邊ei兩側(cè)的面共面時c(ei)取0,反之取1。

2 實 驗

在本節(jié)中,進(jìn)行了兩個實驗來驗證本文所提方法的重建結(jié)果。首先,比較了2種典型重建方法與本文方法在蘇黎世數(shù)據(jù)集上的性能,以驗證本文所提框架的可行性。為了驗證所提框架可靠性,設(shè)計并分析了稀疏性與參數(shù)分析2組對比實驗。具體實驗內(nèi)容如下:

2.1 實驗數(shù)據(jù)集

為了訓(xùn)練和評估網(wǎng)絡(luò)框架,采用來自瑞士蘇黎世的LiDAR點云與相應(yīng)真值模型數(shù)據(jù),通過人工分離出單體建筑點云與真值模型。其中,LiDAR點云的密度為5pts/m2,點的水平和垂直位置精度分別為0.2m和0.1m,模型數(shù)據(jù)則為采用攝影測量法得到的LoD2模型。數(shù)據(jù)集中共470個建筑,訓(xùn)練集包含420個建筑,訓(xùn)練集50個建筑。這些建筑都具有良好的屋頂結(jié)構(gòu),而由于遮擋和LiDAR掃描角度的原因,建筑的立面只有部分可見,該數(shù)據(jù)集中的點云和真值模型如圖3。

2.2 實驗環(huán)境與網(wǎng)絡(luò)參數(shù)

訓(xùn)練的設(shè)備信息如下:Ubuntu18.04系統(tǒng),顯卡為NVIDIA RTX 2080Ti(11GB),CPU為Intel Xeon silver 4210(2.20GHz)。在整個網(wǎng)絡(luò)框架的參數(shù)設(shè)置上,使用了Adam優(yōu)化器,學(xué)習(xí)率設(shè)為1e-4,batch size為4,固定采樣2048個點,訓(xùn)練150個epoch,閾值τ設(shè)置為0.2,鄰域數(shù)量k取1,角度閾值設(shè)置為10°,距離閾值根據(jù)模型最小邊寬自適應(yīng)決定,λ1取0.47,λ2取0.23,λ3取0.30。

2.3 評價指標(biāo)

為全面評估重建結(jié)果的質(zhì)量,既采用隱式重建常用的三個指標(biāo)[6]:倒角距離(CD)、推土距離(EMD)、F分?jǐn)?shù)(F-score),又采用網(wǎng)格模型優(yōu)化常用的兩個指標(biāo)[5]:豪斯多夫距離(HD)、面數(shù)。其中CD,EMD,HD均是數(shù)值越小,表明重建模型越接近于真值,而F-score則相反。面數(shù)則是衡量輕量級模型質(zhì)量的指標(biāo)。

2.4 重建結(jié)果及分析

為評估所提方法重建模型的質(zhì)量,本文分別與隱式重建網(wǎng)絡(luò)POCO[8]和輕量級網(wǎng)格重建網(wǎng)絡(luò)Points2Poly(P2P)[5]兩種方法進(jìn)行了對比。POCO計算了每個點的潛在向量并推斷出各點在鄰域中的權(quán)重,來推斷各點的占用概率以完成重建;P2P則首先對點云進(jìn)行自適應(yīng)空間劃分生成候選集,然后利用隱式網(wǎng)絡(luò)推斷出各空間的占用概率,最后通過組合優(yōu)化提取到建筑物模型的表面。本文根據(jù)官方代碼在蘇黎世數(shù)據(jù)集上重建出建筑物模型,所有基于LiDAR點云的建筑物重建結(jié)果如圖3所示,定量評估結(jié)果如表1,表2所示。

圖3 POCO,P2P與本文所提方法所建模型的可視化結(jié)果

首先,POCO能從不完整LiDAR點云中重建出建筑物的正確形狀,并得到完整的密集網(wǎng)格模型。但模型存在表面凹凸不平、各面相交處趨于圓潤等問題,難以體現(xiàn)出建筑物表面的平面性與建筑物的棱角特征。P2P的重建結(jié)果則更為平滑,建筑物立面的交線也更明顯。

表1 建筑物重建結(jié)果

然而,由于P2P通過空間劃分進(jìn)行面的選擇,建筑物屋頂?shù)拇皯?、煙囪等結(jié)構(gòu)因體積小、距離近等因素,易被劃分到同一區(qū)間中,這使得屋頂結(jié)構(gòu)丟失。與這些方法相比,本文所提方法得到了完整、水密的輕量級模型,重建的形狀、細(xì)節(jié)結(jié)構(gòu)也更加準(zhǔn)確。

表2 圖3中(a)-(e)建筑物的重建結(jié)果,(x, y)中x為HD,y為面數(shù)

2.5 對比實驗

2.5.1 點云稀疏程度影響

在本節(jié)實驗中,測試了本文所提方法對不同點數(shù)LiDAR點云的可靠性。假設(shè)初始輸入點數(shù)為3000,逐漸減少點數(shù),得到如圖4所示的重建結(jié)果。輸入的LiDAR建筑物點云越密集,得到的重建模型表面越準(zhǔn)確。當(dāng)點數(shù)在70%以上時,基本能重建出建筑物的準(zhǔn)確模型,雖然側(cè)立面的小邊緣丟失,但屋頂部分受到的影響很少;當(dāng)點數(shù)在25%～75%時,屋頂?shù)慕Y(jié)構(gòu)逐漸丟失,建筑物整體結(jié)構(gòu)受屋頂部分的形變影響出現(xiàn)冗余面(增大距離閾值可減小冗余面影響);點數(shù)在25%以下時,雖然至少能粗略地重建出建筑物的形狀,但屋頂細(xì)節(jié)幾乎完全丟失。由此,當(dāng)點數(shù)在25%以上時均能重建出模型的整體結(jié)構(gòu),這也驗證了本文所提方法對稀疏的LiDAR點云的有效性。

圖4 點云稀疏度研究的可視化結(jié)果

2.5.2 能量函數(shù)參數(shù)分析

對優(yōu)化過程中能量函數(shù)的參數(shù)而言,在一定范圍內(nèi)不同的值會產(chǎn)生相同的結(jié)果。如圖5所示,三個參數(shù)中,λ1的值應(yīng)略高于λ2與λ3,因為數(shù)據(jù)擬合程度決定了優(yōu)化結(jié)果與原始網(wǎng)格模型的相似度。但若λ1與λ2的比值大于4,仍會影響優(yōu)化結(jié)果。

圖5 能量函數(shù)參數(shù)研究的可視化結(jié)果

3 結(jié) 語

本文針對機(jī)載LiDAR點云稀疏、殘缺等問題,提出了一個從LiDAR點云重建輕量級網(wǎng)格模型的框架。該架構(gòu)主要包括兩個模塊:基于隱式表示的表面信息提取模塊和基于結(jié)果感知的網(wǎng)格優(yōu)化模塊。表面提取模塊通過編碼器與譯碼器網(wǎng)絡(luò)學(xué)習(xí)并推斷建筑物目標(biāo)的占用概率函數(shù),并據(jù)預(yù)設(shè)閾值提取到建筑物表面;網(wǎng)格優(yōu)化模塊對平面區(qū)域的拓?fù)溥M(jìn)行分析和完善,最終重建出輕量級建筑模型。在蘇黎世建筑物數(shù)據(jù)集上,對本文提出的架構(gòu)進(jìn)行了驗證,實驗結(jié)果充分證明了所提方法既可以從不完整LiDAR點云中重建出完整輕量級模型,又在充分描述出建筑物幾何形狀與特征的同時保證了模型的水密性。