收稿日期：2023-04-18

DOI：10.19850/j.cnki.2096-4706.2023.21.031

摘" 要：三維重建的目的是將現(xiàn)實世界中目標物體的三維幾何信息以數(shù)字模型的形式儲存在計算機中。處理重建點云模型的方法有很多，其中深度學習方法是三維點云研究和處理的一種主流方法。然而這些方法由于點云數(shù)據(jù)結(jié)構(gòu)的特性束縛，一般采用離散化的方法進行處理，從而忽視了相鄰點數(shù)據(jù)之間的關聯(lián)，處理精度受限，無法達到要求。對相關問題進行研究后，采用點云深度學習神經(jīng)隱式場和點云插值上采樣方法對點云重建模型進行精細化修整，以便達到實際應用的標準。

關鍵詞：三維重建；深度學習；神經(jīng)隱式場；點云插值；上采樣

中圖分類號：TP391.4；TP18 文獻標識碼：A 文章編號：2096-4706（2023）21-0136-05

Refined 3D Reconstruction of Buildings Based on 3D Point Cloud Deep Learning Upsampling

LI Anqi1， ZHENG YAN2， WANG Bo2， CUI Xiaotong1

（1.School of Information and Control Engineering， Liaoning Petrochemical University， Fushun" 113001， China;

2.College of Sciences， Liaoning Petrochemical University， Fushun" 113001， China）

Abstract： The purpose of 3D reconstruction is to store the 3D geometric information of the target object in the real world in the form of digital models in the computer. There are many methods for reconstructing point cloud models， among which Deep Learning method is a mainstream method for 3D point cloud research and processing. However， due to the characteristics of point cloud data structure， these methods are generally processed by discretization method， which ignores the correlation between adjacent point data， and the processing accuracy is limited and can not meet the requirements. After studying the related problems， the point cloud Deep Learning neural implicit field and point cloud interpolation upsampling method are used to refine the trimming to meet the practical application standards.

Keywords： 3D reconstruction; Deep Learning; neural implicit field; point cloud interpolation; upsampling

0" 引" 言

近年來，伴隨著智慧城市的興起和數(shù)字城市的建設，人們對于建筑物三維重建模型的精細程度和細節(jié)特征的要求也在日益提升。隨著計算機視覺技術的迅猛發(fā)展，傳統(tǒng)的基于仿真軟件人工建立模型的三維重建技術已逐漸淡出人們的視野，基于光學儀器傾斜攝影或激光雷達采集數(shù)據(jù)并進行處理計算的深度學習三維重建已成為主流三維重建技術。然而，不管是通過激光雷達掃描還是傾斜攝影來進行重建，都會由于數(shù)據(jù)采集中遇到的噪聲和處理過程存在的誤差導致重建模型出現(xiàn)一些問題，例如幾何結(jié)構(gòu)錯誤、紋理信息丟失以及精度不夠等。這使得傳統(tǒng)方法得到的重建模型已經(jīng)逐漸無法滿足當下的研究和應用需求。因此，如何對重建模型進行精細化建模已經(jīng)成為一個研究熱點。

1" 相關工作

近年來，相關研究和應用都對三維重建的精細化程度提出了更高的需求，對三維重建精細化建模的研究也取得了一系列進展。這些研究主要包含兩個方面，一個是從重建方法和過程進行切入的研究，另一個則是利用深度學習等相關方法對重建模型進行精細化處理的研究。

對于精細化重建方法和過程切入的研究主要分為兩類。第一類是對重建算法進行優(yōu)化，以求降低噪聲，得到更精細的重建模型。Agarwal利用傾斜攝影圖片，采用先進的SFM（structure from motion）方法進行重建，但是所得密集點云模型含有大量噪聲和畸變[1]。Kazhdan提出了基于泊松方程的重建算法，該方法對噪聲和點云密度都有較好的魯棒性，但是對建筑物輪廓的重建效果不理想[2]。Zhang等人提出一種圓周二值特征提取與匹配搜索算法，對文化景觀進行三維重建[3]。第二類是針對噪聲和誤差的主要來源——傾斜攝影進行相關優(yōu)化，以提高重建模型的精細度。Lienard等人采用在特定空間位置進行密集圖像采集的方法來提高圖片特征匹配度，提高了重建模型的整體質(zhì)量[4]。閆利等對SIFT算法進行優(yōu)化，提出了基于幾何約束條件下的SIFT算法傾斜影響匹配[5]。項小偉等人采用ASIFT算法進行傾斜攝影圖像匹配，有效地提高了重建模型的精細度[6]。

利用深度學習方法對重建模型進行精細化處理的研究主要著手于對點云模型的精細化處理，涉及點云模型的配準和補全等處理。點云處理的開山之作是Qi提出的PointNet[7]和PointNet++[8]，該模型有效地解決了點云的無序性問題。Jiang等提出了一種局部隱式網(wǎng)格（Local Implicit Grid）的表述方式，主張利用三維物體局部特征所具有的相似性進行復雜模型的重建工作[9]。與以往方法相比，該方法沒有丟棄點云模型的局部特征，具有較好的泛化性，有效提高了點云稀疏重建模型的精細性。VRCNet提出一種變分關聯(lián)點云補全網(wǎng)絡，可以基于觀測到的不同的殘缺點云，結(jié)合關系性架構(gòu)推測生成合理而不同的完整點云，從而大大提升點云補全的質(zhì)量[10]。RePCD-Net提出了一種全新的特征感知遞歸點云去噪網(wǎng)絡，通過引入基于雙向RNN的多尺度特征聚合模塊和遞歸傳播層，并將每個點的特征平滑度合并到損失函數(shù)中，從而使得模型可以有效地去除噪聲，同時很好地保留各種幾何特征[11]。

2" 本文方法

為了解決建筑物點云重建模型精細化程度不夠的問題，本文提出一種基于3D點云深度學習連續(xù)隱式表示和點云插值的模型精細化處理方法。針對以往三維重建點云模型處理方法幾何結(jié)構(gòu)錯誤、對點云局部特征信息利用不充分的問題，本文提出3D點云連續(xù)隱式表示的方法來學習和提取點云模型局部特征信息并進行擬合處理；針對現(xiàn)有建筑物三維重建點云模型存在的紋理信息丟失以及精度不夠等問題，本文提出基于距離倒數(shù)法的點云插值方法來進行精細的上采樣工作，提高模型精細化程度。通過以上兩個模塊，采用深度學習的方法，在充分學習現(xiàn)有點云模型特征信息進行擬合的基礎上，對點云模型進行精細化處理，以提高點云模型的精細化程度。本文整體方法的流程圖如圖1所示。

2.1" 點云深度學習神經(jīng)隱式場模塊

本文點云深度學習神經(jīng)隱式場的具體算法流程如下：

1）給定輸入點云，為每個局部小塊構(gòu)建局部神經(jīng)隱式場。

局部神經(jīng)場：該步方法采用局部神經(jīng)場來描述底層的連續(xù)表面。輸入點云表示為 。將

作為中心點，將表面劃分為重疊的局部面片 。

在每個點xi處，3D局部面片pi同構(gòu)于2D參數(shù)域D ? R2（在實際應用中使用D = [-1，1]2），這意味著可以在它們之間構(gòu)建一個雙射映射：

（1）

其中 。

局部神經(jīng)場如圖2所示。

圖2" 局部神經(jīng)場示意圖

給定任意二維采樣點（ur， vr） ∈ D，可以計算 作為其對應的3D采樣點。類似地，對于任何3D點 ，我們可以計算其對應的2D坐標 。此外，我們可以計算點" 處的法向量a：，然后將其標準化為單位長度。

2）將局部神經(jīng)聚合在一起形成全局形狀。

該步方法需要將不同的曲面塊聚合在一起以獲得全局連續(xù)隱式，其公式為：

（2）

其中x為任意三維點，wk的計算依賴于x到各個小塊的距離。法向可以類似計算。這樣就獲得了全局連續(xù)隱式。

3）通過構(gòu)建的連續(xù)神經(jīng)表示，擬合出點云局部曲面，并進行初步上采樣。

點云采樣：該步方法在2D參數(shù)域D中均勻的采樣點，并將2D采樣點映射到3D局部塊上。具體來說，對于在每個中心點xi的附近采樣" 然后將這些點映射到3D為 。之后，從所有小塊采樣點的并集中進行均勻采樣。

4）損失函數(shù)：本文方法在每個中心點Xi的附近鄰居點云上提取深度特征，使其代表局部的幾何形狀。局部的神經(jīng)場則用MLP來實現(xiàn)，其輸入包括二維查詢點和局部形狀特征兩方面。本方法的損失函數(shù)設計了形狀約束，法向約束，還有使得聚合效果得到保證的聚合項。損失函數(shù)的公式如下：

（3）

其中，Lshape為形狀約束，Lnor為法向約束，Lint為聚合項損失。

將實景中的真實點云表示為 ，并將zl的法線表示為 。將框架生成的點云表示為：

（4）

式（4）中，i和R分別為二維域和三維域點的總個數(shù)。

將本模型重采樣的點表示為：

（5）

式（5）中，j和J分別為當前采樣次序及總采樣次數(shù)。

然后定義兩個點云P，Q之間的距離如下：

（6）

定義兩個點云P，Q之間的逐點法向量差為：

（7）

則具體地，Lshape的計算公式如下：

（8）

Lnor的計算公式如下：

（9）

Lint的計算公式如下：

（10）

逐項計算相加即可得到該模型的損失函數(shù)，然后對其進行訓練直到收斂即可。

2.2" 點云插值上采樣模塊

本文采用基于距離倒數(shù)法的點云插值模塊進行點云均勻上采樣。距離倒數(shù)插值法假設未知值的點受近距離已知點的影響比遠距離已知點的影響更大，其原理為：根據(jù)給定的數(shù)據(jù)點，計算出待插值點與數(shù)據(jù)點間的距離，然后根據(jù)距離的倒數(shù)作為權重對數(shù)據(jù)點進行加權平均。該算法的通用方程式為：

（11）

式中，Z0為點0的估計值，Zi為已知點i的Z值，di為已知點i到點0間的距離，s為估算中用到的已知點數(shù)目，k為確定的冪，表明局部影響的程度。k等于1.0意味著點之間數(shù)據(jù)變化率恒定不變，整體方法在此時等同于線性插值；k大于等于2.0則意味著越靠近已知點數(shù)值的變化率越大，而越遠離已知點時數(shù)值變動趨于平穩(wěn)。因此，該算法有一個十分顯著的特點，所有預測值都介于當前區(qū)域內(nèi)的最大值和最小值之間，是一種比較平均和光滑的插值方法。

距離倒數(shù)插值法的具體步驟如下：

1）計算待插值點和數(shù)據(jù)點的坐標。

2）計算待插值點與數(shù)據(jù)點間的距離。

3）計算距離的倒數(shù)作為權重。

4）對數(shù)據(jù)點進行加權平均，得到待插值點的值。

通過采用距離倒數(shù)法的點云插值模塊，可以對點云模型進行均勻的上采樣工作，從而得到密度均勻、質(zhì)量較高的網(wǎng)格化點云模型。

2.3" 重建效果評價指標

一般情況下研究人員采用以下性能指標來衡量三維重建算法的性能優(yōu)劣：點云準確度、點云完整度、F-Score等。

1）準確度。準確度是指重建后的三維點云在真值中可以匹配的像素點百分比。對于重建后的三維點云模型中任意一點Pp，如果滿足式（12）的條件，則該點具有良好的匹配性：

（12）

其中{Pg}為真值點云的集合，λ為與場景相關的參數(shù)，由數(shù)據(jù)集分配。對于比較大的場景，一般會將λ設置為較大的值。

2）完整度。完整度的計算公式與準確度類似，如式（13）所示：

（13）

3）F-Score。很多情況下完整度和精確度不可兼得，因此引入了一個新的綜合指標F-Score。F-Score是準確度與完整度的調(diào)和平均值，對小的數(shù)值敏感，因此不會使任何一個指標過度偏小。本文將F-Score設置為完整度與準確度的加權平均數(shù)。

3" 實驗環(huán)境與結(jié)果分析

3.1" 實驗環(huán)境及數(shù)據(jù)集

本實驗所使用服務器為8201G型號的專用GPU Server（GPU服務器），實驗操作系統(tǒng)為64位Ubuntu 18.04，CUDA版本為CUDA 10.2，硬件配置為Intel Xeon（R）Platinum 8160 CPU，內(nèi)存為250 GB，GPU為4張NVIDIA Tesla P100顯卡。

本實驗所使用的數(shù)據(jù)集為網(wǎng)絡開源數(shù)據(jù)集——中科院自動化研究所建筑物數(shù)據(jù)集，該數(shù)據(jù)集包括環(huán)繞航拍圖片及激光雷達掃描的點云數(shù)據(jù)（存在一定瑕疵）。本文實驗將這些圖片通過SFM（Structure from Motion，運動恢復結(jié)構(gòu)）算法進行三維重建所得的點云模型作為主要輸入，最終輸出為精細化重建后的點云模型，并將其與激光雷達掃描的點云數(shù)據(jù)進行對比。

3.2" 實驗結(jié)果及數(shù)據(jù)

本實驗采用中科院自動化研究所建筑物數(shù)據(jù)集，將該數(shù)據(jù)集按7：3的比例劃分為訓練集和測試集進行模型的訓練和測試。模型在數(shù)據(jù)集上進行多次迭代后收斂，其收斂曲線如圖3所示。

模型訓練收斂后，在測試集上進行了精細化重建的測試，并將精細化重建結(jié)果與其他三維重建方法結(jié)果從三個三維重建指標和直觀視覺兩個方面進行了對比，從定量和定性兩個方面驗證了本文方法的有效性和優(yōu)越性。

精細化三維重建結(jié)果與其他三維重建方法結(jié)果的三維重建指標對比如表1所示。

精細化三維重建結(jié)果與原數(shù)據(jù)集結(jié)果對比如圖4所示，其中左邊為原始數(shù)據(jù)集，右邊為精細化重建模型。

通過以上結(jié)果對比可以看出，本文方法修整后的精細化重建模型更加精細，具有更高的質(zhì)量，可以滿足更多的研究需求和應用場景。

圖4" 精細化重建結(jié)果與數(shù)據(jù)集數(shù)據(jù)對比圖

4" 結(jié)" 論

本文提出了一種基于點云深度學習的上采樣方法。該方法首先構(gòu)建點云深度學習神經(jīng)隱式場，尋找數(shù)據(jù)點間隱含的相互關聯(lián)關系，然后對各個點的神經(jīng)場進行聚合得到全局神經(jīng)場，并以此進行擬合，消除該點云模塊的孔洞和碎片問題；然后引入基于距離倒數(shù)法的點云插值模塊對點云模型進行均勻的上采樣，消除數(shù)據(jù)點密度不均勻的問題，最終得到精細化重建模型。通過對實驗的總結(jié)和結(jié)果分析，可以得出本文方法能夠進行目標建筑物的精細化三維重建，得到較高質(zhì)量的網(wǎng)格化點云模型。

參考文獻：

[1] AGARWAL S，YASUTAKA F，NOAH S. Building Rome in a day [J].Communications of the ACM，2011，54（10）：34-41.

[2] KAZHDAN M. Interactive and Anisotropic Geometry Processing Using the Screened Poisson Equation[J]. Acm Transactions on Graphics，2011，30（4）：1-10.

[3] ZHANG L，LIU L，CHAI B，et al. Multi-resolution 3D Reconstruction of Cultural Landscape Heritage Based on Cloud Computing and HD Image Data [J].Journal of Intelligent amp; Fuzzy Systems，2020，39（4）：5097-5107.

[4] LIENARD H. Concepts of Single Highspeed-camera Photogrammetric 3D Measurement Systems [J].Videometrics IX，2007，6491：657-664.

[5] 閆利，王紫琦，葉志云。顧及灰度和梯度信息的多模態(tài)影像配準算法 [J].測繪學報，2018，47（1）：71-81.

[6] 項小偉，胡海峰，廉旭剛.地面像片及低空環(huán)拍輔助傾斜攝影三維精細化重建 [J].中國礦業(yè)，2019，28（S1）：88-92.

[7] QI C R，SU H，MO K，et al. Pointnet：Deep Learning on Point Sets for 3d Classification and Segmentation [C]//In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu ：IEEE，2017：652-660.

[8] QI C R，YI L，SU H，et al. Point Net++：Deep Hierarchical Feature Learning on Point Sets in a Metric Space [C]//NIPS'17：Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook：Curran Associates Inc.，2017：5105-5114.

[9] JIANG C M，SUD A，MAKADIA A，et al. Local Implicit Grid Representations for 3D Scenes [J]. arXiv：2003.08981 [cs.CV].（2020-03-19）.https：//arxiv.org/abs/2003.08981.

[10] PAN L，CHEN X，CAI Z，et al. Variational Relational Point Completion Network [J]. arXiv：2104.10154 [cs.CV].（2021-04-20）.https：//arxiv.org/abs/2104.10154.

[11] CHEN H，WEI Z，LI X，et al. RePCD-Net：Feature-Aware Recurrent Point Cloud Denoising Network [J].International Journal of Computer Vision，2022，130：615–629.

作者簡介：李安琪（1996—），男，漢族，甘肅蘭州人，碩士研究生在讀，研究方向：計算機視覺、三維重建。