雷懂 宋俊鋒 葉振

摘?要：

隱式神經(jīng)網(wǎng)絡(luò)用于三維表面重建時(shí)，存在重建物體的結(jié)構(gòu)不準(zhǔn)確、表面缺乏局部細(xì)節(jié)等問(wèn)題，針對(duì)此問(wèn)題，文章提出了一種基于PRPNet（點(diǎn)云殘差編碼網(wǎng)絡(luò)）的三維表面重建方法。首先采用更深的網(wǎng)絡(luò)結(jié)構(gòu)且加入殘差模塊挖掘點(diǎn)云潛在的結(jié)構(gòu)信息，加入PointMateBase模塊，以增強(qiáng)局部細(xì)節(jié)表示能力；其次使用特征權(quán)重網(wǎng)絡(luò)獲取查詢點(diǎn)的占用概率；最后通過(guò)區(qū)域增長(zhǎng)的Marching?Cubes算法提取三維表面。實(shí)驗(yàn)結(jié)果表明，PRPNet模型在ShapetNet和Synthetic?Rooms數(shù)據(jù)集上的精度較DpConvONet模型相應(yīng)數(shù)據(jù)集上的精度分別提升了2.5百分點(diǎn)和2.6百分點(diǎn)，能夠有效提升三維表面重建性能。

關(guān)鍵詞：三維表面重建；隱式神經(jīng)網(wǎng)絡(luò)；點(diǎn)云；殘差模塊；PointMateBase模塊；特征權(quán)重網(wǎng)絡(luò)；Marching?Cubes算法

中圖分類號(hào)：TP391.41??文獻(xiàn)標(biāo)志碼：A

0?引言（Introduction）

三維重建是指從物體的二維圖像序列或三維點(diǎn)云，通過(guò)視覺(jué)算法恢復(fù)真實(shí)世界的三維場(chǎng)景結(jié)構(gòu)，在醫(yī)學(xué)成像［1］、自動(dòng)駕駛［2］和虛擬現(xiàn)實(shí)［3］等領(lǐng)域都有著廣泛的應(yīng)用。近年來(lái)，基于隱式神經(jīng)網(wǎng)絡(luò)的三維表面重建方法因具有計(jì)算簡(jiǎn)單、內(nèi)存消耗少等優(yōu)點(diǎn)而受到了廣泛關(guān)注。韓煌達(dá)等［4］提出了一種紋理推斷模型，該方法能夠重建接近真實(shí)紋理的三維表面，但是采樣方式復(fù)雜。CHABRA等［5］將點(diǎn)云劃分為多個(gè)局部體積塊后進(jìn)行編碼，可以提高重建精度，但是該方法無(wú)法提供全局特征約束。ERLER等［6］分別采樣局部點(diǎn)和全局點(diǎn)進(jìn)行特征提取以提高重建質(zhì)量，但是該方法重建三維表面的速度較慢。GROPP等［7］提出了一種隱式幾何正則化方法，讓重建的三維表面更加平滑，但是丟失了局部細(xì)節(jié)。

綜上，本文提出一種基于PRPNet的三維表面重建方法。首先采用更深的網(wǎng)絡(luò)結(jié)構(gòu)且加入殘差模塊挖掘點(diǎn)云潛在的結(jié)構(gòu)信息，同時(shí)加入PointMateBase模塊，以增強(qiáng)局部細(xì)節(jié)表示能力；其次利用特征權(quán)重網(wǎng)絡(luò)獲取查詢點(diǎn)的占用概率；最后通過(guò)區(qū)域增長(zhǎng)的Marching?Cubes算法［8］提取三維表面。實(shí)驗(yàn)結(jié)果表明，該方法在ShapeNet和Synthetic?Rooms數(shù)據(jù)集上能夠提升三維表面重建模型性能。

1?方法設(shè)計(jì)（Method?design）

本文基于隱式占用域?qū)崿F(xiàn)三維表面重建，其隱式函數(shù)表達(dá)式如下：

其中：[WTHX]p[WTBX]i表示輸入點(diǎn)云；[WTHX]θ[WTBX]表示隱式函數(shù)的矩陣參數(shù)；oi表示點(diǎn)云在三維空間中的占用概率；F表示多層感知機(jī)。

本文提出的基于PRPNet三維表面重建方法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。首先將預(yù)處理點(diǎn)云數(shù)據(jù)輸入由PRP?Abstraction模塊和Feature?Propagation模塊構(gòu)成的特征提取網(wǎng)絡(luò)中獲取點(diǎn)云特征；其次將鄰域特征與歸一化相對(duì)坐標(biāo)經(jīng)過(guò)多層感知機(jī)融合獲得相對(duì)特征后，利用特征權(quán)重網(wǎng)絡(luò)獲取查詢點(diǎn)的占用概率；最后通過(guò)區(qū)域生長(zhǎng)的Marching?Cubes算法提取連續(xù)的三維表面。

1.1?點(diǎn)云特征提取網(wǎng)絡(luò)

點(diǎn)云是表示三維對(duì)象的點(diǎn)集，每個(gè)點(diǎn)包含坐標(biāo)、法向量等信息，具有稀疏性、非結(jié)構(gòu)化、無(wú)序性等特性。可采用PointNet+[KG-*5]+等深度學(xué)習(xí)模型提取點(diǎn)云的空間結(jié)構(gòu)特征。由于PointNet+[KG-*5]+是一個(gè)較小的網(wǎng)絡(luò)，其編碼器僅包含2個(gè)分類架構(gòu)階段和4個(gè)分割架構(gòu)階段，每個(gè)階段僅包含一個(gè)Set?Abstraction模塊，因此提取的點(diǎn)云特征過(guò)于簡(jiǎn)單，導(dǎo)致三維表面重建精度較低。為此，本文基于分層抽取特征思想，采用更深層次的網(wǎng)絡(luò)結(jié)構(gòu)挖掘更多潛在的點(diǎn)云結(jié)構(gòu)特征，同時(shí)在每個(gè)階段的PointBase模塊之后添加殘差模塊防止梯度消失。

為更好地對(duì)點(diǎn)云進(jìn)行分析，LIN等［9］提出了PointMate元架構(gòu)，如圖2（a）所示，該結(jié)構(gòu)主要包含鄰域更新模塊、位置編碼模塊、鄰域聚合模塊及點(diǎn)更新模塊，其實(shí)現(xiàn)流程如下：

其中：n表示鄰域更新函數(shù)；e表示位置編碼函數(shù)；a表示鄰域聚合函數(shù)；p[KG-1mm]表示點(diǎn)更新函數(shù)；[SX（B-*2]。[][SX）]表示函數(shù)的復(fù)合；N（i）表示采樣點(diǎn)i的鄰域點(diǎn)云；[WTHX]f[WTBX]i[KG-1mm]表示采樣點(diǎn)特征向量；[WTHX]p[WTBX]i表示采樣點(diǎn)坐標(biāo)向量；[WTHX]f[WTBX]N（i）表示采樣點(diǎn)鄰域特征向量；[WTHX]p[WTBX]N（i）表示采樣點(diǎn)鄰域坐標(biāo)向量。本文通過(guò)對(duì)PointMate元架構(gòu)進(jìn)行分析，將其實(shí)例化為PointMateBase模塊，如圖2（b）所示。其中，將鄰域更新模塊位于K最近鄰分組前可帶來(lái)效率增益；位置編碼模塊采用Point?Transformer［10］中的顯式位置編碼實(shí)現(xiàn)，該編碼方式可以解決鄰域特征向量與相對(duì)位置向量維度不匹配的問(wèn)題；鄰域聚合模塊采用最大池化實(shí)現(xiàn)，使模型輕量化；點(diǎn)更新模塊采用多層感知機(jī)實(shí)現(xiàn)。本文將PointMateBase模塊用于殘差模塊，以增強(qiáng)局部細(xì)節(jié)表示能力，并進(jìn)一步提升點(diǎn)云特征提取網(wǎng)絡(luò)的性能。

本文設(shè)計(jì)的PRPNet點(diǎn)云特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，該網(wǎng)絡(luò)由PRP?Abstraction模塊和Feature?Propagation模塊構(gòu)成，其中PRP?Abstraction模塊由PointBase模塊、Residual模塊和PointMateBase模塊構(gòu)成，F(xiàn)eature?Propagation模塊由插值、特征拼接和多層感知機(jī)構(gòu)成。

1.2?特征解碼網(wǎng)絡(luò)

針對(duì)點(diǎn)云特征提取網(wǎng)絡(luò)獲得的點(diǎn)云特征向量，需要通過(guò)特征解碼網(wǎng)絡(luò)得到查詢點(diǎn)在空間中的占用概率。由于點(diǎn)云具有非結(jié)構(gòu)化特性，查詢點(diǎn)[WTHX]q[WTBZ]的特征與其鄰域有緊密關(guān)聯(lián)，因此本文聚焦于其鄰域特征與相對(duì)位置特征，通過(guò)特征權(quán)重網(wǎng)絡(luò)進(jìn)行推斷，特征解碼網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

1.3?三維表面提取

在得到查詢點(diǎn)在三維空間中的占用概率后，由于不能直接觀察到隱式三維結(jié)構(gòu)的表面，因此通常采用Marching?Cubes算法提取連續(xù)的三維表面進(jìn)行可視化。該方法首先根據(jù)設(shè)置的體素分辨率將三維空間劃分為等大小體素單元。其次計(jì)算體素單元每個(gè)頂點(diǎn)的占用概率，并將概率大于閾值的頂點(diǎn)標(biāo)記為占用狀態(tài)，反之標(biāo)記為空閑狀態(tài)。假設(shè)占用概率是連續(xù)變化的，當(dāng)一條邊的兩個(gè)頂點(diǎn)表示的狀態(tài)不同時(shí)，則認(rèn)為這條邊與重建表面存在一個(gè)交點(diǎn)。最后采用插值算法得到該點(diǎn)的坐標(biāo)信息，將所有交點(diǎn)相連生成重建的三維表面。

本文采用基于區(qū)域生長(zhǎng)的Marching?Cubes算法進(jìn)一步提高重建精度。為清晰地觀察重建表面的細(xì)節(jié)，同時(shí)不增加計(jì)算成本，本文將體素分辨率設(shè)置為128×128×128，然后從輸入點(diǎn)云中點(diǎn)的體素開(kāi)始，迭代添加符合占用條件的相鄰體素，直到形成完整的區(qū)域。

2?[JP5]實(shí)驗(yàn)結(jié)果與分析（Experimental?results?and?analysis）

2.1?數(shù)據(jù)集及預(yù)處理

ShapeNet數(shù)據(jù)集是由人工進(jìn)行標(biāo)注的大型三維模型庫(kù)，本文從該數(shù)據(jù)集選取飛機(jī)、板凳、柜子、汽車、椅子、顯示器、臺(tái)燈、揚(yáng)聲器、步槍、沙發(fā)、桌子、電話和輪船共13類物體進(jìn)行實(shí)驗(yàn)，共包含42?500個(gè)模型。Synthetic?Rooms數(shù)據(jù)集包含5?000個(gè)合成的三維場(chǎng)景，涵蓋客廳、辦公室等場(chǎng)景。

在數(shù)據(jù)預(yù)處理階段，本文采用與ConvONet等相同的策略對(duì)ShapeNet數(shù)據(jù)集和Synthetic?Rooms數(shù)據(jù)集進(jìn)行預(yù)處理。對(duì)于ShapeNet數(shù)據(jù)集，從每個(gè)類別的物體表面隨機(jī)采樣3?000個(gè)點(diǎn)作為輸入，并對(duì)輸入的點(diǎn)云數(shù)據(jù)進(jìn)行均值為0、標(biāo)準(zhǔn)差為0.005的高斯加噪處理。同時(shí)，隨機(jī)選取2?048個(gè)帶有占用率標(biāo)簽的查詢點(diǎn)，用于訓(xùn)練網(wǎng)絡(luò)預(yù)測(cè)其在空間的占用率；對(duì)于Synthetic?Rooms數(shù)據(jù)集，將隨機(jī)采樣點(diǎn)數(shù)增加到10?000個(gè)，將數(shù)據(jù)集劃分為80%的訓(xùn)練集、10%的測(cè)試集和10%的驗(yàn)證集。

2.2?評(píng)價(jià)指標(biāo)

為了定量評(píng)價(jià)本文算法的有效性，對(duì)于ShapeNet數(shù)據(jù)集和Synthetic?Rooms數(shù)據(jù)集，本文均采用交并比（IoU）、倒角距離（Chamfer?Distance，CD）、法線一致性（Normal?Consistency，NC）、F分?jǐn)?shù)（FS）4個(gè)指標(biāo)評(píng)估模型的重建性能。

交并比（IoU）：評(píng)估重建表面與真實(shí)表面之間的重疊程度，計(jì)算公式如下：

2.3?實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)環(huán)境如下：服務(wù)器操作系統(tǒng)為Ubuntu?20.04，Python版本為3.7.10，使用的深度學(xué)習(xí)框架為PyTorch?1.8.1，顯卡為Nvidia?GeForce?GTX?4070Ti。實(shí)驗(yàn)損失函數(shù)為二元交叉熵?fù)p失函數(shù)，BatchSize大小設(shè)置為16，學(xué)習(xí)率設(shè)置為0.001，Adam算法為模型參數(shù)優(yōu)化器，在全連接層后采用Dropout（設(shè)置為0.5），訓(xùn)練周期為100次，當(dāng)驗(yàn)證集損失值不再下降時(shí)，停止訓(xùn)練，防止發(fā)生過(guò)擬合。

2.4?特征提取網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

為證明本文提出的點(diǎn)云特征提取網(wǎng)絡(luò)PRPNet對(duì)三維表面重建的有效性，本文將ConvONet模型中的點(diǎn)云特征提取網(wǎng)絡(luò)PointNet分別替換為PointNet+[KG-*5]+、ASSANet、PointNeXt和PRPNet，并在ShapeNet數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。不同特征提取網(wǎng)絡(luò)下的三維表面重建性能如表1所示。表1中的結(jié)果表明，PRPNet應(yīng)用在ConvONet模型中均優(yōu)于其他點(diǎn)云特征提取網(wǎng)絡(luò)，其中與PointNet相比，PRPNet在交并比、倒角距離、法線一致性以及F分?jǐn)?shù)上分別提升了2.5百分點(diǎn)、0.6百分點(diǎn)、0.6百分點(diǎn)和2.1百分點(diǎn)，表明本文提出的PRPNet能夠有效改善表面重建效果。

2.5?模型實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文模型應(yīng)用在隱式三維表面重建中的優(yōu)勢(shì)，在相同的實(shí)驗(yàn)條件和數(shù)據(jù)集下，將本文模型與主流的隱式三維表面重建模型PointConv、ONet、ConvONet和DpConvONet進(jìn)行對(duì)比。首先采用交并比、倒角距離、法線一致性和F分?jǐn)?shù)4個(gè)評(píng)價(jià)指標(biāo)進(jìn)行定量分析；其次根據(jù)重建物體的視覺(jué)效果定性分析模型的性能優(yōu)劣。

2.5.1?ShapeNet數(shù)據(jù)集三維表面重建實(shí)驗(yàn)

定量分析：ShapeNet數(shù)據(jù)集三維表面重建結(jié)果如表2所示。其中，本文模型在交并比、倒角距離、法線一致性和F分?jǐn)?shù)指標(biāo)上均明顯優(yōu)于對(duì)比模型，表明本文方法重建的三維物體表面與真實(shí)表面之間的差距更小，重建質(zhì)量更好。

定性分析：ShapeNet數(shù)據(jù)集重建出的三維表面如圖5所示，由視覺(jué)效果可以看出，PRPNet模型生成的重建結(jié)果更加接近真實(shí)表面，而DpConvONet無(wú)法重建出結(jié)構(gòu)完整的三維表面，這也進(jìn)一步表明本文提出的基于PRPNet的三維表面重建方法在三維物體表面的重建任務(wù)中，重建精度更高，模型整體性能更好。

2.5.2?Synthetic?Rooms數(shù)據(jù)集三維表面重建實(shí)驗(yàn)

定量分析：Synthetic?Rooms數(shù)據(jù)集三維表面重建結(jié)果如表3所示。結(jié)果表明，本文模型的交并比、法線一致性和F分?jǐn)?shù)在所有模型中均是最高的且倒角距離最低，表明本文模型應(yīng)用在三維場(chǎng)景表面的重建任務(wù)中，性能更好。

定性分析：Synthetic?Rooms數(shù)據(jù)集重建出的三維表面如圖6所示。由可視化結(jié)果可以看出，相比于ConvONet和DpConvONet模型，PRPNet模型取得了最好的重建效果，重建出更為細(xì)致的表面。這是由于本文設(shè)計(jì)的PRPNet模型在點(diǎn)云特征提取時(shí)能夠更多地提取到語(yǔ)義信息，更充分地理解周圍環(huán)境，從而在三維場(chǎng)景表面重建中獲得不錯(cuò)的視覺(jué)效果。

3?結(jié)論（Conclusion）

針對(duì)隱式神經(jīng)網(wǎng)絡(luò)用于三維表面重建時(shí)，存在重建物體的結(jié)構(gòu)不準(zhǔn)確、表面缺乏局部細(xì)節(jié)等問(wèn)題，提出了一種基于PRPNet的三維表面重建方法。該方法首先采用更深的網(wǎng)絡(luò)結(jié)構(gòu)且加入了殘差模塊挖掘點(diǎn)云潛在的結(jié)構(gòu)信息，同時(shí)加入PointMateBase模塊，以增強(qiáng)細(xì)節(jié)表示能力。其次利用特征權(quán)重網(wǎng)絡(luò)通過(guò)鄰域特征進(jìn)行推斷查詢點(diǎn)的占用概率。最后通過(guò)區(qū)域增長(zhǎng)的Marching?Cubes算法進(jìn)一步提升重建精度。實(shí)驗(yàn)結(jié)果表明，PRPNet模型在ShapeNet和Synthetic?Rooms數(shù)據(jù)集上的重建精度較主流模型分別提升了2.5百分點(diǎn)和2.6百分點(diǎn)，能夠有效地提升三維表面重建模型性能。由于缺失點(diǎn)云會(huì)嚴(yán)重影響重建表面的質(zhì)量，后續(xù)將致力于研究使用更少的點(diǎn)云數(shù)據(jù)重建更高質(zhì)量的表面，進(jìn)一步提升三維表面重建模型的性能。

參考文獻(xiàn)（References）

［1］?李瑋琳，曾琪峰，李穎.?多模態(tài)醫(yī)學(xué)圖像外邊界點(diǎn)云數(shù)據(jù)實(shí)時(shí)配準(zhǔn)仿真［J］.?計(jì)算機(jī)仿真，2019，36（3）：248＼|251，417.

［2］?茍悅宬，鄧志堅(jiān)，黃成梁，等.?基于無(wú)人駕駛的點(diǎn)云數(shù)據(jù)處理與校園高精度地圖應(yīng)用［J］.?數(shù)字技術(shù)與應(yīng)用，2021，39（12）：29＼|32.

［3］?王瑜，曹大有.?虛擬現(xiàn)實(shí)場(chǎng)景圖像點(diǎn)云大數(shù)據(jù)展示仿真［J］.?計(jì)算機(jī)仿真，2023，40（3）：228＼|231，353.

［4］?韓煌達(dá)，張海翔，馬漢杰，等.?基于隱函數(shù)的三維紋理網(wǎng)格重建［J］.?計(jì)算機(jī)時(shí)代，2021（12）：1＼|5，9.

［5］?CHABRA?R，LENSSEN?J?E，ILG?E，et?al.?Deep?local?shapes：learning?local?sdf?priors?for?detailed?3D?reconstruction［C］∥MORTENSEN?E.?Proceeding?of?the?European?Conference?on?Computer?Vision.?Berlin：Springer，2020：608＼|625.

［6］?ERLER?P，?GUERRERO?P，?OHRHALLINGER?S，?et?al.?Points2Surf：Learning?implicit?surfaces?from?point?cloud?patches［DB/OL］.?（2020＼|07＼|20）?［2023＼|10＼|31］.?https：∥arxiv.org/abs/2007.10453.

［7］?GROPP?A，YARIV?L，HAIM?N，et?al.?Implicit?geometric?regularization?for?learning?shapes［C］∥KORNBLITH?S.?Proceeding?of?the?International?Conference?on?Machine?Learning.?Diego：ACM，2020：2640＼|2654.