安平 陳星宇 鄧小寶 陳亦雷

（上海先進通信與數據科學研究院，新型顯示技術及應用集成教育部重點實驗室，上海大學通信與信息工程學院，上海 200444）

1 引言

近年來隨著消費者級掃描RGB-D 相機的興起，如Kinect、RealSense、iPhone-X 等，點云的數據獲取日益簡便。但是掃描設備所獲取的點云信息往往存在單視、遮擋、稀疏等問題，不利于點云的下游視覺任務，諸如點云分類［1-2］、點云目標檢測［3-4］，以及點云配準［5-6］等。同時，數字化人體已經成為增強現實、虛擬現實、混合現實等的重要內涵之一，對于存在衣物細節(jié)的人體數字化［7-9］已經在遠程社交、網上購物、機器人操作［10］等領域得到廣泛應用［11］。點云作為三維（3D）表示的基礎形式，在重建人體中有不可忽視的作用。人體點云補全是恢復結構信息的重要方法，但從3D 掃描設備中得到的人體初始點云往往受到多方面因素的影響，如性別、衣物、人種、體態(tài)等。這些因素相較于飛機、桌椅、汽車等剛性物體更加難以補全，并且由于數據集的限制以及技術困難，目前少有人體點云補全方法的報道。

現有3D 形狀補全方法主要可以分為兩類。一類是基于傳統(tǒng)對齊、曲面平滑等方法［12-13］，根據輸入的幾何特征重建3D 形狀。但傳統(tǒng)方法只適用于特定先驗信息如對稱性、表面法線和曲率等的點云進行一定程度的修補。另一類是基于深度學習的3D形狀補全方法［14-15］，根據其網絡結構的不同粗略地分為3D 卷積神經網絡（3D Convolutional neural network，3D-CNN）結構、多層感知機（Multilayer Perceptron，MLP）神經網絡結構?；谏疃葘W習的點云補全以單類物體的不完整點云作為輸入，可預測完整點云。本文方法也屬于深度學習方法一類，因此，下面將主要介紹深度學習方法。

隨著卷積神經網絡在圖像補全、圖像修復［16-17］等圖像處理領域的大獲成功，基于體素輔助的3D形狀補全將2D 卷積神經網絡引入三維的工作［18］中。近年來，基于該思想涌現出一批被廣泛運用的成果，如GRNet［19］、3D-EPN［20］等。但3D-CNN 存在無法解決點云不規(guī)則結構以及無序化問題，因此需要借助體素網格的輔助將無序化的點云映射入構建好的三維體素網格，并且利用3D-CNN 強大的獲取特征能力獲取點云的結構信息。還有如VRC［21］等工作通過基于變分自動編碼器的方法有效地捕捉到關聯性結構。此外，雖然3D-CNN 存在成熟的應用體系，但3D-CNN 的精細化取決于體素大小，而受制于顯卡算力，難以在更小的體素中進行3DCNN的計算是目前遇到的技術難點。

為了解決上述問題，自PointNet［22］出現之后MLP 神經網絡方法開始流行，通過使用大量MLP 網絡代替卷積操作解決點云的不規(guī)則結構以及無序化特性，使點云處理的各類任務得到統(tǒng)一標準。隨后涌現出大量基于MLP 的神經網絡的點云補全工作，如PCN［23］、FoldingNet［24］、TopNet［25］等。這些方法使用多層感知機簡單有效地提取點云特征，無需轉換的方式最大限度地保留了點云的空間特征，并通過多層點網的方式最大程度避免了結構信息損失，保留點之間的3D 關系。這些基于MLP 的生成類方法通過預測輸出點與真值的倒角距離（Chamfer Distance，CD）損失取得不錯的成效，但基于生成方法的點云不具備一一對應的關系，對于損失函數而言往往產生相異的對應點計算損失，不利于點云補全的表現。PMP++（Point Cloud Completion by Transformer-Enhanced Multi-step Point Moving Paths）［26］基于移動點云的方式完成，通過該方法提取輸入輸出兩個點云之間的詳細拓撲和結構關系并完成對點云的一一對應關系，但同時限制了其補全點云數量與輸入點云數相同，同時也給出了簡單的上采樣方式。此外還有一些工作［27-28］基于Transformer將一維語義信息的提取引入點云補全，通過將點云表示成為一組無序的點代理，并采用Transformer 的Encoder-Decoder 結構進行點云生成。這些工作豐富了特征提取方式，結合PointNet 可獲取更全面的點云結構信息。

目前關于人體點云補全的相關研究較少，分析原因主要是由于人體點云數據集的缺乏、人體點云重建的復雜性所致。但是對于下游的人體重建任務而言，人體點云補全能夠為其提供更完善的信息，從而獲得更好的重建效果，因此進行人體點云補全非常必要。鑒于基于生成方案對于復雜非剛性物體的補全存在點云離散問題，補全后的點云邊緣粗糙且出現大量孤立點集，本文基于點云遷移補全的方法進行人體點云補全。

本文提出一種由粗到精的人體點云遷移補全方法，并通過全局特征擴散及特征提取獲取全局特征信息，最后由多層感知機進行顏色預測。本文利用PMP++對于點云遷移重構的優(yōu)勢，提高了人體點云補全網絡的重構效果，并根據預測點位置結合輸入顏色信息進行顏色補全。本文創(chuàng)新性工作主要有：

1）針對人體點云補全任務，模擬真實環(huán)境創(chuàng)建帶有精細服飾人體點云補全數據集。

2）探索人體點云補全任務的有效方式，采用由粗到精優(yōu)化點云遷移網絡的上采樣。

3）為人體重建等下游任務，在原有的補全任務中加入顏色補全。

本文共分為四個部分。第一部分為引言；第二部分闡述本文提出人體點云補全網絡結構與具體實施方法；第三部分給出具體的實驗實施細節(jié)和結果比較；最后一部分是結論。

2 人體點云及顏色補全模型

本文基于THUman2.0［29］人體網格數據集，對人體模型泊松采樣獲取整體點云，由于泊松采樣僅能采樣大致數量的點云，對泊松采樣的點云最遠點采樣獲得統(tǒng)一點數的真值點云，對真值點云多方向采樣生成部分點云數據集。本文在該數據集上進行人體點云補全研究。

本文提出的基于點云遷移的人體點云補全方法整體框圖如圖1 所示，主要包括人體點云補全網絡（低分辨率人體補全模塊、高分辨率人體補全模塊）以及顏色補全網絡。其中人體點云補全網絡是通過引入低分辨率的粗略點云幫助網絡學習到更好的整體結構，并通過數據集中構建的部分輸入點云色彩信息，對人體點云的顏色信息進行預測。點云顏色預測采用關聯點云位置信息與部分輸入點云的顏色信息，通過補全網絡獲取稠密點信息并結合輸入端部分點云的顏色信息預測稠密點顏色；將部分點云顏色信息擴散到全局，并且通過特征提取升維，最后由多層感知機完成預測。下面，本文將詳細介紹該系統(tǒng)網絡結構的具體設計和使用的損失函數。

2.1 基于點云遷移的補全網絡設計

盡管基于生成的點云補全網絡在Completion3D、PCN 等數據集上大放異彩，但是該類網絡對于非剛性形狀重建具有更小約束，補全后的點云發(fā)散于真實表面前后，對具有復雜結構的人體容易形成粗糙表面。因此，本文選用了最新的點云遷移補全方案PMP++實現人體點云補全，在原有的結構基礎上通過多層次的網絡結構對人體點云進行預測。通過RPA（Recurrent Path Aggregation）模塊記憶先前路徑的信息和推斷每個點的下一個位置。與PMP++中的隨機上采樣相比，本文通過引入低分辨率的粗略點云幫助網絡學習到更完備的整體結構，能夠有效加強整體的約束，從視覺效果得到具有清晰邊緣的人體點云。

對于一個具有N個點的點云｛PI｝來說，點云遷移網絡僅能根據位移生成N個點輸出點云｛Po｝。PMP++對殘缺點云加入高斯噪聲增強輸入信息并完成點云上采樣，這種做法存在噪聲點不能完全代表原點云幾何結構并且相較于不添加噪聲的方法更容易出現人體表面的無規(guī)律毛刺，如圖2 所示。為了減輕該現象，本文提出了一種雙層網絡結構，如圖1 所示，使用第一層網絡獲取稀疏點云生成的粗略點云，同時為了不丟失完整的輸入信息，加入原點云的輸入細節(jié)，剩下的點使用噪聲點補齊。這樣的做法能夠在減少噪聲點輸入的同時引入了部分全局信息。從圖1 中看出，對于輸入的人體點云數據Pi（X，Y，Z，R，G，B），選取Pi1（X，Y，Z）輸入點云補全網絡，通過第一個補全網絡得到粗略點云Po1。對輸出的低分辨率人體Po1，結合輸入信息Pi1以及使用高斯噪聲點N(0，1)補齊構成高分辨率網絡的輸入。這樣做是為了在不影響輸入點云細節(jié)的同時添加全局信息，如果僅輸入低分辨率人體將不可避免地損失輸入點云的部分幾何信息。上述點云遷移補全的過程可用公式表示如下：

圖1 人體點云及顏色補全網絡結構Fig.1 Human point cloud and color complement network

圖2 PMP++與本文方法的區(qū)別Fig.2 The difference between PMP++and our method

其中P01為低分辨率人體點云，P02是高分辨率人體點云，Pi1為輸入點云的位置信息，Pi2為高分辨率人體網絡輸入，N(0，1)為高斯噪聲點，F1為粗略點云補全，F2為精細點云補全。

圖1是本文提出的人體點云及顏色補全網絡模型整體框架，網絡整體由低分辨率人體點云補全、高分辨率人體點云補全以及人體顏色補全三部分組成。人體點云補全網絡由多層PMD（point moving distances）點遷移模塊構成，每層PMD 模塊使用多層SA（Set Abstraction）模塊以及T（Transformer）模塊編碼，后通過RPA Recurrent Path Aggregation 循環(huán)路徑聚合模塊對特征先驗信息選擇性的記憶和遺忘。顏色補全網絡由多層FP（Feature Propagation）特征傳播模塊、SA（Set Abstraction）特征提取模塊以及MLPs多層感知機構成。

2.2 顏色補全模塊

對于上游點云補全網絡輸出的位置信息，結合輸入點云的RGB 信息進行顏色補全。參考點云補全的相關工作［21-23］，通過部分點云的位置信息將其位置上的顏色信息擴散到全部點云，然后對該信息進行基于Encoder-Decoder 結構的顏色重建。編碼器負責將輸入點云中的幾何信息匯總為特征向量。使用PointNet++［30］中多層SA（Set Abstraction）模型以及transformer進行特征提取及升維。該過程可以將6維全局特征在提升特征維度的同時不斷減少點數，通過多層FP（Feature Propagation）網絡來還原該點數得到原本位置的高維特征信息。利用該特征信息，通過一個多層感知機得到預測點云的顏色信息。顏色補全的過程可用公式表示如下：

其中Pdense為從部分輸入顏色信息擴散到全局點云的顏色信息，Pi為（X，Y，Z，R，G，B）部分輸入點云，Po2為預測稠密點位置（X，Y，Z），Pdense為全局稠密點顏色信息，Fdense為特征提取的高維點云顏色特征，Pcolor為預測顏色結果，Fp為特征擴散網絡，Sa為Set Abstraction 點云特征提取網絡，MLP 為一個多層感知機。

2.3 損失函數

由于倒角距離不能保證輸入輸出點云的一一對應關系，為了計算出其針對輸入的點P 與輸出點P'之間的距離，使用EMD（Earth Mover’s Distance）來學習滿足上述的約束排列φ：

以上只保證了點云的一一對應性，但是兩點之間的移動路徑仍然無法得到保證。為了使得該距離最小，引入網絡輸出中的移動距離ΔP最小化距離矢量，即所有位移向量之和最小。其損失函數如下：

通過引入該直接移動損失，有助于基本固化兩點之間的移動路徑，極大避免了由于不同路徑而導致的收斂緩慢，減少冗余移動決策，提高搜索效率。基于該思想本文可以得出點云補全網絡的總損失函數：

其中倒角距離（CD）遵循式（7）的符號定義，對形變使用CD損失以及EMD損失正則化，總損失函數在最小化對應點的倒角距離的同時最短化點的移動路徑。

2.4 評價指標

對于點云補全的評價主要指標為CD 距離，常用于計算生成點云與其真值之間的平均最短點距離。CD距離定義如下：

其中S1為預測稠密點云、S2為點云真值。CD 值越小表示點云補全的精度越高。CD 距離無需點云數量一致，因此本文使用CD 距離進行人體點云補全精度的評估。

3 實驗結果與分析

3.1 實驗實施細節(jié)

本文使用點云遷移網絡模型PMP++，該網絡的特征提取采用SA 與Transformer 組合的特征提取模塊，得到與輸入點數相同的高維特征，后通過RPA模型選擇性記憶和遺忘特征。輸入部分點云數為1024，重建稠密點云數為4096。

需要訓練包含低分辨率點云補全、高分辨率點云補全、點云顏色補全在內的端到端模型。其中訓練低分辨率點云補全使用1024 個部分點云得到相同點數的人體點云。用1024個部分點云、補全點云以及帶有高斯噪聲的2048 個相關點云訓練高分辨率補全網絡。對于顏色補全網絡，為了確保其不受補全網絡的影響，使用1024個顏色點云和4096個稠密點云位置進行訓練。本文實驗采用RTX 2080TI顯卡，使用Pytorch 1.10.1對網絡進行訓練。點云補全和顏色補全訓練的實驗參數設置如下：使用Adam優(yōu)化器進行初始化，訓練的批量大小為8，學習率為0.0001，學習速率為0.7，共訓練200個epoch。

3.2 人體點云數據集生成

為了訓練人體補全模型，本文使用THUman 2.0［28］的人體網格數據集，包含500 個由密集DLSR設備捕獲的高質量人體掃描。對于每次掃描提供3D模型。對該高清人體網格數據集進行泊松采樣，并且通過最遠點采樣最大限度地保持人體網格模型的細節(jié)特征。對于泊松采樣的10000左右個點云（泊松采樣存在點數波動），通過最遠點采樣4096個點構成人體稠密點云，其中包含526 張人體點云數據集。對這526 張點云圖，從UV 貼圖中獲取RGB信息。為解決由于人體數據集較小而在點云補全過程中出現的過擬合問題，本文提出了人體數據集的增廣方法：模擬對人體三維數據采樣的常規(guī)視點，即前后左右四個方向，生成2104 張訓練集以及測試集。本文選擇了包含衣物細節(jié)紋理的高清數據集，還原真實采樣環(huán)境。采用426 張進行訓練，100張進行測試及驗證。

3.3 補全結果及分析

在本小節(jié)中，將本文方法與基于生成類的點云補全方法PCN［22］、FoldingNet［23］、VRC［20］、TopNet［24］、ECG［31］、Cascade［32］以及遷移方法PMP++［25］這些近年來代表性方法進行比較，在創(chuàng)建的數據集上計算各種方法的倒角距離CD，結果如表1所示。

從表1 中可看出，本文的方法取得了最高的補全精度?；谏深惖狞c云補全方法PCN、Folding-Net、VRC、TopNet 在重建具有復雜人體姿態(tài)、性別、服飾的效果較差，其編解碼生成特性導致其無法做到輸入輸出端的一一對應，造成較大損失。本文提出的多層PMP++與原始非多層PMP++方法相比，補全精度也有明顯提升，說明在網絡輸入端添加全局信息的方式能夠幫助網絡減少由于添加噪聲而產生的非結構信息。與［25］中添加高斯噪聲點上采樣的方式相比，本文在保留原始部分點云輸入信息的同時加入低分辨率全局人體，有效解決了點云粗糙及非均勻問題。

表1 不同方法人體點云補全結果定量比較（更低的是更優(yōu)解）Tab.1 Quantitative comparison of human point cloud completion results with different methods（the lower is the better solution）

針對點云遷移網絡的優(yōu)化特性，本文通過實驗進一步證明所提出方法的效果。使用不同生成類補全網絡生成稠密點云，再利用點云遷移網絡的特性對其補全。表2比較了用不同編解碼方法提升點云分辨率與本文方法的CD 損失值，可見本文的方法優(yōu)于使用生成類網絡的上采樣方式。利用生成類點云補全方法其上采樣會造成原始點云結構性的丟失，而本文方法使用原始點云作為粗略點云模型可以獲取一一對應的點云結構信息。

表2 不同粗略點云的多層人體點云補全（更低的是更優(yōu)解）Tab.2 Multi-layer Human Point Cloud Completion with Different Coarse Point Clouds（the lower is the better solution）

圖3為不同方法人體點云補全結果的可視化比較，可見本文的方法對人體形狀有更準確的預測，而基于編碼方案在預測復雜人體結構時更容易存在邊緣模糊和斷肢的現象。通過網絡變形預測點云的FoldingNet方法對復雜人體的預測較差；PCN利用全連接層對全局潛在特征向量進行整個點云模型的直接輸出，所以在局部細節(jié)的地方存在著一定的分布不均勻和不平整的情況；TopNet 由于采用多個全連接層來分層聚合全局特征，使得網絡的參數量大，并且收斂速度慢，會存在一定的補全點云分布散亂的情況；VRC 變分關聯點云補全在修復人體過程中存在少量離散點云，無法預測完整的邊緣與整體形狀；而直接使用PMP++網絡在預測端缺少粗略約束，造成邊界模糊。與其他方法相比，本文方法能夠獲得更優(yōu)的細節(jié)特征及更平整的邊緣信息，在視覺效果上優(yōu)于其他方法，與真值（GT）最接近。

圖3 不同方法人體點云補全結果的視覺效果Fig.3 Comparison of qualitative results

3.4 消融實驗

為了進一步證明本文提出的由粗到精的網絡結構能夠提升點云補全的精度及效果，對有無該結構、有無部分點云與粗略補全點云的情況進行消融實驗。表3列出了三種設置的點云補全CD值：無該網絡結構的原始PMP++、缺失輸入信息的多層PMP++以及本文的方法。將本文的方法與表中前兩種消融方法比較，實驗證明對于輸入輸出分辨率相同的點云遷移補全方法而言，在補全點云時會損失部分輸入的結構信息，因此，本文的方法在精細化網絡中加入輸入點云，能夠提升點云補全的精度。

表3 消融實驗結果（更低的是更優(yōu)解）Tab.3 Human point cloud completion of rough point cloud with different methods（the lower is the better solution）

3.5 顏色結果分析

在該小節(jié)中實驗了兩種方式：點云位置及顏色的多任務同時補全，點云位置及顏色的分任務補全。實驗結果如圖4 所示，其中左圖為在經典網絡PCN 點云位置補全的基礎上加入顏色信息進行多任務補全結果，在原本的位置信息上加入對應顏色，同時訓練并平衡位置及顏色補全損失函數；右圖為本文提出的方法，在訓練時借助真值點位置信息補全顏色，在測試時輸入為補全網絡預測的人體稠密點云，結合輸入側的殘缺點云顏色信息進行預測。從圖4 中可以直觀地看出，在補全網絡中添加顏色補全往往導致更糟糕的位置補全以及偏向于平均的顏色，而本文采用分離位置信息與顏色信息的方法可以有效提升顏色預測的準確率。由此本文得出，對于點云補全的網絡不適合加入顏色信息進行同時預測。

圖4 顏色重建結果比較Fig.4 Comparison of color reconstruction results

4 結論

本文主要解決人體三維點云數據在采集過程中由于遮擋、視角等問題導致的殘缺點云修復問題。為此本文提出了一個基于點云遷移的多層人體補全網絡結構，使用由粗到精的方式構建遷移點云。與編解碼結構相比，使用更少的訓練次數，通過一對一的遷移模式完成；并且基于補全的位置和輸入的顏色信息進行顏色重建。在人體數據集上的點云補全結果與最先進的方法相比表現更好，并且在點云顏色重建上也取得了良好的效果。