趙毅強(qiáng)，周意遙，胡?彬，艾西丁，陳?瑞

基于特征融合的深度學(xué)習(xí)點云補(bǔ)全算法

趙毅強(qiáng)，周意遙，胡?彬，艾西丁，陳?瑞

(天津大學(xué)微電子學(xué)院，天津 300072)

由于激光雷達(dá)等三維掃描設(shè)備分辨率限制、目標(biāo)間的相互遮擋以及目標(biāo)表面材質(zhì)透明等問題，采集到的三維點云數(shù)據(jù)往往是不完整的．近年來，以數(shù)據(jù)驅(qū)動為主的深度學(xué)習(xí)方法逐漸被用于解決點云補(bǔ)全問題，然而，現(xiàn)有的點云補(bǔ)全算法致力于補(bǔ)全出原始目標(biāo)點云的整體拓?fù)浣Y(jié)構(gòu)而忽略了對于目標(biāo)點云局部細(xì)節(jié)位置的恢復(fù)．針對這一問題，提出了一種基于特征融合的深度學(xué)習(xí)點云補(bǔ)全算法，利用關(guān)系感知編碼器提取得到的點云鄰域分布特性和點云空間特征進(jìn)行融合并把點云映射為128維的潛在特征向量，接著通過樹狀解碼器將全局特征向量與局部特征向量進(jìn)行特征融合并分形輸出補(bǔ)全的點云預(yù)測．在開源數(shù)據(jù)集ShapeNet和KITTI上的仿真結(jié)果顯示，提出的點云補(bǔ)全算法在補(bǔ)全精度和可視化效果上相比于現(xiàn)有主流的點云補(bǔ)全算法均有了提升．在相互倒角距離指標(biāo)上，本文算法在飛機(jī)、汽車、椅子和桌子點云模型上分別減少了2.4%、2.5%、8.3%和6.2%；在單向豪斯多夫距離指標(biāo)上，本文算法在飛機(jī)、汽車、椅子和桌子點云模型上分別減少了2.1%、0.4%、0.8%和0.3%．最后，利用鐳神智能16線激光雷達(dá)實測點云數(shù)據(jù)進(jìn)行點云補(bǔ)全實驗驗證了所提出的點云補(bǔ)全算法的有效性，說明了在ShapeNet數(shù)據(jù)集中訓(xùn)練的點云補(bǔ)全網(wǎng)絡(luò)能夠很好地適用于激光雷達(dá)測量得到的稀疏點云數(shù)據(jù)．

三維點云；深度學(xué)習(xí)；補(bǔ)全算法；拓?fù)浣Y(jié)構(gòu)；特征融合

隨著三維掃描設(shè)備的不斷發(fā)展，具有空間坐標(biāo)信息的點云數(shù)據(jù)越來越容易獲取，并廣泛應(yīng)用到三維建模、自動駕駛及機(jī)器人路徑規(guī)劃等領(lǐng)域[1]．然而在點云數(shù)據(jù)采集過程中，由于設(shè)備分辨率的限制、物體間的相互遮擋以及物體表面透明材質(zhì)等問題的影響，采集到的點云數(shù)據(jù)往往是不完整的，這需要利用設(shè)備的移動進(jìn)行多視角采集并進(jìn)行點云拼接來還原目標(biāo)的點云數(shù)據(jù)，這增加了點云采集的工作量．因此如何利用數(shù)量有限的殘缺點云數(shù)據(jù)進(jìn)行點云補(bǔ)全恢復(fù)出原始的點云形貌成為了當(dāng)前點云處理算法的研究熱點，并對點云三維重建以及目標(biāo)的識別具有重要的研究價值[2]．

近年來，以數(shù)據(jù)驅(qū)動為主的深度學(xué)習(xí)點云補(bǔ)全算法廣泛用于點云補(bǔ)全問題．但是與傳統(tǒng)的二維圖像像素具有規(guī)則的排列方式不同，點云數(shù)據(jù)是一系列稀疏的三維空間點，并且具有排序不變性[3]，而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)要求規(guī)則的空間排布[4]．VoxelNet方法[5]嘗試將點云劃分為空間體素網(wǎng)格來模擬圖像的規(guī)則排列形式以將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于點云目標(biāo)探測，然而體素網(wǎng)格的方法會損失點云的細(xì)節(jié)特征，并且隨著體素網(wǎng)格分辨率的提高會顯著增加設(shè)備的內(nèi)存消耗．2017年，Qi等[6]提出了一種名為PointNet的網(wǎng)絡(luò)框架并利用共享全連接層直接對原始的點云數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)操作，能夠有效提取點云模型的空間關(guān)鍵點并最大化空間特征．Groueix等[7]在2018年提出了AtlasNet網(wǎng)絡(luò)，以共享全連接層的形式來提取點云的特征并重建出原始的點云模型．同年，Yang等[8]提出了一種共享全連接層與網(wǎng)格變形相結(jié)合的FoldingNet網(wǎng)絡(luò)來用于點云特征的提?。甕uan等[9]也在2018年提出了一種多尺度融合的點云補(bǔ)全網(wǎng)絡(luò)PCN來補(bǔ)全點云模型并能夠有效用于自動駕駛的實測點云數(shù)據(jù)．2019年斯坦福大學(xué)的Lyne等[10]提出了一種基于樹狀形式的點云補(bǔ)全網(wǎng)絡(luò)TopNet來恢復(fù)出缺失的點云部分，但是隨著樹層次的增加，網(wǎng)絡(luò)參數(shù)會顯著提高．在生成對抗式網(wǎng)絡(luò)(generate adversarial networks，GAN)[11]被提出以后，其被廣泛用于深度學(xué)習(xí)網(wǎng)絡(luò)來增強(qiáng)網(wǎng)絡(luò)的泛化性能．2017年P(guān)anos等[12]用實驗證明了利用GAN網(wǎng)絡(luò)生成點云的特征向量會比直接生成點云數(shù)據(jù)效果更好．基于Panos等的成果，Chen等[13]在2019年利用自編碼器與GAN相結(jié)合的網(wǎng)絡(luò)架構(gòu)進(jìn)行點云補(bǔ)全，具有較好的泛化性能．

綜上所述，現(xiàn)有深度學(xué)習(xí)均以共享全連接層的方式獨(dú)立地處理每個采樣點，再由最大池化層進(jìn)行特征提取，這忽視了點云的鄰域空間分布特性．同時，僅以全連接層將整個特征向量映射回點云空間的方式忽略了潛在特征空間的某些維度可能學(xué)習(xí)點云模型的某種特定空間拓?fù)浣Y(jié)構(gòu)．為了提高深度學(xué)習(xí)點云補(bǔ)全算法的性能，本文提出了一種基于特征融合的深度學(xué)習(xí)點云補(bǔ)全算法，此算法分為關(guān)系感知編碼器和樹狀解碼器兩個部分．關(guān)系感知編碼器將鄰域點的空間分布特征與原始的點云空間坐標(biāo)進(jìn)行融合，并利用多層特征拼接來將點云映射為潛在特征向量，樹狀解碼器通過潛在特征向量的局部特征與全局特征進(jìn)行融合來分形輸出補(bǔ)全的點云預(yù)測．在開源數(shù)據(jù)集和實測點云數(shù)據(jù)的補(bǔ)全實驗結(jié)果表明，本文提出的點云補(bǔ)全算法相比于現(xiàn)有主流的點云補(bǔ)全算法在補(bǔ)全精度和可視化效果上均有了較大提升．

1?基于特征融合的深度學(xué)習(xí)點云補(bǔ)全算法架構(gòu)

1.1?算法整體架構(gòu)

本文提出的基于特征融合的深度學(xué)習(xí)點云補(bǔ)全算法框架如圖1所示．

整個網(wǎng)絡(luò)架構(gòu)分為關(guān)系感知編碼器與樹狀解碼器兩個部分，關(guān)系感知編碼器將輸入點云的特征信息映射為潛在特征向量，樹狀解碼器將潛在特征向量進(jìn)行特征解碼并由4個葉子節(jié)點分形輸出補(bǔ)全點云．圖中每個方框上的數(shù)字代表張量的維度數(shù)，為點云的數(shù)量(如×3代表此張量共有兩個維度，第1個維度數(shù)為，第2個維度數(shù)為3)．整個網(wǎng)絡(luò)結(jié)構(gòu)共包含3種神經(jīng)網(wǎng)絡(luò)單元，分別為全連接層、共享全連接層和最大池化層．

1.2?關(guān)系感知編碼器

現(xiàn)有的深度學(xué)習(xí)點云補(bǔ)全算法研究中，常用編碼器獨(dú)立地提取原始點云中每個采樣點的特征信息而忽略了點云鄰域的局部空間分布關(guān)系，然而這些由點云鄰域點構(gòu)成的局部空間拓?fù)浣Y(jié)構(gòu)對于點云局部細(xì)節(jié)的表達(dá)至關(guān)重要．

圖1?基于特征融合的深度學(xué)習(xí)點云補(bǔ)全框架

1.3?樹狀解碼器

現(xiàn)有的點云補(bǔ)全網(wǎng)絡(luò)的解碼器直接使用全連接層來把整個潛在特征向量進(jìn)行特征解碼以輸出補(bǔ)全點云，這忽略了特征向量的不同維度可能會對應(yīng)不同的局部點云拓?fù)浣Y(jié)構(gòu)，這對于恢復(fù)點云的結(jié)構(gòu)細(xì)節(jié)至關(guān)重要．

為了解決這一問題，本文提出了一種新的樹狀解碼器并采用分形輸出的策略來有效融合潛在特征空間的全局特征和局部特征．如圖1紫框中的樹狀解碼器所示，樹狀解碼器共含有3層節(jié)點，包含1個根節(jié)點和4個葉子節(jié)點．樹狀解碼器將1×128維的潛在特征向量劃分為4個1×32維的張量，接著使用5個1層全連接層來分別處理這4個局部特征向量和全局特征向量，每一個全連接層均使用BN和ReLU操作．再將從全局特征向量提取到的1×256維的張量復(fù)制4次并分別與從局部特征向量提取到的特征張量進(jìn)行特征拼接．接著用4個2層全連接層(256個神經(jīng)元與1536個神經(jīng)元)分別處理這4個拼接好的特征張量并使用Tanh激活函數(shù)進(jìn)行非線性激活得到葉子節(jié)點的輸出．最后將各個葉子節(jié)點的輸出維度進(jìn)行調(diào)整并將點云片段拼接得到最終維度為×3的補(bǔ)全點云預(yù)測．

本文將傳統(tǒng)的基于全連接層直接輸出整個補(bǔ)全點云的基準(zhǔn)方法與樹狀解碼器輸出的點云進(jìn)行了對比．如圖2所示，基準(zhǔn)方法為使用全連接層將潛在特征向量直接映射回整個補(bǔ)全點云，總維度為2048×3．把2048個采樣點分為了4段并使用不同的顏色進(jìn)行了標(biāo)記，其中第1～512個采樣點為綠色，第513～1024個采樣點為藍(lán)色，第1025～1536個采樣點為紅色，第1537～2048個采樣點為黃色．由于基準(zhǔn)方法是將全局潛在特征向量進(jìn)行直接點云映射，可以看到輸出的分段補(bǔ)全點云在空間中分布散亂并且覆蓋整個點云空間，沒有將特定的局部拓?fù)浣Y(jié)構(gòu)映射到潛在特征向量的特定維度上．而本文算法采用樹狀解碼器將32維度的局部潛在特征與128維度的全局潛在特征進(jìn)行融合并分形輸出補(bǔ)全點云片段，4個葉子節(jié)點分別輸出512個采樣點，對應(yīng)的顏色分別為綠色、藍(lán)色、紅色和黃色．從圖2中可以看到，不同顏色的采樣點傾向于聚集在特定的局部空間結(jié)構(gòu)，比如椅子的扶手、飛機(jī)的機(jī)翼和桌子的腿部位置，這說明了樹狀解碼器能夠通過無監(jiān)督學(xué)習(xí)的方式將局部拓?fù)浣Y(jié)構(gòu)映射到潛在特征向量的特定維度，更好地表達(dá)點云的局部細(xì)節(jié)特征．

圖2?輸出點云空間分布

2?開源數(shù)據(jù)集點云補(bǔ)全結(jié)果

2.1?實驗設(shè)置

本文提出的點云補(bǔ)全算法將與PointNet[6]、FoldingNet[8]、PCN[9]、TopNet[10]和UPCC[13]這5種主流的深度學(xué)習(xí)補(bǔ)全算法進(jìn)行對比．其中PointNet[6]為第一個使用共享全連接層處理點云數(shù)據(jù)的深度學(xué)習(xí)框架，利用多層全連接層直接將潛在特征向量進(jìn)行整體點云輸出．FoldingNet[8]在共享全連接層提取點云特征的基礎(chǔ)上加入了網(wǎng)格變形模塊，利用二維網(wǎng)格的折疊組合來輸出補(bǔ)全點云．PCN[9]使用多尺度的操作來提升點云補(bǔ)全的性能，首先輸出512個采樣點進(jìn)行補(bǔ)全精度計算，再通過網(wǎng)格變形操作輸出2048個采樣點得到最終的輸出補(bǔ)全點云．TopNet[10]采用多個全連接層相結(jié)合的方式來聚合多層全局特征并輸出補(bǔ)全點云．UPCC[13]采用共享全連接層與GAN網(wǎng)絡(luò)相結(jié)合的方式進(jìn)行補(bǔ)全點云的輸出，通過兩階段訓(xùn)練以提升補(bǔ)全網(wǎng)絡(luò)的泛化性能．實驗設(shè)置主要分為數(shù)據(jù)集、實施細(xì)節(jié)、損失函數(shù)和評價指標(biāo)4個方面．

2.1.1?數(shù)據(jù)集

本文利用大型開源數(shù)據(jù)集ShapeNet[15]和KITTI[16]進(jìn)行點云補(bǔ)全算法仿真實驗．ShapeNet數(shù)據(jù)集是一個規(guī)模較大的三維形狀數(shù)據(jù)集，用于計算機(jī)圖形學(xué)、機(jī)器人學(xué)和計算機(jī)視覺等領(lǐng)域，由斯坦福大學(xué)和芝加哥豐田學(xué)院于2015年聯(lián)合發(fā)布，共包含55個常見類別的物品種類．KITTI數(shù)據(jù)集是由德國卡爾斯魯厄理工學(xué)院和美國豐田技術(shù)研究院于2013年聯(lián)合發(fā)布，是目前世界上最大的自動駕駛場景下的算法評測數(shù)據(jù)集，用于立體圖像、光流、3D物體檢測等領(lǐng)域，每張圖像包含最多達(dá)15輛車和30個行人，并帶有各種程度的目標(biāo)遮擋和阻斷．

2.1.2?實施細(xì)節(jié)

在仿真實驗中，將ShapeNet數(shù)據(jù)集用于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練和測試，KITTI數(shù)據(jù)集由于沒有完整的目標(biāo)點云進(jìn)行補(bǔ)全精度計算，因此僅用于補(bǔ)全算法的性能測試并進(jìn)行可視化分析．本文選用飛機(jī)、汽車、椅子和桌子4種模型用于仿真實驗，其中桌子模型包含8443種形狀、汽車模型包含7497種形狀、椅子模型包含6778種形狀、飛機(jī)模型包含4045種形狀．所有的點云模型均歸一化到－0.5～0.5的范圍內(nèi)，對每一種類別單獨(dú)訓(xùn)練補(bǔ)全網(wǎng)絡(luò)，并且將80%的模型用于訓(xùn)練、10%的模型用于驗證、10%的模型用于測試．

本文算法使用Pytorch框架進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，利用Adam優(yōu)化器在NVIDIA Geforce 2080 Ti GPU上對每個類別的點云進(jìn)行300輪的訓(xùn)練，訓(xùn)練批次為32，學(xué)習(xí)率設(shè)置為0.0001，鄰域的數(shù)量為10，保存在驗證集上效果最好的模型參數(shù)用于測試．

2.1.3?損失函數(shù)

在網(wǎng)絡(luò)訓(xùn)練過程中，使用相互倒角距離(chamfer distance，CD)[17]作為損失函數(shù)，相互倒角距離度量了兩個點云模型1和2中相互之間最為接近采樣點的平均距離，和分別為點云模型中采樣點的三維坐標(biāo)，倒角距離越小說明網(wǎng)絡(luò)補(bǔ)全性能越好．倒角距離的計算公式為

2.1.4?評價指標(biāo)

本文使用相互倒角距離和單向豪斯多夫距離(unidirectional Hausdorff distance，UHD)[13]作為補(bǔ)全精度的評價指標(biāo)．單向豪斯多夫距離度量了補(bǔ)全點云與原始?xì)埲秉c云之間的保真度，其計算了殘缺點云中各點與補(bǔ)全點云中各點最小距離的最大值，計算公式為

為了更好地說明網(wǎng)絡(luò)的泛化性能，所有補(bǔ)全網(wǎng)絡(luò)的輸出點云的倒角距離計算僅在測試集上進(jìn)行．同時，本文對補(bǔ)全的點云預(yù)測進(jìn)行可視化，以觀察補(bǔ)全后的點云形狀，進(jìn)行定性分析．

2.2?ShapeNet數(shù)據(jù)集評估

在ShapeNet數(shù)據(jù)集上的相互倒角距離和單向豪斯多夫距離統(tǒng)計如表1和表2所示．從表中可以看出，本文提出的補(bǔ)全算法在4個點云模型中均取得了最高的補(bǔ)全精度，在相互倒角距離指標(biāo)上，本文算法在飛機(jī)、汽車、椅子和桌子點云模型上相比于其他主流算法中精度最高的PCN[9]分別減少了2.4%、2.5%、8.3%和6.2%；在單向豪斯多夫距離指標(biāo)上，本文算法在飛機(jī)、汽車、椅子和桌子點云模型上相比于其他主流算法中精度最高的PointNet[6]分別減少了2.1%、0.4%、0.8%和0.3%．可以看出，在具有更多細(xì)節(jié)結(jié)構(gòu)的桌子和椅子點云模型上本文算法補(bǔ)全性能提升更為明顯．

表1?點云補(bǔ)全相互倒角距離

Tab.1?Mutual CD of point cloud completion

表2?點云補(bǔ)全單向豪斯多夫距離

Tab.2?UHD of point cloud completion

4種點云模型補(bǔ)全的可視化結(jié)果如圖3所示，從補(bǔ)全精度和可視化結(jié)果可以看出，PointNet[6]和PCN[9]具有較高的點云補(bǔ)全精度，并且在一定程度上恢復(fù)出點云的局部細(xì)節(jié)．但是由于這兩種方法都是利用全連接層對全局潛在特征向量進(jìn)行整個點云模型的直接輸出，所以在局部細(xì)節(jié)的地方存在著一定的分布不均勻和不平整的情況．FoldingNet[8]通過網(wǎng)格變形操作來形成點云的空間結(jié)構(gòu)，從圖3中可以看出，其輸出的點云模型存在一定的網(wǎng)格扭曲痕跡，并且對于尖銳的結(jié)構(gòu)難以有效補(bǔ)全，往往以面陣形式形成補(bǔ)全點云的結(jié)構(gòu)，這使得FoldingNet[8]的補(bǔ)全精度不高．TopNet[10]由于采用多個全連接層來分層聚合全局特征，使得網(wǎng)絡(luò)的參數(shù)量大，并且收斂速度慢，會存在一定的補(bǔ)全點云分布散亂的情況．UPCC[13]采用生成對抗式網(wǎng)絡(luò)的形式進(jìn)行點云補(bǔ)全，在訓(xùn)練過程中使用鑒別器來判斷輸入點云是生成器生成的點云還是真實的輸入點云，這使得網(wǎng)絡(luò)能夠更廣泛地應(yīng)用于更多不同形狀的殘缺點云補(bǔ)全處理，但是對于點云的局部細(xì)節(jié)補(bǔ)全效果有限，補(bǔ)全精度有待提高．與其他點云補(bǔ)全算法相比，本文提出的點云補(bǔ)全算法能夠恢復(fù)出更多的細(xì)節(jié)特征(比如桌子和椅子的腿部位置以及機(jī)翼位置)，點云補(bǔ)全效果相比于其他算法更加合理并且與輸入點云更加一致，這說明了本文算法能夠提升點云補(bǔ)全網(wǎng)絡(luò)的性能．

圖3?ShapeNet數(shù)據(jù)集點云補(bǔ)全可視化

2.3?KITTI數(shù)據(jù)集評估

由于KITTI數(shù)據(jù)集沒有完整的汽車點云數(shù)據(jù)來計算點云補(bǔ)全的精度，因此對于KITTI數(shù)據(jù)集中的激光雷達(dá)汽車點云數(shù)據(jù)，僅展示補(bǔ)全可視化結(jié)果．本文利用VoxelNet網(wǎng)絡(luò)[5]對自動駕駛場景點云數(shù)據(jù)進(jìn)行了汽車目標(biāo)提取，將在ShapeNet數(shù)據(jù)集的汽車點云模型上訓(xùn)練好的補(bǔ)全網(wǎng)絡(luò)用于預(yù)測激光雷達(dá)采集得到的汽車點云補(bǔ)全．KITTI數(shù)據(jù)集上的點云數(shù)據(jù)更加稀疏并且空間分布呈現(xiàn)各向異性，這與ShapeNet數(shù)據(jù)集的三維點云模型數(shù)據(jù)分布存在一定的差異，因此能夠很好地驗證補(bǔ)全網(wǎng)絡(luò)的泛化性能．

本文對兩種不同汽車朝向的場景點云進(jìn)行目標(biāo)提取和點云補(bǔ)全，所有對比算法的補(bǔ)全結(jié)果如圖4和圖5所示，利用VoxelNet目標(biāo)識別網(wǎng)絡(luò)提取的車輛點云在綠色三維包圍框內(nèi)，每個場景分別選取2輛汽車進(jìn)行點云補(bǔ)全．從圖中可以看出，F(xiàn)oldingNet[8]、TopNet[10]和UPCC[13]的補(bǔ)全輸出結(jié)果具有一定的外形缺陷，而本文提出的補(bǔ)全算法與PointNet[6]和PCN[9]相比能夠更好地恢復(fù)出汽車點云的整體形貌并且補(bǔ)全的點云分布更為均勻，同時補(bǔ)全出的汽車點云與可見光圖像中實際的汽車外形最為接近．對KITTI數(shù)據(jù)集中的自動駕駛掃描車輛點云的補(bǔ)全結(jié)果說明了本文算法與現(xiàn)有主流點云補(bǔ)全算法相比提升了點云補(bǔ)全的性能，并且補(bǔ)全結(jié)果具有更高的保真度，能夠適用于不同朝向的汽車點云補(bǔ)全．

圖4?KITTI數(shù)據(jù)集點云補(bǔ)全可視化(場景1)

圖5?KITTI數(shù)據(jù)集點云補(bǔ)全可視化(場景2)

2.4?消融實驗

為了證明本文提出的網(wǎng)絡(luò)模塊能夠提升點云補(bǔ)全的精度，在汽車點云模型上對不同網(wǎng)絡(luò)模塊的有無進(jìn)行了消融實驗探究．在關(guān)系感知解碼器中，有鄰域向量模塊和多層連接模塊；在樹狀解碼器中，有通道連接模塊和樹狀分形輸出模塊．對于前3種?？?，分別將其去除來訓(xùn)練網(wǎng)絡(luò)以計算補(bǔ)全精度(相互倒角距離)；對于樹狀解碼器輸出模塊，將其替換為基準(zhǔn)的全連接層輸出模塊．消融實驗的補(bǔ)全精度如表3所示，從表3中可以看出，去掉補(bǔ)全網(wǎng)絡(luò)的每一種模塊均會使得補(bǔ)全精度降低，當(dāng)所有模塊均存在時，補(bǔ)全網(wǎng)絡(luò)取得了最高的補(bǔ)全精度，這證明了本文所提出的網(wǎng)絡(luò)模塊在點云補(bǔ)全任務(wù)中均有所貢獻(xiàn)．

表3?消融實驗補(bǔ)全精度

Tab.3?Completion precision of ablation study

3?實測點云補(bǔ)全結(jié)果

3.1?實驗掃描平臺

本文采用鐳神智能C16系列機(jī)械式激光雷達(dá)采集實測場景點云數(shù)據(jù)．圖6為所使用的激光雷達(dá)，選用的波段為905nm，測距方式為脈沖式測距，雷達(dá)外殼內(nèi)共安裝16對固定在軸承上的激光發(fā)射與接收裝置，通過內(nèi)部的旋轉(zhuǎn)電機(jī)以一定的轉(zhuǎn)速進(jìn)行360°旋轉(zhuǎn)掃描以得到場景點云數(shù)據(jù)．雷達(dá)的旋轉(zhuǎn)頻率為10Hz，垂直方向以2°的分辨率覆蓋30°的視場大小，水平方向以0.18°的分辨率覆蓋360°的視場大?。?/p>

圖6?C16系列激光雷達(dá)

3.2?實測點云補(bǔ)全結(jié)果

圖7為室內(nèi)掃描場景以及對應(yīng)的點云補(bǔ)全可視化圖，可以看到掃描到的目標(biāo)點云空間分布非常稀疏并且單個目標(biāo)含有的點云數(shù)量少且殘缺程度大．本文選取了實測點云中的椅子點云和桌子點云分別進(jìn)行補(bǔ)全實驗，補(bǔ)全可視化結(jié)果如圖7(c)所示，從圖7中可以看出，雖然實測點云分布非常稀疏并且殘缺程度大，但是本文算法依舊能夠獲得最好的補(bǔ)全性能，并且補(bǔ)全結(jié)果與實際形狀最為接近．通過激光雷達(dá)實測點云數(shù)據(jù)的補(bǔ)全實驗驗證了本文提出的基于特征融合的點云補(bǔ)全算法能夠有效提升點云補(bǔ)全性能，并且可以很好地用于由激光雷達(dá)掃描獲得的稀疏點云數(shù)據(jù)．

圖7?激光雷達(dá)實測點云補(bǔ)全可視化

4?結(jié)?論

本文主要對三維點云數(shù)據(jù)獲取過程中由于采集設(shè)備分辨率受限和目標(biāo)間的相互遮擋等情況存在而導(dǎo)致的點云殘缺問題進(jìn)行了研究，針對現(xiàn)有深度學(xué)習(xí)點云補(bǔ)全網(wǎng)絡(luò)無法恢復(fù)出細(xì)節(jié)特征的問題提出了一種基于特征融合的深度學(xué)習(xí)點云補(bǔ)全算法．本文算法可以有效地將殘缺點云輸入進(jìn)行高保真的形狀補(bǔ)全，這可以減少在實際點云采集過程中需要進(jìn)行多視角的點云采集和拼接來還原目標(biāo)的三維形貌而帶來的額外工作量．本文算法還可以與實際應(yīng)用的自動駕駛目標(biāo)檢測算法相結(jié)合，利用目標(biāo)檢測算法檢測出車輛目標(biāo)的三維包圍框后提取車輛的殘缺點云數(shù)據(jù)并進(jìn)行形狀補(bǔ)全來還原完整的車輛信息．大型開源數(shù)據(jù)集ShapeNet和KITTI的補(bǔ)全實驗以及實測激光雷達(dá)點云數(shù)據(jù)的補(bǔ)全實驗結(jié)果表明：

(1) 本文提出的基于特征融合的深度學(xué)習(xí)點云補(bǔ)全算法能夠適用于密集掃描點云和稀疏掃描點云等不同空間分布特點的點云情形，并且補(bǔ)全的結(jié)果具有較高的保真度；

(2) 在ShapeNet和KITTI數(shù)據(jù)集上的補(bǔ)全實驗結(jié)果說明本文算法能夠在補(bǔ)全點云輪廓的同時有效恢復(fù)出目標(biāo)點云的細(xì)節(jié)特征，與現(xiàn)有主流的補(bǔ)全算法相比能夠大大提升點云補(bǔ)全的精度和可視化效果，并且能夠適用于不同殘缺分布的點云目標(biāo)；

(3) 對激光雷達(dá)實測點云數(shù)據(jù)補(bǔ)全實驗結(jié)果說明，本文算法能夠有效地補(bǔ)全出真實采集的殘缺目標(biāo)點云數(shù)據(jù)，相比現(xiàn)有主流的補(bǔ)全算法具有更好的補(bǔ)全性能．

［1］ Zou Yu，Wang Xueqian，Zhang Tao，et al. Broph：An efficient and compact binary descriptor for 3D point clouds[J]. Pattern Recognition，2008，76：522-536.

［2］ Wu Rundi，Chen Xuelin，Zhuang Yixin，et al. Multi-modal shape completion via conditional generative adver-sarial networks[C]// European Conference on Computer Vision. Glasgow，UK，2020：281-296.

［3］ Chen Honghua，Wei Mingqiang，Sun Yangxing，et al. Multi-patch collaborative point cloud denoising via low-rank recovery with graph constraint[J]. IEEE Transactions on Visualization and Computer Graphics，2020，26(11)：3255-3270.

［4］ 梁?煜，張金銘，張?為. 一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的室內(nèi)深度估計方法[J]. 天津大學(xué)學(xué)報(自然科學(xué)與工程技術(shù)版)，2020，53(8)：74-80.

Liang Yu，Zhang Jinming，Zhang Wei. An improved indoor depth estimation method using convolutional neural networks[J]. Journal of Tianjin University(Science and Technology)，2020，53(8)：74-80(in Chinese).

［5］ Yin Z，Oncel T. VoxelNet：End-to-end learning for point cloud based 3D object detection[C]// IEEE Computer Vision and Pattern Recognition. Salt Lake City，USA，2018：4490-4499.

［6］ Qi C R，Su H，Mo K，et al. PointNet：Deep learning on point sets for 3D classification and segmentation[C]// IEEE Conference on Computer Vision and Pattern Recognition. Hawaii，USA，2017：77-85.

［7］ Groueix T，F(xiàn)isher M，Kim V G，et al. A papier-mache approach to learning 3D surface generation[C]// IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA，2018：216-244.

［8］ Yang Yaoqing，F(xiàn)eng Chen，Shen Yiru，et al. FoldingNet：Point cloud auto-encoder via deep grid deformation[C]// IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA，2018：206-215.

［9］ Yuan W T，Tejas K，David H，et al. PCN：Point completion network[C]//International Conference on 3D Vision. Verona，Italy，2018：728-737.

［10］ Lyne P，Tchapmi，Vineet K，et al. TopNet：Structural point cloud decoder[C]// IEEE Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：383-392.

［11］ Ian J G，Jean P A，Mehdi M，et al. Generative adversarial nets[C]// Conference and Workshop on Neural Information Processing Systems. Montreal，Canada，2014：2672-2680.

［12］ Panos A，Olga D，Ioanni M，et al. Learning representations and generative models for 3D point clouds[C]// International Conference on Machine Learning. Sydney，Australia，2017：40-49.

［13］ Chen Xuelin，Chen Baoquan，Niloy J M，et al. Unpaired point cloud completion on real scans using adversarial training[C]// International Conference on Learning Representations. Louisiana，USA，2019：1-17.

［14］ Wang Yue，Sun Yongbin，Liu Ziwei，et al. Dynamic graph CNN for learning on point clouds[J]. ACM Trans-actions on Graphics，2019，38(5)：1-12.

［15］ Angel X C，Thomas F，Leonidas G，et al. ShapeNet：An information-rich 3D model repository[EB/OL]. https://arxiv. org/abs/1512.03012，2015-12-09.

［16］ Geiger A，Lenz P，Stiller C，et al. Vision meets robotics：The kitti datasets[J]. International Journal of Robotics Research，2013，32(11)：1231-1237.

［17］ Fan Haoqiang，Su Hao，Leonidas G，et al. A point set generation network for 3D object reconstruction from a single image[C]// IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，USA，2017：2463-2471.

Deep Learning Point Cloud Completion Algorithm via Feature Fusion

Zhao Yiqiang，Zhou Yiyao，Hu Bin，Ai Xiding，Chen Rui

(School of Microelectronics，Tianjin University，Tianjin 300072，China)

Owing to the limitation of 3D scanning devices such as lidar，mutual occlusion among targets，and the transparency of surface materials，the acquired 3D point cloud is often incomplete. Recently，data-driven deep learning methods have been gradually applied to complete point clouds. However，existing point cloud completion methods only focus on completing the global topological structure of the original point cloud and ignore the local detail recovery of the target point cloud. To address this limitation，this study proposes a novel deep learning point cloud completion algorithm via feature fusion. This algorithm uses a relation-aware encoder，which performs the mapping from the point cloud to the 128-dimensional latent feature vector to fuse the neighbor distribution characteristics and spatial features of the point cloud. Subsequently，a tree-structured decoder is applied to fuse the features of the global and local feature vectors to output the complete point cloud predictions. The simulation results of the ShapeNet and KITTI datasets show that the proposed point cloud completion algorithm exhibits better performance than state-of-the-art methods on completion precision and visualization. The proposed method reduces the chamfer distance on the airplane，car，chair，and table point cloud models by 2.4%，2.5%，8.3%，and 6.2%，respectively. In contrast，the proposed method reduces the unidirectional Hausdorff distance on the airplane，car，chair，and table point cloud models by 2.1%，0.4%，0.8%，and 0.3%，respectively. Finally，the point cloud completion experiment on the actual scanning of point clouds measured using the LeiShen intelligent system lidar verifies the effectiveness of the proposed point cloud completion algorithm，which indicates that the point cloud completion networks trained on the ShapeNet dataset are suitable for sparse point clouds measured using lidar.

3D point cloud；deep learning；completion algorithm；topological structure；feature fusion

10.11784/tdxbz202103073

TN958.98；TN911.73

A

0493-2137(2022)05-0535-08

2021-03-30；

2021-06-04.

趙毅強(qiáng)（1964—??），男，博士，教授，yq_zhao@tju.edu.cn.

陳?瑞，ruichen@tju.edu.cn.

國家自然科學(xué)基金資助項目(61871284)；廣西驅(qū)動發(fā)展項目(2018AA13005).

Supported by the National Natural Science Foundation of China(No.61871284)，Guangxi Innovative Driven Development Project (No.2018AA13005).

(責(zé)任編輯：王曉燕)