孫浩鵬

(長春工程學(xué)院 計算機(jī)技術(shù)與工程學(xué)院， 長春 130012)

0 引言

隨著虛擬現(xiàn)實蓬勃發(fā)展，元宇宙環(huán)境下每個人都會有完全不同的生活習(xí)慣，各種行為在元宇宙內(nèi)將形成大量的交互數(shù)據(jù)[1]。在未來，計算機(jī)對人的行為識別和交互必然是元宇宙內(nèi)的最核心內(nèi)容。目前人體的身體動作行為數(shù)據(jù)從輸入數(shù)據(jù)信號的不同一般可分為身體穿戴慣性[2]或光學(xué)傳感器實現(xiàn)動作捕捉[3]、通過攝像頭視頻錄像利用算法計算出骨骼運動數(shù)據(jù)[4]、利用WIFI信號在受到干擾時候的數(shù)據(jù)信號強度變化得到人體運動軌跡數(shù)據(jù)[5]、擺放陣列紅外線傳感器然后獲得傳感器的陣列信號變化計算人體動作數(shù)據(jù)、通過雷達(dá)TOF原理返回的接收激光信號建立點云進(jìn)行人體行為識別[6]這幾種。以上幾種方法各有優(yōu)缺點，如果想實現(xiàn)人體動作識別并且考慮隱私，例如在衛(wèi)生間或者洗澡間等，就不適合穿戴設(shè)備或者攝像頭。本文僅討論基于激光雷達(dá)行為識別前的數(shù)據(jù)處理，由于近年來某些型號的雷達(dá)實現(xiàn)了國產(chǎn)，國產(chǎn)后的雷達(dá)價格降低，使昂貴的雷達(dá)民用成為可能，Jokanovic等[7]就采集了雷達(dá)的調(diào)頻連續(xù)波數(shù)據(jù)進(jìn)行深度訓(xùn)練，實現(xiàn)了監(jiān)護(hù)摔倒和沒摔倒的動作識別。但是在采集雷達(dá)數(shù)據(jù)時，雷達(dá)的數(shù)據(jù)均為深度數(shù)據(jù)，由于激光雷達(dá)原理是TOF[8]，依托的是發(fā)射的紅外激光的反射接收，人體的胳膊交叉、人體在陰影中、人體外衣有明顯的反射物(例如金屬鏡面紐扣、金屬皮帶扣、反光效果比較強的防水外衣等)都會導(dǎo)致點云丟失。所以在利用雷達(dá)進(jìn)行人體行為識別前，將雷達(dá)掃描獲得的點云進(jìn)行補全是非常必要的。

1 點云補全基本原理

目前的點云三維補全算法的思路普遍是基于空間幾何或者基于現(xiàn)有模型庫的方法[9]?？臻g幾何方法不用數(shù)據(jù)庫中完整模型，一般利用點云的幾何信息完成補全，例如桌子的單個腿部一般均為圓柱形或者正方形，只要點云缺失不是太大，從已有點云中利用LERP插值運算來填充缺失的部分，基本可以實現(xiàn)點云補全，這種方法也被稱為表面重建。桌子的4條腿中往往由于遮擋會導(dǎo)致點云按照表面重建，補全后也只有3條腿，此時利用桌子腿的對稱結(jié)構(gòu)，將3條腿中間的一條按照對稱軸(桌子中心點)進(jìn)行復(fù)制，也能實現(xiàn)點云補全，這種方法比較適合簡單物體，如果輸入的點云缺失過大或者對于人體、植物、動物等無法用空間幾何方式描述的物體就無法實現(xiàn)補全，這時就需要有參考目標(biāo)來補全。以雷達(dá)掃描樹葉為例，假設(shè)在數(shù)據(jù)庫中已有地球上所有品類樹葉的點云完整模型，通過雷達(dá)掃描得到的樹葉有部分缺失的情況下往往有3種情況。第一種是已知樹葉品類，直接在數(shù)據(jù)庫中找到已有點云，通過定義樹葉根部對齊旋轉(zhuǎn)方向和放縮就可以實現(xiàn)點云補全，第二種無法得知雷達(dá)掃描獲得的樹葉品類，只能通過未缺失的點云和數(shù)據(jù)庫點云進(jìn)行部分對比，但是由于點云的空間結(jié)構(gòu)不是對齊的，所以這種對比方法獲得的數(shù)據(jù)往往錯誤率高，后期還要利用二次曲面或者直接用小型平面替代數(shù)據(jù)庫實現(xiàn)補全。目前不可能收集地球上所有樹葉品類的數(shù)據(jù)庫，這就屬于第三種情況，雷達(dá)掃描后的點云有缺失，數(shù)據(jù)庫內(nèi)又沒有完整數(shù)據(jù)，從2017年提到的點網(wǎng)絡(luò)(PointNet)[10]出現(xiàn)后這種情況就推薦使用深度學(xué)習(xí)的方法來進(jìn)行點云補全。

2 深度學(xué)習(xí)點云補全算法

深度學(xué)習(xí)補全點云常規(guī)方法是構(gòu)建編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，編碼器是由卷積神經(jīng)網(wǎng)絡(luò)的卷積、歸一、池化層組成，目的是將掃描獲得的帶有丟失數(shù)據(jù)的點云進(jìn)行特征提取，提取后的特征輸入解碼器，解碼器是由全連接層和另外的點網(wǎng)絡(luò)組成，進(jìn)行人體點云補全的框架如圖1所示。

圖1 深度學(xué)習(xí)人體補全原理圖

編碼器通過輸入點云所含數(shù)據(jù)量的多少并利用最遠(yuǎn)點采樣法將其分類為不同范圍點云，這種多范圍可以類比圖像處理中的不同分辨率圖像，對不同范圍數(shù)據(jù)降維后提取特征，再將多個范圍的特征拼合，使得編碼器得到的編碼既帶有局部特征，又帶有全局特征，其網(wǎng)絡(luò)的輸入層用來輸入點云數(shù)據(jù)，隱藏層(編碼層)用來提取特征，最大池化后得到各個范圍域中值最大的點，進(jìn)一步精煉特征。核心是通過不斷的迭代訓(xùn)練將高密度點云的特征用低密度點云的特征描述并將特征傳輸給解碼器。

解碼器獲得編碼器傳過來的點云特征，通過解碼網(wǎng)絡(luò)生成新的點云并輸出。一般的解碼器主要是多個全連接層，往往第一個全連接層接收上述編碼器中的最大范圍點云特征，主要用來實現(xiàn)整體輪廓補全，第二個全連接層實現(xiàn)上述編碼器中的局部點云特征，主要用來實現(xiàn)局部輪廓補全。編碼器特征分類越多，解碼器的全連接層就越多，輸出前需要把多層解碼器進(jìn)行合并匯總，獲得趨近完整的點云輸出。

阿特拉斯網(wǎng)絡(luò)[11](ATLASNET)把圖1中下半部分的解碼器中的全連接層進(jìn)行了共享，使全連接層能共同進(jìn)行同一個物體的點云補全，重建了缺失較大的物體，實現(xiàn)了點云補全。Lyne等[12]提出了頂點網(wǎng)絡(luò)(TOPNET)，該網(wǎng)絡(luò)把樹狀結(jié)構(gòu)和圖1結(jié)合起來，假設(shè)樹從最底層向上發(fā)展，越向上層次越多，以犧牲計算速度的代價實現(xiàn)了物體點云的補全。點分形網(wǎng)絡(luò)[13](PF-NET)利用基于特征點的多尺度生成網(wǎng)絡(luò)把缺失劃分為不同級別，每個級別分別完成損失和對抗，并將對抗損失和損失相加，保留了不完整的空間排列并能預(yù)測缺失區(qū)域的詳細(xì)集合結(jié)構(gòu)，可以實現(xiàn)凹陷物體的內(nèi)表面重建。Chang等[14]提出的改進(jìn)PCN網(wǎng)絡(luò)(FinePCN)以從粗到細(xì)的方式生成完整和精細(xì)的點云。FinePCN由2個子網(wǎng)絡(luò)組成：第一個用于生成粗糙形狀的編碼器-解碼器，第二個用于生成局部結(jié)構(gòu)的逐點卷積。先通過第一個粗糙網(wǎng)絡(luò)實現(xiàn)大體的補全，再將局部信息輸入到第二個子網(wǎng)絡(luò)中補全，不但考慮了局部信息，而且在保持全局形狀的同時減輕了輸入的數(shù)據(jù)數(shù)量。對大多數(shù)例如汽車、房屋等補全效果都很不錯，對有凹陷的表面會出現(xiàn)一些錯誤，將凹陷填平。

由上述可見，現(xiàn)有的深度學(xué)習(xí)主要都是依靠2017年提出的點網(wǎng)絡(luò)進(jìn)行的優(yōu)化，核心方法均利用全連接層網(wǎng)絡(luò)進(jìn)行單獨處理每一個采樣點，但是處理每個數(shù)據(jù)的時候沒有包含該采樣點的周邊點云的密度。當(dāng)處理數(shù)據(jù)為人體動作發(fā)生變化時也沒有包含鄰域空間和時間信息，而且每次補全的時候就用全連接層直接將整個補全后的點云直接全部映射回去，無法得知哪個部分到底損失了多少，也無法將點云的時空特征保留下來。

3 基于PC-SGD原理的深度學(xué)習(xí)點云補全算法

普通人體動作點云雖然是多變的，但動作的變化是有規(guī)律的和分層次的，將雷達(dá)人體補全分為五步法為本文的第一個創(chuàng)新點，第一步是要獲得和目標(biāo)體型適配的完整人體點云并將其定義為H，第二步將H和采集的數(shù)據(jù)分割為單獨的軀干、下肢和上肢。第三步在隱藏層針對分割后不同層次點云添加時間參數(shù)獲取各自不同的特征。第四步在解碼器部分針對不同身體層次采用不同的損失函數(shù)，在損失函數(shù)的隨機(jī)梯度下降計算過程中根據(jù)不同的身體部分設(shè)定不同的判斷標(biāo)準(zhǔn)即partiality criteria stochastic gradient descent，簡稱PCSGD。第五步將補全的各個部分合并得到完整的人體點云。

3.1 參數(shù)化人體點云H的獲得

正確人體點云H的獲得參考了Dibra等[15]的方法，他們在2017年利用站立人體的特殊掩碼作為參數(shù)輸入CNN(convolutional neural network)，較準(zhǔn)確地在SCAPE人體模型庫[16]中的17種模型中獲得了目標(biāo)人體對應(yīng)的模型。獲得相對應(yīng)的三維模型后通過PCL實現(xiàn)三維模型到點云的轉(zhuǎn)化，PCL(point cloud library)是跨平臺開源C++編程庫，主要是針對三維掃描儀器獲得的點云數(shù)據(jù)產(chǎn)生三維模型而生，內(nèi)含專門針對點云的一系列操作[17]。其中安裝PCL路徑下的bin文件夾中的pcl_mesh_sampling_release.exe即可對OBJ格式的三維模型進(jìn)行點云轉(zhuǎn)換。因此，本文對SCAPE人體模型庫中的17種模型均進(jìn)行了轉(zhuǎn)換，獲得17種標(biāo)準(zhǔn)人體點云。在采集人體點云數(shù)據(jù)時利用人體高度和寬度作為參數(shù)，獲得對應(yīng)的合適人體點云。

3.2 點云分割

普通人體的動作按區(qū)域可分為3個層次，第一層是軀干，動作變化相對較慢，第二層是腿，動作變化較快，第三層是上臂和手，速度最快。而區(qū)分這些部位的最核心拓?fù)浣Y(jié)構(gòu)為腋窩和骨盆，文獻(xiàn)[18]使用夾角分析法獲得點云投影到平面的二維輪廓，在二維圖像上采用最小二乘法提取分割特征點對人體點云進(jìn)行分割。但是人體是圓形的，投影到平面會導(dǎo)致圖像重疊，例如人的手在胸前時，正面投影平面無法看到腋窩，也就無法將上臂和軀干分離開來。在此基礎(chǔ)上進(jìn)行改進(jìn)，提出了以人體軀干中心點為軸心的圓柱投影法是本文的第二個創(chuàng)新點，將人體的點云在分割前投影到一個包圍人體的圓柱體上，由于是雷達(dá)前方采集的人體，所以人體的后背點云是缺失的，對于圓柱來說就是180°的半圓柱就可以完成投影。如圖2所示，對于任意人體點云以人體頭頂點云為圓柱開始斷面，以腳部中心點為結(jié)束斷面，以點云的坐標(biāo)中心(計算所有點云的X,Y的平均值)向下垂直生成的直線L作為圓柱的中心軸，半徑為人的上肢伸展最大距離。將點云按中心軸從上到下的半圓截面進(jìn)行投影，每個點云都會在同高度的半圓截面上按中心軸沿著半徑投影到圓上，從而實現(xiàn)人體到圓柱的投影。投影后利用最小二乘法提取分割特征點進(jìn)行分割。進(jìn)而獲得人體的3個不同部分軀干、上肢、下肢。

圖2 人體圓柱內(nèi)壁投影示意圖

3.3 不同部分分別輸入點網(wǎng)絡(luò)并添加法線維度

當(dāng)獲得的點云被分割為3個不同部分后，必須分別輸入神經(jīng)網(wǎng)絡(luò)，每次都直接將點云作為輸入訓(xùn)練集。由于雷達(dá)獲得人體數(shù)據(jù)點在人體運動的時候有方向性變化，例如身體旋轉(zhuǎn)，所以每個點除了標(biāo)準(zhǔn)的空間坐標(biāo)X,Y,Z以外，本文還添加了法線數(shù)據(jù)[19]，法線的計算步驟為：

步驟1對于任意點pi，使用RadiusSearch得到該點的周邊點，如式(1)所示。RadiusSearch是指以該點為圓心，獲得限定半徑范圍內(nèi)的全部點，這里半徑設(shè)定為5 cm。

pj∈Nbhd(pi)

(1)

步驟2根據(jù)式(1)可以計算這些點的質(zhì)心，如式(2)所示。

(2)

步驟3構(gòu)建矩陣可以計算協(xié)方差，如式(3)所示。

(3)

步驟4將式(3)進(jìn)行SVD(singular value decomposition,奇異值)分解，計算后得到的最小特征向量就是法線。

這樣每個點就有6個維度，為了提高計算速度，將3個方向的法線向量只采用垂直人體表面方向的向量，這樣每個點的數(shù)據(jù)就剩下4個維度(x,y,z,normal)，添加了法線維度后每個點都是唯一的，并且這些點在輸入時有以下3個要求，第一，這些點不同于圖像的像素矩陣計算方法，沒有第幾行第幾列的概念，都沒有順序，所以點的選擇可以是無序選擇，但是選好后給定標(biāo)號，順序不能再變；第二，由于點云是非均勻采樣，點和點之間一定要有距離，所以取樣的時候距離過近或者重合就要舍棄一些點；第三，當(dāng)點進(jìn)行移動或者旋轉(zhuǎn)時(例如人體旋轉(zhuǎn)走路等)，點的標(biāo)號不可以改變。

在卷積上，輸入的點網(wǎng)絡(luò)是在傳統(tǒng)CNN上發(fā)展而來，卷積過程可以用式(4)描述。

j+Δj,k+Δk,n+Δn)

(4)

其中，X(i,j,k)是點云的原始坐標(biāo)，n為點云的法線向量，W為卷積核，G為鄰域。卷積過程其實是加權(quán)求和，把多個相鄰點的值進(jìn)行計算后獲得的值輸入新的表格中，也就提取了特征值。

人體是連續(xù)的，所以W就不能是一個簡單的矩陣，而必須是一個連續(xù)函數(shù)，由于在前期輸入點云時順序是隨機(jī)的，不同身體部分的點云權(quán)重就不能相等，一般情況下軀干丟失點云相比四肢丟失要小，所以軀干的權(quán)重就要小于四肢，這樣通過不同的權(quán)重建立一個關(guān)于權(quán)重的連續(xù)函數(shù)W，這個函數(shù)可對點云的三維空間坐標(biāo)進(jìn)行學(xué)習(xí)，在輸入要求的第二條中點云的各個點之間要有距離，距離過近可以演化為密度過大，距離過遠(yuǎn)可以演化為密度過小，所以本文利用點云密度對權(quán)重進(jìn)行加權(quán)操作從而獲得連續(xù)函數(shù)W，如式(5)所示。

j+Δj,k+Δk,n+Δn)dΔi,Δj,Δk,Δn

(5)

在池化上，輸入時一定要使用單一的對稱函數(shù)來進(jìn)行最大池化，令每個點p={S∶S∈[0,1]m，且|S|=n}，那么可以定義函數(shù)f(p)是在集合上關(guān)于豪斯多夫(Hausdorff)距離dH的一個連續(xù)函數(shù)，即對于任意點，ε>0,存在δ>0只要該點數(shù)據(jù)屬于p集合，如果dH(S,Si)<δ，那么f(s)-f(si)<ε，所以在最大池化層只要有足夠的隱藏層，并且隱藏層的神經(jīng)元足夠多，那么可以無限趨近f(p)。通過隱藏層池化的整個過程實現(xiàn)了大量點云的壓縮，保留了重要的點云信息，去除了重疊和冗余點云信息。

3.4 隨機(jī)梯度下降準(zhǔn)則

當(dāng)點網(wǎng)絡(luò)通過編碼器獲得點云的特征后，通常需要通過解碼器反向把點云還原，在還原過程前要輸入本文第一步提供的完整人體點云H，將其作為神經(jīng)網(wǎng)絡(luò)計算過程中的正確參考，在輸出前首先將輸出點云和完整點云H進(jìn)行對準(zhǔn)，對準(zhǔn)的基本位置是骨盆。對準(zhǔn)后通過全連接層實現(xiàn)補全，在補全的過程中，對身體的不同部分通過不同的參數(shù)做為評判梯度下降是否合格的標(biāo)準(zhǔn)，對3個不同的身體部分進(jìn)行分別補全，這是本文的第三個創(chuàng)新點。

對軀干部分來說，只要邊界完整是很容易獲得軀干行為識別數(shù)據(jù)的，所以身體部分主要的損失函數(shù)由邊界來主導(dǎo)，這里主要評判還原后的軀干點云邊界和點云H的邊界是否有偏差，H的邊界是不變的，設(shè)e代表解碼器輸出后的邊(edge),代表點云H的邊界，u和v是相鄰的2個點，那么判別過程如式(6)所示。

(6)

軀干的損失函數(shù)還要考慮點的損失和法線的損失，所以軀干的損失函數(shù)如式(7)所示。

Lossbody=ωelosse+ωnlossn+ωslosss

(7)

(8)

損失函數(shù)依據(jù)點和H的距離來進(jìn)行計算，如式(9)所示，之后添加點的損失即可。

(9)

對手臂來說，由于人手揮動自由度特別大，例如在舉起手的時候，人們可以做到手心向前和手心向后。所以無論是依靠邊界還是依靠點都無法實現(xiàn)完整補全，手臂損失函數(shù)由點和法線來主導(dǎo)，點的計算方式和腿部相同，法線是能表明手臂旋轉(zhuǎn)的，因為法線是垂直于表面的，所以每個法線都是依托面來計算的，這里設(shè)φ為H的面，從模板的手部開始，每個點加上周邊半徑為r的點連接成的面，設(shè)f為神經(jīng)網(wǎng)絡(luò)生成的面，計算方式也是每個點加上周邊半徑為r的點形成的面。r取值為0.01 m。則手臂的法線損失函數(shù)如式(10)所示，之后也添加點的損失即可。

(10)

3.5 輸出的點云合并

由于獲得的是3個分開部分的點云，所以輸出點云的過程就必須包含常規(guī)輸出和合并操作[20]。 將3個部分合并過程的第一步是對準(zhǔn)，主要是人體上肢對齊軀干的腋窩部分和下肢對齊骨盆部分，對齊的過程主要是首先找到補全后的上肢或者下肢的輪廓，由于上肢輪廓有一端是手的形狀或者說是有明顯分叉，那么對應(yīng)的另一端自然就是軸心，找到軸心后縮放和旋轉(zhuǎn)使得位置和方向與軀干對齊。下肢的特征在于腳部有較多的重疊點云，所以相對的另一端也就是軸心，同樣通過縮放和旋轉(zhuǎn)與軀干對齊。將合并后的點云與標(biāo)準(zhǔn)點云H對比，四肢的長度應(yīng)該和標(biāo)準(zhǔn)點云H一致，如果大于標(biāo)準(zhǔn)點云H的話，縮小比例再次合并，如果小于標(biāo)準(zhǔn)點云H的話，增加比例再次合并，直到四肢與軀干的比例相比H誤差較小即可。

4 數(shù)據(jù)測試

數(shù)據(jù)通過國產(chǎn)固態(tài)面陣激光雷達(dá)采集，因為要對采集的數(shù)據(jù)進(jìn)行行為識別，所以使用了時間流采集，但由于單幀數(shù)據(jù)就達(dá)到19 200字節(jié)，所以對每個人體行為只采集5 s，每秒采集60幀，更換不同身高體重男女不同衣物等多樣化采集，每人動作行為均規(guī)定為有遮擋和無遮擋多種，模擬走路、跳躍、轉(zhuǎn)身等行為。共采集人體點云50 000個，經(jīng)過觀察，在動作過快時和反光衣物類有明顯點云缺失。將人體點云進(jìn)行圓柱投影、切割后添加法線向量并輸入PointNet、TOPNET、PF-NET、FinePCN和本文算法進(jìn)行比較，所用參數(shù)為單向豪斯多夫距離[21](unidirectional hausdorff distance，UHD)，單向豪斯多夫距離實際上計算的是神經(jīng)網(wǎng)絡(luò)解碼器補全的點云的各個點三維空間坐標(biāo)與最開始輸入神經(jīng)網(wǎng)絡(luò)編碼器的帶缺陷點云三維空間坐標(biāo)的最小距離，然后在這些最小距離構(gòu)建的數(shù)組中挑選出最大的值，計算的最大值超過固定值，一般就認(rèn)為補全的點云誤差過大，對于人體點云，如果初始采集密度點與點之間距離為0.1 cm，一般UHD如果大于0.1 cm就認(rèn)為補全的點云偏差過大，點云補全過程往往通過UHD的值來判斷補全的算法好壞，UHD的數(shù)學(xué)描述為：給定歐式空間的點集X和Y，其計算定義如式(11)所示。

(11)

表1 補全后點云與原始點云的單向豪斯多夫距離

補全實際效果如圖3所示，可以看出，F(xiàn)inePCN對人體軀干點云的補全效果較好，但是在上肢和下肢由于有動作和遮擋情況下效果不好。PointNet相對有很高的補全能力，但是它是利用全連接層對全局整個輸出，局部細(xì)節(jié)尤其是手臂轉(zhuǎn)彎的地方有明顯的密度不均勻問題。TopNET由于是采用很多全連接層分層計算，收斂計算速度慢，所以在下肢補全的地方明顯有散亂情況，PF-NET是對抗網(wǎng)絡(luò)，主要優(yōu)點是對凹陷結(jié)構(gòu)有良好的補全，在人體點云對軀干凹陷有不錯的表現(xiàn)，但是對于四肢的遮擋處理的不是很好。本文提出的5步點云補全方法由于是分為3個部分計算的，每個部分又有單獨的計算方法，所以針對性較強，可以更好地補全人體點云的細(xì)節(jié)，例如手部和腳部的位置等，補全效果在固態(tài)面陣?yán)走_(dá)人體點云領(lǐng)域明顯強于上述幾種算法。

根據(jù)式(5)的描述，神經(jīng)網(wǎng)絡(luò)的池化層只有要足夠多的神經(jīng)元或者說有足夠多的隱藏層就可以無限逼近最完美的補全效果，所以對補全網(wǎng)絡(luò)增加了隱藏層的測試，并且使用RMSE作為神經(jīng)網(wǎng)絡(luò)的評估指標(biāo)[22]。RMSE(root mean square error)為均方根誤差，表示預(yù)測值與真實值差的平方的期望，如式(12)所示：

(12)

通過測試將隱藏層數(shù)量和RMSE數(shù)值制成如圖4所示的隱藏層數(shù)量與誤差關(guān)系圖，可以看出，上肢在隱藏層13層誤差最小，軀干由于輪廓簡單，在第6層達(dá)到最好效果，下肢在隱藏層為4層時達(dá)到0.16的誤差，但是從第5層開始增加，到第9層時才減少，到11層效果較好。由此可見并不是隱藏層數(shù)量越大越好，分為3個部分輸入的神經(jīng)網(wǎng)絡(luò)，并不可以采用同樣的隱藏層數(shù)量，所以點云補全過程中分割后的模型應(yīng)該用不同深度的神經(jīng)網(wǎng)絡(luò)才可以。

圖4 隱藏層數(shù)量和RMSE誤差關(guān)系曲線

5 結(jié)論

提出了一種基于雷達(dá)掃描人體點云的補全方法，利用完整的人體作為參考，將雷達(dá)獲得的人體分割為3個部分分別進(jìn)行補全，針對不同的部分采用不用損失函數(shù)進(jìn)行梯度下降計算。分割后的部分由于每個部分都有不同的運動速度和不同的旋轉(zhuǎn)，所以在考慮旋轉(zhuǎn)的問題上又添加了點法線作為旋轉(zhuǎn)判斷的參數(shù)。這樣點云就以4個維度輸入神經(jīng)網(wǎng)絡(luò)，分別進(jìn)行3次不同的計算，計算后得到的點云再進(jìn)行拼合，能夠更好地實現(xiàn)人體點云補全。實驗表明，本文方法在人體動作較快、幅度較大狀態(tài)下比完整輸入點云明顯改善。

雷達(dá)人體行為識別在無光、隱私等條件下依然不會被攝像頭取代，對點云的補全問題還有更多需要做的內(nèi)容，未來會向以下幾個方向發(fā)展，第一，更加精細(xì)的細(xì)分，現(xiàn)在將人體分割為3個部分?jǐn)?shù)據(jù)，如果點云是為了進(jìn)行手勢識別，那么就應(yīng)該將手臂分割為手部和上臂，如果是為了進(jìn)行腳部動作識別，例如踢踏舞的腳部行為規(guī)范，就應(yīng)該將腿部分割為腳部和腿部等；第二，現(xiàn)有雷達(dá)采集的點云均有不同數(shù)量的噪聲，所以點云補全應(yīng)該增加去除噪聲功能，大大提高數(shù)據(jù)的魯棒性；第三，完善標(biāo)準(zhǔn)人體庫，如SCAPE庫，未來的人體庫應(yīng)該有完整的空間點云并包含多種生活行為動作，在人體動作行為采集后可進(jìn)行對比參考補全。