王歡　門濤　蘇宏魯　王忠生　姜勇

摘要：場(chǎng)景目標(biāo)幾何變形和運(yùn)動(dòng)的同時(shí)表述是非剛性動(dòng)態(tài)場(chǎng)景重建的一個(gè)關(guān)鍵問(wèn)題，出現(xiàn)遮擋、開(kāi)—合拓?fù)渥兓?、快速運(yùn)動(dòng)等情況都可能導(dǎo)致場(chǎng)景重建失敗。針對(duì)這一問(wèn)題，研究提出了一種基于面元模型的非剛性動(dòng)態(tài)場(chǎng)景重建方法，利用基于權(quán)值算法的深度相機(jī)點(diǎn)到平面迭代最近點(diǎn)（Iterative Closest Point，ICP）算法改進(jìn)了已有系統(tǒng)非剛性變形場(chǎng)估計(jì)中ICP能量函數(shù)的求解過(guò)程。與基于SDF模型的重建方法相比較，基于面元模型的方法支持在線高效更新，占用計(jì)算資源更少，更加輕量化。在VolumeDeform數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)表明，改進(jìn)后的方法提高了系統(tǒng)的魯棒性，重建的模型更加完整。

關(guān)鍵詞：面元模型;非剛性動(dòng)態(tài)場(chǎng)景;深度相機(jī);場(chǎng)景重建

中圖分類號(hào)：TP242 ? ?文獻(xiàn)標(biāo)志碼：A ? ?文章編號(hào)：1671-0797（2022）02-0071-05

DOI：10.19514/j.cnki.cn32-1628/tm.2022.02.020

0 ? ?引言

非剛性動(dòng)態(tài)場(chǎng)景重建問(wèn)題是當(dāng)前三維場(chǎng)景重建領(lǐng)域的一個(gè)研究熱點(diǎn)，從利用場(chǎng)景特定先驗(yàn)的方法到在較少約束下基于模板和無(wú)模板的重建方法，許多研究者一直活躍在這一領(lǐng)域。非剛性ICP算法[1]最初是針對(duì)二維非剛性配準(zhǔn)問(wèn)題提出的，后來(lái)擴(kuò)展到三維非剛性配準(zhǔn)中[2]。第一個(gè)可以跟蹤復(fù)雜變形的非剛性配準(zhǔn)方法[3-4]使用變形代理來(lái)解耦優(yōu)化問(wèn)題的維度和模型復(fù)雜性，但仍然需要離線運(yùn)行。近年來(lái)，許多魯棒離線的模板跟蹤方法利用關(guān)鍵幀和魯棒優(yōu)化算法[5-6]，允許變形場(chǎng)的不連續(xù)，更適合關(guān)節(jié)運(yùn)動(dòng)的跟蹤問(wèn)題。

在不使用強(qiáng)先驗(yàn)的情況下，對(duì)任意一般變形對(duì)象的在線跟蹤是最近才實(shí)現(xiàn)的。Zollhfer等人[7]提出的基于模板的非剛性跟蹤方法，采用一種由粗到細(xì)分層次的GPU優(yōu)化策略，使實(shí)時(shí)性成為可能。這種方法的輸入是由一個(gè)定制的RGB-D傳感器捕獲的高質(zhì)量顏色和深度流。在獲取模板后，利用高性能圖形處理器的數(shù)據(jù)并行計(jì)算能力和由粗到細(xì)分層次的GPU優(yōu)化策略，通過(guò)魯棒優(yōu)化實(shí)現(xiàn)了非剛性物體運(yùn)動(dòng)的實(shí)時(shí)跟蹤。雖然這種方法可以實(shí)時(shí)跟蹤一般的目標(biāo)，但必須預(yù)先獲得模板模型。為每個(gè)場(chǎng)景獲取這樣的模板非常耗時(shí)，這就限制了該方法的實(shí)用性。

如果不能預(yù)先獲得目標(biāo)的模板模型，則需要解決更具挑戰(zhàn)性的幾何變形和運(yùn)動(dòng)重建問(wèn)題。魯棒地分離物體的形狀和運(yùn)動(dòng)是一個(gè)模糊問(wèn)題，因?yàn)閮烧叨伎梢越忉層^察到的變化。許多離線方法將時(shí)間三維重建看作是一個(gè)四維時(shí)空優(yōu)化問(wèn)題[8-9]，通過(guò)小變形和小幀間運(yùn)動(dòng)的設(shè)定使問(wèn)題得以簡(jiǎn)化處理[10]。第一個(gè)解決實(shí)時(shí)無(wú)模板重建問(wèn)題的方法是Newcomebe等人提出的DynamicFusion方法[11]。這種方法能夠基于消費(fèi)級(jí)深度相機(jī)來(lái)聯(lián)合重建場(chǎng)景目標(biāo)的幾何變形和運(yùn)動(dòng)。首先建立一個(gè)在關(guān)鍵幀下的模型，之后場(chǎng)景發(fā)生的變化都可以通過(guò)幾何變換對(duì)應(yīng)到這個(gè)模型上，新讀取的深度圖都通過(guò)幾何變換再融合到模型當(dāng)中，在配準(zhǔn)中其誤差項(xiàng)除剛性配準(zhǔn)誤差項(xiàng)外還有正則項(xiàng)，正則項(xiàng)可以很好地處理非剛性的配準(zhǔn)。VolumeDeform[12]是DynamicFusion的擴(kuò)展，利用細(xì)尺度變形圖替代粗尺度變形圖來(lái)參數(shù)化變形場(chǎng)，從而達(dá)到更高的重建質(zhì)量。為了實(shí)現(xiàn)實(shí)時(shí)幀率，該方法采用了一種分級(jí)的從粗到細(xì)的數(shù)據(jù)并行GPU優(yōu)化策略。此外，將稀疏特征匹配融合到場(chǎng)景目標(biāo)中，實(shí)現(xiàn)了更強(qiáng)的魯棒跟蹤。

Dou等人[13]提出的Fusion4D方法可以實(shí)時(shí)獲得變形場(chǎng)景的完整、瞬態(tài)重建模型。它基于一個(gè)復(fù)雜的多視角設(shè)置，由8個(gè)視角組成，每個(gè)視角由2個(gè)紅外和1個(gè)彩色相機(jī)組成。這種方法的特別之處在于采用了關(guān)鍵體策略，使得該方法對(duì)故障跟蹤具有魯棒性。該方法不是將參考體固定在第一個(gè)輸入幀上，而是定期將參考體重置到一個(gè)融合本地?cái)?shù)據(jù)的關(guān)鍵體中。Fusion4D方法可以實(shí)現(xiàn)對(duì)任意非剛性場(chǎng)景的高速重建。其中一個(gè)關(guān)鍵因素是在輸入和重建之間建立一個(gè)密集的三維對(duì)應(yīng)場(chǎng)，使其能夠穩(wěn)健地處理快速運(yùn)動(dòng)的場(chǎng)景。

非剛性動(dòng)態(tài)場(chǎng)景重建是具有很大難度的三維重建問(wèn)題，不同于靜態(tài)場(chǎng)景重建，場(chǎng)景目標(biāo)的幾何變形和運(yùn)動(dòng)的同時(shí)表述是其中一個(gè)關(guān)鍵。遮擋的出現(xiàn)、開(kāi)—合拓?fù)涞淖兓?、快速運(yùn)動(dòng)等情況都可能使重建失敗。目前的解決思路主要分為基于SDF模型和基于面元模型兩種，研究者們提出了很多解決方法，如使用模板或先驗(yàn)信息、加入特征點(diǎn)和光照反射率約束、多視角等。

本文基于深度相機(jī)點(diǎn)到平面ICP算法改進(jìn)了已有系統(tǒng)非剛性變形場(chǎng)估計(jì)中ICP能量函數(shù)的求解方法，提出了一種基于面元模型的非剛性動(dòng)態(tài)場(chǎng)景重建方法，實(shí)驗(yàn)表明，該方法提高了系統(tǒng)的魯棒性，重建的模型更加完整。

1 ? ?非剛性場(chǎng)景重建的總體架構(gòu)

1.1 ? ?符號(hào)定義

深度相機(jī)獲取的深度圖像序列記為{Dt}，其中t是幀標(biāo)簽。頂點(diǎn)圖V是一個(gè)圖像，每個(gè)像素記錄一個(gè)3D位置;同樣地，法線圖N是一幅每個(gè)像素都記錄法線方向的圖像。采用DynamicFusion[11]中的方法將變形場(chǎng)W表示為節(jié)點(diǎn)圖，與體積變形場(chǎng)相比，該節(jié)點(diǎn)圖稀疏但有效。更具體地：

W={[Pj∈R3，σj∈R+，Tj∈SE（3）]} ? ? ? ?（1）

式中：j為節(jié)點(diǎn)的索引;Pj為第j個(gè)節(jié)點(diǎn)的位置;σj為半徑參數(shù);Tj為第j個(gè)節(jié)點(diǎn)的變換矩陣。

為了更好地插值，Tj用雙四元數(shù)j表示，對(duì)于一個(gè)3D點(diǎn)x，在x處W的變形可以插值為：

W（x）=normalizedwk（x）k ? ? ? ?（2）

其中，N（x）為點(diǎn)x的最近鄰集，權(quán)值：

wk（x）=exp[-||x-pk||22/（2σk2）] ? ? ? ? ? ? ? ?（3）

面元s是由位置v∈R3，法向量n∈R3，半徑r∈R+，置信度c∈R，初始化時(shí)間tinit∈N和最近觀察的時(shí)間tobserved∈N組成的元組。用大寫(xiě)字母S表示面元數(shù)組，S[i]是這個(gè)數(shù)組中的第i個(gè)面元。在變形場(chǎng)W的作用下，面元可以通過(guò)式（4）、式（5）進(jìn)行變形。

vlive=W（vref）vref ? ? ? ? ? ? ? ? ? ? ? （4）

nlive=rotation[W（vref）]nref ? ? ? ? ? ?（5）

其中，vlive和nlive是變形后點(diǎn)的位置和法向量，vref和nref是變形前點(diǎn)的位置和法向量，其他屬性，如半徑、時(shí)間、置信度等，變形后保持不變。

1.2 ? ?場(chǎng)景重建的流程架構(gòu)

如圖1所示，系統(tǒng)以逐幀的方式處理輸入的深度流。在接收到新的深度圖像后，首先計(jì)算變形場(chǎng)，使參考幀與當(dāng)前的深度觀測(cè)對(duì)齊。初始化前一幀的變形場(chǎng)，然后采用類似于Newcombe等人[14]提出的ICP算法進(jìn)行優(yōu)化。一旦變形場(chǎng)被更新，就執(zhí)行數(shù)據(jù)融合，將當(dāng)前的深度觀測(cè)數(shù)據(jù)累積到一個(gè)全局幾何模型中。

與之前方法最大的不同之處在于，在整個(gè)方法中采用了一種有效的基于面元的幾何和變形場(chǎng)表示。系統(tǒng)維護(hù)兩個(gè)面元組，一個(gè)在參考幀sref中，另一個(gè)在實(shí)時(shí)幀slive中。變形場(chǎng)W在參考幀中定義，給定適當(dāng)維護(hù)的最近鄰集和權(quán)值，可以定義變形場(chǎng)的逆為：

vref =W（vref）-1vlive ? ? ? ? ? ? ? ? ?（6）

nref =rotation[W（vref）]-1nlive ? ? ? ? ? ?（7）

其中，變形W（vref）可以通過(guò)查詢N（sref）和{W（sref）}計(jì)算得到。

因此，與在參考幀中進(jìn)行幾何更新不同，本文的方法在實(shí)時(shí)幀中更新幾何模型并將它們變形回參考幀中。

2 ? ?三維場(chǎng)景重建算法

2.1 ? ?深度圖預(yù)處理

首先對(duì)獲取的深度圖進(jìn)行雙邊濾波（bilateral filter）處理，雙邊濾波是一種可以達(dá)到保持邊緣、降噪平滑效果的濾波器。和其他濾波原理一樣，雙邊濾波也是采用基于高斯分布加權(quán)平均的方法，之所以可以達(dá)到保邊去噪的效果，是因?yàn)闉V波器由兩個(gè)核函數(shù)構(gòu)成：一個(gè)函數(shù)是由幾何空間距離決定濾波器系數(shù)，考慮像素的歐式距離，即空間域（spatial domain S）;另一個(gè)函數(shù)是由像素差值決定濾波器系數(shù)，考慮像素范圍閾的輻射差異，即范圍域（range domain R）。

雙邊濾波的核函數(shù)是空間域與像素范圍域的綜合結(jié)果：在圖像的平坦區(qū)域，像素值變化很小，對(duì)應(yīng)的像素范圍域權(quán)重接近于1，此時(shí)空間域權(quán)重起主要作用，相當(dāng)于進(jìn)行高斯模糊;在圖像的邊緣區(qū)域，像素值變化很大，像素范圍域權(quán)重變大，從而保持了邊緣的信息。

BF[I]p=G（||p-q||）G（|Ip-Iq|）Iq ? ? ? （8）

其中，σs定義了濾波一個(gè)像素空間域的大小，σr控制了范圍閾中由于強(qiáng)度差而使相鄰像素向下加權(quán)的程度。

使用u=（x，y）T∈R2表示像素坐標(biāo)。在每個(gè)像素u處，計(jì)算面元sdepth，首先通過(guò)V（u）=D（u）K-1（uT，1）T將深度值D（u）轉(zhuǎn)換成面元sdepth處的位置V（u），K是深度相機(jī)的內(nèi)參矩陣。然后這個(gè)像素點(diǎn)的法向量N（n）通過(guò)頂點(diǎn)圖V使用中心差分估計(jì)得出。面元sdepth的置信度為c=exp[-γ2/（2？準(zhǔn)2）]，其中γ是當(dāng)前深度測(cè)量歸一化后的徑向距離。和Whelan等人[15]的方法類似，面元sdepth的半徑r為：

r= ? ? ? ? ? ? ? ?（9）

式中：d=D（u）為深度值;f為相機(jī)焦距;nz為法向量的Z軸分量。

2.2 ? ?深度圖融合和變形場(chǎng)更新

假設(shè)已經(jīng)得到了一個(gè)變形場(chǎng)，深度圖融合和變形場(chǎng)更新流程首次在當(dāng)前幀中執(zhí)行數(shù)據(jù)融合，然后將當(dāng)前面元變形回參考幀中，之后根據(jù)新觀察的參考面元更新變形場(chǎng)。

2.2.1 ? ?當(dāng)前幀中的融合

在求解變形場(chǎng)后，首先在參考面元組sref上執(zhí)行一個(gè)前向變形，以獲得與深度觀測(cè)對(duì)齊的當(dāng)前面元組slive。然后，使用類似Keller等人[16]的方法將深度圖與當(dāng)前面元融合。比較特別的是，當(dāng)前面元組slive將渲染到索引圖I中：給定相機(jī)內(nèi)參K，每個(gè)當(dāng)前面元slive[k]被投影到當(dāng)前相機(jī)視角下的圖像平面中，其中存儲(chǔ)了各自投影點(diǎn)的索引k。在索引圖I中，面元被渲染為未確定大小的點(diǎn)，也就是說(shuō)，每個(gè)面元最多只能被投影到一個(gè)像素。索引圖是超采樣的深度圖，以避免附近的面元投影到相同的像素。在實(shí)現(xiàn)過(guò)程中使用了一個(gè)4×4的超采樣索引圖。

對(duì)于深度圖D中的每個(gè)像素，在索引圖I上通過(guò)以u(píng)為中心的4×4窗口搜索，最多識(shí)別出一個(gè)與u處深度觀測(cè)相對(duì)應(yīng)的實(shí)時(shí)面元slive。查找相對(duì)應(yīng)面元的準(zhǔn)則如下：

（1）丟棄到深度頂點(diǎn)的距離大于δdistance的面元;

（2）丟棄法向量不與深度圖法向量對(duì)齊的面元，dot（ndepth，nsurfel）<δnormal;

（3）對(duì)于剩下的面元，選擇置信度高的;

（4）如果有多個(gè)這樣的面元，選擇最接近sdepth的那個(gè)。

如果找到了對(duì)應(yīng)的面元slive，u處的深度面元sdepth將通過(guò)如下公式融合到slive中：

clive_new=clive_old+cdepth ? ? ? ? ? （10）

vlive_new=（clive_old vlive_old+cdepth vdepth）/clive_new ? ? ?（11）

nlive_new=（clive_old nlive_old+cdepth ndepth）/clive_new ? ? ? （12）

tobserved=tnow ? ? ? ? ? ? ? ? ? ? ? （13）

rlive_new=（clive_old rlive_old+cdepth rdepth）/clive_new ? ? ?（14）

式中：c、v、n、t和r分別為面元的置信度、頂點(diǎn)、法向量、最近觀察到的時(shí)間點(diǎn)和半徑。

2.2.2 ? ?實(shí)時(shí)面元再獲取

對(duì)于深度圖像素u，如果沒(méi)有找到相對(duì)應(yīng)的實(shí)時(shí)面元slive，該深度圖面元sdepth將被附加到slive面元組中以完成幾何重建。這需要計(jì)算最近鄰集N（sdepth）和權(quán)重，將sdepth這個(gè)面元變形回參考幀中。但節(jié)點(diǎn)圖G定義在參考幀中，在知道sdepth變形回去的位置之前計(jì)算在參考幀中的最近鄰集N（sdepth）并不可行。

解決這個(gè)矛盾的一個(gè)方法是首先將節(jié)點(diǎn)圖G變形回實(shí)時(shí)幀中，然后在實(shí)時(shí)幀中再執(zhí)行面元獲取。但是，在開(kāi)—合拓?fù)渥兓瘯r(shí)，面元sdepth可能被附加到不一致的節(jié)點(diǎn)。為了解決這一問(wèn)題，提出以下準(zhǔn)則：

（1）在實(shí)時(shí)幀中使用節(jié)點(diǎn)圖給面元sdepth計(jì)算一個(gè)初始化最近鄰集N（sdepth），node0_live∈N（sdepth）表示離面元sdepth最近的節(jié)點(diǎn);

（2）對(duì)于任何node1_live∈N（sdepth），i≠0，如果：

1-ε<<1+ε ? ? ? ? ? （15）

式中：閾值ε表示內(nèi)在變形的程度。

則將nodei_live留在N（sdepth）中，否則移除該節(jié)點(diǎn)。

2.2.3 ? ?開(kāi)—合拓?fù)渥兓瘑?wèn)題

在開(kāi)—合拓?fù)渥兓轮苯舆M(jìn)行數(shù)據(jù)融合會(huì)產(chǎn)生錯(cuò)誤曲面，可以通過(guò)壓縮變形場(chǎng)或者在體素方法中碰撞體素解決。本文的解決方法是在實(shí)時(shí)幀上限制反變形場(chǎng)的靈敏度，并去除實(shí)時(shí)幀中>1+ε的面元。

正如Dou等人[13]所提到的，不可能從一個(gè)參考幀來(lái)解釋所有的運(yùn)動(dòng)，并且非剛性跟蹤永遠(yuǎn)不會(huì)失效是不可能的。因此，F(xiàn)usion4D方法使用了兩個(gè)TSDF體，一個(gè)用于參考幀，另一個(gè)用于實(shí)時(shí)幀，并通過(guò)實(shí)時(shí)幀來(lái)恢復(fù)參考幀以處理幅度大的運(yùn)動(dòng)，跟蹤故障和開(kāi)—合拓?fù)渥兓?。然而，維護(hù)額外的TSDF體和關(guān)聯(lián)的最近鄰場(chǎng)將增加計(jì)算成本和內(nèi)存的使用。

本文以一種更緊湊、更有效的方式實(shí)現(xiàn)類似的想法：從深度觀測(cè)推斷出錯(cuò)誤的面元比推斷出錯(cuò)誤的TSDF值更明確且更容易。該方式丟棄了任何從當(dāng)前相機(jī)視角中可以看到但沒(méi)有相應(yīng)深度觀察的實(shí)時(shí)面元slive，通過(guò)將實(shí)時(shí)面元slive投影到深度圖中并進(jìn)行窗口搜索來(lái)識(shí)別其對(duì)應(yīng)關(guān)系。清理slive后，將sref重置為slive，并初始化其變形場(chǎng)。

2.3 ? ?非剛性變形場(chǎng)估計(jì)

給出新的深度圖觀測(cè)D、之前的變形場(chǎng)Wprev、幾何模型sref和slive（通過(guò)Wprev將sref變形為slive），可以進(jìn)行SE（3）變形Tj∈W的估計(jì)。為了執(zhí)行該估計(jì)，首先預(yù)測(cè)實(shí)時(shí)面元slive的可見(jiàn)性，然后根據(jù)DynamicFusion方法將變形估計(jì)轉(zhuǎn)化成優(yōu)化問(wèn)題。

可見(jiàn)性預(yù)測(cè)和Keller等人[16]的方法類似：將實(shí)時(shí)面元slive渲染為重疊的、圓盤狀的有實(shí)時(shí)面元slive位置vlive、法向量nlive和半徑rlive的表面元板。

與剛性SLAM不同的是，為了有效地查找最近鄰點(diǎn)和權(quán)重，使用與深度圖相同的分辨率渲染索引圖I。而且，為了改進(jìn)變形場(chǎng)估計(jì)在slive對(duì)離群點(diǎn)的魯棒性，只渲染穩(wěn)定的面元。在模型重新初始化后的前幾幀，還渲染了最近觀察到的面元。

遵循DynamicFusion方法，本文解決了如下優(yōu)化問(wèn)題來(lái)估計(jì)SE（3）的變換Tj∈W：

Etotal（W）=Edepth+λEregulation ? ?（16）

式中：Edepth為約束變形與輸入的深度D一致的數(shù)據(jù)項(xiàng);Eregulation為使非剛性運(yùn)動(dòng)規(guī)則化的正則項(xiàng)，使其盡可能地剛性;λ為一個(gè)常數(shù)值，以平衡兩個(gè)能量項(xiàng)。

Edepth是一個(gè)點(diǎn)到面的能量函數(shù)，這里可以寫(xiě)成：

Edepth（W）=[ndepthT（vmodel-vdepth）]2 ?（17）

式中：P為與模型和深度圖面元對(duì)應(yīng)的集合;n和v為與面元關(guān)聯(lián)的法向量和頂點(diǎn)。

在給定深度觀測(cè)值D和渲染實(shí)時(shí)幾何圖形下，Eregulation是一個(gè)使非剛性運(yùn)動(dòng)盡可能剛性的正則項(xiàng)：

Eregulation（W）= ||Tj pj-Ti pj||22 ? ? ? ? （18）

式中：Nj為節(jié)點(diǎn)圖中與第j個(gè)節(jié)點(diǎn)相鄰的節(jié)點(diǎn)集。

優(yōu)化問(wèn)題（16）是一個(gè)非線性最小二乘問(wèn)題，可以用GPU實(shí)現(xiàn)的Gauss-Newton算法求解。本文采用基于權(quán)值算法的深度相機(jī)點(diǎn)到平面ICP算法計(jì)算式（17）點(diǎn)到面的能量函數(shù)Edepth，改進(jìn)后的系統(tǒng)在ICP算法求解時(shí)將對(duì)不穩(wěn)定方向點(diǎn)施加更大的權(quán)重，增加配準(zhǔn)時(shí)對(duì)幾何特征單一區(qū)域的約束，且權(quán)值算法中深度二次衰減算法可以更好地處理重建系統(tǒng)中所使用的深度相機(jī)數(shù)據(jù)。

3 ? ?實(shí)驗(yàn)分析

為了驗(yàn)證基于面元模型的非剛性動(dòng)態(tài)場(chǎng)景重建算法的可行性，在VolumeDeform數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，重建系統(tǒng)的參數(shù)如表1所示。RGB-D數(shù)據(jù)包含從PrimeSense傳感器獲得的序列。使用boxing數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，boxing是一個(gè)包含人體對(duì)象的數(shù)據(jù)集，圖像序列是一個(gè)手臂接觸到臉部再分開(kāi)的動(dòng)作，圖2為其三維重建模型序列。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法采用對(duì)能量函數(shù)算法的改進(jìn)，對(duì)約束不穩(wěn)定變換的點(diǎn)施加較大的權(quán)重等方式，使得改進(jìn)后的系統(tǒng)漂移小，可以更好地應(yīng)對(duì)開(kāi)—合的拓?fù)渥兓?，生成的非剛性?dòng)態(tài)場(chǎng)景模型更加精確，開(kāi)—合接觸面細(xì)節(jié)完整，保證了系統(tǒng)的魯棒性。

4 ? ?結(jié)語(yǔ)

針對(duì)場(chǎng)景目標(biāo)幾何變形和快速運(yùn)動(dòng)的同時(shí)表述問(wèn)題，特別是出現(xiàn)遮擋、開(kāi)—合拓?fù)渥兓惹闆r，研究提出了一種基于面元模型的非剛性動(dòng)態(tài)場(chǎng)景重建方法，利用基于權(quán)值算法的深度相機(jī)點(diǎn)到平面ICP算法，對(duì)非剛性變形場(chǎng)估計(jì)中ICP能量函數(shù)的求解方法進(jìn)行了改進(jìn)。與基于SDF模型的重建方法相比較，基于面元模型的方法支持在線高效更新，占用計(jì)算資源更少，更加輕量化。在VolumeDeform數(shù)據(jù)集上的實(shí)驗(yàn)表明，改進(jìn)后的方法解決了因開(kāi)—合拓?fù)渥儞Q、遮擋等引起的場(chǎng)景重建信息缺失問(wèn)題，提高了系統(tǒng)的魯棒性，重建的模型更加完整。

[參考文獻(xiàn)]

[1] PARAGIOS N，ROUSSON M，RAMESH V.Non-rigid regis-

tration using distance functions[J].Computer Vision and Image Understanding，2003，89（2/3）：142-165.

[2] FUJIWARA K，NISHINO K，TAKAMATSU J，et al.Locally rigid globally non-rigid surface registration[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision，2011：1527-1534.

[3] CHANG W，ZWICKER M.Range scan registration using reduced deformable models[J].Computer Graphics Forum，2009，28（2）：447-456.

[4] LIAO M，ZHANG Q，WANG H M，et al.Modeling deformable objects from a single depth camera[C]//2009 IEEE 12th International Conference on Computer Vision，2009：167-174.

[5] LI H，ADAMS B，GUIBAS L J，et al.Robust single-

view geometry and motion reconstruction[J].ACM Transactions on Graphics，2009，28（5）：1-10.

[6] GUO K W，XU F，WANG Y G，et al.Robust non-rigid motion tracking and surface reconstruction using

L0 regularization[C]//2015 IEEE International Conference on Computer Vision，2015：3083-3091.

[7] ZOLLH？魻FER M，NIE？覻NER M，IZADI S，et al.Real-time non-rigid reconstruction using an RGB-D camera[J].ACM Transactions on Graphics，2014，33（4）：1-12.

[8] MITRA N J，F(xiàn)L？魻RY S，OVSJANIKOV M，et al.Dynamic geometry registratio[C]//Proceedings of the Fifth Eurographics Symposium on Geometry Pro-

cessing，2007：173-182.

[9] S？譈？覻MUTH J，WINTER M，GREINER G.Reconstructing animated meshes from time-varying point clouds[J].Computer Graphics Forum，2008，27（5）：1469-1476.

[10] WAND M，ADAMS B，OVSJANIKOV M，et al.Efficient reconstruction of nonrigid shape and motion from real-time 3D scanner data[J].ACM Transa-

ctions on Graphics，2009，28（2）：1-15.

[11] NEWCOMBE R A，F(xiàn)OX D，SEITZ S.M.DynamicFusion： Reconstruction and Tracking of Non-Rigid Scenes in Real-Tim[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2015：343-352.

[12] INNMANN M，ZOLLH？魻FER M，NIE？覻NER M，et al.Volume-

Deform：Real-time volumetric non-rigid recons-

truction[C]//European Conference on Computer Vision，2016：362-379.

[13] DOU M S，KHAMIS S，DEGTYAREV Y，et al.Fusion4D： Real-time performance capture of challenging scenes[J].ACM Transactions on Graphics，2016，35（4）：1-13.

[14] NEWCOMBE R A，IZADI S，HILLIGES O，et al.Kinec-

tFusion：Real-time dense surface mapping and tracking[C]//2011 10th IEEE International Symposium on Mixed and Augmented Reality， 2011：127-136.

[15] WHELAN T，LEUTENEGGER S，SALAS-MORENO R，et al.ElasticFusion：Dense slam without a pose graph[C]//Robotics：Science and Systems （RSS），2015：1-9.

[16] KELLER M，LEFLOCH D，LAMBERS M，et al.Real-time 3D reconstruction in dynamic scenes using point-based fusion[C]// 2013 International Conference on 3D Vision，2013：1-8.

收稿日期：2021-10-27

作者簡(jiǎn)介：王歡（1971—），男，遼寧鞍山人，教授級(jí)高級(jí)工程師，研究方向：冶金礦山信息化與自動(dòng)化。