徐家樂，肖學中

南京郵電大學 計算機學院、軟件學院、網(wǎng)絡(luò)空間安全學院，南京 210003

通過單幅圖像重建出具有完整紋理的人體三維幾何，進而運用3D運動數(shù)據(jù)驅(qū)動生成人體動畫，在互動娛樂、圖像/視頻數(shù)據(jù)增強甚至影視特效合成等領(lǐng)域都有著廣泛的應(yīng)用場景。因為獲取單視圖人體圖像比獲取多視圖的人體圖像序列更加方便快捷，所以前者應(yīng)用面更廣，適應(yīng)性更強。特別是在短視頻流行的背景下，輸入一張圖片可以得到一段動畫對用戶有很強的吸引力。

由于廣泛的應(yīng)用場景，基于單幅圖像的人體動畫合成技術(shù)受到研究人員的高度重視，許多重要算法被提出。有學者提出將人物從背景分割后，結(jié)合人體骨骼控制人體剪影運動從而生成動畫[1]。該方法忽略了人體的深度信息，通過控制紙片人生成的動畫不具有真實感。隨著深度學習的發(fā)展，近年來很多方法通過骨骼框架引導(dǎo)對抗生成網(wǎng)絡(luò)生成符合要求的圖像，從而達到控制圖像中的人物運動的目的[2-9]。但是，由于單幅圖像的信息缺失問題，基于對抗生成網(wǎng)絡(luò)的圖像生成方法會產(chǎn)生極為不真實的圖像，生成的動畫也會出現(xiàn)偽影，不具有連貫性。此外近年來有許多方法試圖利用深度學習重建單張圖像中的人體的三維幾何[10-14]。然而，這些方法重建出的三維幾何不具有人體骨骼信息，需要手動添加人體骨骼才能控制其運動。參數(shù)化模型SMPL[15]具有人體骨骼信息以及蒙皮權(quán)重，能夠被姿態(tài)參數(shù)控制生成不同姿態(tài)的人體模型，因此基于參數(shù)化模型的重建方法是一個明智的選擇[16-18]。然而，標準的參數(shù)化模型不具有完整的紋理信息以及頭發(fā)、服裝等幾何信息，生成的動畫與輸入圖像中的人物差別過大，缺乏真實感。

據(jù)調(diào)查所知，Photo Wake-Up[19]是目前從單幅圖像重建出可被3D運動數(shù)據(jù)驅(qū)動的人體三維幾何的最先進方法。該方法提出先根據(jù)輸入圖像中的人體輪廓信息變形標準的SMPL參數(shù)模型分別生成正反面的三維幾何模型，再將正反面模型拼接成具有幾何細節(jié)的人體模型。雖然該方法重建后的模型輪廓與輸入圖像一致，但是該方法無法恢復(fù)正確的手部幾何。而且由于該方法采用直線拼接生成的正反面模型，以致重建后的模型丟失了拼接部分的幾何細節(jié)。同時該方法無法解決人體背面紋理信息丟失的問題。

為了生成具有高度真實感的人體動畫，本文提出了一種基于參數(shù)化模型的動畫生成方法，將單幅人體正面圖像作為輸入，重建具有完整紋理的人體幾何并結(jié)合3D運動數(shù)據(jù)生成動畫。首先，使用文獻[18]生成與目標人物姿態(tài)一致的初始SMPL參數(shù)模型。由于標準的SMPL模型缺失人體服裝等幾何細節(jié)信息，與Photo Wake-Up類似，本文以人體輪廓為約束變形初始SMPL模型，得到輪廓與輸入一致的正反面幾何模型。與Photo Wake-Up用直線拼接正反面幾何模型不同，本文提出用基于B樣條插值的模型拼接融合方法拼接變形后的正反面模型。由于Photo Wake-Up重建方法無法恢復(fù)正確的手部幾何，本文提出利用基于B樣條插值的網(wǎng)格拼接融合技術(shù)，將標準的SMPL的手部幾何拼接到重建后的模型上以提高模型真實感。同時為了恢復(fù)人體的背面紋理，本文設(shè)計并訓練了一個圖像到圖像的對抗生成網(wǎng)絡(luò)FBN（front to back network）。最后，利用已有的3D運動數(shù)據(jù)AMASS[20]驅(qū)動重構(gòu)后的模型生成動畫。本文的主要貢獻如下：

（1）提出一種基于B樣條插值的模型拼接融合算法。根據(jù)網(wǎng)格輪廓對應(yīng)關(guān)系生成網(wǎng)格間的拼接曲面，從而拼接模型。與使用直線拼接模型相比較，該方法能夠平滑自然地拼接模型。另外，本文使用基于B樣條插值的模型拼接融合算法替換了重建后的模型中錯誤的手部幾何，提高了模型的真實感。

（2）設(shè)計并訓練了一個圖像到圖像的對抗生成網(wǎng)絡(luò)FBN。根據(jù)輸入的正面紋理生成對應(yīng)背面紋理，從而恢復(fù)完整的人體紋理信息。

基于以上技術(shù)，形成了一個完整的系統(tǒng)。該系統(tǒng)輸入單幅人體正面圖像，先重建出具有完整紋理以及幾何細節(jié)的三維人體模型，然后用3D運動數(shù)據(jù)驅(qū)動重建后的三維人體模型運動生成人體動畫。本文對現(xiàn)有公開數(shù)據(jù)集Impersonator（iPER）[9]和PeopleSnapshot[21]以及在互聯(lián)網(wǎng)上收集的數(shù)據(jù)進行了充分的實驗。實驗證明，本文所提方法能夠生成具有高度真實感的人體動畫。

1 算法概覽

本文提出一種對單張圖片中的人物進行動畫處理的方法。具體流程如圖1所示，輸入一張人體正面圖像，首先使用最新的圖像分割方法[22]對圖像進行分割，生成Mask圖（背景為0，前景為1）。然后利用OpenPose[23]生成人體對應(yīng)的2D骨骼關(guān)節(jié)點，從而利用文獻[18]生成與輸入圖片中人體姿態(tài)一致的SMPL參數(shù)模型。由于標準的SMPL參數(shù)模型是半裸的，缺失人體服裝等幾何細節(jié)信息，與目標輪廓不一致。本文設(shè)計了一個基于二維圖像變形的三維模型變形方法，生成與目標人物幾何輪廓一致的正反兩個三維幾何模型。為了生成具有高度真實感的幾何模型，本文提出一種基于B樣條插值的模型拼接融合算法，用于拼接正反面幾何模型以及替換重建后的模型中錯誤的手部幾何。為了恢復(fù)被遮擋的人體背面紋理，本文設(shè)計并訓練了背面紋理生成網(wǎng)絡(luò)FBN。最后，為了控制重建后的參數(shù)模型運動，本文先根據(jù)骨骼關(guān)節(jié)點位置關(guān)系將重建出的參數(shù)模型逆向變形到標準的T姿態(tài)，然后利用AMASS運動數(shù)據(jù)驅(qū)動模型運動生成人體動畫。

2 三維人體幾何重建

由于標準的SMPL參數(shù)模型不具有服裝紋理信息，為了生成與目標人體幾何一致的參數(shù)模型，需要對初始SMPL參數(shù)模型進行重構(gòu)。一種方法是通過優(yōu)化SMPL參數(shù)模型的頂點位置來強制SMPL參數(shù)模型擬合目標人體輪廓，但是這種方法計算復(fù)雜度高而且生成的模型表面過于粗糙且不具有完整的與圖像中人物一樣的服裝紋理貼圖。因此本文提出了一種基于圖像變形的方法重構(gòu)SMPL參數(shù)模型，從而生成與目標人體輪廓完全一致的且具有完整服裝紋理信息的可動畫處理的網(wǎng)格模型。具體流程如圖2所示。

首先使用文獻[18]中的方法將標準SMPL模型擬合到輸入的圖像中，得到與輸入圖像中人體姿態(tài)一致的初始SMPL參數(shù)模型以及對應(yīng)的相機參數(shù)。然后使用得到的相機參數(shù)渲染初始擬合生成的SMPL參數(shù)模型，得到SMPL對應(yīng)的Mask圖（背景為0，前景為1），法向量值貼圖以及蒙皮權(quán)重圖。特別的，為了恢復(fù)人體背面的幾何模型，在渲染過模型正面視角下的法線貼圖后，需要根據(jù)模型頂點的法向量將模型正面頂點剔除，再渲染相同視角下的模型的背面頂點所對應(yīng)的法向量貼圖。因為SMPL參數(shù)模型的正面與反面頂點蒙皮權(quán)重基本一致，所以在本文中正反面模型共用一個蒙皮權(quán)重圖。

為了將SMPL變形至與目標人體輪廓一致，首先需要找到兩者輪廓之間的對應(yīng)關(guān)系。得到目標人體的Mask圖以及SMPL渲染生成的Mask圖后，從中提取出目標人體的輪廓邊界點集Starget和SMPL參數(shù)模型的輪廓邊界點集Ssmpl。Starget有kt個頂點，表示為{Sitarget|i=1,2,…,kt},Ssmpl有ks個頂點，表示為{Sismpl|i=1,2,…,ks},并且Sitarget,Sismpl∈?2。我們的目標是尋找一組對應(yīng)關(guān)系M(x),x∈{1 ,2,…,kt}，即對Starget中每個點在Ssmpl中找到與之對應(yīng)的點滿足：

C(M(i),M(i-1))用于抑制映射索引之間的跳躍性：

本文使用動態(tài)規(guī)劃求解上述最優(yōu)化問題，其中k=32。由于SMPL渲染生成投影圖像的輪廓為閉合曲線，設(shè)其輪廓內(nèi)的像素點為Pi，則其輪廓內(nèi)所有像素點集合表示為。中值坐標算法[24]可以將Pi用邊界點集Ssmpl表示，即使用邊界點集Ssmpl的加權(quán)組合表示Pi：

其中{?j(Pi)|j=1,2,…,ks}為內(nèi)點Pi相對于邊界點集Ssmpl的均值坐標。

接下來，使用上面已經(jīng)計算好的映射關(guān)系M()x求得Ssmpl上與目標邊界點集Starget對應(yīng)的像素點集合，將其作為均值坐標算法中的邊界點集。因此，內(nèi)點可以表示為：

求解出內(nèi)點集合P相對于邊界點集=1,2,…,kt}的均值坐標集合{?j(Pi)|j=1,2,…,ks}，然后使用目標輪廓Starget代替=1,2,…,kt}求得Pi變換后的坐標：

根據(jù)上述方法，變形法向量貼圖后產(chǎn)生的新的變形法向量貼圖會出現(xiàn)孔洞，針對該問題本文提出一種孔洞填充方法。該方法首先篩選出變形后的法線貼圖中的所有孔洞，對每個孔洞像素點H找到與之相鄰的有法向量值的幾個像素點，以這些像素點作為邊界計算H的均值坐標，然后利用均值坐標對邊界點的值進行插值得到孔洞像素點H的法向量值。對蒙皮權(quán)重執(zhí)行相同的操作，值得注意的是，蒙皮權(quán)重值填充空洞后要進行歸一化處理。

最后根據(jù)變形后的法向量矩陣可以求解得到每一點的深度值，從而重構(gòu)出具有蒙皮權(quán)重的三維幾何模型。

3 基于B樣條插值的網(wǎng)格拼接和融合

在重建出正反面兩個具有蒙皮權(quán)重的三維幾何模型后，需要將正反面模型拼接成一個完整的參數(shù)模型。與Photo Wake-Up使用線性插值拼接正反面幾何模型的方法不同，本文采用基于B樣條插值的網(wǎng)格拼接融合方法拼接正反面模型。

給定空間中n個控制點Pi( )i=0,1,…,n，則將這些頂點作為控制點可以確定一條光滑的k階B樣條曲線：

其中，ui是節(jié)點值，構(gòu)成了k階（k-1次）B樣條函數(shù)的節(jié)點矢量。為k階B樣條基函數(shù)，其遞推公式如下：

k-1為B樣條曲線的次數(shù)，頂點Pi稱為控制頂點。

給定空間中(m+1)×(n+1)個控制點Pi,j(i=0,1,…,m;j=0,1,…,n)，以及參數(shù)軸u和v的節(jié)點矢量U=(u0,u1,…,um+p)、V=(v0,v1,…,vn+q)可以得到一個p×q階B樣條曲面。定義如下：

其中，Pi,j構(gòu)成一張控制網(wǎng)格，稱為B樣條曲面的特征網(wǎng)絡(luò)，Ni,p(u)和Nj,q(v)是B樣條曲面的基，分別由節(jié)點矢量按照遞推公式確定。

本文提出的基于B樣條插值的網(wǎng)格拼接融合算法工作流程如圖3所示。首先分別從待拼接的兩個網(wǎng)格模型各選取兩個邊界點集合，然后根據(jù)邊界點集生成4條B樣條曲線，接下來對插值后的4條邊界曲線進行曲面插值得到B樣條曲面，最后再對生成的B樣條曲面網(wǎng)格化。該算法的具體步驟如下：

（1）根據(jù)流形網(wǎng)格模型的網(wǎng)格邊界特性找到兩組待拼接模型的邊界點集V11、V21，以及邊界點集相鄰的邊界點集V12、V22。

（2）分別計算出邊界點集對應(yīng)的三次均勻B樣條曲線S11、S12、S21、S22，即根據(jù)邊界頂點反求三次均勻B樣條曲線的控制頂點Pi( )i=0,1,…,n,n＞3。

（3）根據(jù)生成的4條B樣條曲線生成B樣條曲面，即將三次均勻B樣條曲線S11、S12、S21、S22作為v方向的簇，固定u方向，變化v方向，計算v方向的三次均勻B樣條曲線簇，從而交織成雙三次B樣條曲面。（4）對生成的B樣條曲面分別沿u和v方向均勻采樣，得到網(wǎng)格頂點集，然后將網(wǎng)格頂點集三角網(wǎng)格化生成過渡網(wǎng)格模型。

（5）將待拼接網(wǎng)格模型與生成的過渡網(wǎng)格模型拼接在一起，并使用Laplacian平滑算法對拼接區(qū)域進行光順處理，使得模型光滑拼接。

與Photo Wake-UP不同，本文使用基于B樣條插值的模型拼接方法拼接正反面模型，有效地解決了使用線性插值拼接正反面模型導(dǎo)致的拼接區(qū)域出現(xiàn)的鋸齒狀問題。圖4展示了本文方法與Photo Wake-Up中的拼接方法的拼接結(jié)果對比。圖4（a）中左側(cè)幾何為Photo Wake-UP中使用的網(wǎng)格拼接算法產(chǎn)生的結(jié)果，右側(cè)幾何為使用基于B樣條插值的網(wǎng)格拼接融合算法產(chǎn)生的結(jié)果。實驗證明使用基于B樣條插值的網(wǎng)格拼接融合算法拼接正反面網(wǎng)格模型生成的幾何模型有較好的平滑拼接效果，拼接處過渡自然，沒有明顯的變形區(qū)域。

針對SMPL參數(shù)模型變形過程中由于手指間互相遮擋導(dǎo)致的重建后的參數(shù)模型的手部幾何缺乏真實感的問題。本文提出利用基于B樣條插值的網(wǎng)格拼接融合算法，將重建后的模型中錯誤的手部幾何用標準SMPL參數(shù)模型的手部幾何替換。首先根據(jù)重建后的參數(shù)模型的3D骨架信息將模型逆向變換到標準的T姿態(tài)。根據(jù)參數(shù)模型的3D關(guān)節(jié)點信息，將參數(shù)模型在手腕關(guān)節(jié)點處用平面切割。即，以手肘到手腕關(guān)節(jié)點組成的向量作為法向量，結(jié)合手腕關(guān)節(jié)點位置生成切割平面對參數(shù)模型進行切割，生成去除手部后的模型Mbody。同樣對標準姿態(tài)下的SMPL參數(shù)模型進行切割得到左右手網(wǎng)格模型Hr、Hl。然后根據(jù)手腕關(guān)節(jié)點位置信息平移手部網(wǎng)格模型Hr、Hl至與身體網(wǎng)格模型Mbody對齊。最后使用基于B樣條插值的網(wǎng)格拼接算法拼接手部模型與身體網(wǎng)格模型。如圖5所示，本文提出的手部替換方法能夠平滑自然地用標準的手部幾何替換重建后的模型中錯誤的手部幾何，增強了模型的真實感。

4 背面紋理生成網(wǎng)絡(luò)

由于人體的自我遮擋，僅僅通過單張人體圖像無法獲取完整的人體紋理信息。但是在相同視角下人體的正面和背面具有相同的輪廓和許多相同的視覺特征，因此可以通過正面紋理推測對應(yīng)的背部紋理從而恢復(fù)完整的紋理信息。本文訓練了一個條件對抗生成網(wǎng)絡(luò)FBN，根據(jù)輸入正面圖像生成人體背面紋理。

如圖6所示，輸入正面圖像If，首先利用文獻[22]中的圖像分割技術(shù)提取出人體的二進制掩膜Sf（背景為0，其余為1）。然后將二者輸入到生成器G中得到預(yù)測的背面紋理特別地，為了消除復(fù)雜的背景對生成器造成的干擾，將輸入圖像If乘以掩膜Sf輸入至生成器G，預(yù)測的背面紋理可表示為：

其中⊙表示哈達瑪積。

本文以監(jiān)督學習的方式訓練生成器G，網(wǎng)絡(luò)架構(gòu)采用U-Net網(wǎng)絡(luò)[25]。損失函數(shù)由對抗損失Ladv、基于VGG網(wǎng)絡(luò)的感知損失LVGG以及像素差損失Lpix構(gòu)成。LVGG的作用是提升合成圖像的紋理細節(jié)，其表示為：

其中，f(·)為訓練完成的VGG-19網(wǎng)絡(luò)[26]，Ib為真實的背部圖像。Lpix損失能夠有效地保留正面紋理與背面紋理共有的視覺特征，其表示為：同時為了生成更加清晰的圖像，本文采用了與Patch-GAN[27]中相同的對抗損失Ladv：

總損失定義為：

在本文的實驗中，設(shè)λVGG=1.0，λpix=20.0。

訓練背面紋理生成網(wǎng)絡(luò)FBN的生成器，需要大量的前后視圖圖像對。然而在現(xiàn)實生活中不存在這樣的對齊的圖像對。本文將公開的人體模型數(shù)據(jù)集PVHM[28]和THuman[29]渲染成一個對齊的圖像對數(shù)據(jù)集，用于訓練背面紋理生成網(wǎng)絡(luò)FBN。為了避免過擬合，在渲染模型時隨機改變相機視角的俯仰角、相機距離、燈光條件。

本文使用Xavier[30]初始化整個FBN網(wǎng)絡(luò)，采用Adam優(yōu)化器(β1=0.5,β2=0.999)，學習率為0.000 2，批量大小為8，迭代了20輪。在Impersonator[9]數(shù)據(jù)集以及People-Snapshot[21]數(shù)據(jù)集上的測試結(jié)果如圖7、圖8、圖9的（b）列所示。雖然FBN網(wǎng)絡(luò)無法準確地生成人體的背面服裝紋理，特別是在正反面紋理差異較大時，但是FBN網(wǎng)絡(luò)能夠根據(jù)正面紋理較為準確地推斷出人體背面的頭發(fā)紋理并生成令人信服的服裝紋理。

5 實驗結(jié)果及分析

5.1 實驗結(jié)果

圖7展示了本文在Impersonator[9]數(shù)據(jù)集上的部分重建結(jié)果。圖8展示了本文在PeopleSnapshot[21]數(shù)據(jù)集上的部分重建結(jié)果。對于每個輸入，本文展示了背面的紋理生成結(jié)果，重建的三維模型正面視角以及背面視角。本文方法能夠處理不同體型和身高的人，生成與目標人物輪廓一致的具有完整紋理以及服裝幾何細節(jié)的人體參數(shù)模型。圖9展示了本文針對互聯(lián)網(wǎng)上的圖像的生成結(jié)果。本文方法不僅可以處理真實的人體圖像，甚至可以處理卡通圖像（如圖9第2行）?；谏疃葘W習的模型重建方法只有輸入真人圖像時才會得到較為良好的結(jié)果，因為該方法是基于真人數(shù)據(jù)集訓練而成。本文的重建方法不依賴于數(shù)據(jù)集，因此具有更強的泛化能力。本文方法還可以處理穿著寬松衣服的人（如圖9第4行）。因為本文提出的重建方法能夠生成與目標輪廓一致的三維人體模型。

圖10展示了模型動畫后的部分結(jié)果。圖10中（a）列為輸入圖像，（b）、（c）、（d）、（e）列為生成的動畫的部分截圖，（f）列為替換手部幾何后生成的動畫截圖。本文采用模型重建再渲染的方法生成動畫，有效地消除了傳統(tǒng)動畫生成方法生成的動畫中出現(xiàn)的偽影，增強了生成動畫的真實感。同時，本文生成的動畫還可以應(yīng)用至虛擬現(xiàn)實場景中。由于重建過程中無法恢復(fù)正確的手部幾何，本文采用基于B樣條插值的網(wǎng)格拼接融合算法將錯誤的手部幾何用標準的SMPL模型的手部替換，圖10最后一列展示了替換后的模型效果。本文采用的基于模型重建再渲染的動畫生成方法有效地去除了生成的動畫中的偽影。替換錯誤的手部幾何后能夠生成更具真實感的人體動畫。

5.2 實驗結(jié)果對比

圖11 展示了本文方法與Photo Wake-Up[19]的結(jié)果對比。圖11中，第一列為Photo Wake-Up重建的結(jié)果，第二列為本文替換手部幾何前的結(jié)果，第三列為替換手部幾何后的結(jié)果，最后一列為局部細節(jié)放大結(jié)果。與Photo Wake-Up相比，本文使用基于B樣條插值的模型拼接方法不僅能夠平滑自然地拼接正反面網(wǎng)格，還能夠替換錯誤的手部幾何使得模型更具真實感。同時，本文還能夠較準確地生成背面紋理。相較于Photo Wake-Up，本文方法可以重建出具有全身紋理以及輪廓和手部幾何細節(jié)的更具真實感的人體參數(shù)模型。

圖12 展示了初始SMPL模型與重構(gòu)后的模型對比。圖12（a）為輸入，（b）為初始SMPL參數(shù)模型，（c）為本文方法重構(gòu)后的人體模型。標準的SMPL參數(shù)模型是半裸的，不具有人體服裝信息，與輸入圖像中的人體輪廓不一致。本文的三維人體幾何重建方法能夠生成與目標輪廓一致的人體模型。

本文還在PeopleSnapshot數(shù)據(jù)集上將本文方法和其他相關(guān)人體三維重建方法做了定性的比較。BodyNet[31]是一種基于體素的方法，僅從一幅圖像估計人體姿勢和形狀。SiCloPe[10]也是基于體素的，但通過依賴于物體的合成輪廓來恢復(fù)某些細節(jié)。HMR[17]是一種基于SMPL參數(shù)模型從單個圖像估計姿勢和形狀的方法。Video Shapes[21]是基于視頻的單眼形狀重建方法，由于該方法是基于優(yōu)化的并且需要首先擬合每個幀的姿態(tài)，這使得該過程非常慢。Tex2shape[13]從局部紋理中估計有細節(jié)的法線貼圖和向量偏移貼圖，從而恢復(fù)三維模型。在圖13中，本文對上述所有方法進行了比較。第一列為輸入，第二列為BodyNet方法的重建結(jié)果，第三列為HMR方法的重建結(jié)果，第四列為SiCloPe方法的重建結(jié)果，第五列為Video Shapes方法的重建結(jié)果，第六列為Tex2shape方法的重建結(jié)果，最后兩列為本文方法重建出的結(jié)果。本文的結(jié)果比前三種方法更詳細，與后兩種重建方法在細節(jié)恢復(fù)方面具有可比性，但是本文重建后的模型可以由3D運動數(shù)據(jù)驅(qū)動生成動畫。

Liquid Warping GAN[9]利用人體姿態(tài)引導(dǎo)神經(jīng)網(wǎng)絡(luò)生成不同姿態(tài)的人體圖像從而構(gòu)成動畫。但是基于神經(jīng)網(wǎng)絡(luò)的動畫生成方法生成的動畫缺乏真實感，容易產(chǎn)生偽影。圖14展示了本文方法和Liquid Warping GAN生成動畫的部分截圖，圖中第一列為輸入，紅色虛線標注的是Liquid Warping GAN生成的圖像，藍線標注的為本文生成的圖像。Liquid Warping GAN生成的圖像容易出現(xiàn)偽影，人體紋理細節(jié)大量丟失。實驗證明，本文提出的動畫生成方法有效地消除了生成的動畫中的偽影，生成的動畫在清晰度、真實感等方面顯著提高。值得注意的是與Liquid Warping GAN相比，本文方法處理漫畫風格的人物時也有較好的效果，如圖14最后一行所示。

6 結(jié)束語

本文提出了一個完整的框架，從單幅圖像中生成具有高度真實感的動畫。本文依據(jù)輪廓變形標準的SMPL參數(shù)模型，并將基于B樣條插值的網(wǎng)格拼接融合算法用于正反面模型拼接以及手部的替換，從而提高重建后的模型的真實感。同時本文還訓練了一個對抗生成網(wǎng)絡(luò)用于恢復(fù)模型的背部紋理。最后結(jié)合運動數(shù)據(jù)集控制重建后的參數(shù)模型運動，從而生成動畫。

本文方法還有一些局限性：首先，本文需要輸入圖像中的人體正對相機，而且身體部位不能夠相互遮擋。第二，雖然本文恢復(fù)了手部的正確幾何，但是由于缺少手指運動數(shù)據(jù)，從而無法生成逼真的手指運動動畫。最后，在重建過程中會丟失部分紋理細節(jié)，例如鞋子部分。