蘇 鵬，尹夢(mèng)曉,2，王宇攀，韓艷茹，楊 鋒,2，李桂清

?

基于變形圖的譜姿態(tài)遷移

蘇 鵬1，尹夢(mèng)曉1,2，王宇攀3，韓艷茹1，楊 鋒1,2，李桂清3

(1. 廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院，廣西 南寧 530004； 2.廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣西 南寧 530004； 3. 華南理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，廣東 廣州 510006)

為減低譜姿態(tài)遷移結(jié)果受幾何代理Cage的影響程度，提出基于變形圖的譜姿態(tài)遷移方法。首先，利用優(yōu)化二次誤差度量方法簡(jiǎn)化源網(wǎng)格得到變形圖，將源網(wǎng)格頂點(diǎn)以測(cè)地距離為權(quán)重用變形圖頂點(diǎn)表示，強(qiáng)制源網(wǎng)格頂點(diǎn)與基于耦合準(zhǔn)調(diào)和基的姿態(tài)遷移結(jié)果盡可能相同，同時(shí)保持變形圖的拉普拉斯坐標(biāo)，獲得低頻姿態(tài)遷移結(jié)果，并利用嵌入變形算法對(duì)此結(jié)果進(jìn)行優(yōu)化；然后，通過(guò)觀察找到次級(jí)姿態(tài)學(xué)習(xí)不充分的局部網(wǎng)格，分割出局部子網(wǎng)格，對(duì)這些子網(wǎng)格使用低頻姿態(tài)遷移方法，可以學(xué)習(xí)到次級(jí)姿態(tài)。實(shí)驗(yàn)結(jié)果表明，在一定程度上降低了幾何代理的影響，有效地提高了譜姿態(tài)遷移結(jié)果。

姿態(tài)遷移；網(wǎng)格簡(jiǎn)化；嵌入變形；耦合準(zhǔn)調(diào)和基

三維網(wǎng)格模型在3D打印、虛擬現(xiàn)實(shí)、娛樂(lè)游戲等方面有廣泛應(yīng)用。利用傳統(tǒng)手工建模、掃描設(shè)備或建模軟件很難快速準(zhǔn)確地對(duì)復(fù)雜的幾何形狀進(jìn)行建模[1]。而對(duì)已有的網(wǎng)格模型進(jìn)行編輯和重用，可以避免重新建模。其中基于樣例的網(wǎng)格建模(example-based mesh modeling)是一種常用的三維網(wǎng)格模型重用的方法。作為基于樣例的網(wǎng)格建模技術(shù)變形遷移[2-3]和姿態(tài)遷移[4-5]利用參考網(wǎng)格的已有姿態(tài)得到具有相似姿態(tài)的目標(biāo)網(wǎng)格。變形遷移(deformation transfer)抽取參考網(wǎng)格的兩個(gè)不同姿態(tài)之間潛在運(yùn)動(dòng)的幾何變換，利用幾何變換驅(qū)動(dòng)另一個(gè)模型(源網(wǎng)格)變形[2-3]，通常需要輸入?yún)⒖季W(wǎng)格的2個(gè)不同姿態(tài)來(lái)驅(qū)動(dòng)源網(wǎng)格變形。與變形遷移相比，姿態(tài)遷移(posetransfer)僅需一個(gè)參考網(wǎng)格來(lái)指定源網(wǎng)格變形[4-5]。

文獻(xiàn)[4-5]提出的姿態(tài)遷移策略無(wú)法很好地保持源網(wǎng)格的幾何細(xì)節(jié)，且不能捕捉參考網(wǎng)格的次級(jí)姿態(tài)。文獻(xiàn)[6]提出的細(xì)節(jié)保持的多層譜姿態(tài)遷移方法解決了上述問(wèn)題。由于文獻(xiàn)[6]使用Cage和均值坐標(biāo)[7]來(lái)表示源網(wǎng)格，而均值坐標(biāo)不滿足內(nèi)部局部性[8]，因此姿態(tài)遷移結(jié)果受Cage的影響較大。

為此，本文利用嵌入變形圖編輯方法[9]代替廣義中心坐標(biāo)的子空間技術(shù)，以變形圖作為幾何代理、測(cè)地距離[10]為權(quán)重表示源網(wǎng)格。嵌入變形能較好地保持網(wǎng)格的幾何細(xì)節(jié)，這在一定程度上降低幾何代理對(duì)遷移結(jié)果的影響，從而提高遷移結(jié)果的質(zhì)量。

1 相關(guān)工作

BOSCAINI等[13]通過(guò)約束在泛函映射[14]下，網(wǎng)格模型的拉普拉斯算子盡可能相同來(lái)進(jìn)行姿態(tài)遷移。從實(shí)驗(yàn)結(jié)果來(lái)看，該方法所使用的模型相對(duì)光滑，沒(méi)有比較豐富的細(xì)節(jié)。

文獻(xiàn)[6]在文獻(xiàn)[5]的基礎(chǔ)上添加細(xì)節(jié)保持約束，以Cage作為幾何代理利用基于均值坐標(biāo)[7]的子空間方法進(jìn)行細(xì)節(jié)保持的姿態(tài)遷移，能量函數(shù)為

注意到三維模型姿態(tài)具有多尺度性，文獻(xiàn)[6]利用網(wǎng)格分割方法[15]將整體模型的中小尺度姿態(tài)(次級(jí)姿態(tài))轉(zhuǎn)化為相對(duì)于局部區(qū)域網(wǎng)格(子網(wǎng)格)的大尺度姿態(tài)，再利用細(xì)節(jié)保持的低頻姿態(tài)遷移方法進(jìn)行次級(jí)姿態(tài)遷移。重復(fù)執(zhí)行此過(guò)程，最終獲得具有參考模型的姿態(tài)和源網(wǎng)格模型幾何細(xì)節(jié)的目標(biāo)網(wǎng)格模型。

本文在文獻(xiàn)[6]的基礎(chǔ)進(jìn)行改進(jìn)，除了必要的符號(hào)和術(shù)語(yǔ)之外，其他相關(guān)工作請(qǐng)參考文獻(xiàn)[6]。

2 基于變形圖的姿態(tài)遷移

2.1 變形圖的構(gòu)造

本文選取變形圖作為幾何代理表示源網(wǎng)格，首先構(gòu)造變形圖。文獻(xiàn)[9]指出使用對(duì)網(wǎng)格模型的均勻采樣所產(chǎn)生的變形圖的嵌入變形效果最好。生成頂點(diǎn)分布均勻網(wǎng)格的方法很多，但多數(shù)方法均存在逼近誤差[16]，嵌入變形優(yōu)化時(shí)本文利用源網(wǎng)格頂點(diǎn)更新變形圖的頂點(diǎn)，而逼近誤差會(huì)帶來(lái)更多誤差。本文采用文獻(xiàn)[17]提出的方法對(duì)源網(wǎng)格模型進(jìn)行簡(jiǎn)化得到變形圖。

圖1 QF代價(jià)圖例

實(shí)驗(yàn)過(guò)程中根據(jù)實(shí)際情況選取權(quán)重。例如需要盡可能保持源網(wǎng)格的局部細(xì)節(jié)特征時(shí)，增大Q的權(quán)重的值。如需得到頂點(diǎn)分布均勻的變形圖時(shí)，增大Q的權(quán)重。以下實(shí)驗(yàn)通常取=1.0，=1.0，=1–2，=10.0。與圖4(a)相比，利用優(yōu)化后的QEM簡(jiǎn)化算法生成的網(wǎng)格頂點(diǎn)分布均勻，如圖4(b)所示；變形圖頂點(diǎn)的數(shù)量決定了其可表達(dá)性(Expressibility)[9]。當(dāng)源網(wǎng)格次級(jí)姿態(tài)較少時(shí)可以使用密度較小的變形圖。反之，使用頂點(diǎn)密度較大的變形圖。本文實(shí)驗(yàn)一般選擇300~400個(gè)頂點(diǎn)的變形圖。

圖2 邊折疊方式示意圖

(a) 參考姿態(tài)(b) 源姿態(tài)(c) 低頻姿態(tài)遷移 后的變形圖

(a) 原始QEM(b) 優(yōu)化后QEM

2.2 基于變形圖的姿態(tài)遷移能量函數(shù)

本文使用變形圖作為幾何代理，利用文獻(xiàn)[6]的姿態(tài)遷移方法進(jìn)行保持細(xì)節(jié)的低頻姿態(tài)遷移。

其中，

因此式(2)為

其中，

因此，最終的姿態(tài)遷移能量函數(shù)為

2.3 嵌入變形優(yōu)化姿態(tài)遷移

2.4 基于變形圖的姿態(tài)遷移步驟

步驟3.選取參考網(wǎng)格與源網(wǎng)格直接的特征對(duì)應(yīng)點(diǎn)，計(jì)算參考網(wǎng)格與源網(wǎng)格之間的基于面積近似的-鄰域指示函數(shù)(indicator functions)作為模型之間的對(duì)應(yīng)函數(shù)[6]；

步驟6.優(yōu)化能量式(6)，得到變形圖頂點(diǎn)的旋轉(zhuǎn)變換和平移變換；

步驟8.利用目標(biāo)模型的頂點(diǎn)位置，更新變形圖的頂點(diǎn)(為分層姿態(tài)遷移做準(zhǔn)備)。

2.5 分層姿態(tài)遷移

為了充分學(xué)習(xí)參考模型的次級(jí)姿態(tài)，同文獻(xiàn)[6]一樣，在完成全局低頻姿態(tài)遷移后，通過(guò)觀察，找到姿態(tài)學(xué)習(xí)不充分的局部網(wǎng)格，分割得到局部子網(wǎng)格，將全局的次級(jí)姿態(tài)轉(zhuǎn)化為相對(duì)子網(wǎng)格的低頻姿態(tài)，進(jìn)行分層姿態(tài)遷移。

(a) 子網(wǎng)格變 形圖偏移(b) 偏移拼接 后變形圖(c) 分層姿態(tài) 遷移結(jié)果

對(duì)于一組子網(wǎng)格的分層姿態(tài)遷移步驟如下，其他子網(wǎng)格重復(fù)此過(guò)程，得到最終姿態(tài)遷移結(jié)果。

步驟5. 利用2.4節(jié)基于變形圖的譜姿態(tài)遷移步驟6~步驟8得到姿態(tài)遷移結(jié)果。

因此，基于變形圖的譜姿態(tài)遷移整體流程如圖6所示，在全局低頻姿態(tài)遷移后，分別對(duì)左手臂、左腳、右腳、頭部、右手臂進(jìn)行分層姿態(tài)遷移。

圖6 基于變形圖的譜姿態(tài)遷移流程

3 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)在Visual studio 2010環(huán)境下實(shí)現(xiàn)。實(shí)驗(yàn)平臺(tái)為intel Core i7-8700K 3.70 GHz，8 G內(nèi)存，Windows 10操作系統(tǒng)。數(shù)據(jù)結(jié)構(gòu)采用基于OpenMesh的半邊結(jié)構(gòu)，利用Eigen提供的求解器求解優(yōu)化函數(shù)，耦合準(zhǔn)調(diào)和基是在C++程序中調(diào)用文獻(xiàn)[5]提供的MATLAB代碼進(jìn)行計(jì)算。

實(shí)驗(yàn)結(jié)果與文獻(xiàn)[6]進(jìn)行比較；在算法效率方面，表1中列出關(guān)鍵步驟的運(yùn)行時(shí)間。根據(jù)連接關(guān)系、對(duì)象的是否相同，本文給出具有相同連接關(guān)系的同一對(duì)象的不同姿態(tài)、具有相同連接關(guān)系的不同對(duì)象、具有不同連接關(guān)系的同一對(duì)象以及不同連接關(guān)系不同對(duì)象之間的實(shí)驗(yàn)結(jié)果。

如圖7所示，變形圖7(d)的前左腿矩形區(qū)域比Cage圖7(c)的對(duì)應(yīng)區(qū)域質(zhì)量差，而由局部區(qū)域放大圖7(g)可看出姿態(tài)遷移和基于變形圖7(f)的保持細(xì)節(jié)結(jié)果比基于cage圖7(e)的保持細(xì)節(jié)更好，從而達(dá)到更好地保持幾何細(xì)節(jié)。

圖7 Cage與變形圖局部性比較

3.1 具有相同連接關(guān)系的同一對(duì)象的不同姿態(tài)

圖8中，該對(duì)象的參考姿態(tài)圖8(a)與源網(wǎng)格圖8(b)具有相同連接關(guān)系；圖8(c)為文獻(xiàn)[6]的姿態(tài)遷移結(jié)果，目標(biāo)網(wǎng)格學(xué)習(xí)參考網(wǎng)格的姿態(tài)已經(jīng)相當(dāng)充分，但是馬的右后腳的彎曲程度不夠；圖8(d)是本文結(jié)果，可以看出馬的右后腳的彎曲程度與參考姿態(tài)一致。

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

3.2 具有相同連接關(guān)系的不同對(duì)象

圖9為具有相同連接關(guān)系的貓模型，圖9(a)與獅子模型圖9(b)的姿態(tài)遷移結(jié)果；圖9(c)為文獻(xiàn)[6]的姿態(tài)遷移結(jié)果，雖然目標(biāo)網(wǎng)格學(xué)習(xí)參考網(wǎng)格的姿態(tài)已經(jīng)相當(dāng)充分，但是尾巴與源網(wǎng)格比較有明顯變粗的跡象。相比之下，本文的結(jié)果圖9(d)對(duì)獅子的尾巴的細(xì)節(jié)保持更好。

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

3.3 具有不同連接關(guān)系的同一個(gè)對(duì)象

對(duì)于具有不同連接關(guān)系的同一對(duì)象，圖10中，文獻(xiàn)[6]的遷移結(jié)果圖10(c)貓尾巴末端沒(méi)有學(xué)習(xí)到參考姿態(tài)圖10(a)的彎曲軌跡；圖10(d)為貓s的尾巴末端的彎曲軌跡更接近圖10(a)。

3.4 不同對(duì)象不同連接關(guān)系

對(duì)于不同對(duì)象不同連接關(guān)系一般情況，給出3個(gè)示例。

在圖11中，圖11(c)為文獻(xiàn)[6]的姿態(tài)遷移結(jié)果，兩腿的分開(kāi)程度要比參考網(wǎng)格大，同時(shí)頭部扭轉(zhuǎn)程度甚于參考姿態(tài)圖11(a)。圖11(d)的結(jié)果中腿部分開(kāi)程度和頭部扭轉(zhuǎn)程度與參考網(wǎng)格更接近。

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

在圖12中，犰狳模型圖12(b)學(xué)習(xí)人體模型圖12(a)的姿態(tài)。相比之下，圖12(d)所示的結(jié)果較圖12(c)看起來(lái)更自然。

對(duì)于連接關(guān)系不同的2個(gè)人體模型(圖13(a)、(b))，文獻(xiàn)[6]的結(jié)果圖13(c)中兩腿的姿態(tài)學(xué)習(xí)不太充分，且左手臂局部變粗，左腳有抬起動(dòng)作。圖13(d)所示結(jié)果與參考姿態(tài)更相似，且左手臂相對(duì)保持了原本粗細(xì)。

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

3.5 時(shí)間性能

為了闡述本文方法的效率，表1中列出了所有例子的耦合準(zhǔn)調(diào)和基計(jì)算、測(cè)地距離計(jì)算、姿態(tài)遷移、分層姿態(tài)遷移等關(guān)鍵步驟的時(shí)間以及參考網(wǎng)格、源網(wǎng)格及變形圖的規(guī)模。

從表1來(lái)看，與文獻(xiàn)[6]相比增加了嵌入變形編輯時(shí)間，測(cè)地距離計(jì)算耗時(shí)較多。但是嵌入變形編輯提高了目標(biāo)網(wǎng)格的質(zhì)量，減少姿態(tài)遷移次數(shù)。

表1 姿態(tài)遷移時(shí)間(s)

4 結(jié)束語(yǔ)

本文對(duì)文獻(xiàn)[6]提出的細(xì)節(jié)保持的譜姿態(tài)遷移算法和多層遷移框架進(jìn)行了改進(jìn)。利用變形圖作為幾何代理，嵌入變形圖編輯方法[9]表示源網(wǎng)格時(shí)具有較好的局部性，在一定程度上降低了幾何代理質(zhì)量對(duì)結(jié)果的影響；調(diào)整后的優(yōu)化式(5)在學(xué)習(xí)姿態(tài)的同時(shí)增加了細(xì)節(jié)保持能力；對(duì)子網(wǎng)格使用簡(jiǎn)單偏移拼接，不必進(jìn)行朝向調(diào)整。

本文方法中最耗時(shí)的是測(cè)地距離的計(jì)算，在后續(xù)工作中可以利用GPU并行加速求解測(cè)地距離，以提高效率。另外，對(duì)于權(quán)重的選擇方面，除了求解能量函數(shù)所用到的兩個(gè)權(quán)重外，本文又引入了嵌入變形圖編輯算法的3個(gè)權(quán)重，所以如何更高效的選取權(quán)重也待解決。

[1] 胡事民, 楊永亮, 來(lái)煜坤. 數(shù)字幾何處理研究進(jìn)展[J]. 計(jì)算機(jī)學(xué)報(bào), 2009, 32(8): 1451-1469.

[2] SUMNER R W, POPOVI? J. Deformation transfer for triangle meshes [J]. ACM Transactions on Graphics, 2004, 23(3): 399-405.

[3] BARAN I, VLASIC D, GRINSPUN E, et al. Semantic deformation transfer [J]. ACM Transactions on Graphics, 2009, 28(3): 36.

[4] LéVY B. Laplace-Beltrami eigenfunctions towards an algorithm that understands geometry [C]//2006 IEEE International Conference on Shape Modeling and Applications. New York: IEEE Press, 2006: 13.

[5] KOVNATSKY A, BRONSTEIN M M, BRONSTEIN A M, et al. Coupled quasi-harmonic bases [J]. Computer Graphics Forum, 2013, 32(2): 439-448.

[6] YIN M X, LI G Q, LU H N, et al. Spectral pose transfer [J]. Journal of Computer-Aidesd Design and Computer Graphics, 2015, 35-36(C): 82-94.

[7] JU T, SCHAEFER S, WARREN J. Mean value coordinates for closed triangular meshes [J]. ACM Transactions on Graphics, 2005, 24(3): 561-566.

[8] 李琳, 李桂清, 黃力慰. 等距cage生成[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2011, 23(6): 956-963.

[9] SUMNER R W, SCHMID J, PAULY M. Embedded deformation for shape manipulation [J]. ACM Transactions on Graphics, 2007, 26(3): 80.

[10] KIMMEL R, SETHIAN J A. Computing geodesic paths on manifolds [J]. Proceedings of the National Academy of Sciences, 1998, 95(15): 8431-8435.

[11] PINKALL U, POLTHIER K. Computing discrete minimal surfaces and their conjugates [J]. Experimental Mathematics, 1993, 2(1): 15-36.

[12] SORKINE O, COHEN-OR D, LIPMAN Y, et al. Laplacian surface editing [C]//2004 Eurographics/ACM SIGGRAPH Symposium on Geometry Processing. New York: ACM Press, 2004: 175-184.

[13] BOSCAINI D, EYNARD D, BRONSTEIN M M. Shape-from-operator: Recovering shapes from intrinsic operators [J]. Computer Graphics Forum, 2015, 34(2): 265-274.

[14] OVSJANIKOV M, BEN-CHEN M, SOLOMON J, et al. Functional maps: A flexible representation of maps between shapes [J]. ACM Transactions on Graphics, 2012, 31(4): 30.

[15] JI Z, LIU L, CHEN Z, et al. Easy mesh cutting [J]. Computer Graphic Forum, 2006, 25(3): 283-291.

[16] 嚴(yán)冬明, 胡楷模, 郭建偉, 等. 各向同性三角形重新網(wǎng)格化方法綜述[J]. 計(jì)算機(jī)科學(xué), 2017, 44(8): 9-17.

[17] 陳愛(ài)芬, 李桂清, 王宇攀, 等. 誤差可控的細(xì)分曲面圖像矢量化[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2017, 29 (12): 2197-2203.

[18] GARLAND M. Surface simplification using quadric error metrics [C]//ACM SIGGRAPH Computer Graphics 1997. New York: ACM Press, 1997: 209-216.

[19] 李桂清, 馬維銀, 鮑虎軍. 帶尖銳特征的Loop細(xì)分曲面擬合系統(tǒng)[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2005, 17(6): 1179-1185.

[20] SEBASTIAN F G. Practical parameterization of rotations using the exponential map [J]. The Journal of Graphics Tools, 1998, 3(3): 29-48.

Spectral Pose Transfer Based on Deformation Graph

SU Peng1, YIN Meng-xiao1,2, WANG Yu-pan3, HAN Yan-ru1, YANG Feng1,2, LI Gui-qing3

(1. School of Computer Electronics and Information, Guangxi University, Nanning Guangxi 530004, China; 2. Guangxi Key Laboratory of Multimedia Communications Network Technology, Nanning Guangxi 530004, China; 3. School of Computer Science and Engineering, South China University of Technology, Guangzhou Guangdong 510006, China)

Spectral pose transfer based on deformation graph is proposed to reduce the influence of the geometry agent Cage. At the beginning, the deformation graph is obtained to optimize the quadric error metric algorithm so as to simplify the source mesh, and then the deformation graph vertices are used to represent the source mesh vertices through the geodesic distance. The source mesh vertices are forced to be identical as much as possible with the results of pose transfer based on the coupled quasi-harmonic basis, and the same time, the Laplacian coordinates of the deformation graph are kept and then the result of the low frequency pose transfer can be obtained on the basis of optimizing the related result by applying the embedded deformation algorithm. After that, the local meshes of insufficient secondary pose study are found by observation and then are divided into the sub-meshes. The secondary pose is transferred by using the low frequency pose transfer method on these sub-meshes. Experimental results show that it can reduce the influence of geometry agent to some extent, and can also effectively improve the pose transfer.

pose transfer; mesh simplification; embedded deformation; coupled quasi-harmonic bases

TP 391

10.11996/JG.j.2095-302X.2019020282

A

2095-302X(2019)02-0282-08

2018-08-31；

2018-11-04

國(guó)家自然科學(xué)基金項(xiàng)目(61762007)；廣西自然科學(xué)基金項(xiàng)目(2017GXNSFAA198269，2017GXNSFAA198267)；廣西教育廳項(xiàng)目(2017KY0026，KY2016YB026)；廣東省自然科學(xué)基金項(xiàng)目(2017A030313347)

蘇 鵬(1987-)，男，黑龍江牡丹江人，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)。E-mail：thebigapple@163.com

尹夢(mèng)曉(1978-)，女，河南南陽(yáng)人，副教授，博士，碩士生導(dǎo)師。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、數(shù)字幾何處理。E-mail：ymx@gxu.edu.cn