戴龍利，曹蓉蓉，阮宗才,2

(1.東南大學(xué) 學(xué)習(xí)科學(xué)研究中心，江蘇 南京 210000；2.東南大學(xué) 兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210000)

一種透視投影下的非剛體迭代重構(gòu)方法

戴龍利1，曹蓉蓉1，阮宗才1,2

(1.東南大學(xué) 學(xué)習(xí)科學(xué)研究中心，江蘇 南京 210000；2.東南大學(xué) 兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210000)

透視投影下的非剛體三維重構(gòu)中既存在著非剛體形變也存在著透視形變，同時(shí)區(qū)分兩種形變是比較困難的。大多數(shù)非剛體三維重構(gòu)算法通常進(jìn)行了簡(jiǎn)化，只考慮正交投影下的非剛體重構(gòu)。為了解決透視投影下的非剛體重構(gòu)問題，將基于形狀基的EM算法和仿射迭代方法進(jìn)行有機(jī)結(jié)合，提出了一種適用于透視投影的新算法。該算法利用EM算法可解決數(shù)據(jù)點(diǎn)丟失問題的優(yōu)勢(shì)以及仿射迭代方法結(jié)果較為精確的優(yōu)點(diǎn)，可提高計(jì)算的魯棒性和重構(gòu)效果。為驗(yàn)證算法的有效性，選擇5 000幀面部表情連續(xù)變化的Frank圖像序列進(jìn)行了迭代重構(gòu)仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，所提出算法在透視投影模型下具有較好的魯棒性以及重構(gòu)效果，能準(zhǔn)確地實(shí)現(xiàn)動(dòng)態(tài)場(chǎng)景下對(duì)人臉的非剛體三維結(jié)構(gòu)重構(gòu)。

透視投影；非剛體；形狀基；三維運(yùn)動(dòng)重構(gòu)

0 引 言

三維運(yùn)動(dòng)重構(gòu)(Structure from motion)是計(jì)算機(jī)視覺領(lǐng)域的基本問題，即從二維的圖像序列中獲取剛體或非剛體三維結(jié)構(gòu)和運(yùn)動(dòng)信息。盡管剛體三維運(yùn)動(dòng)重構(gòu)的方法已經(jīng)得到了廣泛的研究和應(yīng)用，但是真實(shí)世界中的很多場(chǎng)景和對(duì)象都是動(dòng)態(tài)和非剛體的。目前來說，剛體情況已經(jīng)基本解決，而非剛體問題逐漸成為研究熱點(diǎn)，并取得了顯著成果。

Bregler等[1]將剛體的矩陣分解方法進(jìn)行了擴(kuò)展，將剛體形狀基引入到形變約束的場(chǎng)景結(jié)構(gòu)中。但是這種方法只有在場(chǎng)景下的所有圖像序列的特征點(diǎn)都能被追蹤到才能奏效，對(duì)于數(shù)據(jù)丟失的情況則沒有辦法重構(gòu)。Torresani等[2]引入EM算法，用于解決數(shù)據(jù)缺失的情況。Gonzalez-Mora等[3]提出了一種從大量數(shù)據(jù)的不同表情和姿勢(shì)的圖片中學(xué)習(xí)三維人臉模型的三維重構(gòu)方法。Lladó等[4]提出了一種新穎的從未標(biāo)定的立體相機(jī)對(duì)中獲取可變形對(duì)象歐氏三維結(jié)構(gòu)的方法。Khan[5]針對(duì)缺少約束的非剛體三維運(yùn)動(dòng)重構(gòu)問題，提出了一種新的基于約束的框架來約束解空間。國內(nèi)專家學(xué)者近期在這方面也得出了一些成果[6-13]。

在透視投影下的非剛體三維重構(gòu)中，既存在非剛體形變也存在透視形變，同時(shí)區(qū)分兩種形變是比較困難的。大多數(shù)非剛體三維重構(gòu)算法，為了方便處理，只考慮正交投影下的非剛體重構(gòu)。Torresani等提出的基于形狀基的EM算法[2]，有效解決了在非剛體重構(gòu)過程中的數(shù)據(jù)丟失問題，但仍然采用的是正交投影。Christy等[14]提出一種透視投影下的仿射迭代方法，可以將模型拓展到透視投影下，逐步消除透視變形帶來的影響。

在此基礎(chǔ)上，將基于形狀基的EM算法和仿射迭代方法有機(jī)結(jié)合，提出了一種在透視投影下的迭代非剛體重構(gòu)算法。該算法利用EM算法可解決數(shù)據(jù)點(diǎn)丟失問題的優(yōu)勢(shì)以及仿射迭代方法結(jié)果較為精確的優(yōu)點(diǎn)，可提高計(jì)算的魯棒性和重構(gòu)效果。并通過仿真迭代實(shí)驗(yàn)對(duì)算法的有效性進(jìn)行了驗(yàn)證。

1 相關(guān)工作

1.1 基于形狀基的EM算法

根據(jù)文獻(xiàn)[2]，給定一系列的圖像追蹤點(diǎn)，利用EM算法，能夠在部分追蹤點(diǎn)缺失的情況下恢復(fù)出非剛體的運(yùn)動(dòng)和變形。在整個(gè)重構(gòu)過程中定義如下相關(guān)變量：J表示總點(diǎn)數(shù)，T表示總幀數(shù)，t表示當(dāng)前幀數(shù)。

正交投影方程為：

Pt=Rt(St+Dt)+N

(1)

其中，Pt為圖像追蹤點(diǎn)；Rt為旋轉(zhuǎn)矩陣；Dt為平移矩陣；N(0,σ)為零均值高斯噪聲；St為形狀矩陣，表示為：

(2)

E步驟：考慮已知的運(yùn)動(dòng)和形狀估計(jì)ψ，在t幀時(shí)，對(duì)隱變量Zt的分布做出估計(jì)。定義q(Zt)為t時(shí)刻的概率密度分布：

q(Zt)=p(Zt|Pt,ψ)

(3)

M步驟:最小化期望負(fù)對(duì)數(shù)。

Q(P1,P2,…,PT|ψ)=Eq(Z1),q(Z2),…,q(ZT)[-logp

(4)

補(bǔ)充缺失跟蹤點(diǎn)：如果有部分的追蹤點(diǎn)丟失了，那么在M步驟里同樣沒有這些數(shù)據(jù)。用(*)表示對(duì)應(yīng)的缺失的數(shù)據(jù)行，用P*表示一幀數(shù)據(jù)中數(shù)據(jù)不能被追蹤到的元素，它們能夠這樣被估計(jì)：

(5)

1.2 透視投影下的仿射迭代方法

根據(jù)文獻(xiàn)[3]，假設(shè)攝像機(jī)是標(biāo)定的，可以忽略內(nèi)參數(shù)。在透視投影下，空間點(diǎn)Stj在圖像平面的投影為stj，有如下關(guān)系：

mtjstj=RtStj+Dt

(6)

根據(jù)式(6)，可以求得：

(7)

(8)

由式(8)可知，透視投影和正交投影之間的差別在于投影因子λtj，定義一個(gè)追蹤矩陣：

(9)

因此，能夠用正交投影法恢復(fù)方程(9)中的標(biāo)量λtj，得到物體透視投影下的修正投影點(diǎn)。

2 透視投影下的迭代非剛體重構(gòu)方法

如果圖像序列存在遮擋的話，就會(huì)存在采不到數(shù)據(jù)的特征點(diǎn)，追蹤矩陣就會(huì)還有缺失的數(shù)據(jù)項(xiàng)，采用EM算法正是為了解決這個(gè)問題，同時(shí)也能增強(qiáng)算法的魯棒性。其次，透視投影過程中存在透視變形，使用文獻(xiàn)[3]提供的迭代方法，將投影結(jié)果逐步迭代到透視投影下。針對(duì)這些問題，提出在透視投影下的迭代非剛體重構(gòu)方法，能夠較好地在真實(shí)透視投影模型下對(duì)非剛體進(jìn)行三維重構(gòu)。

迭代算法如下：

(2)更新跟蹤矩陣W;

(3)根據(jù)基于形狀基的EM算法，得到形狀Stj，Dt；

(4)由λtj=1+εtj=1+rj3Stj/dtz估算新的λjt;

(5)如果λjt不收斂,回到第(2)步。

經(jīng)過數(shù)次迭代，最終逼近透視投影模型下的結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)選擇了5 000幀面部表情連續(xù)變化的Frank圖像序列來驗(yàn)證算法的有效性。Frank圖像序列每幀圖像具有68個(gè)特征點(diǎn)。實(shí)驗(yàn)中，選取了簡(jiǎn)化的攝像機(jī)模型，假設(shè)所有的特征點(diǎn)都在圖像中心，并且攝像機(jī)的參數(shù)在投影過程中不會(huì)改變。圖1給出了第101、149和191幀圖像的原始圖像及其對(duì)應(yīng)的正視、側(cè)視和俯視重構(gòu)結(jié)果。

圖1 基于形狀基非剛體運(yùn)動(dòng)重構(gòu)結(jié)果

從圖中可以看出，該方法能夠準(zhǔn)確地重構(gòu)動(dòng)態(tài)場(chǎng)景下人臉的非剛體三維結(jié)構(gòu)。

為了定量分析在透視投影模型下重構(gòu)非剛體結(jié)構(gòu)方法的性能，表1給出了基于EM算法的形狀基方法和所采用迭代法重構(gòu)結(jié)果的重投影誤差的對(duì)比結(jié)果，重投影誤差定義如下：

(10)

其中，W為原始測(cè)量矩陣；WF為重構(gòu)三維結(jié)構(gòu)的重投影矩陣。

表1 改進(jìn)矩陣分解法和迭代方法的重投影誤差

從表1看出，相比基于EM算法的形狀基方法，提出的迭代法能夠很好地改進(jìn)形狀基方法的準(zhǔn)確性。

圖2中，第一步迭代的誤差對(duì)應(yīng)于正交投影方法所產(chǎn)生的投影誤差。從圖中可以看出迭代算法的改進(jìn)之處。所采用的迭代算法在第五到第六步之后開始收斂。

圖2 提出的迭代法每次重投影誤差

因?yàn)橐隕M算法能夠有效解決數(shù)據(jù)丟失的問題，因此，圖3給出了在丟失特征點(diǎn)情況下所用迭代法的重投影誤差?？梢钥吹降惴ㄔ跀?shù)據(jù)丟失時(shí)依然有較好的魯棒性。

圖3 數(shù)據(jù)丟失的重投影誤差

4 結(jié)束語

透視投影下的非剛體三維重構(gòu)中同時(shí)區(qū)分非剛體形變和透視形變是比較困難的。大多數(shù)非剛體三維重構(gòu)算法通常進(jìn)行了簡(jiǎn)化，只考慮正交投影下的非剛體重構(gòu)。為了解決透視投影下的非剛體重構(gòu)問題，在基于形狀基的非剛體三維運(yùn)動(dòng)重構(gòu)研究以及從動(dòng)態(tài)圖像序列中恢復(fù)非剛體三維結(jié)構(gòu)和運(yùn)動(dòng)信息的基礎(chǔ)上，將基于形狀基的EM算法和仿射迭代方法有機(jī)結(jié)合，并假設(shè)非剛體的三維形狀是剛性形狀基的加權(quán)線性組合，在正交投影下運(yùn)用EM算法，解決追蹤點(diǎn)丟失的問題，提高算法的魯棒性。同時(shí)使用仿射迭代的方法，逐步修正投影點(diǎn)到透視投影模型下，逼近全透視投影攝像機(jī)模型下的結(jié)果，較好地實(shí)現(xiàn)了透視投影模型下較好的魯棒性以及重構(gòu)效果。

[1] Bregler C, Hertzmann A, Biermann H.Recovering non-rigid 3D shape from image streams[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2000:690-696.

[2] Torresani L,Hertzmann A,Bregler C.Learning non-rigid 3D shape from 2D motion[C]//NIPS.[s.l.]:[s.n.],2004:1555-1562.

[3] Gonzalez-Mora J,Torre F D L,Guil N,et al.Learning a generic 3D face model from 2D image databases using incremental structure-from-motion[J].Image and Vision Computing,2010,28(7):1117-1129.

[4] Lladó X,Bue A D,Oliver A,et al.Reconstruction of non-rigid 3D shapes from stereo-motion[J].Pattern Recognition Letters,2011,32(7):1020-1028.

[5] Khan I.Non-rigid structure-from-motion with uniqueness constraint and low rank matrix fitting factorization[J].IEEE Transactions on Multimedia,2014,16(5):1350-1357.

[6] 林義閩,呂乃光,婁小平,等.用于弱紋理場(chǎng)景三維重建的機(jī)器人視覺系統(tǒng)[J].光學(xué)精密工程,2015,23(2):540-549.

[7] 彭亞麗,劉侍剛,裘國永.一種線性迭代非剛體射影重建方法[J].西安交通大學(xué)學(xué)報(bào),2015,49(1):102-106.

[8] 吳 悅,翁小蘭.非剛體三維運(yùn)動(dòng)圖像重建優(yōu)化模型仿真[J].微電子學(xué)與計(jì)算機(jī),2015,32(5):157-160.

[9] 李水平,吳 雨.一種融合紋理的三維圖像重建快速實(shí)現(xiàn)方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2014,24(5):138-141.

[10] 閆曉萌.基于稀疏逼近的非剛體三維運(yùn)動(dòng)重建研究[D].杭州:浙江理工大學(xué),2016.

[11] 張珊珊,呂東輝,孫九愛.近光源光度立體三維重建誤差分析[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015,25(1):168-172.

[12] 彭亞麗,劉侍剛,賁晛燁,等.基于非剛體的線性迭代相機(jī)自標(biāo)定方法[J].電子學(xué)報(bào),2016,44(5):1051-1054.

[13] 劉彥宏,王洪斌,杜 威,等.基于圖像的樹類物體的三維重建[J].計(jì)算機(jī)學(xué)報(bào),2002,25(9):930-935.

[14] Christy S,Horaud R.Euclidean shape and motion from multiple perspective views by affine iterations[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1996,18(11):1098-1104.

An Iterative Non-rigid Reconstruction Method under Perspective Projection

DAI Long-li1，CAO Rong-rong1，RUAN Zong-cai1,2

(1.Research Center for Learning Science，Southeast University，Nanjing 210000,China;2.Key Laboratory of Child Development and Learning Science of Ministry of Education，Southeast University，Nanjing 210000,China)

Non-rigid three-dimensional reconstruction under perspective projection has both non-rigid deformation and perspective deformation,and it is difficult to distinguish them.Most of the non-rigid three-dimensional reconstruction algorithm is usually simplified,only considering the non-rigid body reconstruction in orthogonal projection.In order to solve the problem of non-rigid body reconstruction in perspective projection,after combination of the EM algorithm based on shape basis and the affine iterative method,a new algorithm for perspective projection is proposed.It uses the advantage of EM algorithm that can solve the problem of data point loss and of affine iterative method that is more accurate and thus can improve the robustness and reconstruction effect.In order to its effectiveness,an iterative reconstruction simulation experiment has been performed by selecting 5 000 consecutive Frank images with facial expressions,which indicates that it has good robustness and reconstruction effect under the perspective projection model,and can accurately reconstruct the non-rigid three-dimensional structure of human face under dynamic scene.

perspective projection;non-rigid;shape basis;three dimensional reconstruction

2016-09-29

2016-12-29 網(wǎng)絡(luò)出版時(shí)間：2017-07-05

全國教育科學(xué)規(guī)劃教育部重點(diǎn)課題(GQA106013)；江蘇省高校基本科研業(yè)務(wù)費(fèi)基礎(chǔ)科研扶持項(xiàng)目(2242016K40040)

戴龍利(1991-)，男，碩士，研究方向?yàn)樯窠?jīng)信息工程；阮宗才，博士，講師，研究方向?yàn)橛?jì)算機(jī)視覺、可視化技術(shù)、神經(jīng)信息工程。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1652.070.html

TP301

A

1673-629X(2017)08-0016-04

10.3969/j.issn.1673-629X.2017.08.004