彭亞麗1，2，劉侍剛2，梁新剛2，廖福軒2

（1.陜西師范大學(xué)現(xiàn)代教學(xué)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，陜西西安 710062；2.陜西師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，陜西西安 710119）

三維變形體的因式分解重建方法

彭亞麗1，2，劉侍剛2，梁新剛2，廖福軒2

（1.陜西師范大學(xué)現(xiàn)代教學(xué)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，陜西西安 710062；2.陜西師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，陜西西安 710119）

為了從非標(biāo)定圖像序列中重建出三維非剛體的結(jié)構(gòu)，提出了一種三維變形體的因式分解重建方法.該方法首先利用圖像矩陣為低秩矩陣的特性，通過奇異值分解求到射影重建，利用投影矩陣的正交約束，實(shí)現(xiàn)射影重建到歐氏重建的過渡.該方法的優(yōu)點(diǎn)是，重建過程全部為線性求解，且將圖像及圖像點(diǎn)平等對(duì)待.模擬實(shí)驗(yàn)和真實(shí)實(shí)驗(yàn)數(shù)據(jù)結(jié)果表明，該重建方法具有魯棒性好和重投影誤差小等優(yōu)點(diǎn).

變形體；重建；因式分解

從圖像序列中重建三維物體是計(jì)算機(jī)視覺的研究熱點(diǎn)［1-2］，自從Tomasi提出基于因式分解的三維重建方法［3］以來，許多重建方法都是基于該思想［4-5］.但這些方法要求物體做剛體運(yùn)動(dòng)，導(dǎo)致其應(yīng)用受到限制.

為了重建非剛體，Bregler等首先提出了非剛體可以由若干個(gè)剛體基元組成［6］，并重建了非剛體的三維結(jié)構(gòu)，但該方法實(shí)現(xiàn)極其繁瑣.后來許多非剛體三維重建方法都是基于Bregler的假設(shè)［7-8］.Brand在物體離相機(jī)比較近的情況下基于分解的方法進(jìn)行了重建［9］，但當(dāng)物體離相機(jī)比較遠(yuǎn)時(shí)，重建誤差較大；有些學(xué)者利用雙目視覺的方法對(duì)非剛體進(jìn)行三維重建［10］，但該方法不適合單目視覺系統(tǒng)；Llado等認(rèn)為非剛體運(yùn)動(dòng)中包含著剛體運(yùn)動(dòng)部分和非剛體運(yùn)動(dòng)部分［11］，利用剛體運(yùn)動(dòng)部分進(jìn)行重建，但很難對(duì)特征點(diǎn)進(jìn)行分類，因此，這種方法在實(shí)際應(yīng)用中很難推廣.

為克服上述問題，筆者提出了三維變形體的因式分解重建方法，該方法利用因式分解，求到相差一個(gè)變換矩陣的重建，再利用投影矩陣的約束關(guān)系，求解出該變換矩陣，完成到歐氏重建的過渡.該方法的優(yōu)點(diǎn)在整個(gè)重建過程中都是線性的，而且將所有圖像及圖像點(diǎn)都平等對(duì)待.

1 相機(jī)模型

假定相機(jī)模型為正投影模型，成像過程可表示為

其中，X=［x，y，z］T，為三維空間點(diǎn)；m=［u，v］T，為對(duì)應(yīng)的圖像點(diǎn)；P=［R，t］2×4，為投影矩陣，R和t分別為旋轉(zhuǎn)矩陣和平移向量的前2行.

假設(shè)有m幅圖像，每幅圖像上有n個(gè)對(duì)應(yīng)的圖像點(diǎn)，則式（1）可表示為

其中，i（i=1，2，…，m）表示第i幅圖像，j（j=1，2，…，n）表示第j個(gè)圖像點(diǎn).對(duì)于第i幅圖像，有

對(duì)式（3）兩邊求和，則有

由于世界坐標(biāo)系可任意建立，因此，可假設(shè)世界坐標(biāo)系的原點(diǎn)位于物體中心，即有

將式（5）代入式（4），即有

當(dāng)所有圖像點(diǎn)都已知時(shí)，可利用式（6）對(duì)式（3）去除向量ti的影響，即式（3）可表示為

其中，m′i，j=mi，j-ti.

2 射影重建

當(dāng)物體做非剛體運(yùn)動(dòng)時(shí)，［Xi，1，Xi，2，…，Xi，n］在運(yùn)動(dòng)過程中是變化的，可認(rèn)為是由若干個(gè)剛性基元線性組合而成的［8］，即

其中，βi，k為權(quán)值，Bk為第k個(gè)剛性基元.

將式（8）代入式（7），有

由式（9）整理可得

若將所有圖像放在一起，則有

對(duì)于式（11）中的M2m×n矩陣，其秩為3l，因此，M2m×n不是一個(gè)滿秩矩陣.通過對(duì)M2m×n奇異值分解（Singular Value Decomposition，SVD），可求得P2m×3l和B3l×n，但從式（11）中可看出，P2m×3l和B3l×n之間相差一個(gè)非奇異矩陣T3l×3l，即

其中，P′2m×3l=P2m×3lT3-l1×3l，B′3l×n=T3l×3lB3l×n.

因此，該重建落在射影空間.

3 歐氏重建

通過SVD分解，可以求到一組射影重建P′2m×3l和B′3l×n，根據(jù)式（12），有

其中，P2m×3l為歐氏空間中的投影矩陣.

對(duì)于第i幅圖像，由式（10）可得

為描述方便，將式（13）中的T3l×3l和P′2m×3l表示為

由式（13）可得

將式（16）兩邊乘以其轉(zhuǎn)置，則有

其中，I2×2為單位矩陣.

4 實(shí) 驗(yàn)

4.1仿真實(shí)驗(yàn)

為比較文中方法和Llado方法［11］的重建精度，隨機(jī)地在一個(gè)單位球產(chǎn)生200個(gè)空間點(diǎn)，并將這些空間點(diǎn)分別分成3個(gè)和4個(gè)非剛體的剛體基元.當(dāng)分成3個(gè)剛體基元時(shí)，第1個(gè)剛體基元由前80個(gè)空間點(diǎn)組成，第2個(gè)和第3個(gè)基元各由60個(gè)空間點(diǎn)組成；當(dāng)分成4個(gè)剛體基元時(shí)，第1個(gè)剛體基元由前80個(gè)空間點(diǎn)組成，后面3個(gè)基元各由40個(gè)空間點(diǎn)組成.變化相機(jī)的參數(shù)以產(chǎn)生50幅圖像，并在圖像中加入0至2個(gè)像素的圖像噪聲，分別用文中方法和Llado方法進(jìn)行重建，在每個(gè)圖像噪聲下，各運(yùn)行100次，計(jì)算重投影誤差，后取平均值，模擬實(shí)驗(yàn)結(jié)果如圖1所示.

從圖1可以看出，在假設(shè)非剛體由3個(gè)和4個(gè)基元組成的情況下，文中方法的重投影誤差都要比Llado方法的重投影誤差約小15%，因此，文中方法的重建精度比Llado方法的重建精度要高，原因是Llado方法進(jìn)行重建時(shí)，將特征點(diǎn)分成做剛體運(yùn)動(dòng)和非剛體運(yùn)動(dòng)兩類，但分類誤差非常大，直接導(dǎo)致后續(xù)的重建誤差增大，而且Llado方法沒有將所有的圖像點(diǎn)平等對(duì)待，而文中方法不需要對(duì)特征點(diǎn)進(jìn)行分類，而且將所有的圖像點(diǎn)都平等對(duì)待，因此，Llado方法的重投影誤差要大.同時(shí)，從圖1中還可看出，非剛體組成成分越多（即非剛性基元越多，秩越大，非剛體運(yùn)動(dòng)越復(fù)雜），文中方法和Llado方法的重投影誤差都越大.

圖1　文中方法和Llado方法比較實(shí)驗(yàn)

4.2真實(shí)實(shí)驗(yàn)

為驗(yàn)證文中方法的正確性，采用一個(gè)包括有300幅圖像的跳舞動(dòng)作圖像序列，其中的兩幅圖像如圖2所示.在該圖像序列中，提取并跟蹤了75個(gè)特征點(diǎn).利用這些特征點(diǎn)，用文中方法進(jìn)行非剛體的三維結(jié)構(gòu)及運(yùn)動(dòng)恢復(fù)，恢復(fù)結(jié)果如圖3所示.從圖3可看出，筆者的重建方法能夠有效地恢復(fù)出非剛體的三維結(jié)構(gòu)及運(yùn)動(dòng).

圖2　跳舞動(dòng)作圖像序列

圖3　三維重建結(jié)果

5 結(jié)束語

筆者提出了一種三維變形體的因式分解重建方法，該方法采用了線性求解的方法求解變換矩陣，且將圖像點(diǎn)平等對(duì)待.模擬實(shí)驗(yàn)結(jié)果表明，該方法具有良好的收斂性、魯棒性，同時(shí)和Llado方法進(jìn)行比較顯示，文中方法的重投影誤差比Llado方法的重投影誤差約小15%.真實(shí)圖像實(shí)驗(yàn)結(jié)果表明，筆者提出的重建方法是非常有效的.

［1］SHEEHAN M，HARRISON A，NEWMAN P.Automatic Self-calibration of a Full Field-of-view 3D n-laser Scanner ［J］.Experimental Robotics，2014，79（1）:165-178.

［2］PENG Y，LIU S，LIU F.Projective Reconstruction with Occlusions［J］.Opto-Electronics Review，2010，18（2）:14-18.

［3］TOMASI C，KANADE T.Shape and Motion from Image Streams under Orthography:a Factorization Method［J］. International Journal of Computer Vision，1992，9（2）:137-154.

［4］DIGNE J，STEINER D，ALLIEZ P，et al.Feature-preserving Surface Reconstruction and Simplification from Defectladen Point Sets［J］.Journal of Mathematical Imaging and Vision，2014，48（2）:369-382.

［5］彭亞麗，劉芳.一種組織進(jìn)化的遮擋點(diǎn)恢復(fù)算法［J］.西安電子科技大學(xué)學(xué)報(bào)，2013，40（4）:137-141. PENG Yali，LIU Fang.An Organizational Evolutionary Algorithm for Occlusion Recovery［J］.Journal of Xidian University，2013，40（4）:137-141.

［6］BREGLER C，HERTZMANN A，BIERMANN H.Recovering Non-rigid 3D Shape from Image Streams［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE，2000:690-696.

［7］NOGUER F，F(xiàn)UA P.Stochastic Exploration of Ambiguities for Nonrigid Shape Recovery［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（2）:463-475.

［8］GARG R，ROUSSOS A，AGAPITO L.Dense Variational Reconstruction of Non-rigid Surfaces from Monocular Video ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE，2013:1272-1279.

［9］BRAND M.A Direct Method for 3D Factorization of Nonrigid Motion Observed in 2D［C］//Proceedins of the IEEE International Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE Computer Society，2005: 122-128.

［10］SHEN S.Accurate Multiple View 3D Reconstruction Using Patch-based Stereo for Large-scale Scenes［J］.IEEE Transactions on Image Processing，2013，22（5）:1901-1914.

［11］LLADO X，BUE A，AGAPITO L.Non-rigid Metric Reconstruction from Perspective Cameras［J］.Image and Vision Computing，2010，28（9）:1339-1353.

（編輯:齊淑娟）

Factorization reconstruction method for the 3D deformable structure

PENG Yali1，2，LIU Shigang2，LIANG Xingang2，LIAO Fuxuan2
（1.Key Lab.of Modern Teaching Technology of Ministry of Edu.，Shaanxi Normal Univ.，Xi’an 710062，China；2.School of Computer Science，Shaanxi Normal Univ.，Xi’an 710119，China；）

To recover the 3D deformable structure from an un-calibration image sequence，a factorization reconstruction method for 3D deformable reconstruction is presented.Based on the low rank constraint on the image matrix，the projective reconstruction can be obtained by single value decomposition.By using the orthogonality of the projective matrix，the Euclidean reconstruction is upgraded from projective reconstruction.The innovation of the method is that the solving of the 3D non-rigid reconstruction is linear and that all the images and the image points are treated uniformly.The experiments with both simulated and real data show that the method presented in the paper is efficient.

deformable structure；reconstruction；factorization

TP391.41

A

1001-2400（2016）01-0116-04

10.3969/j.issn.1001-2400.2016.01.021

2014-08-12 網(wǎng)絡(luò)出版時(shí)間：2015-04-14

國(guó)家自然科學(xué)基金資助項(xiàng)目（61402274，41271387）；中國(guó)博士后科學(xué)基金特別資助項(xiàng)目（200902594）；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目（GK201402040，GK201302029）；陜西師范大學(xué)學(xué)習(xí)科學(xué)交叉學(xué)科培育計(jì)劃資助項(xiàng)目；陜西師范大學(xué)實(shí)驗(yàn)技術(shù)研究資助項(xiàng)目（SYJS201314）；陜西師范大學(xué)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃資助項(xiàng)目（cx14023）

彭亞麗（1979-），女，講師，E-mail:pengyl@snnu.edu.cn.

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20150414.2046.018.html