彭亞麗,劉侍剛,賁晛燁,汪西莉,曹　菡

(1.現(xiàn)代教學(xué)技術(shù)教育部重點實驗室，陜西西安 710062； 2.陜西師范大學(xué)計算機科學(xué)學(xué)院，陜西西安 710062； 3.山東大學(xué)信息科學(xué)與工程學(xué)院，山東濟(jì)南 250100)

?

基于非剛體的線性迭代相機自標(biāo)定方法

彭亞麗1,2,劉侍剛2,賁晛燁3,汪西莉2,曹菡2

(1.現(xiàn)代教學(xué)技術(shù)教育部重點實驗室，陜西西安 710062； 2.陜西師范大學(xué)計算機科學(xué)學(xué)院，陜西西安 710062； 3.山東大學(xué)信息科學(xué)與工程學(xué)院，山東濟(jì)南 250100)

為了實現(xiàn)相機標(biāo)定，本文提出了一種基于非剛體的線性迭代相機自標(biāo)定方法，該方法假定非剛體由若干個非剛性基線性組成，利用所有圖像點組成的圖像矩陣為一個低秩矩陣的特性，實現(xiàn)射影重建；利用相機的約束關(guān)系線性迭代地實現(xiàn)相機標(biāo)定.該方法克服了現(xiàn)有自標(biāo)定方法要求物體做剛體運動的缺點，模擬實驗和真實實驗數(shù)據(jù)結(jié)果表明，能夠有效地實現(xiàn)相機標(biāo)定.

非剛體；自標(biāo)定；因式分解

1　引言

三維重建是計算機視覺重點研究方向之一，而相機標(biāo)定是三維重建過程中必不可少的步驟[1].傳統(tǒng)的相機標(biāo)定方法通過結(jié)構(gòu)尺寸已知的標(biāo)定物，利用圖像中的投影計算相機的內(nèi)參數(shù)[2,3]，這種方法需要一個高精度的定標(biāo)物.

為了克服傳統(tǒng)相機標(biāo)定方法的缺點，有些學(xué)者采用相機做特殊運動(如純旋轉(zhuǎn)、純平移等)的方法實現(xiàn)相機標(biāo)定[4]，這種方法稱為主動視覺標(biāo)定法.主動視覺標(biāo)定法算法簡單，甚至能夠獲得線性解，因此魯棒性較高.但這種方法要求控制相機的運動，因此，需要昂貴的實驗設(shè)備，而且操作非常繁瑣.

傳統(tǒng)的相機標(biāo)定方法和主動視覺標(biāo)定法只能離線標(biāo)定，即標(biāo)定完成之后，相機就不能再調(diào)焦.為了實現(xiàn)相機的在線標(biāo)定，F(xiàn)augeras[5]等人首先提出了相機自標(biāo)定的概念.自從自標(biāo)定概念提出之后，相機自標(biāo)定得到了廣泛深入地研究，并提出了許多自標(biāo)定方法[6,7].自標(biāo)定方法是在物體和相機運動參數(shù)都未知的情況下，利用絕對二次曲線是一個歐氏不變量的特性，實現(xiàn)相機的標(biāo)定.早前的自標(biāo)定方法要求物體做剛體運動，但在現(xiàn)實生活中，有許多物體的運動不能當(dāng)作剛體運動，因此，該方法的應(yīng)用受到一定的限制.

目前有許多學(xué)者對非剛體進(jìn)行三維重建，但大部分學(xué)者假設(shè)相機為正投影模型，這樣可避免對相機的標(biāo)定[8,9]，但是正投影模型要求物體到相機的距離遠(yuǎn)大于物體的景深，否則誤差比較大.為了克服這個缺點，Lladó等人在針孔模型下，利用非剛體物體中的運動包含有剛體運動成份的特性，對非剛體的運動進(jìn)行分類，分成做剛體運動部分和非剛體運動部分，利用做剛體運動部分實現(xiàn)相機的標(biāo)定[10,11]，但這些方法要求對物體的特征點進(jìn)行分類，在實際應(yīng)用過程中，很難實現(xiàn)特征點的分類.

為了克服上述方法的不足，本文提出了一種基于非剛體運動的相機自標(biāo)定方法.該方法假定非剛體由若干個非剛性基線性組成，利用圖像矩陣為一個低秩矩陣的特性，實現(xiàn)射影重建，再利用相機內(nèi)部之間的約束關(guān)系，線性迭代地實現(xiàn)相機自標(biāo)定.

2　非剛體成像模型

假定相機為針孔模型，即成像過程為：

(1)

當(dāng)物體做非剛體運動時，Xi可以認(rèn)為由l個剛性基組成，即

(2)

式中βi,j權(quán)值，Bj為剛性基.

將式(2)代入式(1)，并整理得

(3)

若將所有的圖像點放在一起，則有

(4)

3　相機自標(biāo)定

從式(4)可以看出，矩陣W3m×n是一個低秩矩陣，利用該特性，可以求解出深度因子Λi[12].若已知深度因子Λi，通過SVD分解可求到M3m×(3l+1)和B(3l+1)×n.同時，對于任何一個非奇異矩陣T，都有

W=MB=MT-1TB=M′B′

(5)

式中M′=MT-1，B′=TB.

由于相機在照相調(diào)焦過程中，改變的僅僅只有尺度因子fu和fv，而其它幾個內(nèi)參數(shù)并不會改變[13]，利用這此約束信息，可以實現(xiàn)相機的自標(biāo)定.

對于第i幅圖像，由式(3)可得

Mi=[βi,1KRiβi,2KRi…βi,lKRiKti]3×(3l+1)

(6)

(7)

(8)

將上式兩邊各乘以其轉(zhuǎn)置，則有

(9)

(10)

從式(10)可以看出，利用上式可以求解出Ω，對Ω進(jìn)行Cholesky分解，可以求到相機的內(nèi)參數(shù)K，實現(xiàn)相機的自標(biāo)定.

總之，上述算法的偽代碼實現(xiàn)如下：

4　實驗

4.1仿真實驗

為了檢驗本文方法的收斂性能，本文在一個單位球內(nèi)隨機產(chǎn)生100個空間點，并將這些空間點分別分成3個剛體基元，其中第一個剛體基元由前50個空間點組成，后面的點用0表示，構(gòu)成一個3×100的基元，同理第二個和第三個基元分別由中間的30個和后面的20個空間點組成，構(gòu)成第二個和第三個基元.模擬產(chǎn)生相機的內(nèi)參數(shù)fx=fy=800，u0=320，v0=240，s=5，變化相機外參以產(chǎn)生100幅大小為640×480的圖像，并加入1個像素的圖像噪聲，用因式分解的方法實現(xiàn)射影重建，后用本文方法進(jìn)行相機標(biāo)定，算法收斂圖如圖1所示.

從圖1可以看出，本文方法迭代15次以內(nèi)就能夠很好的收斂到理想值，所以該方法具有良好的收斂性.

為檢驗本文方法的精度，在圖像像素中加入高斯噪聲，在每種噪聲水平下各進(jìn)行200次實驗，然后取均值，實驗結(jié)果如圖2所示.

從圖2可以看出，在4個像素的噪聲之內(nèi)，本文方法求到相機內(nèi)參矩陣中fu和fv的均值都在800±15范圍內(nèi)，s、u0和v0的均值分別在5±1、320±15和240±15范圍內(nèi)，即fu和fv的平均誤差小于2%，s的均值誤差小于20%，u0和v0的均值誤差小于8%，說明本文自標(biāo)定方法具有較高的精度.

4.2真實實驗

為了驗證本文方法的正確性，本文獲得一個包括300幀的人體跳舞動作圖像序列，如圖3所示.通過圖像序列可以看出，該人體不能當(dāng)作剛體，只能當(dāng)作非剛體.在該圖像序列中，通過人工標(biāo)志提取了75個特征點，如圖3中的(*)所示.利用這些特征點，用本文方法進(jìn)行相機自標(biāo)定，標(biāo)定結(jié)果為：fu=623.42，fv=621.74，s=-1.26，u0=231.31，v0=313.55.同時，利用標(biāo)定結(jié)果實現(xiàn)三維重建，重建結(jié)果如圖4所示.

從圖4可以看出，能夠較好的重建出該人體的三維結(jié)構(gòu)及運動，說明本文提出的自標(biāo)定方法能夠較好地實現(xiàn)相機自標(biāo)定.

5　結(jié)束語

本文方法假定非剛體由若干個非剛性基線性組成，利用圖像矩陣為一個低秩矩陣，實現(xiàn)射影重建，再利用相機內(nèi)部約束關(guān)系，線性迭代地求解相機內(nèi)參數(shù)，實現(xiàn)相機自標(biāo)定.該方法克服了現(xiàn)有自標(biāo)定方法要求物體做剛體運動的缺點.實驗結(jié)果表明，該方法能夠有效地實現(xiàn)相機自標(biāo)定.

[1]M Lee,C Choi.Real-time facial shape recovery from a single image under general,unknown lighting by rank relaxation[J].Computer Vision and Image Understanding,2014,120(3):59-69.

[2]R Tsai.An efficient and accurate camera calibration technique for 3D machine vision[A].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition[C].Miami Beach,1986:364-374.

[3]Z Zhang.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[4]T Elamsy,A Habed,B Boufama.Self-calibration of stationary non-rotating zooming cameras[J].Image and Vision Computing,2014,32(3):212-226.

[5]O Faugras,Q Luong,S Maybank.Camera self-calibration:theory and experiments[A].Proceedings of the Second European Conference on Computer Vision[C].May 19-22,1992,Italy,321-334.

[6]F Wu,M Zhang,Z Hu.Self-calibration under the cayley framework[J].International Journal of Computer Vision,2013,103(3):372-398.

[7]N Akkad,M Merras,A Saaidi,K Satori.Camera self-calibration with varying intrinsic parameters by an unknown three-dimensional scene[J].The Visual Computer,2014,30(5):519-530.

[8]J Xiao,J Chai,T Kanade.A closed-form solution to non-rigid shape and motion recovery[J].International Journal of Computer Vision,2006,67(2):233-246.

[9]Y Dai,H Li,M He.A simple prior-free method for non-rigid structure-from-motion factorization[J].International Journal of Computer Vision,2014,107(2):101-122.

[10]X Lladó,A.Bueb,L Agapitoc.Non-rigid metric reconstruction from perspective cameras[J].Image and Vision Computing,2010,28(9):1339-1353.

[11]A Rehan,A Zaheer,et al.NRSfM using local rigidity[A].IEEE Conference on Applications of Computer Vision[C].March 24-26,2014,Colorado,69-74.

[12]彭亞麗，劉侍剛，裘國永.一種線性迭代非剛體射影重建方法[J].西安交通大學(xué)學(xué)報，2015，49(1):102-106.

Peng Yali,Liu Shigang,Qiu Guoyong.A linearly iterative method for non-rigid projective reconstruction[J].Journal of Xi’an Jiaotong University,2015,49(1):102-106.(in Chinese)

[13]M Pollefeys,R Koch,L Gool.Self-calibration and metric reconstruction in spite of varying and unknown internal camera parameters[J].International Journal of Computer Vision,1999,32(1):7-25.

彭亞麗女,1979年3月出生于陜西石泉，2005年在哈爾濱工程大學(xué)獲得碩士學(xué)位，2013年在西安電子科技大學(xué)獲得博士學(xué)位，現(xiàn)為陜西師范大學(xué)講師.從事圖像處理、智能計算等方面的有關(guān)研究.

E-mail：pengylxa@gmail.com

劉侍剛(通信作者)男,1973年11月出生于江西峽江，1997年和2001年在哈爾濱工程大學(xué)分別獲得學(xué)士學(xué)位和碩士學(xué)位，2005年在西安電子科技大學(xué)獲得博士學(xué)位，現(xiàn)為陜西師范大學(xué)副教授.從事計算機視覺、三維重建等方面的有關(guān)研究.

E-mail：shgliu@gmail.com

賁晛燁女,1983年12月出生于黑龍江省哈爾濱市，2006年和2010年在哈爾濱工程大學(xué)分別獲得學(xué)士學(xué)位和博士學(xué)位，現(xiàn)為山東大學(xué)副教授.從事圖像處理、模式識別等方面的研究.

E-mail：benxianyeye@163.com

汪西莉女,1969年6月出生于陜西西安，1991年在天津大學(xué)獲得學(xué)士學(xué)位，1994年和2004年在西安電子科技大學(xué)分別獲得碩士學(xué)位和博士學(xué)位，現(xiàn)為陜西師范大學(xué)教授.從事智能信息處理、圖像處理與分析等方面的研究.

E-mail：wangxili@snnu.edu.cn

曹菡女,1963年7月出生于陜西西安，1986年和1989年在西北大學(xué)分別獲得學(xué)士學(xué)位和碩士學(xué)位，2002年在武漢大學(xué)獲得博士學(xué)位，現(xiàn)為陜西師范大學(xué)教授.從事并行計算與大數(shù)據(jù)處理方面的研究.E-mail：caohan@snnu.edu.cn

Linear Iteration Camera Self-calibration Method Based on Non-rigid

PENG Ya-li1,2，LIU Shi-gang2，BEN Xian-ye3，WANG Xi-li2，CAO Han2

(1.KeyLaboratoryofModernTeachingTechnology,MinistryofEducation,Xi’an，Shaanxi710062,China; 2.SchoolofComputerScience,ShaanxiNormalUniversity,Xi’an，Shaanxi710062,China; 3.SchoolofInformationScienceandEngineering,ShandongUniversity,Jinan，Shandong250100,China)

To calibrate the camera,a linear iteration camera self-calibration method based on non-rigid is presented in this paper.Assumed that the non-rigid is a linear combination of some shape basis,the projective reconstruct can be obtained by using the fact that the image matrix which consists of all the image points and all the depth factors is low rank.Then,the camera calibration can be linear iteration realized based on the camera constraints.The presented method can overcame the shortcoming that the existing self-calibration method can only deal with the rigid.The experiment results with both simulate and real data show that the presented method can efficiently realize the camera self-calibration.

non-rigid;self-calibration;factorization

2014-08-31;

2015-05-22；責(zé)任編輯：馬蘭英

國家自然科學(xué)基金(No.61402274，No.61571275，No.41471280，No.41171338,No.41271387，No.61501286)；陜西省工業(yè)科技攻關(guān)項目(No.2016GY-081);陜西省重點科技創(chuàng)新團(tuán)隊計劃項目(No.2014KTC-18)；陜西師范大學(xué)中央高?；究蒲袠I(yè)務(wù)費項目(No.GK201402040)；陜西師范大學(xué)學(xué)習(xí)科學(xué)交叉學(xué)科培育計劃資助

TP391.41P232

A

0372-2112 (2016)05-1051-04

電子學(xué)報URL:http://www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.05.006