蔡 濤， 段善旭， 李德華

（1. 華中科技大學(xué)電氣與電子工程學(xué)院，湖北 武漢 430074；2. 華中科技大學(xué)圖像識別與人工智能研究所圖像信息處理與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430074）

雙視三維重建的高精度運(yùn)動(dòng)參數(shù)估計(jì)方法

蔡 濤1， 段善旭1， 李德華2

（1. 華中科技大學(xué)電氣與電子工程學(xué)院，湖北 武漢 430074；2. 華中科技大學(xué)圖像識別與人工智能研究所圖像信息處理與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430074）

從兩幅透視圖像恢復(fù)被攝目標(biāo)的三維結(jié)構(gòu)是計(jì)算機(jī)視覺最基本的任務(wù)之一，其中，運(yùn)動(dòng)估計(jì)算法的性能決定了最終的三維重建精度。首先討論了雙視成像的基本數(shù)學(xué)模型，并介紹了幾種現(xiàn)有運(yùn)動(dòng)參數(shù)估計(jì)方法的基本原理和不足。隨后，基于投影誤差最小判決函數(shù)，提出了用于雙像運(yùn)動(dòng)估計(jì)的改進(jìn)非線性迭代優(yōu)化方法。數(shù)值仿真結(jié)果表明，在大平移小旋轉(zhuǎn)角及小平移大旋轉(zhuǎn)角2種運(yùn)動(dòng)條件下，采用文中提出的方法，運(yùn)動(dòng)估計(jì)精度均有所提高。此外，根據(jù)運(yùn)動(dòng)參數(shù)的估計(jì)值對真實(shí)目標(biāo)進(jìn)行三維重建實(shí)驗(yàn)，結(jié)果表明尺度重建誤差小于2%且角度誤差在3°以內(nèi)。

計(jì)算機(jī)視覺；三維重建；運(yùn)動(dòng)參數(shù)估計(jì)；Levenberg-marquard優(yōu)化算法

空間3D目標(biāo)的運(yùn)動(dòng)估計(jì)和幾何重建是計(jì)算機(jī)視覺和虛擬現(xiàn)實(shí)中的重要研究內(nèi)容[1]。隨著光學(xué)器件及數(shù)字信號處理技術(shù)的不斷提高，高性能的消費(fèi)類數(shù)碼相機(jī)日益普及，使得非專業(yè)人員進(jìn)行計(jì)算機(jī)視覺的應(yīng)用研究成為可能。然而，不同于標(biāo)準(zhǔn)雙攝像機(jī)立體視覺系統(tǒng)[2]，通常條件下只有單個(gè)數(shù)碼相機(jī)可以利用，為此需要在兩個(gè)視角獲取同一目標(biāo)的2幅透視視圖[3]。此時(shí)攝像機(jī)的相對運(yùn)動(dòng)參數(shù)估計(jì)算法的性能對后續(xù)的3D重建或測量的精度起著決定性的因素。經(jīng)典的線性算法，如兩步估計(jì)法[4]、奇異值分解法[5]等，具有簡單、快速的優(yōu)點(diǎn)，但是對圖像噪聲極其敏感，導(dǎo)致后續(xù)重建精度不夠理想。為改善運(yùn)動(dòng)參數(shù)的估計(jì)精度，本文在Horn的迭代優(yōu)化方法[6]基礎(chǔ)上提出了改進(jìn)的參數(shù)優(yōu)化判決函數(shù)，并采用Levenberg-Marquard非線性優(yōu)化方法獲得了高精度的運(yùn)動(dòng)估計(jì)結(jié)果。仿真和實(shí)驗(yàn)結(jié)果表明，本文方法非常適合基于數(shù)碼相機(jī)的低成本視覺系統(tǒng)。

1 雙視成像模型

若已獲得某剛性目標(biāo)的兩幅透視投影圖像，計(jì)算機(jī)視覺的一般任務(wù)就是確定兩幅圖像間的對應(yīng)關(guān)系并由此估計(jì)目標(biāo)的3D幾何結(jié)構(gòu)。總的來講，攝像機(jī)與目標(biāo)間存在3種配置情況：① 單攝像機(jī)從不同角度拍攝靜止目標(biāo)獲得2幅圖像，需確定攝像機(jī)相對運(yùn)動(dòng)參數(shù)及目標(biāo)3D結(jié)構(gòu)；②單個(gè)固定攝像機(jī)在不同時(shí)刻拍攝運(yùn)動(dòng)目標(biāo)獲得2幅圖像，需確定目標(biāo)的運(yùn)動(dòng)參數(shù)及其3D結(jié)構(gòu)；③ 2個(gè)攝像機(jī)在同一時(shí)刻獲取靜止目標(biāo)的 2幅圖像，需確定2攝像機(jī)的相對位姿及目標(biāo)3D結(jié)構(gòu)。

圖1 雙視成像模型

式中 K1和K2分別是兩個(gè)攝像機(jī)的內(nèi)參數(shù)矩陣，s1和s2是常數(shù)因子。經(jīng)過變換和整理可消掉s1、s2和，得[1]

式（2）可改寫為所謂的極線方程

其中 E=[t]×R=t×R 即所謂本質(zhì)矩陣（Essential Matrix）。易知，F(xiàn)矩陣和E矩陣的轉(zhuǎn)換關(guān)系為

式中的等號在相差一個(gè)比例因子意義下成立。在得出攝像機(jī)的相對位姿及內(nèi)部參數(shù)后，就可以在相差某個(gè)常數(shù)因子的條件下實(shí)現(xiàn)物體的3D歐氏重建。

2 算法描述

2.1 運(yùn)動(dòng)參數(shù)的初值計(jì)算

前已說明：若攝像機(jī)的內(nèi)參數(shù)已經(jīng)標(biāo)定，則從F矩陣可以得到E矩陣，其包含了兩攝像機(jī)間的運(yùn)動(dòng)關(guān)系，即平移向量和旋轉(zhuǎn)矩陣。為求取這兩個(gè)值，Maybank和Faugeras[5]在研究雙像運(yùn)動(dòng)估計(jì)問題時(shí)給出并證明了下列定理：

定理1 實(shí)數(shù)3階矩陣E能夠分解成一個(gè)反對稱矩陣T和一個(gè)旋轉(zhuǎn)矩陣R的乘積E＝TR，當(dāng)且僅當(dāng)它有一個(gè)奇異值為零，另兩個(gè)奇異值相等。

為確定T和R的符號，可選取一對圖像匹配點(diǎn)數(shù)據(jù)作為測試點(diǎn)，在4種符號配置條件下分別計(jì)算該點(diǎn)的3D位置，由此確定該3D點(diǎn)在兩攝像機(jī)中的深度，選擇在兩個(gè)攝像機(jī)中深度均為正值的R和t，即為正確解。

2.2 改進(jìn)的迭代優(yōu)化

令J′關(guān)于iΔm的偏導(dǎo)數(shù)為O，于是有

引入拉格朗日乘子 λ，將約束優(yōu)化問題（10）轉(zhuǎn)變?yōu)樽钚』率綄?shí)際上

為了最小化準(zhǔn)則函數(shù)（15），本文采用Levenberg-Marquard非線性優(yōu)化方法[8]。需要注意的是，E=[t]×R包含5個(gè)自由參數(shù)，其中旋轉(zhuǎn)角 R有 3個(gè)（3維旋轉(zhuǎn)向量）、單位平移向量 t有 2個(gè)（單位球面坐標(biāo)），故整個(gè)優(yōu)化過程在 5維參數(shù)空間內(nèi)進(jìn)行。

3 性能比較和分析

3.1 運(yùn)動(dòng)估計(jì)仿真實(shí)驗(yàn)

實(shí)驗(yàn)1 t=[500, 0, 0]T、r對應(yīng)歐拉角為[10°,10°, 0°]T，代表大平移小旋轉(zhuǎn)角情況，實(shí)驗(yàn)結(jié)果如圖2(a)、圖2(b)所示。

實(shí)驗(yàn)2 t=[100, 0, 0]T、r對應(yīng)歐拉角為[60°,10°, 0°]T，代表小平移大旋轉(zhuǎn)角情況，實(shí)驗(yàn)結(jié)果如圖2(c)、圖2(d)所示。

圖2 運(yùn)動(dòng)參數(shù)估計(jì)誤差分析

從實(shí)驗(yàn)中可以發(fā)現(xiàn) SVD法的結(jié)果最差，而使用Horn迭代優(yōu)化方法后運(yùn)動(dòng)參數(shù)的誤差都有所改善，特別是對平移估計(jì)的改善較為顯著。但是，Horn迭代對于旋轉(zhuǎn)量改善不多，在某些情況下甚至?xí)儾睿ㄈ鐖D 2(b)），這一現(xiàn)象也說明了最小化準(zhǔn)則式（6）并不是最優(yōu)的。相比之下，使用最優(yōu)準(zhǔn)則式（9）的本文方法，在 2中條件下平移和旋轉(zhuǎn)參數(shù)的估計(jì)都能夠得到改進(jìn)。

3.2 3D重建實(shí)驗(yàn)

為評估本文方法改善雙目視覺3D重建精度的能力，分別對模擬3D目標(biāo)和真實(shí)3D目標(biāo)進(jìn)行了運(yùn)動(dòng)估計(jì)和3D重建實(shí)驗(yàn)。

3.2.1 模擬3D目標(biāo)重建

選取的模擬攝像機(jī)參數(shù)同3.1節(jié)，觀測目標(biāo)為模擬的攝像機(jī)定標(biāo)物，如圖 3（a），其中兩塊板夾角90°，每塊大小為200×400單位，其重心距離第一個(gè)攝像機(jī)光心600單位。攝像機(jī)相對運(yùn)動(dòng)參數(shù) t =[-40, 0, 0]T，r =[0, 0, π/10]T，圖像點(diǎn)疊加σ=0.5高斯噪聲。圖3（b）和圖3（c）分別是模擬目標(biāo)在左、右攝像機(jī)上的成像。

分別采用 SVD、Horn迭代以及本文方法估計(jì)運(yùn)動(dòng)參數(shù)并使用迭代最小二乘三角測量方法[10]重建每個(gè)空間點(diǎn)的3D坐標(biāo)。隨后將重建3D點(diǎn)分別反投影到2個(gè)攝像機(jī)平面上計(jì)算重投影誤差。表1中列出了運(yùn)動(dòng)參數(shù)估計(jì)結(jié)果以及重投影誤差均方根。從中可以發(fā)現(xiàn)一個(gè)比較有趣的現(xiàn)象，那就是真實(shí)結(jié)構(gòu)的重投影誤差居然比改進(jìn)的優(yōu)化方法還大，這可能與使用的重投影誤差最小準(zhǔn)則有關(guān)，具體原因有待進(jìn)一步研究。

表1 模擬3D目標(biāo)重建實(shí)驗(yàn)結(jié)果

3.2.2 真實(shí)3D目標(biāo)圖像重建

這里，實(shí)驗(yàn)所使用的圖像輸入設(shè)備是UnisDC-Q8數(shù)碼相機(jī)。采集圖像時(shí)，相機(jī)處于手動(dòng)調(diào)焦?fàn)顟B(tài)并始終保持不變。圖像原始分辨率為1600×1200，降采樣成為800×600。采用文獻(xiàn)[11]中的方法定標(biāo)，后得到內(nèi)部參數(shù)為：主點(diǎn)u0=357.1、v0=347.1、焦距au=2101.8、av=2113.5。重建過程中忽略鏡頭的畸變效應(yīng)。

重建的目標(biāo)為UnisDC-Q8的包裝盒。圖4(a)顯示的是采集的兩幅圖像以及使用改進(jìn)Harris角點(diǎn)檢測算法[12]提取到的特征點(diǎn)。使用三角測量方法重建得到3D散亂點(diǎn)云，其俯視圖如圖4(c)而左視圖如圖4(d)。將最終的三維點(diǎn)集三角化、計(jì)算每個(gè)特征點(diǎn)的紋理坐標(biāo)生成 VRML文件，其顯示效果如圖4(d)。

表3 矩形ABCD的內(nèi)角重建值

4 結(jié) 論

提出了一種用于雙像三維重建的改進(jìn)運(yùn)動(dòng)參數(shù)估計(jì)算法。該算法首先從基礎(chǔ)矩陣和攝像機(jī)的內(nèi)參數(shù)矩陣估計(jì)本質(zhì)矩陣，然后采用奇異值分解方法獲得旋轉(zhuǎn)矩陣和平移向量的初始估計(jì)，最后通過對投影誤差目標(biāo)函數(shù)進(jìn)行 L-M 非線性迭代優(yōu)化對運(yùn)動(dòng)參數(shù)進(jìn)行求精。實(shí)驗(yàn)結(jié)果表明，該算法計(jì)算精度高，極大的改善了后續(xù)的3D重建精度，即便是手工選取匹配點(diǎn)，尺度重建誤差仍低于2%、角度重建誤差在3°以內(nèi)。因此，該算法非常適合基于簡易攝像設(shè)備的3D測量及目標(biāo)3D重建。

[1]馬頌德, 張正友. 計(jì)算機(jī)視覺——計(jì)算理論與算法基礎(chǔ)[M]. 北京：科學(xué)出版社, 1998. 72-116.

[2]Dhond U R, Aggarwal J K. Structure from stereo–a review [J]. IEEE Transactions on Systems, Man and Cybernetics, 1989, 19(6)：1489-1510.

[3]Longuet-Higgins H C. A computer algorithm for reconstructing a scene from two projections [J].Nature, 1981, 293：133-135.

[4]Weng J, Huang T S, Ahuja N. Motion and structure from two perspective views：algorithms, error analysis,and error estimation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(5)：451-476.

[5]Faugeras O, Maybank S. Motion from point matches：multiplicity of solutions [J]. International Journal of Computer Vision, 1990, 4(3)：225-246.

[6]Horn B K P. Relative orientation [J]. International Journal of Computer Vision, 1990, 4(1)：59-78.

[7]Zhang Zhengyou. A new multistage approach to motion and structure estimation：from essential parameters to euclidean motion via fundamental matrix [R]. Research Report 2910, INRIA Sophia-Antipolis, France, 1996.

[8]MathWorks. Optimization toolbox for use with matlab,matlab user’s guide, version 2.0 [M]. The Math Works,Inc. 2001. 2-24.

[9]Hartley R I. In defence of the 8-point algorithm [C]//Proceedings of the 5th Proc. International Conference on Computer Vision. IEEE Computer Society Press,Boston, MA, 1995：1064-1070.

[10]Richard I Hartley, Peter Sturm. Triangulation [J].Computer Vision and Image Understanding, 1997,68(2)：146-157.

[11]Zhang Zhengyou. A flexible camera calibration by viewing a plane from unknown orientations [C]//Proceedings of the 7th International Conference on Computer Vision, 1999：666-673.

[12]Harris C, Stephens M. A combined corner and edge detector [C]//Proceedings of the 4th Alvey Vision Conference, 1988：147-151.

High Accuracy Motion Estimation Method Used for Three Dimensional Reconstructing from Two Views

CAI Tao1, DUAN Shan-xu1, LI De-hua2
( 1. College of Electrical and Electronic Engineering, Huazhong University of Science and Technology, Wuhan Hubei 430074, China;2. Institute for Pattern Recognition and Artificial Intelligence, State Education Commission Key Laboratory for Image Processing and Intelligent Control, Huazhong University of Science and Technology, Wuhan Hubei 430074, China )

Recovering the 3D geometric structure of an observed object from its two perspective views is one of the most important tasks in the computer vision research. It’s well known that the accuracy of 3D reconstruction is mainly decided by the performance of motion estimation method. In the paper, the fundamental model of two-view imaging system is introduced and the principles and disadvantages of some motion estimation methods are analyzed. To improve the estimation accuracy, a modified non-linear iterative optimization method is proposed based on the projective error minimization. The numerical simulations prove that the estimation accuracy is improved either under large translation and small rotation or under small translation and large rotation. Furthermore, the proposed method is verified by reconstruction from two view images of simulated object and real object. The result shows that the metric error is below 2% and the angle error below 3°.

computer vision; 3D reconstruction; motion estimation; Levenberg-marquard algorithm

TP 391

A

1003-0158(2010)06-0023-06

2009-03-03

國家自然科學(xué)基金資助項(xiàng)目（50737004/E0706）

蔡 濤（1974-），男，湖北武漢人，講師，博士，主要研究方向?yàn)樾畔z測技術(shù)與計(jì)算機(jī)視覺。