郭 元

(安徽新華學院信息工程學院，安徽 合肥 230088)

基于多幅圖像的系統(tǒng)三維重構的實現(xiàn)*

郭 元

(安徽新華學院信息工程學院，安徽 合肥 230088)

以系統(tǒng)的圖像三維重構為主要研究內容，給出基于多幅圖像的三維重構數(shù)學模型.分析相機空間矩陣外方位元素求解的基本原理；分線性求解和非線性求解兩種情況研究了圖像三維坐標點的求解算法，并建立了相應的數(shù)學模型；通過應用某多幅灰度數(shù)字圖像進行仿真驗算，證明了基于多幅圖像的系統(tǒng)三維重構方法的可行性；為相機系統(tǒng)識別目標在不同方位的特征信息提出了一種新的研究思路.

三維重構； 外方位元素； 相機標定； 灰度圖像

相機拍攝目標物體是基于小孔成像原理[1]，其通過三維坐標變換獲取空間實體的二維圖像，二維圖像中像素點是客觀物體上點經(jīng)過光線反射后投射到相機鏡頭的客觀反映.相機可以從不同方向拍攝的同一客觀實體并得到多組圖像.如果對圖像組進行適當處理，可以基于特定算法將二維圖像的像素點反推出客觀實體空間點的立體位置坐標，即：實現(xiàn)立體視覺三維重構.對二維圖像進行三維重構，將有助于更加精準的識別目標物體的特征和參數(shù)信息[2].通過對三維物體拍攝圖像序列，對圖像序列進行相應的處理和變換，可以計算得到海量包含三維客觀實體參數(shù)信息的特征點匹配數(shù)據(jù)集合，充分利用這些數(shù)據(jù)集合進行計算和處理，可以實現(xiàn)重構物體的三維坐標，盡可能還原目標物體的本來面目[3].本文在已知相機內方位元素和匹配點對的基礎上，結合視覺理論推導出適用于已標定序列圖像的三維重構算法.

1 基于多幅圖像的三維重構數(shù)學建模

空間點X投影到第一幅圖像上的點為x，點Ol為相機的光心.令矩陣P′為該幅圖像的投影矩陣，P′=PT(PPT)-1是矩陣P的逆矩陣.因為點P′x滿足式P+=PX，因而點P+x和點Ol都在空間點X的投影線上.如圖1所示.點P′x在第二幅圖像上的投影點為e，如圖2所示.令e′為第二幅圖像的投影矩陣，可得：

e′=P′X

(1)

圖1 單幅圖像的對極幾何關系 圖2 多幅圖像的對極幾何關系

點P+x在第二幅圖像上的投影在對極線l′上，由式(1)可得：

(2)

由此可得：

(3)

假設世界坐標系的中心在第一幅圖像的中心，那么多幅圖像的投影矩陣分別為[4]：P=K[I|0]和P′=K′[R|t]，根據(jù)投影坐標矩陣逆轉原理可得：

(4)

將式(4)代入式(3)可得：

(5)

令E=[t]×R，矩陣E稱為關鍵矩陣，與基礎矩陣F的關系如下：

E=K′TFK

(6)

2 外方位元素的求解

由式E=[t]×R可知：關鍵矩陣與相機的外方位元素有關，經(jīng)過分解可以得到旋轉矩陣R和平移矩陣t.

大量的實驗研究發(fā)現(xiàn)：關鍵矩陣的特征值有兩個相等，另外一個為零[5][6].因而關鍵矩陣經(jīng)過SVD分解可得：E=Udiag(1 1 0)VT.

由于ETt=0，對左式求解得：t=±U(0 0 1)T=±u3.

對于一個已知的關鍵矩陣E，如果第一幅圖像的投影矩陣為P=K[I|0]，那么第二幅圖像的投影矩陣P′有如下四種可能：

P′=[UWVT|+u3]=[UWVT|-u3]=[UWTVT|-u3]=[UWTVT|-u3]

(7)

投影矩陣的四種可能性[7～8]，如圖3所示.(a)與(b)的差別是第一個相機到第二個相機的平移矢量是反向的.(a)(c)與(b)(d)的差別是基線倒置，(a)(b)與(c)(d)的差別是相機B繞基線旋轉了90°.由此可以得出只有(a)是重構點同時在兩個相機的前面，也就是說只需要通過驗證一個空間點是否在兩個相機前面就可以從4個不同的解中確定正確的投影矩陣.

圖3 投影矩陣的四種可能性分析

3 三維坐標點坐標的求解

三維空間點坐標的求解算法有很多，主要分為線性求解和非線性求解兩種.由于非線性求解算法計算中涉及到的參數(shù)較多，一方面可能會增加整個系統(tǒng)的計算量和復雜性，另一方面計算時可能會對結果產(chǎn)生不斷的累積誤差.因此本文采用線性求解的方法求出三維空間點的坐標，然后用最小二乘約束的方法對坐標點進行校正[9].該方法簡單，但有可能會得到局部最優(yōu)的錯誤結果.

假設多幅圖像上的匹配點對為x和x′，可以得到基礎矩陣F.結合相機的內方位元素，對基礎矩陣分解可以得到多幅圖像的攝影矩陣P和P′，代入投影方程，可得：

(8)

令x=PX，x′=P′X，由x×x=0，可知：x×PX=0，同理可得：x′×P′X=0.綜上，可得方程組：

(9)

將式(9)化為AX=0的形式，則有：

(10)

將矩陣A進行SVD分解：A=UDVT，那么三維空間點坐標X即為矩陣V的最后一列.式(10)即為最終圖像三維重構矩陣函數(shù).

4 實驗及結果

仿真實驗中，首先以某已標定過的相機為模型，其內方位元素為：

實驗首先對多幅圖像進行重構，如圖4所示.

圖4 基于多幅圖像的三維重構

基于多幅圖像的系統(tǒng)三維重構算法的圖像匹配結果,如圖5所示.

圖5 圖像匹配結果

通過對圖4中所列圖像序列,按照式(8)～(10)進行圖像匹配點三維重構，得到最終匹配點三維重構結果，如圖6所示.

圖6 圖像匹配點三維重構結果

基于式(10)完成圖像最終客觀實體的三維重構的圖像還原環(huán)節(jié)，圖像重構效果如圖7所示.

圖7 客觀實體三維重構結果

根據(jù)實驗過程中對測試算法的精度和復雜度進行分析，統(tǒng)計結果見表1和表2.

表1 實驗結果圖像匹配誤差

表2 實驗時間

表1和表2分別為稠密匹配的反投影誤差分析結果及圖像匹配過程所耗費時間，由于第二幅圖像和第三幅圖像間的視角變換比較大，導致圖像匹配點數(shù)目較少，基本矩陣的精度較低，從而使圖像匹配誤差較大.由于采用式(10)的函數(shù)進行數(shù)值優(yōu)化，第四幅測試圖像和第五幅測試圖像的反投影誤差并沒有明顯的增長.因此，本文所提出的基于多幅圖像的系統(tǒng)三維重構算法并不會出現(xiàn)由于中間圖像誤差較大而影響后續(xù)圖像的三維重構.

5 結語

本文主要介紹了三維重構的基本原理，在內方為元素標定好的基礎上，先對多幅圖像進行重構，包括外方位元素的求取和三維坐標點的計算.得到初始的三維模型之后，通過每次添加一幅圖像的方法求取剩余圖像的外方位元素，并結合稠密匹配的方法得到大量的三維空間點坐標，完成整個模型的重構.之后通過實驗詳細介紹了序列圖像的具體步驟和實驗結果，通過反投影誤差分析證明了課題采用的技術具有實用性.

[1]Zhang Zhengyou. Flexible Camera Calibration by Viewing a Plane from Unknown Orientations[C]//Computer Vision. The Proceedings of the Seventh IEEE International Conference on. Ieee, 1999, 1: 666-673.

[2]Zhang Zhengyou．A Flexible New Technique for Camera Calibration．IEEE. Transactions on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334.

[3]梁志敏，高洪明，王志江．攝像機標定中亞像素級角點檢測算法[J]．焊接學報，2006，27(2)：102-104.

[4]胡海峰，侯曉微.一種自動檢測棋盤角點的新算法[J]．計算機工程，2004，30(14)：19-25.

[5]Lowe. D G. Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision, 2004, 60(2): 91-110.

[6]許廣毅，王楊. 基于SIFT特征的單樣本人臉識別研究[J].信息工程大學學報，2008，9(2)：164-167.

[7]龔志輝, 張春美,孫雷等. 改進SIFT特征描述符在影像匹配中的應用研究[J].測繪科學技術學報, 2008, 25(6): 440-447.

[8]Brown M, Lowe D G. Invariant features from interest point groups[C].//British Machine Vision Conference. Cardiff, Wales, 2002:656-665.

[9]Lowe D G. Local feature view clustering for 3D object recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition,Kauai, Hawaii, 2001.

Onthe3DSystemReconstructionBasedonMultipleImages

GUO Yuan

(Institute of Information Engineering， Anhui Xinhua University， Hefei Anhui 230088，China)

This paper presents the mathematical model of 3D reconstruction based on multiple images, analyzes solution of exterior orientation element of camera matrix in both linear and nonlinear algorithms to study the three-dimensional coordinates of the image and establishes the corresponding mathematical model. Certain gray multiple digital images are used to do simulation test to prove the feasibility of 3D reconstruction method. It puts forward a new research method in the feature information in different directions for camera system.

3D reconstruction; elements of exterior orientation; camera calibration; gray image

1673-2103(2017)05-0034-05

2017-05-26

安徽省教育廳重點自然科學項目(KJ2015A300)；安徽省高等學校省級質量工程MOOC示范項目(2015mooc093)

郭元(1981-),女，安徽合肥人，講師，碩士，研究方向：虛擬現(xiàn)實、智能計算.

TP391.41

A