李碩明　陳　越,2

(1.中山職業(yè)技術(shù)學(xué)院信息工程學(xué)院　中山　528404)(2.華南理工大學(xué)電子與信息學(xué)院　廣州　510641)

一種基于雙目立體視覺的多視角三維重建方法

李碩明1陳越1,2

(1.中山職業(yè)技術(shù)學(xué)院信息工程學(xué)院中山528404)(2.華南理工大學(xué)電子與信息學(xué)院廣州510641)

摘要論文提出了一種基于角點(diǎn)與直線特征聯(lián)合的三階段立體匹配算法,能較好解決視差不連續(xù)區(qū)域和遮擋區(qū)域的誤匹配問題,將局部坐標(biāo)系中得到的數(shù)據(jù)點(diǎn)進(jìn)行三維數(shù)據(jù)融合統(tǒng)一到一個(gè)坐標(biāo)系中,基于OpenGL開發(fā)平臺采用局部三維Delaunay的網(wǎng)格構(gòu)造算法構(gòu)建出物體的全景三維空間信息。實(shí)驗(yàn)證明該算法具有良好的魯棒性,能夠?qū)ψ匀晃矬w進(jìn)行精確三維重建并實(shí)現(xiàn)多視角顯示。

關(guān)鍵詞多視角; 三維重建; 三維數(shù)據(jù)融合; Delaunay; OpenGL

Class NumberTP393

1引言

三維重建一直是計(jì)算機(jī)視覺研究的重要內(nèi)容之一,而多視角的三維重建則更是一個(gè)熱點(diǎn)問題[1]。從一系列的二維圖像中獲取三維信息需要克服很多不利因素,就重建單個(gè)自然物體而言需要突破其自身遮擋等局限從多個(gè)角度獲取數(shù)據(jù)并最終恢復(fù)出周身三維空間信息[2～3]。本研究以持普通相機(jī)以環(huán)繞待重建物體作簡單單軸運(yùn)動,從不同視角獲取待重建物體的多幅數(shù)字圖像,在對圖像做預(yù)處理后提取特征點(diǎn),基于雙目立體視覺原理依次經(jīng)過相關(guān)匹配、松弛迭代匹配和最小平方中值法匹配三個(gè)步驟,并與此同時(shí)加入限定圖像值法匹配三個(gè)步驟,并與此同時(shí)加入限定圖像匹配區(qū)域、添加手工匹配點(diǎn)對以及局部直線匹配三個(gè)人機(jī)交互環(huán)節(jié),求解出一個(gè)精確的匹配點(diǎn)對集合。逐步將后續(xù)視角下的圖像兩兩匹配,將新特征空間點(diǎn)進(jìn)行三維數(shù)據(jù)融合,從而得到物體的全景空間位置數(shù)據(jù),經(jīng)過Delaunay三角化和貼紋理后,最終用OpenGL編程得到其三維顯示,并將重建結(jié)果生成為VRML文件以便從多角度觀察。實(shí)驗(yàn)結(jié)果表明本文提出的方法操作簡單,穩(wěn)定高效。

2多視角三維重建流程框架

一般認(rèn)為計(jì)算機(jī)視覺系統(tǒng)由獲取圖像、標(biāo)定相機(jī)、提取特征、特征匹配、三維重建等幾個(gè)部分組成[4]。雙目立體視覺系統(tǒng)拍攝得到的兩幅圖像平面共面且與光軸垂直,圖像平面水平坐標(biāo)軸共線,圖像陣列的行就是極線,可以將匹配搜索范圍降維,從而大大減小匹配運(yùn)算量。隨著數(shù)字?jǐn)z影技術(shù)的不斷成熟,圖像獲取階段已經(jīng)能夠低成本的實(shí)現(xiàn),通常利用CCD攝像機(jī)或CMOS攝像器件獲得場景的本征圖像[5]。

對圖像實(shí)現(xiàn)自動提取特征點(diǎn)是求解兩幅圖像間的對應(yīng)關(guān)系的前提。特征點(diǎn)包括圖像中的圓點(diǎn)、角點(diǎn)、交叉點(diǎn)等。對于不同的特征點(diǎn),有不同的提取方法,如圓形特征點(diǎn),則提取質(zhì)心或形心,對于矩形則提取角點(diǎn),使其對尺度和旋轉(zhuǎn)都有不變性。與其它方法相比較而言,Harris角點(diǎn)提取圖像角點(diǎn)具有更好的穩(wěn)健性,是一種通常被采用的角點(diǎn)提取方法[6]。

攝像機(jī)內(nèi)部參數(shù)的一般方法是采用標(biāo)準(zhǔn)2D和3D精密靶標(biāo)來標(biāo)定求解[7]。在本方法中將要調(diào)用到MATLAB的擴(kuò)展工具箱TOOLBOX_calib,采用二維標(biāo)定靶作為定標(biāo)參照物,以使目標(biāo)點(diǎn)格狀圖形上的交點(diǎn)可被精確定位所提供的標(biāo)定算法求解的參數(shù)精度,在輸入圖像拍攝時(shí)無抖動且噪聲誤差較小的理想情況下標(biāo)定精度可以達(dá)到子像素誤差[8]。

3基于特征聯(lián)合的立體匹配算法

在借鑒國內(nèi)外研究得比較成功的匹配算法的基礎(chǔ)上,本文采用的是一種分階段的魯棒的三階段匹配算法,自動完成特征點(diǎn)的提取和匹配,算法步驟如下: 1) 計(jì)算灰度相關(guān)值并進(jìn)行初始匹配; 2) 根據(jù)“連續(xù)性”和“唯一性”,利用松馳迭代法消除模糊匹配[8]; 3) 根據(jù)對極幾何約束,利用最小中值法剔除錯(cuò)誤匹配。并在特征匹配的魯棒性研究方面加入了三個(gè)人機(jī)交互環(huán)節(jié):(1)可以選擇限定目標(biāo)匹配的圖像區(qū)域;(2)當(dāng)自動匹配點(diǎn)對不足時(shí)添加手工匹配點(diǎn)對;(3)可在局部范圍內(nèi)施加直線匹配改善重建效果。各步驟具體介紹如下。

3.1初級匹配

初始匹配允許一個(gè)特征點(diǎn)同時(shí)對應(yīng)多個(gè)匹配點(diǎn)的情況存在,并在后續(xù)的魯棒性匹配過程中逐步去除錯(cuò)誤的匹配點(diǎn)對[6]。對于每一個(gè)特征點(diǎn)m1∈圖像I1,m2∈圖像I2,設(shè)它們的圖像坐標(biāo)分別為(u1,v1)、(u2,v2),給定以m1為中心的相關(guān)性窗口(2n+1)×(2m+1),在第二幅圖像中相應(yīng)于m1的位置選定(2du+1)×(2dv+1)的搜索窗口,計(jì)算所有在搜索窗口內(nèi)的特征點(diǎn)m2與m1的相關(guān)性系數(shù)。當(dāng)用某個(gè)點(diǎn)m2計(jì)算出來的相關(guān)值Score(m1,m2)大于該閾值時(shí),則可以認(rèn)為該m2是點(diǎn)m1的一個(gè)候選匹配點(diǎn)。先求出圖像I1上所有角點(diǎn)在I2中的候選匹配點(diǎn),然后反過來求出圖像I2上所有角點(diǎn)在I1中的候選匹配點(diǎn),經(jīng)過這兩個(gè)過程后,可以得到一些初始的匹配點(diǎn)對集合。

3.2中級匹配

初始匹配得到的集合中存在一個(gè)特征點(diǎn)同時(shí)對應(yīng)多個(gè)匹配點(diǎn)的情況,利用松弛法(Relaxation)可以大程度上糾正這類模糊匹配?！八神Y”即指允許集合中的候選匹配對通過自我解散自我重新配對[9]。

3.3魯棒匹配

通過迭代松弛法匹配,得到了一個(gè)一一對應(yīng)的匹配點(diǎn)對集合,但仍然存在一些錯(cuò)誤的匹配點(diǎn)對需要剔除。論文利用最小平方中值法(Least Median of Squares,LMedS)來實(shí)現(xiàn)這個(gè)功能。匹配時(shí)可選用人交互操作示意,其中虛像框是限定匹配區(qū)域的選定,灰色的點(diǎn)是人工添加的匹配點(diǎn)對,將明顯在同一條之間上的兩點(diǎn)相繼選中則可實(shí)現(xiàn)部分直線匹配功能,示意圖如圖1所示。

圖1　人機(jī)交互匹配環(huán)節(jié)示意圖

4三維重建過程

4.1多視角的數(shù)據(jù)融合算法

三維重建是指從兩幅圖像恢復(fù)空間點(diǎn)三維坐標(biāo)及幾何形狀的過程[10]。于本研究重建的圖像序列是由移動的單臺攝像機(jī)或在不同視點(diǎn)的多臺攝像機(jī)所攝取,利用SFM(Structure from Motion)算法恢復(fù)出攝像機(jī)外參數(shù),然后求出離散空間點(diǎn)的三維坐標(biāo),即可求解出在該視角下的重建信息。多目視覺的數(shù)據(jù)融合究其實(shí)質(zhì)而言就是將處于不同局部坐標(biāo)系下的三維空間點(diǎn)坐標(biāo)轉(zhuǎn)化到某一特定坐標(biāo)下,從而實(shí)現(xiàn)三維數(shù)據(jù)融合的目的。為簡化分析過程,作如下假定: 1) 攝像機(jī)的內(nèi)參數(shù)已知; 2) 景物是靜止不動的。從最開始的兩幅數(shù)字圖像利用雙目立體視覺原理獲得一個(gè)基本的數(shù)據(jù)結(jié)構(gòu)模型,然后依據(jù)相鄰圖像間的匹配點(diǎn)對關(guān)系,依次計(jì)算個(gè)后續(xù)圖像的3D-2D投影關(guān)系矩陣P,每加入一幅圖像信息都將初始的重建數(shù)據(jù)更新一次。這樣與初始建模數(shù)據(jù)有不同特征點(diǎn)的圖像姿態(tài)都能計(jì)算,在計(jì)算出所有圖像的運(yùn)動參數(shù)之后再通過光束法平差法來進(jìn)一步求精,流程圖如圖2所示。按照如上步驟,逐對將后續(xù)視角下的圖像兩兩匹配,將新特征空間點(diǎn)進(jìn)行三維數(shù)據(jù)融合,從而得到物體的全景空間位置數(shù)據(jù)。

圖2　多視角數(shù)據(jù)融合流程圖

4.2三維空間點(diǎn)集的Delaunay三角剖分

三維空間點(diǎn)集的Delaunay三角剖分實(shí)際上是對三維空間點(diǎn)集用互不相交的三角形來近似表示該點(diǎn)集形成的曲面。本項(xiàng)目的實(shí)現(xiàn)方法是先按照J(rèn)onathan Richard提出的方法進(jìn)行二維Delaunay三角化,然后通過點(diǎn)的對應(yīng)關(guān)系基本上實(shí)現(xiàn)空間點(diǎn)的準(zhǔn)三維Delaunay三角化。

4.3紋理粘貼與顯示

從三角化的二維點(diǎn)列將圖像分割,形成很小的三角化的紋理,將對應(yīng)的三角紋理粘貼到對應(yīng)的空間點(diǎn)網(wǎng)格,就得到了具有紋理的三維物體。在圖像坐標(biāo)系中一般都是定義左上角的點(diǎn)為坐標(biāo)系的原點(diǎn)。圖像坐標(biāo)與紋理坐標(biāo)之間存在如下的轉(zhuǎn)換關(guān)系:

式中,u、v是點(diǎn)的圖像坐標(biāo),u′、v′是對應(yīng)點(diǎn)的紋理坐標(biāo),Width,Height是二維圖像的寬度和高度。通過坐標(biāo)轉(zhuǎn)換得到點(diǎn)的紋理坐標(biāo)后,可以調(diào)用OpenGL中的函數(shù)G1TexImage2D進(jìn)行紋理映射。

5方案驗(yàn)證

實(shí)驗(yàn)部分?jǐn)?shù)據(jù)為普通SONY數(shù)碼相機(jī)拍攝的圖像,初始數(shù)據(jù)為300萬像素(2048*1536)。拍攝方式為保持照相機(jī)的垂直高度,圍繞待重建物體做簡單單軸旋轉(zhuǎn)運(yùn)動,各相鄰圖像視角保持在15°～30°之間,較均勻的拍攝一個(gè)近橢圓形軌跡圖像序列。在軟件部分本研究采用Matlab和VC++語言編程實(shí)現(xiàn),用VC++來編寫系統(tǒng)的實(shí)時(shí)處理部分和應(yīng)用程序界面等部分,用Matlab來進(jìn)行數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計(jì)等功能,試驗(yàn)中主要使用到了Matlab的圖象處理工具箱以及Matlab的擴(kuò)展標(biāo)定工具箱TOOLBOX_calib,同時(shí)還調(diào)用到Intel的OpenCV(Open Source Computer Vision)library Beta 4作為整個(gè)系統(tǒng)的基礎(chǔ)函數(shù)庫。

在三維點(diǎn)坐標(biāo)歸一化后,將離散點(diǎn)坐標(biāo)二維三角化,并粘貼紋理在OpenGL中實(shí)現(xiàn)空間三維模型的多視角顯示。圖3是特征點(diǎn)提取和匹配后效果圖。圖4是由相機(jī)繞待重建物體旋轉(zhuǎn)的12張圖像序列。將重建結(jié)果生成為VRML文件,就能在Cortona VRML Browser中從多個(gè)角度進(jìn)行觀察。圖5是該景物的重建信息在VMRL中的多角度顯示。

圖3　特征點(diǎn)提取與匹配示意圖

圖4　輸入的原始圖像序列

圖5　重建景物的多視角顯示

6結(jié)語

本研究基于雙目立體視覺原理將在不同的局部坐標(biāo)系中得到的數(shù)據(jù)點(diǎn)進(jìn)行三維數(shù)據(jù)融合到同一個(gè)坐標(biāo)系中,并基于OpenGL開發(fā)平臺采用局部三維Delaunay的網(wǎng)格構(gòu)造算法,構(gòu)建出可視化出物體的全景三維空間信息。實(shí)驗(yàn)結(jié)果證明能高效地將輸入二維圖像序列中景物的多視角顯示出來,所獲取的景物三維信息能夠滿足常規(guī)桌面三維視覺的要求,能有效地應(yīng)用于各種計(jì)算機(jī)視覺應(yīng)用系統(tǒng),可作為網(wǎng)上商品模型的三維顯示、制作三維廣告圖片等商業(yè)用途。

參 考 文 獻(xiàn)

[1] 項(xiàng)輝宇.基于HALCON的板料成形網(wǎng)格應(yīng)變測量系統(tǒng)的實(shí)現(xiàn)[J].計(jì)算機(jī)測量與控制,2014,22(11):1-11.

XIANG Yuhui. Realization of Grid Strain Measurement System in Sheet Metal Part Forming Based on HALCON[J]. Computer Measurement and Control,2014,22(11):1-11.

[2] 李達(dá),等.基于一維相位相關(guān)的改進(jìn)圖像三維重建算法[J].微電子學(xué)與計(jì)算機(jī),2013,30(1):73-76.

LI Da, et al. Improved 3D Reconstruction Algorithm Based on 1D Phase-Only Correlation[J]. Microelectronics and Computer,2013,30(1):73-76.

[3] 肖秦琨,等.基于多視角視頻的運(yùn)動重建[J].計(jì)算機(jī)技術(shù)與發(fā)展,2014,24(2):84-87.

XIAO Qinkun, et al. Motion Reconstruction Based on Multi-view Video[J]. Computer Technology and Development,2014,24(2):84-87.

[4] 章疏晉.圖像理解與計(jì)算機(jī)視覺[M].北京:清華大學(xué)出版社,2000:202-205.

ZHANG Yujin. Image Interpretation and Computer Vision[M]. Tsing Hua Universtiy Press,2000:202-205.

[5] 羅桂娥.雙目立體視覺深度感知與三維重建若干問題研究[D].長沙:中南大學(xué),2012:146-149.

LUO Gui’e. Some Issues of Depth Perception and Three Dimention Reconstruction from Binocular Stereo Vision[D]. Changsha: Central South University,2012:146-149.

[6] 趙本東,等.雙目立體視覺中特征提取算法研究[J].電子技術(shù)與軟件工程,2014(6):122-123.

ZHAO Bendong, et al. Algorithm research of Feature Selection in Binocular Stereo Vision[J]. Electronic Technology and Computer Engineering,2014(6):122-123.

[7] Koei Maeda. Trajectory tracking control of mobile robots without using longitudinal velocity measurements[J]. Artificial Life and Robotics,2009(14):352-356.

[8] 邱會貴,陳新.雙目立體視覺定位的三維坐標(biāo)提取與分析[J].閩江學(xué)院學(xué)報(bào),2013,32(2):98-101.

QIU Huigui, CHEN Xin. Collection and Analysis of 3D Coordinates Tag in Binocular Stereo Vision Positioning[J]. Journal of Minjiang University,2013,32(2):98-101.

[9] 王新宇.基于計(jì)算機(jī)立體視覺的三維重建[D].長沙:中南大學(xué),2004:1-8.

WANG Xinyu. Three Dimensional Reconstruction Based on Computer Stereo Vision[J]. Changsha: Central South University,2004:1-8.

[10] 唐勇,等.基于匹配效率和計(jì)算精度提升的雙目三維樹干重建算法改進(jìn)[J].燕山大學(xué)學(xué)報(bào),2013,30(1):73-76.

TANG Yong. Improved Algorithm on 3D Reconstruction of Branches based on Improving Matching Efficiency and Calculating Accuracy[J]. Journal of Yanshan University,2013,30(1):73-76.

A Multiple-view 3D Reconstruction Approach Based on Binocular Stereo Vision

LI Shuoming1CHEN Yue1,2

(1. School of Information Engineering, Zhongshan Polytechnic, Zhongshan528404)(2. School of Information and Electronics, South China University of Technology, Guangzhou510641)

AbstractIn this research, an approach of three-phase 3D corresponding algorism based on Harris and line feature points is proposed, which can solve the false matching problem caused by inconsistent or shadowed areas. Through coordinate transformation between views, 3D data of scene form different views integrated into a uniform reference coordinate frame. OpenGL programming using Delaunay triangulation and texture mapping is adopted in the 3D displays process. Experiment demonstrates the robustness of this corresponding method, in which the 3D model of the targeted object can be displayed form all views.

Key Wordsmultiple-views, 3D reconstruction, 3D data integration, Delaunay, OpenGL

收稿日期:2015年12月1日,修回日期:2016年1月31日

基金項(xiàng)目:國家-廣東省自然科學(xué)基金聯(lián)合基金(編號:U0835001)資助。

作者簡介:李碩明,男,碩士,工程師,研究方向:智能信息處理技術(shù)。陳越,男,博士研究生,講師,研究方向:自適應(yīng)信號處理、混沌系統(tǒng)與信號處。

中圖分類號TP393

DOI:10.3969/j.issn.1672-9722.2016.06.012