卞玉霞，劉學(xué)軍，王美珍，周 業(yè)，甄 艷

(1. 成都信息工程大學(xué)資源環(huán)境學(xué)院，四川 成都 610225； 2. 南京師范大學(xué)虛擬地理環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210097； 3. 四川省第三測(cè)繪工程院，四川 成都 610501)

雙目視覺三維點(diǎn)云重建的誤差度量模型

卞玉霞1，劉學(xué)軍2，王美珍2，周 業(yè)3，甄 艷3

(1. 成都信息工程大學(xué)資源環(huán)境學(xué)院，四川 成都 610225； 2. 南京師范大學(xué)虛擬地理環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210097； 3. 四川省第三測(cè)繪工程院，四川 成都 610501)

從圖像中快速提取并構(gòu)建三維模型是GIS空間數(shù)據(jù)獲取的重要途徑之一，作為智慧城市建設(shè)的基礎(chǔ)數(shù)據(jù)，如何度量和控制圖像三維模型質(zhì)量成為阻礙智慧城市發(fā)展的首要問題。本文以立體像對(duì)為數(shù)據(jù)源，在研究三維點(diǎn)云重建模型的基礎(chǔ)上，結(jié)合矩陣微分理論和協(xié)方差傳播律構(gòu)建了雙目視覺三維點(diǎn)云誤差度量模型及量化表達(dá)方法，為圖像三維建模質(zhì)量控制和精度評(píng)估提供理論依據(jù)。

雙目視覺；三維點(diǎn)云；誤差；協(xié)方差傳播律

與人類視覺水平相比，基于雙目視覺原理重建的三維模型顯得較為粗糙，如：人臉識(shí)別會(huì)因光線、陰影或表情等變化而得不到有效檢測(cè)；地理場(chǎng)景的三維重建與實(shí)際不完全一致，特別是地理環(huán)境中的風(fēng)吹草動(dòng)識(shí)別的準(zhǔn)確度遠(yuǎn)不及靜態(tài)場(chǎng)景。雙目視覺三維重建的精度如何？精度受哪些因素影響？諸如此類問題[1]影響著數(shù)字城市建設(shè)及智慧城市的應(yīng)用和發(fā)展。

雙目視覺三維建模是圖像三維建模的重要分支，其誤差受不同工作環(huán)節(jié)的影響。在三維重建的誤差領(lǐng)域，眾多學(xué)者基于雙目視覺的結(jié)構(gòu)參數(shù)對(duì)三維誤差的影響進(jìn)行了研究[2-8]，如攝像機(jī)光軸夾角、基線距離和方向、焦距、畸變系數(shù)等、空間點(diǎn)位與攝像機(jī)方位關(guān)系等。Fooladgar[6]研究了圖像量化誤差引起的三維誤差及分布，構(gòu)建了兩斜錐相交的三維點(diǎn)位置的幾何誤差模型。Debei[9]、唐巍[5]和Belhaoua[10]等研究了特征點(diǎn)定位(識(shí)別)誤差對(duì)三維誤差的影響，也有針對(duì)攝像機(jī)標(biāo)定對(duì)三維誤差影響的研究。

有關(guān)雙目視覺三維重建誤差的研究較多集中于影響因子的定性分析，缺少定量研究。本文結(jié)合矩陣微分理論研究雙目視覺三維點(diǎn)云重建的誤差傳播，在此基礎(chǔ)上構(gòu)建雙目視覺三維點(diǎn)云重建誤差的度量模型，為雙目視覺三維模型誤差提供度量方法，為圖像三維建模質(zhì)量控制和精度評(píng)估提供理論依據(jù)。

1 雙目視覺三維重建原理

若從兩個(gè)視點(diǎn)觀察同一場(chǎng)景，在獲取不同視點(diǎn)圖像的基礎(chǔ)上，基于視差原理可恢復(fù)物體的三維幾何信息，圖1是雙目視覺三維重建技術(shù)的流程。從圖中可以看出，構(gòu)建三維模型受特征匹配、基礎(chǔ)矩陣估計(jì)、攝像機(jī)自標(biāo)定、三維點(diǎn)云恢復(fù)、稠密匹配等環(huán)節(jié)的影響，其中點(diǎn)云精度對(duì)稠密匹配、三維模型的影響至關(guān)重要。

圖1 雙目視覺三維重建流程

若已知空間點(diǎn)位坐標(biāo)X、攝像機(jī)內(nèi)部參數(shù)K、旋轉(zhuǎn)矩陣R和平移向量T，根據(jù)小孔成像原理可以求得圖像中對(duì)應(yīng)的特征點(diǎn)坐標(biāo)x

(1)

在雙目視覺三維點(diǎn)云重建過程中，特征匹配能夠?qū)ふ伊Ⅲw像對(duì)的同名特征點(diǎn)x，基礎(chǔ)矩陣估計(jì)能夠估算圖像之間的對(duì)極幾何關(guān)系F，攝像機(jī)自標(biāo)定能夠計(jì)算立體像對(duì)的攝像機(jī)內(nèi)部參數(shù)K，在求解立體像對(duì)之間旋轉(zhuǎn)矩陣R和平移向量T的基礎(chǔ)上，根據(jù)式(1)即可求得三維點(diǎn)云坐標(biāo)X。結(jié)合旋轉(zhuǎn)矩陣R和平移向量T的可分解性(R=UWVT，T=UB)，以及正交矩陣U、V、W的特性(UT=U-1,VT=V-1,WT=W-1)，三維點(diǎn)云X可以表示為

X=VWT(UTK-1x-B)

(2)

2 三維點(diǎn)云誤差模型

如圖1所示，立體像對(duì)獲取、特征匹配、基礎(chǔ)矩陣估計(jì)、攝像機(jī)自標(biāo)定等各環(huán)節(jié)不可避免地會(huì)引入誤差，這些誤差被傳播并逐漸積累和放大，直至影響三維模型的精度。為此，本文擬以雙目視覺三維重建原理為研究對(duì)象，研究三維點(diǎn)云重建過程中的誤差傳播。

式(2)中，數(shù)值型函數(shù)X的自變量有：矩陣型變量U、V、K和x。結(jié)合全微分相關(guān)理論，可得三維點(diǎn)云X的微分表達(dá)式

dX=dV?(WTUTK-1x-WTB)+(VWT)?

(dUT?(K-1x)+UT?d(K-1)?x+UTK-1dx)

(3)

RTK-1Kd(RX+UB)+RTK-1xd

(4)

又，本質(zhì)矩陣E=UDVT，則

(5)

需注意的是，本質(zhì)矩陣E有2個(gè)相同特征值，第3個(gè)特征值為0，即矩陣D=g×diag(1,1,0)，由此可以認(rèn)為，式(5)中Ud和Vd的第3列微分均為0向量。鑒于上述情況，U和V的微分形式應(yīng)該表示為

(6)

式中，Ud3和Vd3分別表示U3和V3的微分量，而U3和V3是利用立體像對(duì)中圖像對(duì)極點(diǎn)的坐標(biāo)向量表示的。又，R=UWVT，T=UB，則

(7)

此時(shí)

(8)

將式(8)代入式(6)，可以表達(dá)Ud和Vd。

綜合上述分析，在已知Ud、Vd、Kd、Fd和xd等情況下，結(jié)合式(4)，即可實(shí)現(xiàn)三維點(diǎn)云X的微分表達(dá)

(9)

在雙目視覺三維點(diǎn)云重建中，基礎(chǔ)矩陣F和攝像機(jī)內(nèi)部參數(shù)K是依據(jù)特征匹配點(diǎn)x集合求得的，與任意一組特征匹配點(diǎn)x的關(guān)聯(lián)不大，因此本文三維點(diǎn)云誤差不考慮基礎(chǔ)矩陣F、攝像機(jī)內(nèi)部參數(shù)K和特征匹配點(diǎn)x之間的關(guān)聯(lián)性。若已知Fd、Kd、xd的協(xié)方差，結(jié)合矩陣協(xié)方差傳播律，則可以實(shí)現(xiàn)三維點(diǎn)云誤差(協(xié)方差DX)的估算

(10)

式中，DK表示攝像機(jī)內(nèi)參矩陣K的誤差——9×9協(xié)方差矩陣；Dx表示匹配點(diǎn)的誤差——3×3協(xié)方差矩陣；DU、DV是由本質(zhì)矩陣E分解為U、V的協(xié)方差陣。

式(10)中，基礎(chǔ)矩陣F和攝像機(jī)內(nèi)部參數(shù)K均是基于特征匹配點(diǎn)x求得的，特征匹配點(diǎn)是雙目視覺三維重建的基礎(chǔ)數(shù)據(jù)。若僅考慮特征匹配點(diǎn)對(duì)三維點(diǎn)云誤差的影響，三維點(diǎn)云的協(xié)方差矩陣：DX=RTK-1DxK-TR。由此認(rèn)為，三維點(diǎn)云誤差與攝像機(jī)內(nèi)部參數(shù)成反比，攝像機(jī)焦距越大，三維點(diǎn)云誤差越小；與攝像機(jī)外部參數(shù)成正比，攝像機(jī)的旋轉(zhuǎn)矩陣越大，三維點(diǎn)云誤差也越大；隨匹配點(diǎn)位誤差變化而變化，圖像邊緣比像主點(diǎn)的三維點(diǎn)位誤差大。

3 試驗(yàn)分析

3.1 試驗(yàn)數(shù)據(jù)

圖2是室外標(biāo)定場(chǎng)數(shù)據(jù)，圖中分布著大量的標(biāo)定點(diǎn)，這些標(biāo)定點(diǎn)具有真實(shí)空間點(diǎn)坐標(biāo)。圖2(a)是基準(zhǔn)圖像，圖2(b)是相應(yīng)的匹配圖像，圖中加號(hào)“+”表示基于SIFT模型提取的特征點(diǎn)，兩幅圖像中相同編號(hào)的特征點(diǎn)組成了一組特征匹配點(diǎn)。

圖2 以標(biāo)定場(chǎng)為數(shù)據(jù)源的立體像對(duì)

本文僅針對(duì)圖2中均勻分布在圖像不同位置，且在標(biāo)定場(chǎng)中具有真實(shí)點(diǎn)位坐標(biāo)的三維點(diǎn)云坐標(biāo)及其誤差進(jìn)行分析。表1是基于上述立體像對(duì)重建的三維點(diǎn)云與標(biāo)定場(chǎng)坐標(biāo)的對(duì)比結(jié)果。

表1 重建的三維點(diǎn)云與標(biāo)定場(chǎng)坐標(biāo)的對(duì)比結(jié)果 m

3.2 結(jié)果分析

4 結(jié) 語

本文結(jié)合矩陣微分理論在研究非線性三維點(diǎn)云重建模型線性化的基礎(chǔ)上，構(gòu)建并驗(yàn)證了雙目視覺三維點(diǎn)云誤差模型。該模型與攝像機(jī)內(nèi)部參數(shù)成反比，攝像機(jī)焦距越大，三維點(diǎn)云誤差越小；與攝像機(jī)外部參數(shù)成正比，攝像機(jī)的旋轉(zhuǎn)矩陣越大，三維點(diǎn)云誤差也越大。

需要說明的是，本文是在假設(shè)特征匹配點(diǎn)、基礎(chǔ)矩陣和攝像機(jī)內(nèi)部參數(shù)矩陣相互獨(dú)立的基礎(chǔ)上，運(yùn)用協(xié)方差傳播律進(jìn)行的雙目視覺三維點(diǎn)云重建誤差的研究。下一步將深入研究特征匹配點(diǎn)、基礎(chǔ)矩陣和攝像機(jī)內(nèi)部參數(shù)之間的關(guān)聯(lián)性。

表2 雙目視覺三維點(diǎn)云重建的誤差

[1] 黃健,王繼.多視角影像自動(dòng)化實(shí)景三維建模的生產(chǎn)與應(yīng)用[J].測(cè)繪通報(bào),2016(4):75-78.

[2] XU G,LI X,SU J,et al.Precision Evaluation of Three-dimensional Feature Points Measurement by Binocular Vision[J]. Optical Society of Korea,2011,15(1):30-37.

[3] SEDLAZECK A,KOCH R.Perspective and Non-perspective Camera Models in Underwater Imaging—Overview and Error Analysis[M]. Berlin:Springer Berlin Heidelberg,2012: 212-242.

[4] ZHANG T,BOULT T.Realistic Stereo Error Models and Finite Optimal Stereo Baselines[C]∥Proceedings of IEEE Workshop on Applications of Computer Vision. Kona: IEEE, 2011:426-433.

[5] 唐巍,葉東,袁峰,等.均勻設(shè)計(jì)與灰色理論應(yīng)用于視覺系統(tǒng)誤差分析[J].儀器儀表學(xué)報(bào),2013,34(2): 371-378.

[6] FOOLADGAR F,SAMAVI S,SOROUSHMEHR S,et al. Geometrical Analysis of Localization Error in Stereo Vision Systems[J].Sensors Journal, 2013,13(11):4236-4246.

[7] 肖志濤,張文寅,耿磊,等.雙目視覺系統(tǒng)測(cè)量精度分析[J].光電工程,2014,41(2):6-11.

[8] LU B,LIU Y,SUN L.Error Analysis of Binocular Stereo Vision System Applied in Small Scale Measurement[J].Acta Photonica Sinica,2015,44(10):1-6.

[9] DEBEI S,ABOUDAN A,COLOMBATTI G,et al. Lutetia Surface Reconstruction and Uncertainty Analysis[J].Planetary and Space Science,2012,71(1):64-72.

[10] BELHAOUA A,KORNMANN A,RADOUX J P.Accuracy Analysis of an Augmented Reality System[C]∥Intornational Conference on Signal Processing. Hangzhou: IEEE,2014:1169-1174.

[11] 陳杰春,丁振良,袁峰.三維重構(gòu)不確定度的兩階估計(jì)方法[J].光學(xué)精密工程,2008,16(6): 1110-1116.

[12] LEO G,LIGUORI C,PAOLILLO A.Covariance Propagation for the Uncertainty Estimation in Stereo Vision[J].Instrumentation and Measurement,2011,60(5):1664-1673.

[13] OTERO J,SANCHEZ L.Soft Methods for Bounding the Uncertainty of Stereo Calibration and Triangulation[C]∥2013 IEEE International Conference on Fuzzy Systems. Hyderabad: IEEE, 2013: 1-8.

ErrorMetricModelfor3DPointCloudReconstructionBasedonBinocularVision

BIAN Yuxia1，LIU Xuejun2，WANG Meizhen2，ZHOU Ye3，ZHEN Yan3

(1. College of Resources and Environment, Chengdu University of Information Technology,Chengdu 610225, China; 2. Ministry of Education Key Laboratory of Virtual Geographic Environment, Nanjing Normal University, Nanjing 210097, China;3. The Third Surveying and Mapping Engineering Institute of Sichuan, Chengdu 610501,China)

Rapid extraction and construction of 3D model from the images play an important role in the spatial data acquisition. Considering the basic data of smart city construction, how to measure and ensure the accuracy of images-based 3D model reconstruction will become one of research questions. Firstly, the model of 3D point cloud reconstruction need to be studied, and then binocular vision 3D point cloud error metric model and quantitative expression method can be constructed, based on the matrix theory and differential covariance propagation law. This research would provide a theoretical basis for the quality control of 3D image modeling and accuracy assessment.

binocular vision;3D point cloud;error;covariance propagation

卞玉霞，劉學(xué)軍，王美珍，等.雙目視覺三維點(diǎn)云重建的誤差度量模型[J].測(cè)繪通報(bào)，2017(11)：64-67.

10.13474/j.cnki.11-2246.2017.0349.

P237

A

0494-0911(2017)11-0064-04

2017-02-22

國(guó)家自然科學(xué)基金(41601422；41401436；41401442)；四川省教育廳科研計(jì)劃項(xiàng)目(17ZB0089)；成都信息工程大學(xué)校引進(jìn)人才啟動(dòng)項(xiàng)目(KYTZ201606)；成都信息工程大學(xué)校選項(xiàng)目(CRF201610)

卞玉霞(1987—)，女，博士，講師，主要研究方向?yàn)橐曨lGIS、空間數(shù)據(jù)不確定性等。E-mail: byx310@163.com