李　健，杜希瑞，梁　潔，馬泳潮，王立梅

(陜西科技大學 電氣與信息工程學院，陜西 西安　710021)

?

融合RGB-D相機和光度立體的三維數(shù)字化方法研究

李健，杜希瑞，梁潔，馬泳潮，王立梅

(陜西科技大學 電氣與信息工程學院，陜西 西安710021)

摘要：近年來隨著3D技術的發(fā)展，如何實現(xiàn)高效、高精度、低成本的三維數(shù)字化成為本領域一個研究熱點.本文提出了一種以深度信息為約束，結(jié)合光度立體法對深度進行修正的重建方法.首先由RGB-D相機得到的原始深度信息估算出光源和物體表面各點的法矢量，然后構造包含深度信息、法向信息和光滑性約束的代價函數(shù)，通過對該代價函數(shù)作適當變形，采用最小二乘優(yōu)化求解出較為理想的被測物體表面三維數(shù)字化模型.通過實驗可以看出：相較于RGB-D相機直接測量，本方法的重建結(jié)果在噪聲抑制和重建細節(jié)上有明顯的改善.

關鍵詞：光度立體法；RGB-D相機；三維重建

0引言

三維重建技術在電影特效、虛擬試衣、三維游戲、自然場景建模等越來越多的領域受到關注，其研究意義與商業(yè)價值日益凸顯.

近年來隨著各類深度捕獲設備(例如ToF攝像機、Kinect)的逐步問世,獲取稠密深度圖數(shù)據(jù)將會變得越來越容易[1-3].如何有效地將這些深度設備獲得的深度數(shù)據(jù)進行處理以獲取高質(zhì)量的三維模型，日益為人們所關注.而現(xiàn)有的深度捕獲設備都存在一定程度的不準確性，單純使用這些設備難以獲得高質(zhì)量的深度數(shù)據(jù).

本文融合RGB-D相機和光度立體方法[4-6]，通過構造包含深度信息、法向信息和光滑性約束的代價函數(shù)，經(jīng)優(yōu)化求解得到兼顧整體形狀和細節(jié)信息的高質(zhì)量三維數(shù)字化模型.相較于深度相機重建，本文采用的方法由于融合了被測物體表面的光照信息，使得重建結(jié)果更為光順，并擁有更豐富的細節(jié)，提高了數(shù)字化結(jié)果的實用性.

1系統(tǒng)設計和算法總體框架

融合RGB-D相機和光度立體的三維數(shù)字化方法的總體求解框架如圖1所示.算法的輸入是被測物體深度數(shù)據(jù)和3個光源光照下的圖像數(shù)據(jù).輸出為改進質(zhì)量的被測物體表面三維數(shù)字化點云模型.這里，假設輸入的深度和圖像數(shù)據(jù)是由事先標定好的Kinect獲得，相機的參數(shù)已知.

首先，對被測物體的粗糙模型進行預處理.通常，直接由深度相機得到的深度數(shù)據(jù)噪聲很大，其中離群點和高斯噪聲為比較有代表性的兩類噪聲，需要使用剔除離群點，置信區(qū)間分割和雙邊濾波等算法對其進行預處理以得到被測表面的一個相對光滑的估計.

其次，求解被測物體表面上各點的法矢量.由上一步被測物體表面的粗糙模型可以得到對應于其上各點法矢量的初始估計；基于朗伯體漫反射光照模型，由表面上各點的法矢量和彩色光源照射下的對應RGB信息，可以求出對應于三個三原色光源方向的矩陣描述，然后再將光源信息代入光度立體方程，交替優(yōu)化得到被測物體表面上各點法矢量的準確估計.

最后，利用變分方法構造一個融合深度信息、法向信息和光滑性約束的代價函數(shù)，并對該代價函數(shù)作適當變形，采用最小二乘優(yōu)化求解出改進質(zhì)量的被測物體表面三維數(shù)字化模型.

圖1　本文算法框架

2算法詳細描述

考慮到算法中的第一步相對容易，故本節(jié)主要對其中關鍵的后面兩步即光源與法矢量的估計和融合優(yōu)化做詳細的描述.

2.1光源與法矢量估計

(1)

以式(1)為基本理論指導，我們就可以根據(jù)亮度和法矢量的關系構造出合適的方法對法矢量進行求解.

(2)光度立體和彩色光度立體:由于Np含有x,y,z三個方向上的分量，為了求解Np就要至少拍攝三個不同光照條件下的物體照片.也就是說需要分時對不同方向的燈光單獨打開拍攝圖像.光度立體法即是通過從三個或三個以上不同位置光源照射被測物體獲得對應圖像，并據(jù)此來求解出光照矩陣和物體表面的法矢量及其深度值.而彩色光度立體法則采用三種基色(如紅、綠、藍色光)的彩色光源同時去照射被測物體，疊加后的顏色可由這三基色線性分解開并分別求解，可以通過單幅照片解決物體的三維數(shù)字化問題，其描述如式(2)所示：

(2)

Ip=M·Np

(3)

注意到表面光強是光源方向和物體表面法向共同作用的結(jié)果，如果知道其中一個的值，就可以使用此公式計算出另外一個的值.由于Kinect提供了一個含有噪聲的深度圖像，可以使用這些信息對物體表面的法向量做一個初步的估計，然后使用法向信息構造出如下代價函數(shù)，通過優(yōu)化方法估計出不同光照條件下的光源矩陣M：

(4)

一旦得出了光源矩陣M，就可以使用方程(3)重新對物體表面的法向量進行更為精確的估計.通過求M的偽逆，然后左乘方程兩邊就可以求得每一個像素點對應的法向量的準確估計.

2.2融合優(yōu)化

截至目前，我們得到了每一個像素點的法向量和原始深度值，在這一節(jié)將詳細介紹將它們進行融合的方法并最終求得物體更準確的三維形狀信息.

2.2.1坐標及表示

設圖像上一點的網(wǎng)格坐標(以圖像左上角為原點時)為(i, j)，主點位置為(i0,j0)，則以主點為坐標原點的圖像坐標表示為：

以主點位置作為坐標原點，鏡頭光軸向外方向作為Z軸正向，根據(jù)相機的小孔成像模型，則曲面的參數(shù)方程如式(5)所示.

(5)

(6)

2.2.2代價函數(shù)的構造

為了求得物體表面更準確的三維形狀信息，根據(jù)已有的法向和深度信息及常規(guī)情況下物體表面符合平滑約束的特點，我們構造出如式(7)所示由深度項、法向項和平滑項三部分構成的代價函數(shù)：

(7)

(8)

(9)

容易想到，曲面上一點的法向量和切向量的內(nèi)積應該為零，故可以寫出如下的法向代價函數(shù)：

(10)

2.2.3最小二乘求解

(11)

(12)

將(11)，(12)代入(7)后得到:

(13)

注意到上式可以看做是一個超定的線性最小二乘系統(tǒng)，將上式改寫為矩陣方程，如式(14)所示.

(14)

至此，通過選取不同的λd,λn,λs值，可以計算得到物體的三維點云數(shù)據(jù)的準確估計.λd,λn,λs的不同取值可以有效控制各部分信息在最后重建結(jié)果中的影響力，從而得到一個兼顧總體形狀和細節(jié)信息的重建模型.詳細重建結(jié)果見3.2節(jié)實驗部分.

3實驗及結(jié)果

3.1實驗系統(tǒng)

(1)實驗系統(tǒng)組成:本文設計的三維數(shù)字化系統(tǒng)的結(jié)構如圖2所示.系統(tǒng)包含一個Kinect2.0的RGB-D相機，紅、綠、藍3 個光源和計算機，其中三個光源與被測物體之間形成一個正三棱錐型, 被測物體處在正三棱錐的頂點, 3 個光源都朝向被測物體，選用黑布作為背景便于進行圖像有效區(qū)域的分割.

圖2　測量系統(tǒng)組成

Kinect相機放在中軸線上, 與被測物體的距離控制在Kinect的有效測量范圍內(nèi)，取值在2.3m左右，三光源與正三棱錐中心軸的角度保持在20 °～40 °, 光源距被測物體的距離越遠越好,但同時要保證有足夠的光線照到物體上.通過微軟提供的KinectSDK編寫的采集程序來控制Kinect獲得彩色照片和深度照片.圖3展示了測量系統(tǒng)的實際照片.其中包含一臺Kinect2.0 ,呈對稱排列的三色光源，用以控制Kinect進行拍攝的一臺便攜式電腦，并以黑布為背景對大衛(wèi)塑像進行拍攝.

(a)光源和Kinect位置 (b)被測物體位置　　(c)所用光源　　　　圖3　測量系統(tǒng)組成

(2)Kinect內(nèi)參的估計:由于在對點云坐標的計算中需要用到Kinect的內(nèi)參數(shù)據(jù)，而在實驗中發(fā)現(xiàn)通過使用傳統(tǒng)的相機標定方法[7]對Kinect的內(nèi)參進行標定時往往存在較大的誤差，故使用了一種新的優(yōu)化方法來求解其相關的參數(shù)，以提高重建結(jié)果的可信度.采用的代價函數(shù)如式(15)所示.

(15)

其中，i,j表示圖像上的網(wǎng)格坐標，i0,j0為主點位置，fi,fj為i,j方向上的焦距，Z(i,j)為測得的每一點的深度值，Ci和Cj為通過KinectSDK得到的i,j方向上的相機坐標.考慮到通過小孔成像模型計算得到的相機坐標應當與KinectSDK得到的坐標一致，故可以通過最小化式(15)的方法來求解相機的焦距和主點位置.使用此算法求得的Kinect內(nèi)參如下：fi=fj=1 062.959，i0=640.271，j0=1 102.762.

3.2三維數(shù)字化重建

(1)原始數(shù)據(jù)的采集:使用上述實驗系統(tǒng)對圖4中的大衛(wèi)像進行拍照，得到了相對應的彩色圖像和深度圖像，分別如圖4(a)和(b)所示.這里為了方便展示，對圖4(b)中的深度圖像進行了特殊處理，加強了對比度.圖4(c)為圖4(b)中對應點云法矢量估計結(jié)果的描述.

(2)本文方法與Kinect直接采集的比較:先對從深度圖像獲得的原始數(shù)據(jù)進行去噪處理，然后使用本文的重建算法進行融合重建，將λn取值為0.9,λd取值為0.1，λs取值為0.000 1進行重建的結(jié)果如圖5所示.

(a)彩色圖像　 (b)深度圖像　 (c)法矢量估計圖4　采集到的彩色圖像和深度圖像

(a)彩色圖像　(b)Kinect重建　(c)本文重建圖5　石膏像重建結(jié)果

其中，圖5(a)為物體彩色照片，圖5(b)為Kinect獲得的原始深度圖僅進行去噪處理后的建模結(jié)果.圖5(c)為本文方法的重建結(jié)果，可以看出由于結(jié)合了光度信息，重建結(jié)果顯得更為平滑，光度信息對于Kinect采集到的原始深度數(shù)據(jù)中的噪聲起到了很好的修復作用.另外從實驗中可以得出：隨著λd的增加，由法向提供的細節(jié)信息逐漸減少，深度約束逐漸占到主導地位，重建結(jié)果逐漸接近原始的深度圖像.實驗中，λd的取值在0.07到0.13之間得出的重建結(jié)果較為理想.

取圖(5)a中方框內(nèi)部分放大顯示，如圖6所示.圖6(a)為Kinect測得的原始深度圖像的建模結(jié)果，圖6(b)為本文的重建結(jié)果.由圖可見：原始Kinect的建模結(jié)果由于測量設備本身分辨率不高和噪聲過大的原因，許多細節(jié)信息根本無法在原始

(a)Kinect重建　　　(b)本文重建圖6　局部比較

的建模結(jié)果中體現(xiàn)出來，而由于本文的重建方法加入了光度立體提供的額外信息，在細節(jié)的表現(xiàn)效果上相較于Kinect重建有了很大的提高，從而彌補了Kinect的測量結(jié)果中噪聲過大、細節(jié)信息不夠清晰的缺陷.

4結(jié)論

本文使用RGB-D相機，結(jié)合光度立體方法，對物體的高精度三維重建方法進行了探索.相比于經(jīng)典的光度立體方法，由于已知了物體大致的深度信息，從而可以方便地估計出被測物體表面的法向信息，從而可以直接而不需要借助于采樣球來確定相應的光源方向，對于物體的三維數(shù)字化變得更為簡單易行；相較于直接由RGB-D相機獲取物體的三維信息，本文方法由于融入了物體表面的光照信息，因此生成的三維模型更為光順，也包含了更多物體表面的細節(jié)信息，提升了將本文重建方法運用到實際中的可能性.

參考文獻

[1] 楊紅莊,陸炎,方清,等.全自動深度相機三維掃描系統(tǒng)[J].計算機輔助設計與圖形學學報,2015,27(11):2 039-2 045.

[2] 李方召,金士堯,林帥,等.1秒采集的三維頭像攝影系統(tǒng)[J].計算機輔助設計與圖形學學報,2015,27(6):1 099-1 103.

[3] 姜翰青,趙長飛,章國鋒,等.基于多視圖深度采樣的自然場景三維重建[J].計算機輔助設計與圖形學學報,2015,27(10):1 805-1 815.

[4]Sk.MohammadulHaque,AvishekChatterjee,VenuMadhavGovindu.Highqualityphotometricreconstructionusingadepthcamera[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR).Columbus:IEEEComputerSociety,2014:2 283-2 290.

[5] 李健，馬泳潮，張玉杰，等.利用改進的彩色光度立體法實現(xiàn)非剛性體三維數(shù)字化[J].計算機輔助設計與圖形學學報,2015,27(9):1 750-1 758.

[6]R.J.Woodham.Photometricmethodfordeterminingsurfaceorientationfrommultipleimages[J].OpticalEngineering,1980,19(1):139-144.

[7]Z.Zhang.Aflexiblenewtechniqueforcameracalibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(11):1 330-1 334.

【責任編輯：蔣亞儒】

Researchon3DdigitizingmethodfusingRGB-Dcameraandphotometricstereo

LIJian,DUXi-rui,LIANGJie,MAYong-chao,WANGLi-mei

(CollegeofElectricalandInformationEngineering,ShaanxiUniversityofScience&Technology,Xi′an710021,China)

Abstract:With the development of 3D Technology,how to achieve the 3D model efficiently,accurately and cheaply has been a hot topic in this field.In this paper,a new reconstruction method is proposed which is based on depth information and photometric stereo method to optimize the reconstruction results.Firstly,the light source and normal vector information are estimated using the depth map achieved by RGB-D camera.Then the cost function is composed which includes depth information,normal information and smoothness constraint. Finally,with some modification on the cost function,a satisfied 3D model of measured object can be optimized by least square method.Compared with the traditional photometric stereo method,our method is easier to realize,the overall deformation can be avoided and the details of the measured object can be better preserved.Furthermore,with the help of color photometric stereo,our method can realize the 3D reconstruction of dynamic non-rigid objects efficiently.It is shown from the experimental that the method proposed can achieve a better result with low noise and more details than the depth data direct from RGB-D camera.

Key words:photometric stereo; RGB-D camera; 3D reconstruction

*收稿日期:2016-04-28

基金項目：陜西省科技廳工業(yè)科技攻關計劃項目(2015GY044)；陜西省教育廳專項科研計劃項目 (15JK1097)；陜西省高等教育教學改革研究項目(15BY43)；陜西省大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目(1239)

作者簡介:李健(1975-)，男，陜西蒲城人，教授，博士，研究方向：計算機視覺、數(shù)字圖像處理

文章編號：1000-5811(2016)04-0161-05

中圖分類號：TP273

文獻標志碼：A