孫曉明，任 磊

（浙江理工大學(xué)信息學(xué)院，浙江杭州 310018）

0 引言

三維重建是計算機(jī)視覺、計算機(jī)圖像學(xué)領(lǐng)域的研究熱點，旨在從二維圖像數(shù)據(jù)集或場景視頻中獲得三維數(shù)據(jù)模型，以三維立體信息展示。隨著科技的發(fā)展，智能手機(jī)硬件集成度不斷提高，尤其是相機(jī)小型化、集成化，使移動端擁有良好的場景信息采集能力。高效、準(zhǔn)確的三維重建技術(shù)在眾多領(lǐng)域得到應(yīng)用，如虛擬現(xiàn)實（Virtual Reality，VR）、增強現(xiàn)實（Augmented Reality，AR）、智慧城市、軍事作戰(zhàn)、文物保護(hù)和地圖構(gòu)建等?；赗GB-D 的三維重建技術(shù)不僅限于靜態(tài)場景重建，在動態(tài)重建方面也取得長足進(jìn)展。

Roberts［1］在1963 年首次使用計算機(jī)視覺方法從二維圖像中獲取三維信息，從此三維重建技術(shù)不斷發(fā)展，成果顯著。基于移動端的三維重建利用智能手機(jī)的傳感器同時進(jìn)行慣性測量單元（Inertial Measurement Unit，IMU）數(shù)據(jù)、RGB 圖像和深度圖像采集，實時重建三維立體場景。2010 年，微軟開始使用Kinect 進(jìn)行相關(guān)開發(fā)，之后，陸續(xù)出現(xiàn)Intel RealSense、PrimeSense Carmine、Google Tango 等類似深度相機(jī)。RGB-D 的實時重建在計算機(jī)視覺領(lǐng)域及計算機(jī)圖像學(xué)領(lǐng)域引起巨大反響。此后，在靜態(tài)、動態(tài)場景重建方面涌現(xiàn)出眾多切實有效的算法。

1 傳感器（深度相機(jī)）

隨著計算機(jī)視覺技術(shù)的不斷發(fā)展，采用深度相機(jī)進(jìn)行動作識別、場景、建模等相關(guān)應(yīng)用越來越多。彩色相機(jī)拍攝的圖片得到相機(jī)視角內(nèi)的場景顏色信息并記錄下來，卻不包括深度信息，而深度相機(jī)能夠獲取場景的深度信息，解決了該問題。通過獲取的深度圖像，人們能準(zhǔn)確知道圖像中每個點與相機(jī)的距離（景深），附加該點2D 圖像中對應(yīng)的（x，y）坐標(biāo)就可計算得到圖像中每個點的空間坐標(biāo)，建立截斷符號距離函數(shù)（Truncated Signed Distance Function，TSDF）體素模型，從而實現(xiàn)場景的三維重建［2］。

目前主流的深度相機(jī)方案分為3 種，其性能如表1 所示。

（1）基于結(jié)構(gòu)光（Structured Light）的深度相機(jī)。通過近紅外激光器將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上，再由專門的紅外攝像頭進(jìn)行采集［3］。具備一定結(jié)構(gòu)的光線會因拍攝物體的不同深度區(qū)域而采集不同的圖像信息，然后通過運算單元換算成深度信息，以此獲得三維結(jié)構(gòu)。

（2）基于光飛行時間（Time-Of-Flight）的深度相機(jī)。通過測量光飛行時間來測量距離［4］。其工作原理是通過向目標(biāo)連續(xù)發(fā)射激光脈沖，然后通過傳感器接收反射光線，通過探測光脈沖的飛行往返時間得到目標(biāo)距離。

（3）基于雙目立體視覺（Binocular Stereo Vision）的深度相機(jī)。基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點間的位置偏差獲取物體的三維幾何信息［6］。

Table 1 Comparison of camera performance of different depths表1 不同深度相機(jī)性能比較

2 IMU 數(shù)據(jù)與相機(jī)位姿

IMU 模塊數(shù)據(jù)包括3 軸陀螺儀、3 軸加速度計以及磁力計等傳感器。慣性傳感器之間相互獨立且不易相互影響，并可相互校正。但加速度計和陀螺儀數(shù)據(jù)精確性常受到隨機(jī)噪聲影響，且積分求解位移及旋轉(zhuǎn)時，隨著時間的推移誤差累積較大，數(shù)據(jù)僅在短時間內(nèi)穩(wěn)定可靠。而磁力計易受當(dāng)?shù)丨h(huán)境影響，需要預(yù)先校正。因此，一般不采用直接積分計算位姿的方法。

多傳感器融合的方法可以得到較好的位姿計算結(jié)果［6］。目前，位姿計算主要采用視覺傳感器組合IMU 傳感器的融合方案。視覺傳感器在特征點明顯、豐富的場景下效果較好，但遇到像玻璃、白墻等特征點較少的環(huán)境時基本無法工作；IMU 傳感器長時間使用有非常大的累積誤差，優(yōu)點是短時間內(nèi)相對位移數(shù)據(jù)精度很高，所以采用視覺傳感器和IMU 數(shù)據(jù)融合可相互彌補不足，得到較好的位姿計算結(jié)果。

基于濾波器的緊耦合方法（Filter-based Tightly Cou?pled Method），將圖像的特征向量加入系統(tǒng)狀態(tài)向量中聯(lián)合求解?；跒V波器的經(jīng)典緊耦合算法有MSCKF［7］、ROVIO［8］等，基于濾波器的松耦合方法（Filter-based Loose Coupled Method）則不將圖像的特征點向量加入系統(tǒng)狀態(tài)向量，而將圖像作為單獨部分計算位姿，與IMU 數(shù)據(jù)求解結(jié)果進(jìn)行融合，聯(lián)合求解最優(yōu)位姿。

3 靜態(tài)場景三維重建

靜態(tài)場景重建與同時定位、地圖構(gòu)建（Simultaneous Lo?calization and Mapping，SLAM）相類似，但SLAM 更加注重機(jī)器人在未知環(huán)境中的導(dǎo)航問題［9］。在計算機(jī)圖形學(xué)中，通過3D 密集重建生成高質(zhì)量的三維場景［10］，大多數(shù)方法都基于Curless 等［11］的基礎(chǔ)研究，開創(chuàng)了體素融合的先河，從而為第一個實時RGB-D 重建方法提供了基礎(chǔ)［12］。

3.1 深度圖預(yù)處理

RGB-D 相機(jī)所獲得的深度圖噪聲包括相機(jī)中心到目標(biāo)物體的距離，以及深度圖中像素點的位置與RGB 圖像位置的偏移等［13］，而雙邊濾波可以保持邊緣降噪平滑，對深度圖進(jìn)行噪聲消除［14］。將深度圖像素點投影到相機(jī)空間坐標(biāo)，獲取3D 點云［15］：

其中，（u，v）表示深度圖中的像素坐標(biāo)，d 表示該點對應(yīng)的深度值，K 為相機(jī)的內(nèi)參矩陣，（X，Y，Z）是（u，v）表對應(yīng)的點云坐標(biāo)。

3.2 相機(jī)位姿估計

相機(jī)位姿估計可獲得相機(jī)運動的旋轉(zhuǎn)矩陣和平移矩陣。位姿估計需計算點云的法向量，存儲法向量信息的點云作為輸入?yún)?shù)求解位姿。

Besl［16］與Chen 等［17］最先采用基于迭代最近點（Itera?tive Closest Points Algorithm，ICP）的Frame-to-Frame 算法。通過相鄰幀的ICP 匹配算法計算從前一幀Tt-1到當(dāng)前幀Tt的位姿相對變化：

通過開發(fā)快速且有效的ICP 算法，使手持掃描設(shè)備能實時反饋［18］。實時反饋使用戶在重建過程中能及時修補重建缺失部分并確定重建是否完成，但基于相鄰幀的ICP算法在長時間的掃描過程中會引起漂移積累問題。

為了減少漂移問題，實時RGB-D 重建采用Frame-to-Model 跟蹤策略［19-20］。Frame-to-Model 算法利用當(dāng)前幀點云數(shù)據(jù)與匹配后的模型上一幀位姿的點云數(shù)據(jù)進(jìn)行ICP 匹配。Frame-to-Model 算法相對于Frame-to-Frame 算法有兩個顯著優(yōu)點：①通過當(dāng)前重建狀態(tài)合成渲染深度圖代替最后一幀來確定重建結(jié)果，大大減少了時間跟蹤漂移；②采用Point-to-Plane 距離矩陣，通過穩(wěn)定模型法向來定義切平面，取代帶有噪聲的法向輸入，從而獲得更高的跟蹤準(zhǔn)確性，增加重建系統(tǒng)魯棒性。

盡管Frame-to-Model 算法顯著減少了時域跟蹤漂移，但卻沒有很好地解決局部追蹤誤差積累，局部追蹤誤差仍會累計到三維重建過程。為了克服上述問題，基于全局位姿優(yōu)化方法首次應(yīng)用于非實時3D 重建方法，通過使用手持消費級傳感器生成高質(zhì)量的重建結(jié)果，其核心方法是通過保留局部細(xì)節(jié)并結(jié)合全局位姿優(yōu)化在場景中平均對齊誤差。Dai 等［21］的BundleFusion 方法實現(xiàn)了基于實時集束調(diào)整策略和表面重積分技術(shù)的全局一致性實時重建。

基于Frame-to-Frame、Frame-to-Model 或全局優(yōu)化相機(jī)跟蹤算法大多需要匹配對應(yīng)點，將對應(yīng)點輸入優(yōu)化方法中計算出最佳的整體對齊變換。根據(jù)匹配方式分為稀疏匹配和密集匹配，稀疏匹配采用主要特征點進(jìn)行匹配，密集匹配則希望找到所有或大部分點的對應(yīng)關(guān)系。

稀疏匹配通常將當(dāng)前顏色和深度輸入值的特征點與先前幀或模型中的特征點進(jìn)行匹配來計算一組稀疏對應(yīng)關(guān)系。Zhou 等［22］以及Henry 等［23］提出的3D 場景重建方法采用SIFT 進(jìn)行特征采集和特征匹配。稀疏特征描述還可采用SURF、ORB 等描述。密集匹配方法通過Point-to-Plane 誤差度量測量空間點的距離接近程度，Point-to-Plane度量可以作為到目標(biāo)物體表面距離的一階近似值。

3.3 幾何表示和融合

3D 模型主要有兩種方式表示獲取的RGB-D 數(shù)據(jù)：①規(guī)則或分層3D 體素網(wǎng)格；②3D 點云。

Curless 等最先采用體素融合方法表示3D 模型，使用規(guī)則網(wǎng)格存儲符號距離函數(shù)（Singed Distance Function，SDF）的離散值，這種方式被Rusinkiewicz 采用從而第一次實現(xiàn)了實時重建算法，此后被Newcombe 等采用實現(xiàn)實時重建系統(tǒng)?；隗w素的模型表示方法通常使用SDF 隱式存儲模型曲面，曲面的外部、內(nèi)部體素分別存儲最近曲面的正、負(fù)距離值，而幾何曲面被定義為SDF 中的過零點。附加屬性值比如顏色值等，通常存儲在每個體素屬性中。在重建方法中人們更關(guān)心的是模型表面附近的體素值，因此常采用TSDF 方法。

規(guī)則體素網(wǎng)格需要預(yù)先定義體素和分辨率。在實時場景重建方面，大多數(shù)算法都很依賴現(xiàn)代圖像處理器（Graphics Processing Unit，GPU）的計算能力，而體素網(wǎng)格表示的空間范圍以及分辨率通常受到GPU 內(nèi)存限制。

另一種模型的有效表示方法是采用有層級的體素（Volumetric）表示，如八叉樹結(jié)構(gòu)，其中TSDF 可在實際曲面附近以稀疏形式編碼；Zeng 等［24-25］使用固定4 層分層結(jié)構(gòu)存儲TSDF，將八叉樹分為頂層、分支層、中間層和數(shù)據(jù)層，僅將TSDF 存儲在最高級；Chen 等［26］提出應(yīng)有固定分辨率的類似三層結(jié)構(gòu)存儲表示。

除了基于體素的表示方法之外，Keller 等［27］和Whelan等［28］的重建方法都是基于稀疏點云表示的重建方法。點云附加信息，例如點的大小、直徑、顏色和其他信息都存儲在每個點的屬性中。將一組新的點數(shù)據(jù)加入點云模型時，需要在新加入點和模型點中間建立明確的對應(yīng)關(guān)系。如果使用視覺反饋，那么單個點的簡單渲染會產(chǎn)生帶有孔洞的不完整渲染圖像。為了渲染密集圖像，通常應(yīng)用Point-Splatting 技術(shù)，即將每個3D 點都以一定的半徑圓投影到2D圖像上，從而得到密集圖像。

4 動態(tài)場景重建

高質(zhì)量非剛性運動物體三維重建是一項極具挑戰(zhàn)的課題，尤其是在要求實時重建的目標(biāo)情況下。動態(tài)場景重建在計算機(jī)視覺、人機(jī)交互、生物學(xué)以及醫(yī)學(xué)等眾多領(lǐng)域有重要意義。

動態(tài)場景重建技術(shù)在虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）等領(lǐng)域也得到應(yīng)用。Keller 等［27］基于動態(tài)場景計算分割前景并在計算相機(jī)位姿時排除在外，從而在大部分場景運動時得到魯棒的相機(jī)追蹤效果。

動態(tài)場景重建一個重要課題是使重建方法相對于運動對象具有魯棒性?；陔[式距離函數(shù)的體素融合方法，如KinectFusion，僅限于靜態(tài)場景表面實時重建。如果場景中含有多個運動物體，就要使用幾個相互獨立的體素模型進(jìn)行跟蹤與重建。Jaimez 等［29］將場景分為靜態(tài)部分和動態(tài)部分進(jìn)行重建；Dou 等［30］假定預(yù)先掃描場景為靜態(tài)場景，對相機(jī)進(jìn)行實時在線追蹤，將場景的動態(tài)部分進(jìn)行分割并分別重建。

Newcombe 等［31］的Dynamic Fusion 方法首次實現(xiàn)了無模板實時三維重建，使用單一消費級深度相機(jī)（MicrosoftKi?nect）實時重建了物體幾何運動；Guo 等［32］使用基于密集反射率一致性數(shù)據(jù)來取代顏色一致性假設(shè)?；诿芗瓷渎室恢滦钥梢愿玫靥幚砉庠醋兓?，并在大尺度剛性、非剛性運行時獲得更穩(wěn)定的跟蹤。

Slavcheva 等［33］提出Killing Fusion 方法，解決了物體快速運動和拓?fù)渥兓瘑栴}。該方法對輸入幀TSDF 和當(dāng)前模型TSDF 進(jìn)行融合迭代。

5 結(jié)語

本文從傳感器、靜態(tài)場景重建、動態(tài)場景重建以及工作流程等方面對基于RGB-D 的三維重建工作進(jìn)行總結(jié)。在過去數(shù)年中，基于RGB-D 相機(jī)的實時三維場景重建得到極大發(fā)展，在許多實際場景中得到應(yīng)用，但有幾個方向值得關(guān)注：

（1）復(fù)雜情況下的三維重建。由于重建場景環(huán)境影響，基于RGB-D 的三維重建仍然困難，陰影、遮擋、光照等條件對重建效果有很大影響。

（2）計算復(fù)雜度、實時性。基于RGB-D 的三維場景重建實時性得益于現(xiàn)代計算機(jī)技術(shù)的發(fā)展，在較高的硬件條件（GPU）下才能實現(xiàn)。降低算法復(fù)雜度，在有限計算資源下實現(xiàn)實時重建是未來的一個重要發(fā)展方向。（3）目前，基于RGB-D 相機(jī)的三維重建在靜態(tài)場景實時重建方面已經(jīng)表現(xiàn)良好，但在動態(tài)場景重建方面仍有欠缺。（4）移動終端的移植、發(fā)展。智能手機(jī)的發(fā)展使相機(jī)集成度不斷加強，如何實現(xiàn)移動智能終端高質(zhì)量的實時三維場景重建是值得研究的課題。