李翔宇，張雪芹

（華東理工大學(xué)信息科學(xué)與工程學(xué)院, 上海 200237）

三維模型已經(jīng)越來越多地被應(yīng)用于各種領(lǐng)域，例如醫(yī)療、電影、建筑業(yè)和虛擬現(xiàn)實(shí)(Virtual Reality，VR)等，其中三維重建是制作三維模型的重要手段之一。三維重建是指通過對(duì)真實(shí)世界的掃描繪制三維模型。早期的三維重建有主動(dòng)式掃描重建和被動(dòng)式掃描重建，這些方法通過采集環(huán)境或物體數(shù)據(jù)，然后進(jìn)行離線重建。同步定位與重建系統(tǒng)（Simultaneous Localization and Mapping, SLAM）在一定程度上克服了離線重建的局限性[1]。Izadi 等[2]提出首個(gè)在線三維表面重建SLAM 算法Kinect Fusion，該算法基于RGB-D 相機(jī)和 TSDF（Truncated Signed Distance Function）方法實(shí)現(xiàn)了實(shí)時(shí)重建。隨后，Endres等[3]提出RGBDSLAM_V2 算法，該算法綜合了圖像特征提取、閉環(huán)檢測(cè)、點(diǎn)云、octomap 等技術(shù)，在ICL-NUIM 數(shù)據(jù)集的4 個(gè)起居室序列kt0～kt3 上的實(shí)驗(yàn)結(jié)果表明絕對(duì)位姿誤差（Absolute Trajectory Error，ATE）的均方根誤差（Root Mean Square Error，RMSE）平均值為0.121 m。但該算法的實(shí)時(shí)性較差，相機(jī)必須慢速運(yùn)動(dòng)。Whelan 等[4]提出的Kintinuous算法是對(duì)KinectFusion的改進(jìn)，該算法的位姿估計(jì)采用迭代最近點(diǎn)法（Iterative Closest Point，ICP）和直接法，并首次使用變換圖，在閉環(huán)檢測(cè)時(shí)，對(duì)三維剛體重建做非剛體變換，使得閉環(huán)中兩次重建的結(jié)果能夠重合。該算法在ICL- NUIM 數(shù)據(jù)集的4 個(gè)起居室序列中，平均ATE RMSE 為0.111 m。之后，Whelan 等[5]提出Elastic Fusion 算法，該算法基于實(shí)時(shí)密集視覺RGBD SLAM 進(jìn)行表面重建，其傳感器估計(jì)算法采用不斷優(yōu)化重建地圖的方式，提高重建和位姿估計(jì)的精度。其在ICL- NUIM 數(shù)據(jù)集的4 個(gè)起居室序列上的實(shí)驗(yàn)表明，其平均ATE RMSE 達(dá)到0.035 m。然而RGBDSLAM_V2 和Elastic Fusion 輸出的都是三維點(diǎn)云模型，而不是mesh 模型，無法直接作為三維模型應(yīng)用，kintinuos 能夠輸出三維mesh 模型，但是位姿誤差較大。同時(shí)，上述方法都無法實(shí)現(xiàn)有移動(dòng)物體干擾情況下的場(chǎng)景有效重建。

為了解決具有移動(dòng)物體干擾下的場(chǎng)景在線重建問題，一部分研究者提出結(jié)合SLAM 與深度學(xué)習(xí)/網(wǎng)絡(luò)的重建方法。Zhang 等[6]提出了一個(gè)三維點(diǎn)云重建方法FlowFusion，該算法使用光流殘差與深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)合來描述點(diǎn)云中動(dòng)態(tài)物體的語義，可以同時(shí)完成場(chǎng)景中動(dòng)態(tài)和靜態(tài)物體分割、相機(jī)運(yùn)動(dòng)估計(jì)以及靜態(tài)背景點(diǎn)云重建。在TUM 數(shù)據(jù)集中walking_static與walking_xyz 兩個(gè)動(dòng)態(tài)序列上的實(shí)驗(yàn)結(jié)果表明，其ATE 的RMSE 平均值為0.194 m。Scona 等[7]提出了一種魯棒RGB-D SLAM 方法StaticFusion，該算法在估計(jì)RGB-D 相機(jī)位姿的同時(shí)分割當(dāng)前幀圖片中的靜態(tài)像素，將當(dāng)前幀像素的靜態(tài)概率當(dāng)做一個(gè)連續(xù)的變量，和位姿一起聯(lián)合優(yōu)化，用于構(gòu)建靜態(tài)場(chǎng)景的面元地圖，在檢測(cè)運(yùn)動(dòng)物體的同時(shí)實(shí)現(xiàn)了背景的點(diǎn)云重建。在TUM 數(shù)據(jù)的6 個(gè)動(dòng)態(tài)序列上的實(shí)驗(yàn)表明，ATE 的RMSE 平均值為0.083 m。Long 等[8]在StaticFusion 識(shí)別動(dòng)態(tài)物體基礎(chǔ)上提出了RigidFusion方法，該方法將所有動(dòng)態(tài)部分視為一個(gè)剛性部分，同時(shí)使用動(dòng)態(tài)和靜態(tài)部分的特征計(jì)算位姿，在自制數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明ATE 的RMSE 平均值為0.0795 m。隨著基于深度學(xué)習(xí)的目標(biāo)檢測(cè)[9]和實(shí)例分割技術(shù)的發(fā)展，Mask RCNN[10]與RGB-D SLAM 結(jié)合的系統(tǒng)Mask Fuison[11]被提出。Mask Fusion 能夠識(shí)別和分割場(chǎng)景中的不同對(duì)象，并給它們分配語義類標(biāo)簽，實(shí)現(xiàn)了跟蹤和點(diǎn)云重建。在TUM 數(shù)據(jù)的6 個(gè)動(dòng)態(tài)序列上的實(shí)驗(yàn)表明，ATE 的RMSE 平均值為0.055 m。上述方法在一定程度上解決了具有移動(dòng)物體干擾場(chǎng)景下的在線重建問題，但是精度不夠高，同時(shí)其輸出的是點(diǎn)云，而非構(gòu)造完整的三維模型。Li 等[12]提出了一個(gè)基于實(shí)例分割的三維重建框架SplitFusion。該方法使用一階實(shí)例分割網(wǎng)絡(luò)YOLACT分割移動(dòng)物體與背景，使用非剛性ICP 進(jìn)行位姿追蹤，并對(duì)兩者分別進(jìn)行模型重建，在TUM 數(shù)據(jù)集的兩個(gè)動(dòng)態(tài)序列上ATE 的RMSE 平均值為0.129 m。

目前針對(duì)具有移動(dòng)物體干擾的三維場(chǎng)景重建系統(tǒng)的研究仍然較少。針對(duì)該問題，本文提出一個(gè)全新的在線三維重建框架ORBTSDF-SCNet，該框架采用深度相機(jī)或雙目相機(jī)獲取重建物體及場(chǎng)景的深度圖與RGB 圖，基于ORB_SLAM2 實(shí)時(shí)獲取位姿信息，將表面重建算法TSDF 與深度圖相結(jié)合，實(shí)現(xiàn)了在線三維模型重建；為了消除場(chǎng)景中移動(dòng)物體對(duì)場(chǎng)景重建的干擾，提出基于SCNet 實(shí)例分割網(wǎng)絡(luò)摳除移動(dòng)物體，實(shí)現(xiàn)了移動(dòng)物體干擾下的高精度場(chǎng)景三維重建。

1 相關(guān)工作

1.1 ORB_SLAM2

ORB-SLAM2[13]系統(tǒng)是目前主流的SLAM 系統(tǒng)，在位姿估計(jì)中具有很高的精度。SLAM 具有3 個(gè)線程：實(shí)時(shí)跟蹤特征點(diǎn)的Tracking 線程、局部BA（Bundle Adjustment）優(yōu)化線程和全局Pose Graph 的回環(huán)檢測(cè)與優(yōu)化線程。其中，Tracking 線程主要負(fù)責(zé)提取當(dāng)前幀的ORB(Oriented Fast and Rotated Brief)特征點(diǎn)，與最近的關(guān)鍵幀進(jìn)行比較、計(jì)算特征點(diǎn)的位置并估計(jì)相機(jī)位姿。本文提出的方法主要采用ORB_SLAM2 的Tracking 線程實(shí)現(xiàn)高精度位姿估計(jì)，Tracking 線程的基本組成如圖1 所示。

圖1 Tracking 線程的基本組成Fig.1 Basic composition of tracking thread

當(dāng)ORB 系統(tǒng)獲取RGBD 圖像后，進(jìn)行Oriented FAST 角點(diǎn)特征選取，然后根據(jù)提取的特征進(jìn)行ORB 匹配。ORB 特征匹配需要先計(jì)算Oriented FAST角點(diǎn)的BRIEF (Binary Robust Independent Elementary Feature)描述子，特征點(diǎn)的匹配與關(guān)聯(lián)通過重投影進(jìn)行。匹配時(shí)，將圖像中的像素點(diǎn)根據(jù)初始位姿投影至當(dāng)前幀獲得投影點(diǎn)，并把在該投影點(diǎn)附近搜索得到的與原ORB 特征點(diǎn)的BRIEF 描述子的漢明距離最近的點(diǎn)作為特征匹配點(diǎn)。在ORB 系統(tǒng)得到當(dāng)前幀與前一幀或者局部地圖的匹配點(diǎn)對(duì)后，使用圖優(yōu)化框（General Graph Optimization，g2o）優(yōu)化相機(jī)位姿，若判斷成功則輸出位姿，反之，跟蹤失敗則回到最開始重新獲取RGBD 圖像。

1.2 TSDF

TSDF 是一種利用結(jié)構(gòu)化點(diǎn)云數(shù)據(jù)并以參數(shù)表達(dá)表面的表面重建算法，可以高效準(zhǔn)確地實(shí)現(xiàn)在線三維重建。其原理如圖2 所示。

圖2 中，TSDF 首先在一個(gè)全局三維坐標(biāo)中建立格式化體素立方體，每一個(gè)立方體都包括值與權(quán)重兩個(gè)量。TSDF 遍歷深度圖，根據(jù)像素點(diǎn)坐標(biāo)、深度值及相機(jī)內(nèi)參與位姿得到每個(gè)像素點(diǎn)對(duì)應(yīng)的體素立方體坐標(biāo)，并根據(jù)式（1）～式（3）計(jì)算該立方體的權(quán)重與值。

圖2 當(dāng)前幀表面點(diǎn)云映射到立體體素Fig.2 Depth map to TSDF mesh

式中：下標(biāo)i為當(dāng)前幀；i?1 為上一幀；Wi(x,y,z) 為體素立方體的權(quán)重；max weight 為最大權(quán)重，默認(rèn)為2；sd fi為根據(jù)深度數(shù)據(jù)計(jì)算得到的體素立方體到物體表面的真實(shí)距離；max truncation為截?cái)喾秶J(rèn)為0.06mdi(；x,y,z)為到物體表面的真實(shí)距離除以截?cái)喾秶捏w素值；Di(x,y,z)為帶有權(quán)重信息的最終體素立方體的值。

計(jì)算得到Wi(x,y,z) 與Di(x,y,z) 后，提取體素立方體中Wi(x,y,z) 大于體素權(quán)重閾值Wmin，且Di(x,y,z)等于0 的等勢(shì)面，即可得到重建的mesh 模型。

1.3 SCNet

SCNet 是Vu 等[14]提出的一個(gè)基于Mask RCNN、Cascade RCNN[15]與HTC（Hybrid Task Cascade）[16]架構(gòu)改進(jìn)而來的實(shí)例分割網(wǎng)絡(luò)，具有良好的分割性能和較好的運(yùn)行速度。SCNet 由Backbone、區(qū)域生成網(wǎng)絡(luò)（RPN）和級(jí)聯(lián)網(wǎng)絡(luò)構(gòu)成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 中示出的“G”、“Pool”、“B”、“FR”、“M”分別指代全局一致模塊、全局池化層、Box 分支、FR(Feature Relay)模塊和Mask 分支。SCNet 采用Restnet 50 作為Backbone，在RPN 前引入全局一致模塊，以充分利用全局上下文信息分類、檢測(cè)和分段子任務(wù)之間的相互關(guān)系。與HTC 相比，SCNet 的級(jí)聯(lián)結(jié)構(gòu)只在最后一個(gè)池化層才輸出Mask 分支，使得SCNet 速度更有優(yōu)勢(shì)。FR 模塊將Box 特征與Mask 特征緊密耦合，改善Mask 預(yù)測(cè)性能，彌補(bǔ)速度提高降低的準(zhǔn)確度。最后，三級(jí)Box 分支通過FR 模塊、Mask 分支和全局一致模塊融合得到最終結(jié)果。

圖3 SCNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of SCNet

2 ORBTSDF-SCNet 三維重建方法

針對(duì)有動(dòng)態(tài)物體干擾的高精度在線三維場(chǎng)景重建容易出現(xiàn)重建失敗、重建出現(xiàn)拖影、重建精度不高等問題，本文提出結(jié)合ORB_SLAM2、TSDF 與SCNet 網(wǎng)絡(luò)的ORBTSDF-SCNet 系統(tǒng)框架，結(jié)構(gòu)圖如圖4 所示。其中，藍(lán)色部分為ORBTSDF 模塊，包括ORB_SLAM2、TSDF 系統(tǒng)，主要用于獲取位姿和重建模型；黃色部分為SCNet 模塊，主要用于檢測(cè)和分割出移動(dòng)物體；綠色部分為中間數(shù)據(jù)處理模塊，主要用于傳輸和處理ORBTSDF 與SCNet 之間的RGBD 圖像，摳除移動(dòng)物體。

圖4 ORBTSDF-SCNet 結(jié)構(gòu)圖Fig.4 Structure of ORBTSDF-SCNet

ORBTSDF-SCNet 的工作原理如下：

（1）來自深度相機(jī)的RGBD 圖像流，將RGB 圖像流傳給SCNet 網(wǎng)絡(luò)，將RGBD 圖像流傳給中間數(shù)據(jù)處理模塊。

（2）SCNet 對(duì)輸入的RGB 圖像進(jìn)行移動(dòng)目標(biāo)檢測(cè)與實(shí)例分割，得到含有多個(gè)檢測(cè)目標(biāo)的Mask 圖合集。

（3）Mask 圖合集傳給中間處理模塊，對(duì)分割實(shí)例進(jìn)行膨脹并做摳圖處理，摳除實(shí)例后的RGBD 圖傳給ORB-SLAM2 與TSDF。

（4）ORB-SLAM2 對(duì)RGB 圖進(jìn)行ORB 特征選取與匹配，計(jì)算得到位姿。

（5）TSDF 將RGBD 圖經(jīng)過位姿參數(shù)與相機(jī)內(nèi)參運(yùn)算轉(zhuǎn)化，計(jì)算得到體素立方體數(shù)據(jù)，生成三維重建結(jié)果。

由于通常出現(xiàn)在室內(nèi)的移動(dòng)物體是人，因此本文將人作為重建現(xiàn)場(chǎng)的移動(dòng)物體。

2.1 ORBTSDF

針對(duì)SLAM 系統(tǒng)只能輸出點(diǎn)云，不能直接生成三維模型，本文提出結(jié)合ORB-SLAM2 和TSDF 的三維重建算法ORBTSDF。ORBTSDF 的重建過程流程圖如圖5 所示。

圖5 ORBTSDF 整體三維重建流程圖Fig.5 Flow chart of 3D reconstruction of ORBTSDF

ORBTSDF 接收RGBD 圖像，分別傳給ORB_SLAM2 與TSDF 模塊。ORBTSDF 采用ORB_SLAM2 Tracking 線程的ORB 特征檢測(cè)與匹配算法進(jìn)行特征提取和匹配，計(jì)算圖像流中各幀與第一幀的位姿差，然后傳給TSDF 模塊。

TSDF 首先對(duì)RGBD 圖做一個(gè)簡單閾值濾波，過濾掉距離深度圖中過遠(yuǎn)的像素飛點(diǎn)。然后將其經(jīng)過位姿處理后生成新增體素?cái)?shù)據(jù)，按照式（1）～式（3）將新增數(shù)據(jù)融合進(jìn)總體素?cái)?shù)據(jù)合集。為了解決后期模型上色問題，在TSDF 體素?cái)?shù)據(jù)中，增設(shè)一個(gè)顏色變量，保存每個(gè)體素立方體的RGB 圖顏色。體素?cái)?shù)據(jù)和顏色變量一并存入顯存。

為了得到帶顏色的三維重建場(chǎng)景，將體素?cái)?shù)據(jù)中滿足權(quán)重閾值Wmin的體素立方體以及與其對(duì)應(yīng)的顏色變量分別從顯存中提出，保存為.bin 的mesh 文件和.ply 的點(diǎn)云文件。mesh 文件主要用于三維模型生成，點(diǎn)云文件主要用于預(yù)覽點(diǎn)云效果和存儲(chǔ)顏色信息。重建模型時(shí)，采用isosurface 勢(shì)面提取算法，基于mesh 文件生成三維模型；采用meshlab 三維幾何處理軟件，基于點(diǎn)云文件對(duì)三維模型進(jìn)行上色處理，最終得到帶顏色蒙皮的三維重建模型。

2.2 移動(dòng)物體的摳除和誤差優(yōu)化

為了進(jìn)一步解決因SCNet 算法精度問題而引起RGB 圖檢測(cè)和實(shí)例分割誤差，以及由于深度相機(jī)內(nèi)部原因而引起的深度圖和RGB 圖對(duì)準(zhǔn)誤差，在中間處理模塊對(duì)Mask 合集圖像進(jìn)行膨脹處理。

首先對(duì)二值化的Mask 合集圖像使用5×5 的描述子（膨脹大?。┻M(jìn)行3 次膨脹處理；為了平滑毛刺點(diǎn)，再使用3×3 與1×1 的描述子分別進(jìn)行1 次膨脹。將膨脹后的Mask 圖像渲染為白色，同時(shí)將Mask 圖像對(duì)應(yīng)的RGB 圖中相應(yīng)區(qū)域的像素值設(shè)為255（顏色變?yōu)榘咨?，深度值設(shè)為0，即從RGBD圖中摳除了移動(dòng)物體。摳除移動(dòng)物體的RGBD 圖傳給ORBSLAM2 和TSDF，消除了移動(dòng)物體對(duì)ORB 的特征提取與匹配，以及對(duì)重建造成的干擾。

2.3 算法流程

本文提出的ORBTSDF_SCNet 場(chǎng)景三維重建算法流程如圖6 所示。

圖6 ORBTSDF-SCNet 算法流程圖Fig.6 Flow chart of ORBTSDF-SCNet algorithm

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用的處理器為 AMD R7 3700X@3.6 GHz，內(nèi)存為 16 GB，操作系統(tǒng)為64 位Ubuntu16.04，運(yùn)行環(huán)境為 python 3.7，GPU 為NVIDIA GeForce GTX 1080 顯存為 8 G，硬盤大小為 1 TB。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

靜態(tài)數(shù)據(jù)集為Imperial College London[17]發(fā)布的ICL-NUIM 數(shù)據(jù)集。該數(shù)據(jù)集提供的起居室場(chǎng)景具有 3D 實(shí)況深度圖、相機(jī)姿勢(shì)以及高精度雷達(dá)重建的ground truth，適合在靜態(tài)場(chǎng)景中評(píng)估相機(jī)軌跡的精準(zhǔn)度。本文選取了起居室場(chǎng)景中的4 個(gè)片段：kt0、kt1、kt2、kt3。

動(dòng)態(tài)數(shù)據(jù)集為TUM 數(shù)據(jù)集[18]中的辦公室場(chǎng)景，該數(shù)據(jù)集提供有相機(jī)移動(dòng)位姿的ground truth，適合在動(dòng)態(tài)場(chǎng)景中評(píng)估相機(jī)軌跡的精準(zhǔn)度。本文選擇TUM 數(shù)據(jù)集中含有移動(dòng)物體的6 個(gè)數(shù)據(jù)子集：sitting_static、sitting_xyz、sitting_halfsphere、walking_static、walking_xyz、walking_halfsphere，后續(xù)實(shí)驗(yàn)中分別簡稱為sit_static、sit_xyz、sit_hsp、walk_static、walk_xyz、walk_hsp。

這6 個(gè)數(shù)據(jù)子集均由手持?jǐn)z影機(jī)拍攝，場(chǎng)景中都包含有移動(dòng)的測(cè)試人員。測(cè)試人員一直保持在相機(jī)前方移動(dòng)，在sitting 子集中，兩名測(cè)試人員坐在凳子上，僅有細(xì)微的移動(dòng)；在walking 子集中，兩名測(cè)試人員圍繞辦公桌走動(dòng)兩圈，移動(dòng)速度約為1 m/s。static 表示相機(jī)一直朝向前方拍攝，僅隨拍攝人員的手有輕微抖動(dòng)，x、y、z表示相機(jī)沿著x、y、z軸移動(dòng)，halfsphere(hsp)表示相機(jī)沿著一個(gè)直徑約1 m 的半球移動(dòng)。

3.2 評(píng)價(jià)指標(biāo)

位姿精度是評(píng)估重建精度的一個(gè)重要指標(biāo)。位姿誤差越低，重建誤差越低。本文從ATE 和相對(duì)位姿誤差（RPE）兩個(gè)方面來評(píng)價(jià)算法重建性能。

（1）ATE 絕對(duì)軌跡誤差是估計(jì)位姿和真實(shí)位姿的直接差值，通常用于評(píng)估SLAM 算法精度和軌跡全局一致性。

絕對(duì)位姿誤差通常以均方根誤差RMSE 表示：

式中：N為數(shù)據(jù)個(gè)數(shù)；Yi為ground truth 提供的真實(shí)值；f(xi) 為重建得出的位姿值。均方根誤差的單位為mm。

（2）RPE 相對(duì)位姿誤差主要描述相隔固定時(shí)間差 ? 的兩幀的位姿相比真實(shí)位姿的差值，通常用于評(píng)估SLAM 里程計(jì)的誤差。第i幀的RPE 定義如下：

式中：Qi為ground truth 提供的真實(shí)位姿；Pi為重建完成后的估計(jì)位姿，下標(biāo)i代表時(shí)間或幀。

相對(duì)位姿同樣以均方根誤差RMSE 表示，如式（6）所示:

3.3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)中，ORB 參數(shù)使用默認(rèn)設(shè)置：nFeatures=1000，scaleFactor=1.2，nlevels=8，iniThFAST=20，minThFAST=7。在靜態(tài)場(chǎng)景重建時(shí)，設(shè)TSDF 的權(quán)重閾值Wmin=0，即只要當(dāng)一個(gè)點(diǎn)出現(xiàn)在一個(gè)體素立方體內(nèi)一次就取為重建點(diǎn)。在有移動(dòng)物體干擾的場(chǎng)景中重建時(shí)，設(shè)TSDF 權(quán)重閾值Wmin=100，即當(dāng)一個(gè)點(diǎn)在100 幀中連續(xù)出現(xiàn)在一個(gè)體素立方體的同一位置時(shí)，將這個(gè)點(diǎn)作為重建的點(diǎn)，以避免出現(xiàn)大量的拖影，減小誤差。SCNet 基于COCO 數(shù)據(jù)集作預(yù)訓(xùn)練，所有實(shí)例分割網(wǎng)絡(luò)的檢測(cè)閾值設(shè)為0.8。

3.3.1ORBTSDF 對(duì)比實(shí)驗(yàn) 本實(shí)驗(yàn)用于驗(yàn)證ORBTSDF 的重建精度，并與7 種重建算法進(jìn)行對(duì)比。對(duì)比實(shí)驗(yàn)選取文獻(xiàn)[19]所提DVOSLAM(DS)、文獻(xiàn)[3]所提RGBDSLAM_V2(RSV2)算法、文獻(xiàn)[20]所提MRSMap(MRS)、文獻(xiàn)[4]所提Kintinuous(KS)算法、文獻(xiàn)[5]所提ElasticFusion(EF)算法和ElasticFusionFrame-to-model(FTM)算法和文獻(xiàn)[13]所提ORB_SLAM2(OS2)算法。為了進(jìn)行對(duì)比實(shí)驗(yàn)，依據(jù)上述文獻(xiàn)，實(shí)驗(yàn)使用ICL-NUIM 數(shù)據(jù)集，評(píng)價(jià)指標(biāo)采用ATERMSE。實(shí)驗(yàn)結(jié)果如表1 所示。

表1 中，average 表示平均ATERMSE。由表1可見，本文所提ORBTSDF 算法的平均ATERMSE最低，在kt0 和kt3 上有明顯優(yōu)勢(shì)。FTM、RSV2、DS、KS 這4 種重建算法的平均ATERMSE 為ORBTSDF的3～6 倍，MRS 重建算法的平均ATE RMSE 是ORBTSDF 的約15 倍，EF 和OS2 在4 個(gè)序列上整體重建效果比較均衡，平均ATERMSE 略高于ORBTSDF，KS 重建算法在序列kt1 和kt2 中誤差最低?？傮w而言，本文所提ORBTSDF 重建算法是有效的。

表1 在ICL-NUIM 數(shù)據(jù)集上的ATE RMSE 對(duì)比實(shí)驗(yàn)結(jié)果Table 1 Comparative results of ATE RMSE on ICL-NUIM dataset

3.3.2SCNet 膨脹及優(yōu)化實(shí)驗(yàn) 為了驗(yàn)證采用SCNet 網(wǎng)絡(luò)以及進(jìn)行膨脹處理的有效性，在TUM 數(shù)據(jù)集中6 個(gè)序列上進(jìn)行重建測(cè)試。不同方法的RMSE 實(shí)驗(yàn)結(jié)果如表2 所示。表中，OF 代表僅使用ORBTSDF方法，SM 代表使用ORBTSDF+SCNet 方法，SD 代表使用ORBTSDF+SCNet+膨脹處理方法。

從表2 中ATE RMSE 實(shí)驗(yàn)結(jié)果可以看出，與OF 方法相比，當(dāng)采用SM 方法時(shí)，除sit_xyz 序列外，在其他5 個(gè)序列上ATE RMSE 都有減??；SD 方法的ATE RMSE在除了sit_xyz 外的5 個(gè)序列上分別下降約90%、64%、96%、21%、13%，平均下降約89%；SD方法與SM 方法相比較，在walk_hsp、walk_xyz 和sit_hsp 這3 個(gè)序列上ATE RMSE 分別下降了約62%、14%、12%。在sit_xyz 序列上，SM 和SD 方法的誤差略低于OF 方法，是因?yàn)樵谠撔蛄猩先藘H有小幅運(yùn)動(dòng)，近似為靜態(tài)場(chǎng)景。

從表2 中RPE RMSE 實(shí)驗(yàn)結(jié)果可以看出，SM 方法相較于OF 方法，誤差降低了約68%，SD 方法相較于SM 方法，誤差降低了約27%?？傮w而言，本文所提重建算法使用SCNet 網(wǎng)絡(luò)在膨脹下是有效的。

表2 TUM 數(shù)據(jù)集上不同方法的RMSE 實(shí)驗(yàn)結(jié)果Table 2 Comparative results of RMSE on TUM dataset with different methods

3.3.3分割網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn) 為了驗(yàn)證采用SCNet 網(wǎng)絡(luò)的有效性，將ORBTSDF 方法分別與MaskRCNN、CascadeMaskRCNN 和HTC 結(jié)合（分別命名為MR、CMR 和HTC），與本文所提ORBTSDF-SCNet 方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表3 所示。

從表3 中實(shí)驗(yàn)結(jié)果可以看出，在static 序列下，因?yàn)橄鄼C(jī)移動(dòng)幅度很小，所以4 個(gè)網(wǎng)絡(luò)的分割誤差相差不明顯。但在xyz 序列和hsp 序列下，隨著相機(jī)移動(dòng)幅度加大，本文方法的誤差相較其他網(wǎng)絡(luò)有較為明顯的降低。在walk_xyz 序列下，本文方法相較于MR、CMR 和HTC，其ATE RMSE 分別下降了約35%、0、12%，RPERMSE 分別下降了約30%、34%、2%；在sit_xyz 序列下，其ATERMSE 分別下降約25%、28%、42%，RPERMSE 分別下降約26%、9%、42%。在walk_hsp 序列下，ORBTSDF-SCNet 相較于MR、CMR 和HTC，其ATE RMSE 分別下降了約63%、46%、21%，RPE RMSE 分別下降了約73%、64%、0。在sit_hsp 序列下，相較于MR 和HTC，ORBTSDF-SCNet 的ATERMSE 分別下降了約16%和38%，RPERMSE 分別下降了約9%和7%，但高于CMR 的對(duì)應(yīng)值?？傮w來看，在6 個(gè)序列中，ORBTSDF-SCNet 的ATE RMSE 平均值分別下降了約55%、37%、24%，RPE RMSE 平均值分別下降了約59%、50%、7%?？梢姡疚乃嶂亟ǚ椒∣RBTSDF結(jié)合使用SCNet 網(wǎng)絡(luò)是有效的。

表3 TUM 數(shù)據(jù)集上不同實(shí)例分割網(wǎng)絡(luò)RMSE 實(shí)驗(yàn)結(jié)果Table 3 Comparative results of RMSE on TUM dataset with different instance segmentation networks

3.3.4ORBTSDF-SCNet 對(duì)比實(shí)驗(yàn) 為了驗(yàn)證所提出的 ORBTSDF-SCNet 模型的重建有效性，將ORBTSDF-SCNet 算法分別與文獻(xiàn)[5]所提Elastic Fusion(EF)算法、文獻(xiàn)[7]所提StaticFusion(SF)方法、文獻(xiàn)[11]所提MaskFusion(MF)方法、文獻(xiàn)[6]所提Flow Fusion(FF)方法、文獻(xiàn)[11]所提VO-SF(VS)方法，文獻(xiàn)[21]所提Co-Fusion(CF)方法和文獻(xiàn)[22]所提PoseFusion(PF)方法進(jìn)行對(duì)比。

根據(jù)文獻(xiàn)，SF、FF 和PF 方法使用TUM 數(shù)據(jù)集中的兩個(gè)序列進(jìn)行測(cè)試，因此與上述方法對(duì)比時(shí)使用相同的兩個(gè)序列。實(shí)驗(yàn)結(jié)果如表4 所示。而VS、EF、CF 和MF 使用TUM 數(shù)據(jù)集中的6 個(gè)序列進(jìn)行測(cè)試，因此與上述方法比較時(shí)使用相同的6 個(gè)序列。實(shí)驗(yàn)結(jié)果如表5 所示。

表5 在TUM 數(shù)據(jù)集六個(gè)序列上RMSE 對(duì)比實(shí)驗(yàn)結(jié)果Table 5 Comparative results of RMSE on six sequences of TUM dataset

從表4 可以看出，本文提出的ORBTSDF-SCNet方法在walk_sta 和walk_xyz 序列上的平均誤差都為最低，平均ATERMSE 比SF、FF、PF 算法分別降低了約95%、84%和66%，PRERMSE 分別降低了約94%、87%和75%。

表4 在TUM 數(shù)據(jù)集兩個(gè)序列上RMSE 對(duì)比實(shí)驗(yàn)結(jié)果Table 4 Comparative results of RMSE on two sequences of TUM dataset

在表5 TUM 數(shù)據(jù)集的6 個(gè)序列上的對(duì)比實(shí)驗(yàn)可見，使用了Mask-RCNN 的MF 相對(duì)于EF，在walk_hsp、walk_static 和walk_xyz 動(dòng)態(tài)序列上的ATE RMSE 有較大的下降。本文所提RBTSDF-SCNet 方法的ATE RMSE 與PRE RMSE 在所有序列上平均值都是最低的，相對(duì)方法VS、EF、CF、MF，其平均ATE RMSE分別下降約84%、72%、86%和56%，其PRE RMSE分別下降約80%、65%、83%和45%?？梢?，本文所提方法在有動(dòng)態(tài)物體干擾的情況下重建是有效的。

3.3.5速度性能對(duì)比實(shí)驗(yàn) 為了說明ORBTSDFSCNet 的重建速度，在TUM 數(shù)據(jù)集上與MF 方法進(jìn)行了對(duì)比。MF 是目前在有動(dòng)態(tài)物體干擾下重建位姿精度最高的在線RGB-DSLAM 方法。實(shí)驗(yàn)中，MF 使用默認(rèn)參數(shù)設(shè)置，速度單位為fps(FramesPer Second)。

從圖7 中可以看出，由于在hsp 序列中相機(jī)存在大幅度移動(dòng)，因此MF 重建失敗，而ORBTSDFSCNet 能夠?qū)崿F(xiàn)成功重建，平均速度為2.8fps。在walk_static和walk_xyz 兩序列中，MF 的速度分別為2.5 fps 與2.3 fps，而ORBTSDF-SCNet 的速度均為2.8fps?？梢?，當(dāng)物體移動(dòng)幅度較大時(shí)，ORBTSDFSCNet 的速度性能超過MF。但是，在sit_static，sit_xyz序列中，由于物體移動(dòng)幅度不大或者靜止，ORBTSDFSCNet 的速度小于MF。總體而言，ORBTSDFSCNet 無論在相機(jī)移動(dòng)、物體移動(dòng)或靜止情況下重建速度相對(duì)保持穩(wěn)定。

圖7 TUM 數(shù)據(jù)集6 個(gè)序列運(yùn)行速度對(duì)比Fig.7 Comparative results of running speed on six sequences of TUM dataset

3.3.6靜態(tài)重建效果展示 為了更直觀地展示ORBTSDF 方法，特別是基于TSDF 進(jìn)行靜態(tài)場(chǎng)景三維重建的效果，在ICL- NUIM 數(shù)據(jù)集進(jìn)行ORBTSDF重建，以第1 序列kt0 為例，重建效果如圖8 所示。

圖8(a)所示為ICL- NUIM 數(shù)據(jù)集的Ground truth，圖8(b)所示為kt0 序列經(jīng)過ORBTSDF 重建得到的帶有顏色的點(diǎn)云，圖8(c)所示為ORBTSDF 重建得到的不帶顏色的TSDF Mesh 模型，圖8(d)所示為得到的帶顏色的三維重建模型。

對(duì)比圖8(a)與8(c)可以看出，本文所提ORBTSDF重建方法具有較高精度。對(duì)比圖8(b)與8(d)可以看出，文本所提重建方法還能夠較好地對(duì)顏色與細(xì)節(jié)進(jìn)行重建。

圖8 ORBTSDF 重建效果圖Fig.8 Reconstruction effect of ORBTSDF

3.3.7動(dòng)態(tài)重建效果展示 為了更直觀地展示ORBTSDF-SCNet 方法在有移動(dòng)干擾物下的三維重建效果，以TUM-NUM 數(shù)據(jù)集walk_xyz 序列與walk_hsp 序列為例，與EF、MF 方法的重建效果進(jìn)行對(duì)比，結(jié)果分別如圖9、圖10 所示。

在walk_xyz 序列中，兩名測(cè)試人員從辦公椅上站起來，繞著辦公桌走了多圈，最后坐下。在walk_hsp序列中，兩名測(cè)試人員從辦公椅上站起來，繞辦公桌走了1 圈后并坐下，1 名測(cè)試人員站起來繼續(xù)繞圈，另外1 名測(cè)試人員有各種動(dòng)作。

從圖9(a)中可以看到，由于EF 沒有動(dòng)態(tài)物體檢測(cè)與剔除功能，所以畫面中測(cè)試人員坐在辦公桌前被重建，且左側(cè)出現(xiàn)藍(lán)色衣服測(cè)試人員的殘影，同時(shí)由于動(dòng)態(tài)物體的干擾，對(duì)比圖9(c)可以發(fā)現(xiàn)EF 點(diǎn)云重建內(nèi)容不夠完整，細(xì)節(jié)不能有效重建。從圖9(b)中看出，MF 在有動(dòng)態(tài)物體的干擾下，幾乎無法實(shí)現(xiàn)場(chǎng)景的重建，除了電腦部分外，其他部分已經(jīng)基本無法辨認(rèn)。因此采用本文所提方法有效排除了動(dòng)態(tài)物體干擾，實(shí)現(xiàn)了場(chǎng)景的有效重建。

圖9 walk_xyz 序列動(dòng)態(tài)重建效果對(duì)比圖Fig.9 Dynamic reconstruction effect comparison on walk_xyz sequence

從圖10(a)中可以看到，由于EF 在動(dòng)態(tài)物體測(cè)試人員的干擾下，非常明顯地出現(xiàn)了位姿估計(jì)錯(cuò)誤，導(dǎo)致重建了兩個(gè)相交的辦公桌，兩個(gè)平行辦公椅，并且在左側(cè)也錯(cuò)誤地重建了測(cè)試人員。由圖10(b)可見，MF 在有動(dòng)態(tài)物體的干擾下，幾乎無法實(shí)現(xiàn)場(chǎng)景的重建，但采用本文所提方法(圖10(c)、(d))有效排除了動(dòng)態(tài)物體干擾，實(shí)現(xiàn)了場(chǎng)景的有效重建。

圖10 walk_hsp 序列動(dòng)態(tài)重建效果對(duì)比圖Fig.10 Dynamic reconstruction effect comparison on walk_hsp sequence

4 結(jié)束語

為了實(shí)現(xiàn)在線重建并端到端輸出三維模型，本文提出基于ORB-SLAM2 和TSDF 的重建算法ORBTSDF。同時(shí)針對(duì)高精度三維重建系統(tǒng)遇到動(dòng)態(tài)干擾物體時(shí)容易重建失敗或精度大幅下降的問題，結(jié)合SCNet 框架與ORBTSDF，提出ORBTSDFSCNet 方法，對(duì)移動(dòng)的目標(biāo)進(jìn)行檢測(cè)與實(shí)例分割，并通過對(duì)檢測(cè)對(duì)象進(jìn)行膨脹處理，降低RGB 圖分割誤差與深度圖配準(zhǔn)誤差，實(shí)現(xiàn)對(duì)移動(dòng)物體的有效摳除。在多個(gè)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果表明，本文所提出方法對(duì)有移動(dòng)物體干擾的場(chǎng)景能夠?qū)崿F(xiàn)有效重建。在未來，可以結(jié)合高精度分割網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)多個(gè)移動(dòng)目標(biāo)物體進(jìn)行追蹤與高精度重建。