孫慶偉，晁建剛，陳 煒，楊 進(jìn)，林萬(wàn)洪，許振瑛，張洪波

(1.國(guó)防科技大學(xué)空天科學(xué)學(xué)院，長(zhǎng)沙410073；2.中國(guó)航天員科研訓(xùn)練中心，北京100094)

1 引言

在航天員地面混合現(xiàn)實(shí)訓(xùn)練中，為了輔助航天員進(jìn)行空間場(chǎng)景理解并指導(dǎo)操作訓(xùn)練任務(wù)，需要對(duì)地面航天飛行訓(xùn)練場(chǎng)景進(jìn)行三維重建。以往的做法是通過三維繪圖軟件對(duì)整個(gè)場(chǎng)景進(jìn)行構(gòu)建。這種做法需要提供全部CAD模型，耗費(fèi)大量時(shí)間，效率低下，在緊急情況下無(wú)法采用。

通過實(shí)時(shí)三維重建的技術(shù)，可以將訓(xùn)練場(chǎng)景進(jìn)行掃描并快速重建，滿足緊急情況下混合現(xiàn)實(shí)的需要。但艙內(nèi)結(jié)構(gòu)錯(cuò)落復(fù)雜，傳統(tǒng)三維重建技術(shù)結(jié)果較為粗糙，重建結(jié)構(gòu)為整體空間，不利于混合現(xiàn)實(shí)操作。通過語(yǔ)義三維重建技術(shù)，將重要部件進(jìn)行分割并賦予語(yǔ)義信息，構(gòu)造出能夠智能理解的虛擬結(jié)構(gòu)。借助混合現(xiàn)實(shí)技術(shù)，重建模型可以增強(qiáng)在不同工作場(chǎng)景，航天員可以沉浸在與實(shí)際場(chǎng)景高度逼真的工作環(huán)境。這種方式可以省去建造模擬器所需要耗費(fèi)的人力財(cái)力，針對(duì)不同環(huán)境可以快速建模并投入使用，并且三維模型可以進(jìn)行移植，滿足多名航天員同時(shí)訓(xùn)練的需求。

針對(duì)航天器艙內(nèi)場(chǎng)景語(yǔ)義重建，SemanticFusion的思路是:結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)與三維重建，在每一個(gè)三維空間點(diǎn)上存儲(chǔ)語(yǔ)義信息；CNN作為數(shù)據(jù)驅(qū)動(dòng)的分割方法，可以較準(zhǔn)確的獲得每個(gè)像素點(diǎn)的語(yǔ)義類別概率，即時(shí)定位與地圖構(gòu)建(Simultaneous Localization and Mapping，SLAM)過程會(huì)獲得圖像的位姿，利用位姿將二維語(yǔ)義信息映射到三維空間；同一個(gè)三維空間點(diǎn)會(huì)被不同時(shí)間的圖像觀測(cè)到，對(duì)不同時(shí)間的語(yǔ)義信息進(jìn)行融合更新，獲得最優(yōu)的語(yǔ)義類別；同時(shí)采用全連接條件隨機(jī)場(chǎng)(Conditional Random Field，CRF)進(jìn)行后端優(yōu)化，使語(yǔ)義信息在整個(gè)三維空間分布更加合理。

二維語(yǔ)義分割近幾年發(fā)展非常迅速，F(xiàn)CN是第一次用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)語(yǔ)義分割的工作，它將傳統(tǒng)用于分類的卷積神經(jīng)網(wǎng)絡(luò)VGG16的全連接層用卷積層替換，并采用反卷積對(duì)分類結(jié)果進(jìn)行上采樣，可以實(shí)現(xiàn)像素級(jí)別的分類。Seg-Net采用Encoder-Decoder的方式，將Encoder階段的池化索引應(yīng)用在Decoder的上采樣階段，可以大幅提高語(yǔ)義分割的精度。DeconvNet與SegNet類似，不同之處在于上采樣采用反池化和反卷積進(jìn)行Decoder，也取得了不錯(cuò)的效果。UNet將Encoder和Decoder不同階段的特征進(jìn)行拼接，可以在少量數(shù)據(jù)集上訓(xùn)練得到很好的分割效果，并且分割速度更快。DeepLab提出空洞卷積以提高網(wǎng)絡(luò)的感受野，使用CRF進(jìn)行后處理，較好地恢復(fù)圖像邊緣。

稠密三維重建借助圖像和深度信息恢復(fù)物體的三維結(jié)構(gòu)。KinectFusion是第一個(gè)實(shí)現(xiàn)實(shí)時(shí)稠密三維重建的工作，它采用ICP算法進(jìn)行位姿計(jì)算，用截?cái)嗟膸Х?hào)距離函數(shù)(Truncated Signed Distance Function，TSDF)表示三維表面，但是需要固定空間的大小，不利于大場(chǎng)景重建。ElasticFusion采用Surfel表示空間中的三維點(diǎn)，結(jié)合ICP算法和直接法計(jì)算相機(jī)位姿，整合局部和全局回環(huán)檢測(cè)優(yōu)化整體結(jié)構(gòu)，適用于大場(chǎng)景，并且是最適合作為語(yǔ)義三維重建的重建方法。BundleFusion采用SIFT關(guān)鍵點(diǎn)進(jìn)行幀間匹配，將圖像幀分成不同的塊，每個(gè)塊內(nèi)做局部位姿優(yōu)化，不同的塊之間做全局位姿優(yōu)化，是目前重建效果最好的算法。

語(yǔ)義三維重建作為對(duì)場(chǎng)景理解的有效形式近年來(lái)也得到較快發(fā)展。3D-SIS利用BundleFusion進(jìn)行重建，對(duì)重建模型進(jìn)行分割并賦予語(yǔ)義信息，但是此算法無(wú)法實(shí)時(shí)進(jìn)行。MID-Fusion構(gòu)建八叉樹語(yǔ)義地圖，與基于surful的模型相比不需要對(duì)空白區(qū)域進(jìn)行建模，運(yùn)行效率較高，在CPU上即可運(yùn)行。MID-Fusion結(jié)合幾何信息、光度信息、語(yǔ)義信息進(jìn)行分割，提高了分割精度，利用測(cè)量不確定性進(jìn)行加權(quán)并重置目標(biāo)追蹤使得魯棒性更好。MaskFusion實(shí)現(xiàn)了實(shí)例級(jí)語(yǔ)義地圖構(gòu)建，重建采用Elasticfusion，通過Mask RCNN和基于幾何物體的邊緣檢測(cè)算法進(jìn)行實(shí)例分割，對(duì)場(chǎng)景中的動(dòng)態(tài)剛性物體重建和跟蹤性能較好，忽略非剛性動(dòng)態(tài)結(jié)構(gòu)。

本文與SemanticFusion和Hermans的工作類似，都是采用語(yǔ)義分割與三維重建相結(jié)合的方式。Hermans采用隨機(jī)決策森林獲得像素的語(yǔ)義信息，本文與SemanticFusion采用卷積神經(jīng)網(wǎng)絡(luò)，與其不同的是本文僅使用RGB信息，不使用Depth信息輔助分割。文獻(xiàn)[2，17]采用貝葉斯濾波的方式融合語(yǔ)義信息，CRF進(jìn)行后端優(yōu)化，本文則試驗(yàn)采用加權(quán)融合的方式進(jìn)行語(yǔ)義信息的融合，并在CRF過程中添加時(shí)間約束，從而更好地實(shí)現(xiàn)語(yǔ)義優(yōu)化。

2 方法

算法結(jié)構(gòu)如圖1所示。

2.1 語(yǔ)義分割

圖1 算法結(jié)構(gòu)總覽Fig.1 Overview of the algorithm structure

考慮到語(yǔ)義分割和三維重建都是非常耗時(shí)且占用計(jì)算資源，分割方法基于DeconvNe進(jìn)行設(shè)計(jì)。將兩個(gè)1×1×4096的卷積層改成1×1×512和1×1×1024，減少模型參數(shù)量。在第12-13卷積層之間添加通道注意力為不同通道之間分配合理的權(quán)重，全連接層用1×1的卷積層替代。1×1×32的卷積將通道數(shù)壓縮，1×1×512的卷積將通道數(shù)還原，用Sigmoid函數(shù)計(jì)算通道之間的權(quán)重，并與輸入層相乘，通過殘差結(jié)構(gòu)作為下一層的輸入。其計(jì)算公式為式(1):

其中u(i，j)為輸入圖像某通道的素值，w為學(xué)習(xí)得到的通道權(quán)重，u′(i，j)為輸出像素值。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 語(yǔ)義分割網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Network structure of sematic segmentation

系統(tǒng)將輸入圖像下采樣為224×224并送入網(wǎng)絡(luò)，分割結(jié)果上采樣到640×480并映射到重建好的三維空間點(diǎn)。

2.2 重建

重建算法采用ElasticFusion，對(duì)輸入圖像，通過2種方式計(jì)算位姿:一是利用直接法計(jì)算當(dāng)前幀與前一幀的位姿，二是重建好的模型在上一幀視角下的投影與當(dāng)前幀利用ICP計(jì)算位姿。空間三位點(diǎn)用Surfel模型表示，除了存儲(chǔ)空間點(diǎn)的坐標(biāo)，顏色，法向量，時(shí)間戳，還存儲(chǔ)其類別概率?？臻g結(jié)構(gòu)由變形圖表示，在小范圍內(nèi)通過不同時(shí)間內(nèi)得到的點(diǎn)云配準(zhǔn)尋找局部回環(huán)約束，在大范圍內(nèi)通過隨機(jī)蕨尋找全局循環(huán)，利用局部回環(huán)和全局回環(huán)得到的幾何約束優(yōu)化變形圖，使重建結(jié)果更加精確。

算法最關(guān)鍵的部分是圖像之間位姿的計(jì)算，將所有圖像的坐標(biāo)系統(tǒng)一到世界坐標(biāo)系下，圖像的位姿包括相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣R∈SO和平移向量t∈R，用變換矩陣T表示，如式(2)，其中g(shù)，c表示從相機(jī)坐標(biāo)系(camera)到全局坐標(biāo)系(global)的變換:

不同ElasticFusion的是，本算法考慮每一對(duì)匹配點(diǎn)之間的差異，為它們分配相應(yīng)的權(quán)值。主要包含兩個(gè)方面的差異。

2.2.1 Kinect測(cè)量精度造成的影響

Kinect的測(cè)量精度與圖像上的點(diǎn)距光心的距離有關(guān)，越接近光心，精度越高。試驗(yàn)中發(fā)現(xiàn)，越接近光心，點(diǎn)到平面的殘差計(jì)算越準(zhǔn)確，因此應(yīng)分配較高的權(quán)值，本文采用類似文獻(xiàn)[20]對(duì)頂點(diǎn)和法向量的處理方式如式(4):

其中γ是深度圖像上像素點(diǎn)與光心的距離除以圖像對(duì)角線長(zhǎng)度的二分之一，σ取0.6。所以ICP公式為式(5):

2.2.2 點(diǎn)匹配精度造成的影響

在尋找當(dāng)前圖像與模型反投影之間的匹配點(diǎn)時(shí)，采用ElasticFusion所述方式，對(duì)點(diǎn)對(duì)的篩選主要使用了兩種策略，如式(6)所示:

其中d是兩幀圖像對(duì)應(yīng)的空間點(diǎn)在全局坐標(biāo)系下的坐標(biāo)差閾值(threshold)，θ為空間點(diǎn)法向量的夾角閾值。

坐標(biāo)差或夾角閾值的大小不同會(huì)導(dǎo)致點(diǎn)的計(jì)算精度不同，因此對(duì)匹配精度高的點(diǎn)分配較大的權(quán)值，方法如式(7)～(9):

其中w衡量距離精度帶來(lái)的影響，w衡量法向量因素帶來(lái)的影響，因此ICP公式為式(10):

2.2.3 綜合考慮Kinect測(cè)量精度和點(diǎn)匹配精度

綜合考慮傳感器測(cè)量精度與匹配誤差的影響如式(11):

2.3 語(yǔ)義融合

通過二維語(yǔ)義分割，得到圖像中每個(gè)像素的類別概率P(u＝c)，而像素與空間三維點(diǎn)聯(lián)系，即u(pixel)與s(surfel)對(duì)應(yīng)，因此可以在surfel中存儲(chǔ)類別信息P(s＝c)，其中c∈C表示某個(gè)類別，i＝1，2，…，n為類別編號(hào)，為方便表示，下文將P(s＝c)記為P(s)。

其中P(s)為前一時(shí)刻surfel的類別概率，P(s)為當(dāng)前幀獲得的概率分布，取w為0，w為固定值(fixed)1。通過不斷地加權(quán)平均，新的分割結(jié)果與之前的結(jié)果融合，當(dāng)最后觀測(cè)到這個(gè)空間點(diǎn)的圖像被融合后，更新結(jié)束。這樣可以去除極端結(jié)果的影響，得到整個(gè)序列上的最優(yōu)分布。

2.4 全局語(yǔ)義優(yōu)化

采用3種高斯核函數(shù)組成二元項(xiàng)，其中2種與SemanticFusion相同，式(18)考慮位置和顏色對(duì)語(yǔ)義類別的影響，(19)考慮位置和法向量對(duì)語(yǔ)義類別的影響。

同時(shí)，充分利用SLAM獲取的信息，即每個(gè)surfel存儲(chǔ)了這個(gè)像素點(diǎn)獲取的時(shí)間戳，而時(shí)間戳的記錄相對(duì)其他特征更加準(zhǔn)確，因此加入第3種高斯核函數(shù):

式(20)表示在相近時(shí)間內(nèi)觀測(cè)到的點(diǎn)應(yīng)該具有相近的語(yǔ)義類別。其中k、k參數(shù)的取值與SemanticFusion相同，分別為θ＝0.05、θ＝0.1、θ＝20、w＝10、w＝3。 Kinect的幀率為30 fps，將θ設(shè)置為一幀的間隔，即θ＝1/30 s，其中w＝3效果最好。

3 試驗(yàn)

3.1 語(yǔ)義分割

3.1.1 航天器艙內(nèi)數(shù)據(jù)集

選取航天器艙內(nèi)常見5種結(jié)構(gòu)放置平臺(tái)上，模擬艙內(nèi)環(huán)境，用Kinect在不同角度、不同焦距拍攝60 s，分別獲取1800幀RGB和Depth圖像，每隔10幀抽取一幀進(jìn)行標(biāo)注，艙內(nèi)結(jié)構(gòu)加平臺(tái)一共6類。手持Kinect進(jìn)行語(yǔ)義重建會(huì)不可避免地發(fā)生輕微旋轉(zhuǎn)和焦距改變，試驗(yàn)中將標(biāo)注數(shù)據(jù)集在±10范圍內(nèi)隨機(jī)旋轉(zhuǎn)，并以scale0.8進(jìn)行隨機(jī)裁剪。最后獲得1500張訓(xùn)練集數(shù)據(jù)和300張測(cè)試集數(shù)據(jù)，覆蓋實(shí)際運(yùn)行中的各種情況。

3.1.2 網(wǎng)絡(luò)訓(xùn)練

試驗(yàn)電腦GPU為GeForce RTX 2080 Ti，CPU為Intel i7-7700 K，網(wǎng)絡(luò)訓(xùn)練基于caffe框架。使用隨機(jī)梯度下降策略，初始學(xué)習(xí)率為0.001，每隔15 k次迭代學(xué)習(xí)率降為上一次的10%，以bach size 8在DeconvNet的基礎(chǔ)上進(jìn)行微調(diào)，一共進(jìn)行5×10次迭代。為了對(duì)比網(wǎng)絡(luò)的性能，以同樣的策略用航天器艙內(nèi)數(shù)據(jù)集對(duì)DeconvNet進(jìn)行訓(xùn)練。

3.1.3 分割結(jié)果

分割結(jié)果如圖3，可以看出，與DeconvNet相比，本算法的分割結(jié)果更精確，邊緣更清晰。同時(shí)從像素精度(PA)，平均像素精度(MPA)，平均交并比(MIoU)，頻權(quán)交并比(FW loU)，模型權(quán)重大小(Weights)和分割時(shí)間(Time)幾個(gè)方面進(jìn)行比較，如表1所示。

圖3 語(yǔ)義分割結(jié)果Fig.3 Results of semantic segmentation

可以看出，本算法不僅在分割結(jié)果上優(yōu)于原方法，模型參數(shù)量減少73%，平均分割時(shí)間減少到大約50%，這對(duì)耗時(shí)、占用計(jì)算資源的語(yǔ)義三維重建來(lái)說是非常重要的。

表1 語(yǔ)義分割性能對(duì)比Table 1 Comparison of semantic segmentation performance

3.2 重建

3.2.1 重建數(shù)據(jù)集

為了便于比較，減少試驗(yàn)變量，用Kinect實(shí)時(shí)運(yùn)行20 s，采集668幀圖像制作重建數(shù)據(jù)集，并通過時(shí)間戳將RGB圖像與Depth圖像對(duì)應(yīng)。在運(yùn)行中輕微抖動(dòng)相機(jī)以驗(yàn)證算法的魯棒性。

3.2.2 常數(shù)確定

1)w中常數(shù)α和β的確定。對(duì)于式(9)，選取TUM數(shù)據(jù)集中的Desk1場(chǎng)景進(jìn)行實(shí)驗(yàn)，α和β按表2中選取，分別比較它們的ATE和RPE，其結(jié)果如下:

表2 不同α和β的精度比較Table 2 Com parison of accuracy of differentαandβ＼m

橫軸為α的取值。當(dāng)α小于0.5時(shí)，軌跡精度呈上升趨勢(shì)；當(dāng)α大于0.5時(shí)，軌跡精度呈降低趨勢(shì)；當(dāng)α和β都取0.5時(shí)，ATE和RPE最小，本文中α和β都取0.5進(jìn)行后續(xù)實(shí)驗(yàn)。

2)E中常數(shù)μ和η的確定。對(duì)于式(11)，同樣選取TUM數(shù)據(jù)集中的Desk1場(chǎng)景進(jìn)行實(shí)驗(yàn)，μ和η按表3中選取，分別比較它們的ATE和RPE，其結(jié)果如下:

當(dāng)μ小于0.2時(shí)，軌跡精度呈上升趨勢(shì)；當(dāng)μ大于0.2時(shí)，軌跡精度呈降低趨勢(shì)；當(dāng)μ取0.2和η取0.8時(shí)，ATE和RPE最小，本文中取μ為0.2和η為0.8進(jìn)行后續(xù)實(shí)驗(yàn)。

表3 不同μ和η的精度比較Table 3 Com parison of accuracy of differentμandη＼m

3.2.3 重建結(jié)果

在SLAM基準(zhǔn)數(shù)據(jù)集TUM上對(duì)重建結(jié)果進(jìn)行測(cè)試，TUM數(shù)據(jù)集提供了相機(jī)位姿的基準(zhǔn)，選取絕對(duì)軌跡誤差(Absolute Trajectory Error，ATE)和相對(duì)位姿誤差(Relative Pose Error，RPE)進(jìn)行評(píng)估，這兩個(gè)標(biāo)準(zhǔn)可以較準(zhǔn)確地驗(yàn)證SLAM系統(tǒng)的性能。在數(shù)據(jù)集里選取不同類型的場(chǎng)景進(jìn)行測(cè)試，其結(jié)果如表4、表5所示。

表4 ATE對(duì)比Table 4 Comparison of ATE ＼m

表5 RPE對(duì)比Table 5 Com parison of RPE ＼m

表中ICP表示ElasticFusion中使用的ICP算法，ICP表示在原ICP上添加測(cè)量精度權(quán)重，如公式(5)，ICP表示添加匹配點(diǎn)對(duì)權(quán)重，如公式(8)，ICP表示2種權(quán)重結(jié)合，如公式(9)。

3種權(quán)重方式都使SLAM精度優(yōu)于原算法，其中添加ICP效果最好，僅在cabinet場(chǎng)景漂移量略差于其余2種，2種權(quán)重相結(jié)合并沒有得到較大改善。本文選擇添加ICP的ICP作為重建方法。圖4可視化ElasticFusion和ICP絕對(duì)軌跡誤差，圖5可視化相對(duì)誤差軌跡?？梢郧逦赜^察到本文算法比原算法更加精確。

圖4 絕對(duì)軌跡誤差Fig.4 Absolute trajectory error

圖5 相對(duì)軌跡誤差Fig.5 Relative trajectory error

圖6 不同分割間隔的運(yùn)行幀率和M pa比較Fig.6 Com parison of frame rate and MPA at different segmentatiob intervals

3.3 語(yǔ)義融合

采用NYUv2 dataset數(shù)據(jù)集進(jìn)行試驗(yàn)，NYUv2主要采集室內(nèi)的生活場(chǎng)景，本文采用13類標(biāo)簽進(jìn)行標(biāo)注。在SemanticFusion的基礎(chǔ)上，只將語(yǔ)義融合改成加權(quán)平均的方式。在特定幀將融合更新后的surfel映射到相應(yīng)的像素，將其保存成一張語(yǔ)義類別圖像，并與此幀圖像的語(yǔ)義基準(zhǔn)進(jìn)行比較。為了找出最優(yōu)的分割間隔，每k幀進(jìn)行一次語(yǔ)義分割，對(duì)數(shù)據(jù)進(jìn)行二次插值以擬合曲線，k＝ {1，2，4，8，10，12，16，24}。 圖6分別記錄了本文方法和貝葉斯濾波取不同間隔運(yùn)行語(yǔ)義分割并融合更新后，surfel相對(duì)于基準(zhǔn)的平均像素精度(Mpa)和算法的運(yùn)行效率(fps)。

由圖6可以看出，2種方法隨著分割間隔的增加，運(yùn)行效率都呈上升趨勢(shì)，這是因?yàn)檎Z(yǔ)義分割過程比較耗時(shí)，減少這一過程可以加快運(yùn)行速度。特別注意的一點(diǎn)是，當(dāng)間隔10幀進(jìn)行一次語(yǔ)義分割時(shí)，運(yùn)行效率有一個(gè)小的躍升，大于間隔10幀時(shí)效率變化不大。加權(quán)平均最優(yōu)的分割間隔是24，運(yùn)行效率為21.0844 fps，Mpa為0.5562。貝葉斯濾波最優(yōu)的分割間隔是10幀，運(yùn)行效率為20.9887 fps，Mpa為0.5547。本文方法在Mpa上比貝葉斯濾波高了0.27%，運(yùn)行效率上高了0.46%，證明本文方法的有效性

3.4 全局優(yōu)化

同樣在NYUv2數(shù)據(jù)集上進(jìn)行試驗(yàn)，語(yǔ)義更新的方法采用貝葉斯濾波，每隔10幀進(jìn)行一次語(yǔ)義分割，每隔k幀運(yùn)行一次CRF，k＝{10，40，80，120，200}。 因?yàn)檫\(yùn)行CRF是非常耗時(shí)的過程，試驗(yàn)中不比較算法的運(yùn)行效率，只比較Mpa，圖7記錄了本文方法和SemanticFusion方法的運(yùn)行結(jié)果。

圖7 地圖優(yōu)化結(jié)果比較Fig.7 Com parison ofmap regularization results

當(dāng)間隔80幀進(jìn)行一次CRF時(shí)，2種算法的Mpa都達(dá)到最大值，SemanticFusion的方法為0.5562，本文方法為0.5872，比SemanticFusion的提高了5.57%，證明本文方法是有效的。

圖8 不同方法語(yǔ)義地圖對(duì)比Fig.8 Semantic map between differentmethods

3.5 語(yǔ)義地圖

將算法應(yīng)用在航天器艙內(nèi)場(chǎng)景。對(duì)于本文方法，每隔24幀進(jìn)行一次語(yǔ)義分割，每隔80幀運(yùn)行一次CRF。對(duì)于SemanticFusion每隔10幀進(jìn)行一次語(yǔ)義分割，每隔80幀幀運(yùn)行一次CRF。結(jié)果如圖8?？梢钥吹奖疚乃惴ㄝ^完整地獲取語(yǔ)義地圖，目標(biāo)結(jié)構(gòu)語(yǔ)義信息分布準(zhǔn)確，背景噪聲過濾較好。

3.6 內(nèi)存占用

如圖9、圖10所示為2種算法不使用FCRF時(shí)對(duì)GPU和CPU的占用情況，其中，SemanticFusion占用CPU3.8 GB，占用GPU4745 MB；與之相對(duì)，本算法占用CPU2.9 GB，占用GPU3319 MB，CPU使用率減少23.68%，GPU使用率減少30.05%，這對(duì)算法將來(lái)部署到混合現(xiàn)實(shí)設(shè)備上是非常有意義的。

圖9 SemanticFusion GPU和CPU占用Fig.9 The usage of SemanticFusion

圖10 本文方法GPU和CPU占用Fig.9 The GPU and CPU usage of this algorithm

4 結(jié)論

1)首次將語(yǔ)義三維重建應(yīng)用于航天員訓(xùn)練領(lǐng)域，聚焦混合現(xiàn)實(shí)訓(xùn)練所需的艙內(nèi)結(jié)構(gòu)，為混合現(xiàn)實(shí)提供相應(yīng)的技術(shù)輔助。

2)輕量化語(yǔ)義分割網(wǎng)絡(luò)，用SE模塊增強(qiáng)分割精度，分割效果更加精確，運(yùn)行時(shí)間更少。

3)考慮傳感器測(cè)量誤差和點(diǎn)匹配精度誤差，設(shè)計(jì)加權(quán)ICP算法計(jì)算位姿，提高計(jì)算精度。

4)對(duì)不同時(shí)間獲取的語(yǔ)義分割結(jié)果，用加權(quán)平均的方法融合更新，提高語(yǔ)義精度。

5)運(yùn)用surfel模型存儲(chǔ)特點(diǎn)，將圖像幀的時(shí)間戳作為優(yōu)化語(yǔ)義信息的約束，增強(qiáng)CRF的性能。