何召蘭，何乃超，張慶洋，姚 徐，丁淑培

(哈爾濱理工大學(xué) 測(cè)控技術(shù)與通信工程學(xué)院，黑龍江 哈爾濱 150080)

0 引 言

移動(dòng)機(jī)器人的智能化研究主要集中在對(duì)未知環(huán)境的探索認(rèn)知、自我行為決策與規(guī)劃、對(duì)未知信息的學(xué)習(xí)與表達(dá)等[1]方面，其中實(shí)現(xiàn)在未知環(huán)境中的自主定位導(dǎo)航，是移動(dòng)機(jī)器人智能化研究的基礎(chǔ)與重點(diǎn)。要實(shí)現(xiàn)這一功能，不僅需要精確估算出每一時(shí)刻移動(dòng)機(jī)器人的位姿信息，還要對(duì)每一時(shí)刻機(jī)器人所處位置的環(huán)境信息進(jìn)行準(zhǔn)確描述。1887年，Smith等提出了一種定位與構(gòu)圖同時(shí)進(jìn)行的方法[2]，從此拉開(kāi)對(duì)同步定位與地圖構(gòu)建(simultaneously localization and mapping，SLAM)研究的序幕。SLAM也成為了實(shí)現(xiàn)移動(dòng)機(jī)器人智能化導(dǎo)航的關(guān)鍵技術(shù)。

SLAM算法即是移動(dòng)機(jī)器人從未知環(huán)境的某一地點(diǎn)出發(fā)，在運(yùn)動(dòng)過(guò)程中重復(fù)地讀取傳感器觀測(cè)數(shù)據(jù)，分析獲取環(huán)境特征與自身位置姿態(tài)，并以此實(shí)時(shí)構(gòu)建周?chē)h(huán)境的增量式地圖[3]。其中，視覺(jué)傳感器相比于其它傳感器能夠獲得更豐富的圖像信息，同時(shí)視覺(jué)傳感器輕巧廉價(jià)、易于安裝[4]，因此基于視覺(jué)傳感器的SLAM研究成為了當(dāng)下研究熱點(diǎn)。視覺(jué)SLAM的實(shí)現(xiàn)主要有特征點(diǎn)法和直接法[5]，其中，特征點(diǎn)法具有運(yùn)行穩(wěn)定、對(duì)光照及動(dòng)態(tài)物體不敏感等優(yōu)點(diǎn)[6]，因此本文主要針對(duì)特征點(diǎn)法展開(kāi)分析。近年來(lái)，隨著基于特征點(diǎn)法的視覺(jué)SLAM算法不斷發(fā)展，已經(jīng)可以實(shí)現(xiàn)在特定的場(chǎng)景下的實(shí)時(shí)跟蹤定位。然而，目前主流的視覺(jué)SLAM系統(tǒng)仍然存在以下幾個(gè)問(wèn)題：①在特征匹配的過(guò)程中容易受到噪聲和誤匹配點(diǎn)的干擾，魯棒性較差。②無(wú)法從場(chǎng)景中提取語(yǔ)義信息，僅能生成包含幾何信息的地圖，無(wú)法滿(mǎn)足機(jī)器人執(zhí)行更高級(jí)任務(wù)的需求。因此本文將深度學(xué)習(xí)方法引入到視覺(jué)SLAM算法框架當(dāng)中，優(yōu)化了圖像特征匹配過(guò)程，實(shí)現(xiàn)了位置信息和語(yǔ)義信息的融合。

1 視覺(jué)SLAM算法

1.1 SLAM數(shù)學(xué)模型

移動(dòng)機(jī)器人在一個(gè)未知環(huán)境中運(yùn)動(dòng)，首先要建立固定不變的世界坐標(biāo)系，根據(jù)機(jī)器人自身傳感器數(shù)據(jù)精準(zhǔn)的建立時(shí)間與世界坐標(biāo)系空間的對(duì)應(yīng)關(guān)系，即在世界坐標(biāo)系下描述各個(gè)時(shí)刻移動(dòng)機(jī)器人自身位置及其所處環(huán)境，這是SLAM解決定位與構(gòu)圖問(wèn)題的核心。視覺(jué)SLAM的自身傳感器為相機(jī)，因此移動(dòng)機(jī)器人的運(yùn)動(dòng)可以抽象為相機(jī)在世界坐標(biāo)系下的剛體運(yùn)動(dòng)。具體形式如圖1所示。

圖1 坐標(biāo)系變換

圖1中(xW,yW,zW)為世界坐標(biāo)系，(xC,yC,zC)為移動(dòng)坐標(biāo)系，即相機(jī)所在坐標(biāo)系，點(diǎn)P為世界坐標(biāo)系空間一點(diǎn)，是路標(biāo)(landmark)的抽象描述，路標(biāo)是場(chǎng)景中比較有辨識(shí)度的物體或者區(qū)域。在每個(gè)時(shí)刻，傳感器會(huì)觀測(cè)到一部分路標(biāo)，得到它們的觀測(cè)數(shù)據(jù)。設(shè)t時(shí)刻，相機(jī)觀測(cè)到空間點(diǎn)P，在移動(dòng)坐標(biāo)系下該觀測(cè)點(diǎn)坐標(biāo)為(Ctpx,Ctpy,Ctpz)，而t+1時(shí)刻，該空間點(diǎn)在移動(dòng)坐標(biāo)系下的坐標(biāo)為(Ct+1px,Ct+1py,Ct+1pz)，那么相機(jī)的運(yùn)動(dòng)方程如式(1)所示

(1)

其中，ΔT為t時(shí)刻到t+1時(shí)刻相機(jī)的位姿變換矩陣。

根據(jù)運(yùn)動(dòng)方程可知，若已知移動(dòng)機(jī)器人的初始位姿，就可以通過(guò)各個(gè)時(shí)刻的觀測(cè)數(shù)據(jù)，估算出移動(dòng)機(jī)器人在世界坐標(biāo)系下的位姿,同時(shí)利用位姿變換信息，可以解算出各個(gè)路標(biāo)點(diǎn)在世界坐標(biāo)系下的坐標(biāo)，構(gòu)建全局一致的地圖。根據(jù)以上分析，可以得到SLAM的數(shù)學(xué)模型，如式(2)所示

(2)

其中，xt為t時(shí)刻移動(dòng)機(jī)器人的位姿，zt,k表示移動(dòng)機(jī)器人在xt位置觀察路標(biāo)WPk的觀測(cè)數(shù)據(jù)。wt與vt,k為噪聲。

1.2 傳統(tǒng)視覺(jué)SLAM算法框架

隨著國(guó)內(nèi)外學(xué)者對(duì)視覺(jué)SLAM算法的不斷研究改進(jìn)，視覺(jué)SLAM已經(jīng)形成了一套較為完整的算法框架。如圖2所示。

圖2 視覺(jué)SLAM算法框架

視覺(jué)SLAM主要由前端視覺(jué)里程計(jì)、閉環(huán)檢測(cè)、后端局部?jī)?yōu)化以及全局地圖構(gòu)建4個(gè)部分構(gòu)成[7]。其中視覺(jué)里程計(jì)[8]主要通過(guò)相鄰兩幀圖像來(lái)估算移動(dòng)機(jī)器人當(dāng)前時(shí)刻的位姿變化，根據(jù)SLAM數(shù)學(xué)模型分析可知，機(jī)器人位姿是通過(guò)傳感器測(cè)量的路標(biāo)觀測(cè)數(shù)據(jù)解算得到的。在視覺(jué)SLAM算法中，傳感器測(cè)量的路標(biāo)觀測(cè)數(shù)據(jù)為相機(jī)采集的圖像幀的特征點(diǎn)集。因此計(jì)算機(jī)器人位姿首先要提取圖像特征點(diǎn)。圖像特征點(diǎn)是那些經(jīng)過(guò)算法分析出來(lái)的，含有豐富局部信息的點(diǎn)[9]。在完成相鄰的兩幀圖像F1,F2的特征點(diǎn)提取之后，需要進(jìn)行圖像特征匹配[10]。特征匹配解決的是相鄰兩幀圖像特征點(diǎn)集數(shù)據(jù)的關(guān)聯(lián)問(wèn)題，即確定當(dāng)前所觀察的路標(biāo)點(diǎn)是否與上一時(shí)刻的路標(biāo)點(diǎn)為同一個(gè)。經(jīng)過(guò)特征匹配獲得一組組匹配的特征點(diǎn)對(duì)，如式(3)所示

(3)

這些特征點(diǎn)對(duì)應(yīng)的是世界坐標(biāo)系下的路標(biāo)點(diǎn)。根據(jù)SLAM數(shù)學(xué)模型，這些特征匹配點(diǎn)對(duì)的變換關(guān)系如式(4)所示

?i,tPi=ΔTt - 1Pi

(4)

其中，ΔT為機(jī)器人的位移變換矩陣。在特征匹配的過(guò)程中，無(wú)法避免誤差的產(chǎn)生，為了盡量準(zhǔn)確獲得該時(shí)刻移動(dòng)機(jī)器人的位姿數(shù)據(jù)，本文采用最小化重投影誤差的方法來(lái)求解位姿。如式(5)所示

(5)

視覺(jué)里程計(jì)解算出的機(jī)器人位姿是短期的，隨著移動(dòng)機(jī)器人的運(yùn)行，估算誤差將不可避免的隨時(shí)間積累，因此視覺(jué)SLAM算法使用閉環(huán)檢測(cè)與后端優(yōu)化[11]來(lái)避免誤差積累。閉環(huán)檢測(cè)通過(guò)讀取傳感器數(shù)據(jù)和視覺(jué)里程計(jì)信息來(lái)判斷機(jī)器人是否在之前曾經(jīng)到達(dá)過(guò)某一位置，檢測(cè)到正確的回環(huán)后，將校正信息傳遞給后端進(jìn)行優(yōu)化和計(jì)算；后端局部?jī)?yōu)化結(jié)合不同時(shí)刻視覺(jué)里程計(jì)估算出來(lái)的相機(jī)位姿數(shù)據(jù)以及閉環(huán)檢測(cè)提供的回環(huán)信息進(jìn)行全局優(yōu)化，從而得到精確的軌跡和地圖。

根據(jù)上述分析可知，傳統(tǒng)的SLAM算法框架在估算機(jī)器人位姿時(shí)最重要的一步就是圖像特征點(diǎn)匹配，而一幀圖像的特征點(diǎn)數(shù)目較多，且圖像特征點(diǎn)屬于圖像的局部特性，如果機(jī)器人行駛到存在大量重復(fù)紋理的場(chǎng)景中，會(huì)使得提取到的特征描述子非常相似，如果不對(duì)圖像的特征點(diǎn)進(jìn)行篩選，將導(dǎo)致較大特征點(diǎn)誤匹配率。并且采用特征法的視覺(jué)SLAM建圖為稀疏特征點(diǎn)地圖，這種地圖只能滿(mǎn)足機(jī)器人定位的要求，而無(wú)法提供導(dǎo)航、避障與交互等智能化功能。

近些年來(lái)，深度學(xué)習(xí)在圖像領(lǐng)域取得了巨大進(jìn)步，為解決這些問(wèn)題提供了新的思路。深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有強(qiáng)大的特征學(xué)習(xí)能力，在圖像識(shí)別、圖像分割以及目標(biāo)檢測(cè)方面取得了十分顯著的效果[12]。尤其在目標(biāo)檢測(cè)領(lǐng)域，由于卷積神經(jīng)網(wǎng)絡(luò)的引入，物體檢測(cè)的準(zhǔn)確率與效率均得到了極大的提升[13]。何凱明等在Faster RCNN[14]架構(gòu)的基礎(chǔ)上提出了MASK R-CNN[15]，并斬獲了ICCV 2017年的最佳論文。MASK R-CNN將目標(biāo)檢測(cè)與語(yǔ)義分割[16]結(jié)合在一起實(shí)現(xiàn)了圖像的實(shí)例分割，相對(duì)目標(biāo)檢測(cè)的邊界框，實(shí)例分割可以獲取精確到物體邊緣輪廓的掩模信息；而相對(duì)語(yǔ)義分割，實(shí)例分割可以標(biāo)注出圖像上同一類(lèi)物體的不同個(gè)體。移動(dòng)機(jī)器人通過(guò)視覺(jué)傳感器采集的圖像序列包含不同類(lèi)別的物體，若結(jié)合MASK R-CNN的實(shí)例分割技術(shù)優(yōu)勢(shì)與視覺(jué)SLAM算法提供的解算數(shù)據(jù)，不僅能夠提高定位精度還能為移動(dòng)機(jī)器人提供語(yǔ)義信息。

2 基于實(shí)例分割改進(jìn)的視覺(jué)SLAM

2.1 MASK R-CNN模塊構(gòu)建

MASK R-CNN是一個(gè)開(kāi)源的基于深度學(xué)習(xí)的圖像實(shí)例分割框架，它可以有效檢測(cè)出圖像中的物體，并精確分割每一個(gè)實(shí)例，同時(shí)為每個(gè)實(shí)例生成高質(zhì)量的語(yǔ)義掩模。

如圖3所示，MASK R-CNN框架可以并行完成目標(biāo)分類(lèi)、目標(biāo)定位、語(yǔ)義分割3項(xiàng)任務(wù)。不同于傳統(tǒng)的語(yǔ)意分割，基于MASK R-CNN框架的實(shí)例分割不僅僅可以標(biāo)注出圖像中物體的語(yǔ)義信息，還能夠區(qū)分同一類(lèi)物體的不同個(gè)體，并可以用邊界框(bounding box)精確定位目標(biāo)物體在圖像中的位置，這對(duì)于SLAM這種要求檢測(cè)精度較高的任務(wù)來(lái)說(shuō)十分重要。

圖3 MASK R-CNN框架

MASK R-CNN主要由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，通過(guò)多分支子網(wǎng)絡(luò)并行實(shí)現(xiàn)端到端的實(shí)例分割。MASK R-CNN實(shí)現(xiàn)實(shí)例分割的具體過(guò)程如下：

(1)將圖像輸入主干網(wǎng)絡(luò)(backbone network)，生成特征圖(feature maps)。主干網(wǎng)絡(luò)的卷積層由MASK R-CNN整體共享，主要的功能是學(xué)習(xí)并提取圖像特征。本文使用深度殘差網(wǎng)絡(luò)(ResNet)[17]以及特征金字塔網(wǎng)絡(luò)(feature pyramid networks，F(xiàn)PN)[18]相互結(jié)合構(gòu)建主干網(wǎng)絡(luò)；

(2)將特征圖輸入?yún)^(qū)域提議網(wǎng)絡(luò)(region proposal network，RPN)，RPN是一個(gè)輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)首先利用3*3的卷積層對(duì)原圖進(jìn)行滑動(dòng)掃描，為圖像的每個(gè)像素生成錨框(anchor box)，然后將錨框送入分類(lèi)分支以及邊框回歸分支(Bbox reg)，分類(lèi)分支輸出每個(gè)錨框存在物體的概率；而邊框回歸分支將錨框進(jìn)行伸縮平移，使它更接近地回歸于標(biāo)記好的真實(shí)邊界框(ground truth box)，輸出初步的候選框坐標(biāo)及其高與寬。最后在RPN末端綜合兩分支的結(jié)果，并利用非極大值抑制(non-maximum suppression，NMS)[19]對(duì)錨框進(jìn)行初步篩選，最終獲得基于原圖的候選區(qū)域(region proposal)；

(3)利用ROI Align對(duì)RPN輸出的候選區(qū)域的圖像進(jìn)行處理。ROI Align使用雙線性?xún)?nèi)插的方法將基于原圖的矩形候選框坐標(biāo)映射到特征圖上，并使所有映射到特征圖的候選區(qū)域圖像大小一致，使之符合全連接層(fully connec-ted layers，F(xiàn)C layers)的輸入要求；

(4)將經(jīng)過(guò)ROI Align層處理的候選區(qū)域圖像送入目標(biāo)檢測(cè)分支及掩模預(yù)測(cè)分支，完成分類(lèi)、定位以及掩模預(yù)測(cè)任務(wù)。其中掩模預(yù)測(cè)是利用全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)[20]對(duì)候選區(qū)域圖像的每一個(gè)像素點(diǎn)進(jìn)行分類(lèi)，生成物體的掩模，實(shí)現(xiàn)對(duì)候選區(qū)域圖像的語(yǔ)義分割。

2.2 MASK R-CNN改進(jìn)的視覺(jué)SLAM算法

為提高視覺(jué)SLAM位姿估計(jì)的準(zhǔn)確性并生成語(yǔ)義地圖，本文利用MASK R-CNN對(duì)視覺(jué)SLAM進(jìn)行了改進(jìn)，如圖4所示。

圖4 基于實(shí)例分割的視覺(jué)SLAM框架

本文在傳統(tǒng)的視覺(jué)SLAM框架的基礎(chǔ)上引入了MASK R-CNN分支，利用MASK R-CNN的信息輔助定位并構(gòu)建語(yǔ)義地圖。具體改進(jìn)如下：

(1)利用MASK R-CNN生成的掩模信息對(duì)特征點(diǎn)進(jìn)行篩選；本文采用圖像的ORB(oriented FAST and rotated BRIEF)特征作為視覺(jué)SLAM的路標(biāo)特征，ORB特征是目前最具代表性的實(shí)時(shí)圖像特征[21]。它改進(jìn)了FAST檢測(cè)子不具有方向性的問(wèn)題，并采用速度極快的二進(jìn)制描述子BRIEF(binary robust independent elementary features)，使圖像特征提取整個(gè)環(huán)節(jié)大大提速。對(duì)視覺(jué)圖像進(jìn)行特征提取時(shí)，將生成大量的ORB特征點(diǎn)，這些特征點(diǎn)所包含的信息是冗余的，大量的特征點(diǎn)不僅會(huì)加大系統(tǒng)的運(yùn)算量，更會(huì)導(dǎo)致誤匹配概率加大。MASK R-CNN可以對(duì)視覺(jué)圖像進(jìn)行目標(biāo)檢測(cè)，將圖像進(jìn)行了目標(biāo)與背景的分割，本文借助MASK R-CNN的掩模信息，剔除圖像背景的特征點(diǎn)，保留前景物體的特征點(diǎn)，篩選后的特征點(diǎn)歸屬不同的物體，因此ORB特征點(diǎn)描述子的相似性將大大降低；

(2)利用邊界框信息對(duì)視覺(jué)圖像進(jìn)行分區(qū)，提高特征匹配效率；在傳統(tǒng)的SLAM算法中要完成一組特征點(diǎn)匹配，需要遍歷整幅圖像的特征點(diǎn)，運(yùn)算效率極低，而MASK R-CNN利用邊界框?qū)⒁曈X(jué)圖像劃分成有語(yǔ)義標(biāo)記的不同實(shí)例區(qū)域，在進(jìn)行特征匹配時(shí)，只需要在同一實(shí)例區(qū)域進(jìn)行匹配，這不僅極大提高了特征匹配的效率，更進(jìn)一步減少了誤匹配現(xiàn)象的發(fā)生，提高了位姿匹配的估算精度；

(3)利用語(yǔ)義信息進(jìn)行回環(huán)檢測(cè)；傳統(tǒng)的SLAM算法使用對(duì)特征描述進(jìn)行聚類(lèi)的方法來(lái)建立詞袋(bag of words, BOW)模型，而MASK R-CNN可以利用圖像分類(lèi)的高級(jí)語(yǔ)義信息更直接而準(zhǔn)確地建立詞袋模型，并實(shí)現(xiàn)回環(huán)檢測(cè)；

(4)利用語(yǔ)義信息構(gòu)建語(yǔ)義地圖；MASK R-CNN可以對(duì)機(jī)器人在運(yùn)動(dòng)過(guò)程中檢測(cè)到的物體打上語(yǔ)義標(biāo)簽，并結(jié)合SLAM框架生成帶有高級(jí)語(yǔ)義標(biāo)簽的語(yǔ)義地圖。

3 實(shí)驗(yàn)分析

為驗(yàn)證本文算法的有效性和正確性，本節(jié)對(duì)基于實(shí)例分割的SLAM算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。主要的驗(yàn)證方法為對(duì)比實(shí)驗(yàn)。本文采用時(shí)下應(yīng)用最為廣泛的ORB-SLAM2算法作為本文算法的對(duì)照組。ORB-SLAM2是ORB-SLAM的改進(jìn)版本，支持單目，雙目以及RGB-D相機(jī)，該算法具備傳統(tǒng)SLAM所有的模塊功能，在處理速度、追蹤效果和地圖精度上都取得了不錯(cuò)的效果。同時(shí)，ORB-SLAM2算法同樣使用ORB圖像特征，因此本文可以通過(guò)對(duì)比本文算法與ORB-SLAM2算法的結(jié)果來(lái)驗(yàn)證本文算法的效果。主要驗(yàn)證的指標(biāo)為：特征匹配效率與精度、定位的準(zhǔn)確性，以及構(gòu)圖效果。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)采用兩種數(shù)據(jù)集，一種是MSCOCO數(shù)據(jù)集，另一個(gè)是TUM數(shù)據(jù)集。MSCOCO數(shù)據(jù)集是微軟專(zhuān)門(mén)為圖像識(shí)別、檢測(cè)以及語(yǔ)義分割所設(shè)計(jì)的大型圖像數(shù)據(jù)集，包含超過(guò)30萬(wàn)張圖片，200多萬(wàn)個(gè)實(shí)例以及80個(gè)對(duì)象類(lèi)別。但該數(shù)據(jù)集的圖像并不具備時(shí)間連續(xù)性，只使用該數(shù)據(jù)集無(wú)法滿(mǎn)足實(shí)驗(yàn)要求。因此本文使用TUM 的freiburg1_room數(shù)據(jù)集進(jìn)行擴(kuò)充。TUM數(shù)據(jù)集是德國(guó)慕尼黑工業(yè)大學(xué)利用深度相機(jī)采集的一組連續(xù)的室內(nèi)圖像集，提供了深度相機(jī)參數(shù)以及相機(jī)在室內(nèi)運(yùn)動(dòng)的真實(shí)軌跡(ground-truth)，可以滿(mǎn)足本文實(shí)驗(yàn)的需求。

為了提高M(jìn)ASK R-CNN在視覺(jué)SLAM算法框架中的表現(xiàn)力，本文在使用MSCOCO數(shù)據(jù)集訓(xùn)練的基礎(chǔ)上，又使用TUM數(shù)據(jù)集對(duì)MASK R-CNN的網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。TUM數(shù)據(jù)集沒(méi)有對(duì)圖像進(jìn)行標(biāo)注且包含的場(chǎng)景單一，因此本文首先利用labelme工具對(duì)選取的圖像進(jìn)行標(biāo)注并生成掩模，然后對(duì)圖像進(jìn)行裁剪、縮放以及旋轉(zhuǎn)等處理，以擴(kuò)充數(shù)據(jù)。經(jīng)過(guò)訓(xùn)練后，MASK R-CNN進(jìn)行實(shí)例分割最終結(jié)果如圖5所示。

圖5 實(shí)例分割

可以看出，MASK R-CNN能夠較為準(zhǔn)確檢測(cè)出圖中的物體，并對(duì)檢測(cè)物體進(jìn)行像素級(jí)別的分類(lèi)。

3.2 實(shí)驗(yàn)對(duì)比

首先本文對(duì)特征匹配效率與精度這一指標(biāo)進(jìn)行驗(yàn)證，將TUM數(shù)據(jù)集圖片分為完全相同的兩組，其中一組輸入傳統(tǒng)的ORB-SLAM2算法直接進(jìn)行特征匹配，特征匹配效果如圖6所示。另一組輸入本文的算法框架，在進(jìn)行特征提取的同時(shí)，利用實(shí)例分割進(jìn)行特征點(diǎn)篩選并優(yōu)化特征匹配過(guò)程，匹配效果如圖7所示。

圖6 傳統(tǒng)算法的特征匹配效果

圖7 實(shí)例分割優(yōu)化的特征匹配效果

通過(guò)對(duì)比，可以看出ORB-SLAM算法提取得到的特征點(diǎn)數(shù)目是巨大的，且在特征匹配時(shí)存在很多誤匹配點(diǎn)，大量的特征點(diǎn)匹配需要進(jìn)行復(fù)雜的運(yùn)算，匹配效率低下，同時(shí)大量的誤匹配點(diǎn)還會(huì)為后續(xù)的位姿估計(jì)帶來(lái)較大的誤差。而本文算法利用實(shí)例分割對(duì)特征匹配過(guò)程進(jìn)行優(yōu)化，從圖中可以看出，本文算法進(jìn)行特征匹配的特征點(diǎn)對(duì)較少，且匹配點(diǎn)均位于已分割出的語(yǔ)義區(qū)域，因此誤匹配現(xiàn)象較少。

接下來(lái)，本文對(duì)定位精度這一指標(biāo)進(jìn)行驗(yàn)證。視覺(jué)SLAM能夠?qū)崟r(shí)估算出移動(dòng)機(jī)器人位姿，若將各個(gè)時(shí)刻的機(jī)器人位姿連接起來(lái)，就形成了機(jī)器人運(yùn)行軌跡。TUM數(shù)據(jù)集提供了采集圖像時(shí)機(jī)器人運(yùn)動(dòng)的真實(shí)軌跡，如圖8所示。

因此通過(guò)比較SLAM估算得到的運(yùn)行軌跡與真實(shí)軌跡的差值，如式(6)所示

圖8 TUM數(shù)據(jù)集真實(shí)軌跡

(6)

表1 運(yùn)行軌跡差值

根據(jù)表1中數(shù)據(jù)顯示,本文算法的運(yùn)行軌跡更加接近于真實(shí)軌跡,故基于實(shí)例分割的視覺(jué)SLAM算法的定位精度更高。

最后對(duì)本文算法的構(gòu)圖模塊進(jìn)行驗(yàn)證?；谔卣鼽c(diǎn)法的視覺(jué)SLAM算法通常構(gòu)建的為稀疏特征地圖，這種地圖無(wú)法具體的描述機(jī)器人當(dāng)前所處的環(huán)境。隨著計(jì)算機(jī)硬件的發(fā)展，構(gòu)建稠密的三維點(diǎn)云地圖成為了當(dāng)前的主流，如圖9所示。這種地圖雖然可以直觀反應(yīng)環(huán)境信息，但對(duì)于計(jì)算機(jī)來(lái)說(shuō)，該地圖只不過(guò)由三維點(diǎn)云堆積而成，機(jī)器人無(wú)法憑借該地圖執(zhí)行更高級(jí)的智能任務(wù)。本文利用MASK R-CNN的語(yǔ)義信息構(gòu)建了具有語(yǔ)義信息的點(diǎn)云地圖。該點(diǎn)云地圖的點(diǎn)云像素被賦予了高級(jí)語(yǔ)義信息，為直觀描述，本文利用不同顏色來(lái)標(biāo)注語(yǔ)義，如圖10所示。通過(guò)語(yǔ)義信息，移動(dòng)機(jī)器人可以完成如自主導(dǎo)航、人機(jī)交互等高級(jí)任務(wù)。

圖9 三維點(diǎn)云地圖

圖10 語(yǔ)義地圖

4 結(jié)束語(yǔ)

基于實(shí)例分割的視覺(jué)同步定位與地圖構(gòu)建算法將MASK R-CNN作為一個(gè)獨(dú)立的分支引入到傳統(tǒng)的視覺(jué)SLAM框架當(dāng)中。通過(guò)理論分析以及實(shí)驗(yàn)驗(yàn)證，可以得到以下結(jié)論：①利用實(shí)例分割可以輔助完成SLAM的定位過(guò)程，提高了定位的精確性、魯棒性以及定位速度；②MASK R-CNN能夠?qū)σ曈X(jué)圖像進(jìn)行目標(biāo)檢測(cè)，并對(duì)檢測(cè)到的物體進(jìn)行像素級(jí)別的分類(lèi)，賦予三維點(diǎn)云地圖語(yǔ)義信息，構(gòu)建具有語(yǔ)義信息的三維點(diǎn)云地圖。滿(mǎn)足了移動(dòng)機(jī)器人執(zhí)行更高級(jí)的智能化任務(wù)的需求。下一步，本文將進(jìn)一步的將深度學(xué)習(xí)引入到視覺(jué)SLAM框架中，利用深度學(xué)習(xí)在圖像特征提取方面的優(yōu)勢(shì)，真正實(shí)現(xiàn)端到端的機(jī)器人定位與語(yǔ)義地圖構(gòu)建。