方 娟， 方振虎

(北京工業(yè)大學(xué)信息學(xué)部， 北京 100124)

同時(shí)定位與建圖(simultaneous localization and mapping,SLAM)在移動(dòng)機(jī)器人、自主駕駛、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域有著廣泛的應(yīng)用. SLAM的目標(biāo)是在沒(méi)有任何先驗(yàn)知識(shí)的情況下，根據(jù)傳感器數(shù)據(jù)實(shí)時(shí)構(gòu)建周?chē)h(huán)境地圖，同時(shí)，根據(jù)這個(gè)地圖推測(cè)自身的定位，實(shí)現(xiàn)自主導(dǎo)航.

近年來(lái)，有許多學(xué)者研究SLAM，并取得了顯著的成果，如ORB-SLAM2[1]、基于直接法的大范圍單目同時(shí)定位和建圖(large-scale direct monocular SLAM,LSD-SLAM)[2]、稀疏直接法里程計(jì)(direct sparse odometry,DSO)[3]等方法. 然而，大多數(shù)方法無(wú)論是基于特征的方法還是直接法，都是基于靜態(tài)場(chǎng)景的假設(shè)，而真實(shí)場(chǎng)景中動(dòng)態(tài)對(duì)象的存在是不可避免的[4]. 如果動(dòng)態(tài)對(duì)象具有較強(qiáng)的紋理信息，系統(tǒng)會(huì)從動(dòng)態(tài)對(duì)象上提取大量的特征，當(dāng)跟蹤到不穩(wěn)定的特征點(diǎn)時(shí)，會(huì)嚴(yán)重影響姿態(tài)估計(jì)，造成較大的軌跡誤差甚至跟蹤丟失. 此外，視覺(jué)詞袋(bag of visual word,BoVW)[5]方法雖然在開(kāi)源SLAM框架中取得了不錯(cuò)的效果，但對(duì)場(chǎng)景中的光照條件和動(dòng)態(tài)物體等參數(shù)十分敏感，容易造成誤匹配[6-7].

隨著深度學(xué)習(xí)算法的發(fā)展和計(jì)算機(jī)性能的提高，目標(biāo)檢測(cè)和語(yǔ)義分割方法取得了很大的進(jìn)展[8-9]. 研究人員逐漸意識(shí)到這些方法可能有助于解決上述SLAM問(wèn)題. 傳統(tǒng)視覺(jué)SLAM技術(shù)與基于深度學(xué)習(xí)的語(yǔ)義分割、目標(biāo)檢測(cè)方法結(jié)合可以大大提高動(dòng)態(tài)環(huán)境下SLAM系統(tǒng)的魯棒性和準(zhǔn)確性[10].

Bescos等[11]提出DynaSLAM，它利用Mask R-CNN[12]獲得語(yǔ)義分割結(jié)果，進(jìn)而判斷可能移動(dòng)的特征點(diǎn). 同時(shí)，使用多視圖幾何的方法檢測(cè)圖中語(yǔ)義分割未檢出的動(dòng)態(tài)物體，然后將2個(gè)檢測(cè)結(jié)果合并. 對(duì)于一個(gè)特征點(diǎn)，只要2個(gè)檢測(cè)結(jié)果中有1個(gè)是動(dòng)態(tài)的，就認(rèn)為該特征點(diǎn)是動(dòng)態(tài)的，并將其刪除. 但是，由于使用Mask R-CNN 網(wǎng)絡(luò)，加上背景修復(fù)功能，系統(tǒng)難以實(shí)時(shí)運(yùn)行.

Dynamic-SLAM[13]使用SSD(single shot multibox detector)[14]網(wǎng)絡(luò)檢測(cè)潛在的動(dòng)態(tài)對(duì)象，把出現(xiàn)在目標(biāo)邊界框內(nèi)部的所有特征點(diǎn)刪除，然后采用基于相鄰幀速度不變特性的補(bǔ)償算法來(lái)處理目標(biāo)檢測(cè)缺少、遺漏的情況. 但是，目標(biāo)的姿態(tài)不同，檢測(cè)框的大小也不同，這樣導(dǎo)致剔除的特征點(diǎn)過(guò)多，容易跟蹤失敗.

針對(duì)動(dòng)態(tài)環(huán)境下SLAM系統(tǒng)的研究，大部分工作都集中在提高機(jī)器人在視覺(jué)里程計(jì)定位精度上，但是所提出的模型很難滿(mǎn)足移動(dòng)機(jī)器人的實(shí)時(shí)性，而且對(duì)于光線變化環(huán)境下如何同時(shí)去優(yōu)化回環(huán)檢測(cè)幾乎沒(méi)有研究. 動(dòng)態(tài)場(chǎng)景下SLAM的優(yōu)化可以從2個(gè)方面出發(fā)：一個(gè)是相機(jī)姿態(tài)估計(jì)的準(zhǔn)確性，另一個(gè)是回環(huán)檢測(cè)的準(zhǔn)確性.

為了提高室內(nèi)動(dòng)態(tài)環(huán)境下SLAM系統(tǒng)的魯棒性，本文提出了一種基于語(yǔ)義邊界框和深度圖的動(dòng)態(tài)環(huán)境下SLAM系統(tǒng)位姿優(yōu)化方法. 該系統(tǒng)基于ORB-SLAM2架構(gòu)，采用RGB-D相機(jī)，首先使用目標(biāo)檢測(cè)網(wǎng)絡(luò)檢測(cè)當(dāng)前幀所有可識(shí)別物體，得到物體語(yǔ)義信息與邊界框，根據(jù)語(yǔ)義信息區(qū)分潛在移動(dòng)物體，如“人”，結(jié)合邊界框與當(dāng)前幀對(duì)應(yīng)的深度圖，分割出前景物體，剔除物體上的特征點(diǎn)，用剩下的特征點(diǎn)來(lái)計(jì)算相機(jī)位姿信息，同時(shí)使用可識(shí)別物體的語(yǔ)義信息和邊界框構(gòu)造圖像特征，然后與歷史幀比較，檢測(cè)是否發(fā)生回環(huán). 實(shí)驗(yàn)結(jié)果表明，本方法可以有效提高 ORB-SLAM2在高動(dòng)態(tài)場(chǎng)景中的性能.

1 系統(tǒng)概述

本文提出的SLAM系統(tǒng)的結(jié)構(gòu)見(jiàn)圖1，在經(jīng)典開(kāi)源系統(tǒng)ORB-SLAM2基礎(chǔ)上，新增了目標(biāo)檢測(cè)線程，如圖中綠色部分，將目標(biāo)檢測(cè)結(jié)果嵌入到視覺(jué)里程計(jì)與回環(huán)檢測(cè)模塊. 本系統(tǒng)的視覺(jué)傳感器采用RGB-D相機(jī)，該相機(jī)不僅能獲得場(chǎng)景彩色圖像，而且還能得到彩色圖像中每個(gè)像素對(duì)應(yīng)的深度值，這個(gè)深度值的大小對(duì)應(yīng)著該像素距離相機(jī)的遠(yuǎn)近.

圖1 本文算法框架

首先，采用ORB[15]特征提取模塊提取當(dāng)前幀的特征點(diǎn)，同時(shí)通過(guò)目標(biāo)檢測(cè)模塊檢測(cè)場(chǎng)景語(yǔ)義信息，得到物體的語(yǔ)義邊界框，根據(jù)語(yǔ)義信息區(qū)分潛在動(dòng)態(tài)物體與靜態(tài)物體；然后，把潛在動(dòng)態(tài)語(yǔ)義邊界框送入前背景分割模塊，將分割出的前景信息與ORB特征點(diǎn)相結(jié)合，根據(jù)特征點(diǎn)坐標(biāo)是否落在分割區(qū)域來(lái)確定是否剔除該特征點(diǎn)；最后，使用剩下的特征點(diǎn)計(jì)算相機(jī)位姿. 同時(shí)，如果當(dāng)前幀中不存在潛在可移動(dòng)物體，那么就把該幀送入回環(huán)檢測(cè)模塊，根據(jù)圖像中物體邊界框信息構(gòu)建語(yǔ)義特征圖，通過(guò)與歷史特征圖比較來(lái)確定是否檢測(cè)到回環(huán). 得到幀間估計(jì)結(jié)果或回環(huán)檢測(cè)結(jié)果后，需要經(jīng)過(guò)后端優(yōu)化模塊進(jìn)行全局軌跡優(yōu)化，最后建立地圖.

目前，主流的目標(biāo)檢測(cè)算法可分為一階段檢測(cè)算法和兩階段檢測(cè)算法[16-17]. 兩階段檢測(cè)算法在精度和準(zhǔn)確度上都有較大的優(yōu)勢(shì)，但在檢測(cè)速度上，一階段檢測(cè)算法具有更好的性能. SLAM系統(tǒng)對(duì)目標(biāo)檢測(cè)的實(shí)時(shí)性提出了較高的要求，一階段檢測(cè)算法省去了候選區(qū)域的生成步驟，在同一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)了特征提取、目標(biāo)分類(lèi)和回歸，將目標(biāo)檢測(cè)過(guò)程簡(jiǎn)化為一個(gè)端到端的回歸問(wèn)題，大大提高了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法的速度. 本文目標(biāo)檢測(cè)算法采用YOLOv4[18]， YOLOv4算法在保持高處理幀速率的同時(shí)具有最先進(jìn)的精度， 在MS-COCO數(shù)據(jù)集上的預(yù)測(cè)精度達(dá)到43.5%.

本文在低功耗GPU MX150上測(cè)試，YOLOv4推理速度約為10幀/s,而Mask R-CNN推理速度不到1幀/s. 對(duì)于目標(biāo)檢測(cè)網(wǎng)絡(luò)，高精度不再是唯一要求，另外，希望模型能在移動(dòng)設(shè)備上持久運(yùn)行. 因此，用低功耗的硬件實(shí)時(shí)處理輸入圖像對(duì)于移動(dòng)機(jī)器人變得非常重要.

2 剔除潛在動(dòng)態(tài)特征點(diǎn)的視覺(jué)里程計(jì)

目前，幀間估計(jì)主流的計(jì)算方法有特征點(diǎn)法與直接法. 由于特征點(diǎn)對(duì)光照、運(yùn)動(dòng)、旋轉(zhuǎn)比較不敏感，相機(jī)運(yùn)動(dòng)較快也能跟蹤成功，魯棒性好，因此,基于特征點(diǎn)法的視覺(jué)里程計(jì)目前比較成熟[19]. ORB特征則是目前非常具有代表性的實(shí)時(shí)圖像特征. 提取ORB特征點(diǎn)后，接下來(lái)需要進(jìn)行特征匹配. 特征匹配解決了 SLAM 中的數(shù)據(jù)關(guān)聯(lián)問(wèn)題,即確定當(dāng)前看到的路標(biāo)與之前看到的路標(biāo)之間的對(duì)應(yīng)關(guān)系. 其特征匹配效果如圖2所示.

圖2 特征點(diǎn)匹配效果

對(duì)2幅RGB-D圖像進(jìn)行了特征匹配之后，得到了特征點(diǎn)之間的對(duì)應(yīng)關(guān)系，假設(shè)有一組配對(duì)好的3D點(diǎn)

P={p1,p2,…,pn},Q={q1,q2,…,qn}

(1)

現(xiàn)在需要求解一個(gè)歐氏變換R、t，使得

?i,pi=Rqi+t

(2)

成立.首先，定義第i對(duì)點(diǎn)的誤差項(xiàng)

ei=pi-(Rqi+t)

(3)

然后，構(gòu)建最小二乘問(wèn)題，求使誤差平方和達(dá)到極小的R、t，公式為

(4)

如果定義2組點(diǎn)的質(zhì)心為

(5)

那么目標(biāo)函數(shù)可以簡(jiǎn)化為

(6)

如果有大量特征點(diǎn)在移動(dòng)，那么估計(jì)出的位姿信息會(huì)有較大偏差.如果在位姿計(jì)算前，剔除動(dòng)態(tài)特征點(diǎn)，那么就能有效地降低誤差.如圖3所示，可以看見(jiàn)圖中有2個(gè)人，其中一位坐著，另一位在走動(dòng).系統(tǒng)從其中1個(gè)人身上采集了大量的特征點(diǎn)，如果把這些特征點(diǎn)刪除掉，那么剩下的特征點(diǎn)就有利于計(jì)算位姿.圖3(b)是刪除后的效果.

圖3 潛在動(dòng)態(tài)特征點(diǎn)對(duì)比

本文使用已訓(xùn)練的目標(biāo)檢測(cè)網(wǎng)絡(luò)預(yù)測(cè)每一幀圖像，建立先驗(yàn)語(yǔ)義信息，然后結(jié)合語(yǔ)義信息與深度圖分割出可移動(dòng)物體，剔除該物體上的特征點(diǎn).

對(duì)于目標(biāo)檢測(cè)，目標(biāo)周?chē)倪吔缈虿荒芡耆珨M合目標(biāo)的實(shí)際邊界，不可避免地包含一些背景信息.

在這種情況下，判斷特征點(diǎn)是否在目標(biāo)對(duì)象上并不容易.基于深度學(xué)習(xí)的實(shí)例分割雖然在分割效果上有很好的表現(xiàn)，但需要花費(fèi)較長(zhǎng)的計(jì)算時(shí)間.因此，需要一種快速分割方法來(lái)提取物體邊界框中的前景.因?yàn)槟繕?biāo)檢測(cè)框與深度圖結(jié)合得到的圖像區(qū)域內(nèi)只存在單個(gè)前景，所以本文考慮單目標(biāo)前景區(qū)域提取問(wèn)題，使用最大類(lèi)間方差算法.最大類(lèi)間方差法是一種自適應(yīng)的閾值選取算法,它按圖像的灰度特性,將圖像分成背景和目標(biāo)兩部分.背景和目標(biāo)之間的類(lèi)間方差越大,說(shuō)明構(gòu)成圖像的兩部分的差別越大,當(dāng)部分目標(biāo)錯(cuò)分為背景或部分背景錯(cuò)分為目標(biāo)都會(huì)導(dǎo)致兩部分差別變小[20].

RGB-D相機(jī)提供的深度圖存在像素的深度值為0的情況，可能是該點(diǎn)的深度值超出了相機(jī)量程，或者沒(méi)有檢測(cè)到深度.在計(jì)算深度分割閾值之前，應(yīng)該首先過(guò)濾掉深度圖中深度值為0的像素.因此，修改后的最大類(lèi)間方差算法如下.

對(duì)于圖像I(x,y)，假設(shè)圖像的大小為W×H，將前景(即目標(biāo))和背景的分割閾值記作T，圖像中灰度值小于閾值T的像素個(gè)數(shù)記作N0,像素灰度大于等于閾值T的像素個(gè)數(shù)記作N1，像素為0的個(gè)數(shù)記作E，屬于前景的像素點(diǎn)數(shù)占整幅圖像的比例記為ω0，則

(7)

其平均灰度為

(8)

將背景像素點(diǎn)數(shù)占整幅圖像的比例記為ω1，則

(9)

其平均灰度為

(10)

將圖像的總平均灰度記為μ，則

μ=ω0×μ0+ω1×μ1

(11)

將類(lèi)間方差記為g，則

g=ω0×(μ0-μ)2+ω1×(μ1-μ)2

(12)

將式(11)代入式(12),得到等價(jià)公式為

g=ω0×ω1×(μ0-μ1)2

(13)

最后，邊界框內(nèi)前背景分割的結(jié)果如圖4所示.

圖4 邊界框內(nèi)圖像分割

3 基于語(yǔ)義邊界框的回環(huán)檢測(cè)

只有相鄰關(guān)鍵幀數(shù)據(jù)時(shí)，視覺(jué)里程計(jì)無(wú)法消除累積誤差. 回環(huán)檢測(cè)模塊能夠給出除了相鄰幀之外的一些時(shí)間間隔更長(zhǎng)的約束. 回環(huán)檢測(cè)的實(shí)質(zhì)是圖像匹配問(wèn)題，但對(duì)實(shí)時(shí)性要求很高，需要滿(mǎn)足機(jī)器人快速搜索歷史幀數(shù)據(jù)的條件. 目前，一些成熟的視覺(jué)SLAM系統(tǒng)，如ORB-SLAM2，使用了BoVW方法來(lái)檢測(cè)回環(huán). 該方法將場(chǎng)景的一些視覺(jué)信息存儲(chǔ)為一個(gè)視覺(jué)詞典，利用尺度不變特征變換(scale-invariant feature transform，SIFT)、ORB等特征點(diǎn)構(gòu)造圖像特征，從而計(jì)算圖像之間的相似度.

雖然BoVW方法在開(kāi)源SLAM框架中取得了顯著的效果，但是由于可移動(dòng)物體的存在、光照條件的變化，BoVW方法識(shí)別真實(shí)回環(huán)的效率不高，容易出現(xiàn)誤匹配問(wèn)題. 此外，BoVW中的詞匯量越大，占用的內(nèi)存就越多. 本文專(zhuān)注于在線特征數(shù)據(jù)庫(kù)，嘗試通過(guò)使用不同于傳統(tǒng)BoVW的方法來(lái)減少存儲(chǔ)特征的內(nèi)存使用，同時(shí)通過(guò)使用圖像的深層和更抽象的特征而不是手工制作的特征來(lái)改進(jìn)回環(huán)檢測(cè). 使用BoVW方法，不同光線下ORB特征提取與匹配結(jié)果如圖5所示.

圖5 不同光線下ORB特征提取與匹配

圖5中的2張圖光線不同，圖(a)室內(nèi)的燈只開(kāi)了一半，可以看見(jiàn)后面的墻壁比較暗，圖(b)室內(nèi)的燈全開(kāi)了，可以看見(jiàn)后面的墻壁比較亮. 然后對(duì)這2張圖像提取ORB特征，每張圖都提取了200個(gè)特征，匹配成功的只有60個(gè)，特征點(diǎn)匹配成功數(shù)量顯著減少.

用該圖像測(cè)試目標(biāo)檢測(cè)算法，結(jié)果如圖6所示. 圖6(a)共檢測(cè)到12個(gè)物體，圖6(b)共檢測(cè)到15個(gè)物體，檢測(cè)到的物體類(lèi)別沒(méi)有變化，數(shù)量上有些差異，每個(gè)物體的置信度可能不同. 圖6(a)比圖6(b)少的3個(gè)物體分別為cup_0.45、chair_0.50和tv_0.41. 這里的0.45、0.50、0.41表示的是置信度，也就是說(shuō)去掉那些置信度比較小的物體，那么留下的物體在不同光線下差異就會(huì)很小，因此，考慮使用這些邊界框信息描述整幅圖像.

圖6 不同光線下目標(biāo)檢測(cè)結(jié)果

回環(huán)檢測(cè)前需要提取圖像特征，下面詳細(xì)介紹特征提取方法.從圖6的圖像中可以得到當(dāng)前幀中邊界框數(shù)量和每個(gè)邊界框的坐標(biāo)Bcd、面積Bar、類(lèi)別Bty、置信度Bcf.

環(huán)境亮度不同，目標(biāo)檢測(cè)得到的物體數(shù)量、類(lèi)別和置信度可能就不同，但是置信度越高，在不同亮度下檢測(cè)到的可能性就越大.因此，首先遍歷所有的邊界框，去掉置信度小于T1的，再統(tǒng)計(jì)邊界框的數(shù)量Bct.然后，按照邊界框的面積把邊界框從大到小排序，得到面積最大的邊界框Mab和與之對(duì)應(yīng)的類(lèi)別Mat，累加所有邊界框的面積得到Tba.如果Mab/Tba大于T2，則丟掉該圖像，目的是減小邊界框面積太大的物體對(duì)特征比對(duì)階段的影響.之后，根據(jù)Bty構(gòu)建特征表Bta.Bta特征結(jié)構(gòu)如表1所示.

表1 特征結(jié)構(gòu)

從表中可以看出，共有5種類(lèi)型，其中面積最大的類(lèi)別為T(mén)V, 該類(lèi)別下有2個(gè)實(shí)例，并按面積大小做了排序，最大面積比為0.383.最后，把Mat、Bta組合一起，得到圖像特征Fmap.特征提取后，進(jìn)行特征比對(duì)，算法流程如算法1所示.在算法1中，首先根據(jù)Mat加快匹配速度，之后為了過(guò)濾不匹配的圖像，使用了交并比(intersection over union，IOU)[21]，即2個(gè)矩形框面積的交集和并集的比值，記為I.假設(shè)2個(gè)邊界框A和B坐標(biāo)已知，面積分別為SA、SB,那么

(14)

算法1特征比對(duì)

輸入:當(dāng)前幀F(xiàn)map、歷史幀F(xiàn)list、閾值T

輸出: 是否檢測(cè)到回環(huán)

ForFmap_iinFlist

Bty_i=Fmap_i->Mat

判斷特征表中最大面積元素是否相同

IFFmap->Mat!=Bty_i:

continue

Bta=Fmap->Bta

Bta_i=Fmap_i->Bta

R1=calcIou(Bta[0] ,Bta_i[0] )

計(jì)算2個(gè)特征表中最大面積元素IOU

IFR1<0.8:

continue

R2=calcAllBoxIou(Bta,Bta_i)

IFR2>T

return True

return False

因此，根據(jù)式(14)可以得到R1,本文考慮到邊界框面積越大的物體越容易檢測(cè)到，而且在現(xiàn)實(shí)生活中位置改變的可能性就越小，比如水杯、鼠標(biāo)會(huì)經(jīng)常改變位置，但是顯示器、桌子就不會(huì)經(jīng)常改變位置，因此，采用加權(quán)IOU的方式來(lái)計(jì)算整幅圖像的特征相似度，calcAllBoxIou計(jì)算方式如下：

1) 保留當(dāng)前幀特征表Bta與歷史幀特征表Bta_i中有相同類(lèi)型的邊界框.

2) 根據(jù)Bta中記錄的面積比，計(jì)算2幅圖的加權(quán)IOU，得到R3.

3) 根據(jù)Bta_i中記錄的面積比，計(jì)算2幅圖的加權(quán)IOU，得到R4.

4) 返回 (R3+R4)/2.

其中計(jì)算加權(quán)IOU的方式為

(15)

式中：OA,B為A與B的加權(quán)IOU；N為相同類(lèi)別數(shù)量；Ci為當(dāng)前類(lèi)別對(duì)應(yīng)的邊界框數(shù)量；Si,j為該邊界框的面積比.

4 實(shí)驗(yàn)結(jié)果

把改進(jìn)的SLAM算法稱(chēng)為DyOD-SLAM，使用TUM RGB-D數(shù)據(jù)集和實(shí)驗(yàn)室內(nèi)采集的不同光線相同場(chǎng)景的數(shù)據(jù)集，從2個(gè)方面對(duì)提出的視覺(jué)SLAM優(yōu)化方法的性能進(jìn)行評(píng)估.實(shí)驗(yàn)中TUM數(shù)據(jù)集一共選取3個(gè)序列：freiburg3_walking_halfsphere(w_half)和freiburg3_walking_xyz (w_xyz)是2個(gè)動(dòng)態(tài)場(chǎng)景視頻序列，用來(lái)驗(yàn)證幀間估計(jì)的準(zhǔn)確性；freiburg1_room是靜態(tài)場(chǎng)景視頻序列，用來(lái)驗(yàn)證回環(huán)檢測(cè)的實(shí)時(shí)性和內(nèi)存消耗.這些序列包含640×480像素的8位RGB圖像和640×480像素的16位深度圖像.此外，真實(shí)相機(jī)移動(dòng)軌跡通過(guò)具有8個(gè)高速跟蹤攝像機(jī)的高精度運(yùn)動(dòng)捕獲系統(tǒng)獲得.

這2個(gè)選定的動(dòng)態(tài)序列是在辦公桌場(chǎng)景中拍攝的，2個(gè)人正在走路或坐著.w_xyz序列表示2個(gè)人走過(guò)辦公桌前的場(chǎng)景，并且將相機(jī)向著xyz方向移動(dòng)，同時(shí)保持角度不變.w_half序列表示2個(gè)人正走過(guò)辦公室，并且攝像機(jī)在直徑約1 m的小半球上移動(dòng).這些序列旨在評(píng)估視覺(jué)SLAM算法對(duì)移動(dòng)動(dòng)態(tài)對(duì)象的魯棒性.

4.1 相機(jī)位姿誤差實(shí)驗(yàn)

對(duì)于位姿誤差評(píng)估，本文采用絕對(duì)路徑誤差(absolute trajectory error，ATE)和相對(duì)位姿誤差(relative pose error，RPE)作為依據(jù).ATE表示真實(shí)軌跡點(diǎn)坐標(biāo)與SLAM系統(tǒng)定位點(diǎn)坐標(biāo)的誤差，可以通過(guò)對(duì)比估計(jì)軌跡與真實(shí)軌跡的重合度來(lái)判斷.RPE表現(xiàn)了SLAM系統(tǒng)得到的幀間位姿變換值與真實(shí)值的誤差，可以用兩者差值均方根的形式進(jìn)行表示，即

(16)

圖7 基于w_half數(shù)據(jù)集的絕對(duì)路徑軌跡

圖8 基于w_xyz數(shù)據(jù)集的絕對(duì)路徑軌跡

從圖7、8可以看出，DyOD-SLAM 在w_half、w_xyz 數(shù)據(jù)集中估計(jì)的運(yùn)動(dòng)軌跡與真實(shí)軌跡基本重合，相比較ORB-SLAM2 有較大的提升.

圖9中橫坐標(biāo)t表示系統(tǒng)運(yùn)行的時(shí)間. 可以看出,ORB-SLAM2在w_half序列前20 s估計(jì)的ERPE波動(dòng)較大，后續(xù)比較平穩(wěn)，而DyOD-SLAM僅在第8秒左右有較大的波動(dòng). 在w_xyz序列第7秒左右時(shí)，兩系統(tǒng)的ERPE均出現(xiàn)明顯波動(dòng). 分析其原因，視野中出現(xiàn)了較大面積的移動(dòng)目標(biāo)，動(dòng)態(tài)特征點(diǎn)導(dǎo)致了系統(tǒng)的ERPE增大. ORB-SLAM2在 w_half、w_xyz數(shù)據(jù)集上的ERPE上限為1.2 m，而DyOD-SLAM濾除了大部分動(dòng)態(tài)特征點(diǎn)，在2個(gè)數(shù)據(jù)集上誤差上限分別為0.16、0.08 m，遠(yuǎn)小于ORB-SLAM2，改進(jìn)的系統(tǒng)的ERPE波動(dòng)較低，說(shuō)明DyOD-SLAM更穩(wěn)定. 定量比較結(jié)果見(jiàn)表2、3，評(píng)價(jià)指標(biāo)包括均方根誤差(root mean squard error,RMSE)、平均誤差、標(biāo)準(zhǔn)差和中值誤差.

圖9 ORB-SLAM2與DyOD-SLAM在2個(gè)數(shù)據(jù)集上的RPE

表2 平移漂移結(jié)果

表2表示相機(jī)平移相對(duì)軌跡誤差，表3表示相機(jī)旋轉(zhuǎn)相對(duì)角度誤差. 表4與表5詳細(xì)地與DS-SLAM[22]做了比較. DyOD-SLAM在w_half序列,相對(duì)于ORB-SLAM2的RMSE性能分別提升91.3%、89.4%，在w_xyz序列，性能分別提升94.6%、92.3%.

表3 旋轉(zhuǎn)漂移結(jié)果

表4 與ORB-SLAM2相比平移誤差的改進(jìn)

表5 與ORB-SLAM2相比旋轉(zhuǎn)誤差的改進(jìn)

DyOD-SLAM在w_xyz序列相對(duì)平移誤差要優(yōu)于DS-SLAM.

2種算法在w_half序列的RMSE和標(biāo)準(zhǔn)差都大于w_xyz序列,原因是此序列相機(jī)不穩(wěn)定，圖像模糊，有些動(dòng)態(tài)特征點(diǎn)未檢測(cè)到. 從總體的性能提升可以看出，本文算法DyOD-SLAM在動(dòng)態(tài)場(chǎng)景數(shù)據(jù)集上的ERPE遠(yuǎn)小于ORB-SLAM2. 無(wú)論是平移，還是旋轉(zhuǎn)，在RMSE方面DyOD-SLAM精度提升了近90%，表明本文算法在動(dòng)態(tài)環(huán)境下具有較高的穩(wěn)定性.

4.2 回環(huán)檢測(cè)實(shí)驗(yàn)

這里測(cè)試用的數(shù)據(jù)集來(lái)自白天實(shí)驗(yàn)室內(nèi)的場(chǎng)景，通過(guò)固定相機(jī)并按照固定軌跡抓拍得到. 為了得到不同光線下的數(shù)據(jù)，先開(kāi)啟一半的燈得到room_dark_half數(shù)據(jù)集，然后開(kāi)啟全部燈得到room_light數(shù)據(jù)集，如圖10所示. 最后，使用準(zhǔn)確率- 召回率曲線來(lái)評(píng)估結(jié)果.

圖10 相同數(shù)據(jù)集、不同亮度的圖像對(duì)比

用目標(biāo)檢測(cè)算法提取2個(gè)數(shù)據(jù)集中所有圖像的語(yǔ)義邊界框，然后過(guò)濾置信度小于T1的邊界框，計(jì)算2張對(duì)應(yīng)圖像的I，得到的結(jié)果相加，然后取平均值得到Ia. 實(shí)驗(yàn)中T1從0開(kāi)始，測(cè)得當(dāng)T1為0.55時(shí)，Ia最大. 確定T1的值后，接下來(lái)需要確定T2的值. 假設(shè)圖像中最大面積的邊界框占所有邊界框面積的比值為Smax,通常情況下這個(gè)值越大表示這個(gè)圖像中小物體越多，在光線變化環(huán)境下這些物體被檢測(cè)到的可能性就越低，本文選取經(jīng)驗(yàn)值0.7作為T(mén)2的值.

實(shí)驗(yàn)中提取room_light數(shù)據(jù)集中圖像的ORB特征、語(yǔ)義邊界框特征構(gòu)建特征數(shù)據(jù)庫(kù). 首先，在room_light據(jù)集下做回環(huán)檢測(cè)測(cè)試；然后，在改變亮度后的room_dark_half數(shù)據(jù)集中遍歷圖像，提取特征并與特征數(shù)據(jù)庫(kù)做比較；最后，得到不同亮度數(shù)據(jù)集下的準(zhǔn)確率- 召回率曲線. 不同亮度數(shù)據(jù)集上的回環(huán)檢測(cè)比較的結(jié)果如圖11所示.

圖11 不同亮度數(shù)據(jù)集上的回環(huán)檢測(cè)比較

freiburg1_room 數(shù)據(jù)集含有1 362張圖片，統(tǒng)計(jì)了ORB特征數(shù)據(jù)庫(kù)與語(yǔ)義特征數(shù)據(jù)庫(kù)占用磁盤(pán)大小和內(nèi)存大小與所有圖像暴力匹配需要的時(shí)間，結(jié)果如表6所示.

由表6中可以看出，DyOD-SLAM占用系統(tǒng)資源非常少，較適合大場(chǎng)景下回環(huán)檢測(cè)，而且實(shí)時(shí)性更高. 圖11中，本文改進(jìn)的方法在原始亮度環(huán)境和相同召回率下，準(zhǔn)確率明顯高于傳統(tǒng)方法，特別是當(dāng)召回率小于0.38時(shí)，本文的方法一直保持100%的準(zhǔn)確率. 隨著召回率上升，準(zhǔn)確率下降，但是DyOD-SLAM的準(zhǔn)確率下降速度小于ORB-SLAM2，當(dāng)召回率為0.78時(shí)，2種方法準(zhǔn)確率差距最大. 當(dāng)亮度發(fā)生改變時(shí)，2種方法準(zhǔn)確率都有下降，DyOD-SLAM準(zhǔn)確率下降得比較少，在召回率小于0.60的情況下，基于語(yǔ)義特征的回環(huán)檢測(cè)方法性能都高于ORB-SLAM2. 準(zhǔn)確率下降的原因是有些物體未檢測(cè)到或置信度過(guò)低，發(fā)生在小物體比較多的情況下. 實(shí)驗(yàn)中發(fā)現(xiàn)，如果室內(nèi)場(chǎng)景中可識(shí)別的物體較少，本文方法較容易產(chǎn)生漏匹配問(wèn)題，因此，后續(xù)考慮將圖像全局特征與語(yǔ)義特征相結(jié)合能適應(yīng)更多場(chǎng)景.

表6 資源消耗對(duì)比

5 結(jié)論

1) 本文基于ORB-SLAM2，結(jié)合目標(biāo)檢測(cè)網(wǎng)絡(luò)修改幀間估計(jì)模塊、回環(huán)檢測(cè)模塊，提高系統(tǒng)在動(dòng)態(tài)環(huán)境下位姿估計(jì)的穩(wěn)定性.

2) 在幀間估計(jì)階段，使用目標(biāo)檢測(cè)網(wǎng)絡(luò)確定當(dāng)前圖像是否存在潛在可移動(dòng)物體，根據(jù)最大類(lèi)間方差算法分割邊界框內(nèi)前背景，過(guò)濾潛在動(dòng)態(tài)特征點(diǎn)，相對(duì)位姿準(zhǔn)確率提升近90%.

3) 在回環(huán)檢測(cè)階段，使用上個(gè)階段提取的語(yǔ)義邊界框信息，構(gòu)建語(yǔ)義特征，實(shí)現(xiàn)特征比對(duì)，在召回率小于0.60的情況下，相較于ORB-SLAM2準(zhǔn)確率提升20%，而且占用系統(tǒng)資源少，查詢(xún)速度快.

4) 本文只是根據(jù)語(yǔ)義信息來(lái)區(qū)分移動(dòng)物體，沒(méi)有實(shí)際驗(yàn)證是否發(fā)生移動(dòng)，存在遺漏動(dòng)態(tài)特征點(diǎn)的情況.

5) 本文的回環(huán)檢測(cè)方法適用于室內(nèi)，而且需要較豐富的可識(shí)別物體，適應(yīng)場(chǎng)景能力不足，未來(lái)將針對(duì)此問(wèn)題進(jìn)行研究.