王慧穎吳琦鳴王兆強(qiáng)

(1.中國消防救援學(xué)院基礎(chǔ)部，北京 102202；2.火箭軍工程大學(xué)基礎(chǔ)部，陜西 西安 710025)

視覺SLAM 技術(shù)可以實(shí)現(xiàn)智能機(jī)器對場景環(huán)境的觀測確定自身的運(yùn)動(dòng)軌跡，同時(shí)構(gòu)建出場景地圖[1]。 SLAM 技術(shù)的實(shí)現(xiàn)方式與難度和傳感器的形式與安裝方式密切相關(guān)。 比較成熟的視覺SLAM 系統(tǒng)有ORB-SLAM[2]、LSD-SLAM[3]、DSO[4]等。 基于目前的視覺SLAM 在靜態(tài)環(huán)境下技術(shù)已發(fā)展較成熟[5]，但離實(shí)際應(yīng)用還存在著距離，因?yàn)橥趯?shí)際場景中，尤其是室外存在著可移動(dòng)的人、汽車和自行車等，那么針對于靜態(tài)環(huán)境的SLAM 應(yīng)用于動(dòng)態(tài)場景中會(huì)被誤認(rèn)為是相機(jī)在運(yùn)動(dòng)，從而大大降低了其定位和構(gòu)圖的精度。 動(dòng)態(tài)場景中的運(yùn)動(dòng)物體會(huì)打破視覺SLAM 的靜態(tài)環(huán)境假設(shè)，因此動(dòng)態(tài)場景下提高視覺SLAM 精度成為一個(gè)重要的研究方向[6]。

運(yùn)動(dòng)著的物體行為相對比較復(fù)雜和具有不可預(yù)測性，目前研究對動(dòng)態(tài)場景中的運(yùn)動(dòng)物體進(jìn)行建模是先找出場景中動(dòng)態(tài)區(qū)域，然后在位姿估計(jì)中濾除這部分。 因此動(dòng)態(tài)場景區(qū)域的正確分割對于視覺SLAM 在動(dòng)態(tài)場景下的定位與構(gòu)圖精度的提升是非常重要。 動(dòng)態(tài)場景區(qū)域的分割往往采用多傳感器融合或者單個(gè)視覺傳感器來完成。 然而多傳感器融合[7－8]可以增加數(shù)據(jù)的維度，但在數(shù)據(jù)融合、傳感器標(biāo)定、搭載小型設(shè)備等方面還存在多個(gè)難題。 單個(gè)視覺傳感器方案中存在運(yùn)用深度學(xué)習(xí)檢測運(yùn)動(dòng)物體[9－10]，但深度學(xué)習(xí)方法僅僅能夠識別出移動(dòng)的人，無法與同樣移動(dòng)的椅子進(jìn)行區(qū)分，該方法對計(jì)算機(jī)硬件有著較高的要求。

動(dòng)態(tài)場景下，稠密光流算法也可以對動(dòng)態(tài)場景進(jìn)行分析[11－12]。 歐陽玉梅[13]將稠密光流法應(yīng)用于運(yùn)動(dòng)物體檢測，采用Gunner Farneback 稠密光流法計(jì)算各像素點(diǎn)位移矢量的光流矩陣，從而檢測運(yùn)動(dòng)物體，但該算法的計(jì)算量大，難以實(shí)現(xiàn)實(shí)時(shí)計(jì)算。

掩模[14]是指用選定的圖像、圖形或物體，對處理的圖像(全部或局部)進(jìn)行遮擋，來控制圖像處理的區(qū)域或處理過程。 用于覆蓋的特定圖像或物體稱為掩模。 掩?？梢杂糜谔崛「信d趣區(qū)域、屏蔽某些區(qū)域或結(jié)構(gòu)特征提出等用途。

基于上述分析，本文提出動(dòng)態(tài)場景下基于圖像掩模技術(shù)的雙目SLAM 算法，該算法可以保證實(shí)時(shí)性，其硬件成本低，便于攜帶，并方便搭載在其他設(shè)備上。 動(dòng)態(tài)區(qū)域掩模分割算法不受視覺SLAM 定位結(jié)果影響。

1 雙目SLAM 算法流程

本文提出的改進(jìn)的ORB-SLAM 算法采用雙目視覺SLAM 系統(tǒng)，利用ORB-SLAM 算法檢測出運(yùn)動(dòng)物體提取動(dòng)態(tài)特征點(diǎn)，將檢測出的運(yùn)動(dòng)物體區(qū)域作為圖像掩模并對該區(qū)域進(jìn)行分割，然后剔除特征匹配中動(dòng)態(tài)特征點(diǎn)，保證相機(jī)的定位和構(gòu)圖不受動(dòng)態(tài)場景中的運(yùn)動(dòng)物體的影響。 算法流程如圖1 所示。

圖1 基于圖像掩模技術(shù)的雙目SLAM 算法

2 基于圖像掩模技術(shù)的雙目SLAM算法

2.1 運(yùn)動(dòng)物體檢測

式中:σ0，σ1分別為前景和背景的像素?cái)?shù)目在整個(gè)圖像像素?cái)?shù)目中的占比；ω0，ω1分別為前景和背景的平均視差值；h 的最大值為分割閾值。 前景和背景分割如2(b)。 將錯(cuò)誤分類的靜態(tài)點(diǎn)剔除后，得到動(dòng)態(tài)特征點(diǎn)檢測結(jié)果，使用白色點(diǎn)標(biāo)出，如圖2(c)。并將動(dòng)態(tài)特征點(diǎn)所在區(qū)域視為運(yùn)動(dòng)物體區(qū)域，這里將運(yùn)動(dòng)物體區(qū)域作為圖像掩模。

圖2 運(yùn)動(dòng)物體檢測

2.2 動(dòng)態(tài)區(qū)域掩模分割

運(yùn)用圖像分割方法(simple linear iterative clustering，SLIC)[15]和SPS(slanted plane smoothing)[16]算法，對場景區(qū)域進(jìn)行分割，目的是為了獲得前景所有動(dòng)態(tài)掩模區(qū)域。 對于視差圖初始值的計(jì)算，利用SGBM(semi-global matching)算法可以得到更快速計(jì)算的方案，時(shí)長可以從2 s/frame 提升到80 ms/frame，滿足實(shí)時(shí)的計(jì)算要求。

輸入雙目圖像。 利用超像素分割算法對圖像初始分割，如圖3(a)。 為了彌補(bǔ)RGB 圖像色彩分布不均的情況，將RGB 轉(zhuǎn)為Lab 色彩空間圖像。 每個(gè)像素i，利用其顏色(Li，ai，bi)和坐標(biāo)(xi，yi)得到一個(gè)5 維向量(Li，ai，bi，xi，yi)，每兩個(gè)像素的相似性可由它們的向量距離來度量，距離越大，相似性越小。 該算法首先初始化種子點(diǎn)，然后每個(gè)種子點(diǎn)的周圍空間里搜索距離該種子點(diǎn)最近的若干像素，將它們歸為與該種子點(diǎn)一類，通過多次迭代直到所有像素點(diǎn)都?xì)w類完畢。 如圖3(a)分割結(jié)果，其中圖像的分割邊界對物體輪廓的描述較好。

圖3 場景區(qū)域的超像素分割

以總代價(jià)函數(shù)作為目標(biāo)函數(shù)，采用塊坐標(biāo)下降算法優(yōu)化該目標(biāo)函數(shù)求解最小值，經(jīng)迭代最終給出每個(gè)超像素塊對應(yīng)的斜面視差模型和邊界類型，邊界類型有相互遮擋型、共面型以及鉸鏈型，共3 種類型。 建立總代價(jià)函數(shù)，如下:

①當(dāng)前像素的顏色與分割塊中的平均顏色越接近，則其代價(jià)值Ccolor越小，其計(jì)算公式為:

式中:?l為當(dāng)前像素p在當(dāng)前分割塊l上的斜面參數(shù)，?i＝(Ai，Bi，Ci)，fp為當(dāng)前像素p的局外點(diǎn)所在的位置，如果符合當(dāng)前分割塊的斜面參數(shù)，則fp＝0；如果不符合則fp＝1，視差代價(jià)為λd。

④相鄰間的分割塊lp與lq像素點(diǎn)的數(shù)量越少則邊界長度代價(jià)Cbou越小，其計(jì)算公式:

如果兩個(gè)分割塊li和lj邊界為共面或鉸鏈型，則邊界上像素p的視差值可以近似由斜面參數(shù)?i和?j得出相鄰的兩個(gè)分割塊li和lj的視差值；如果兩個(gè)分割塊li和lj邊界為遮擋型，其遮擋塊的視差值大于被遮擋塊的視差值，這里γpen＝0。

場景分割優(yōu)化結(jié)果如圖3(b)所示，圖中標(biāo)的分割線為場景分割后的遮擋邊界，可以看出場景中主要區(qū)域輪廓都能得到正確分割。

基于上述成果，接下來圖像進(jìn)行動(dòng)態(tài)區(qū)域掩模分割，本文利用種子點(diǎn)生長的方法，把運(yùn)動(dòng)物體的特征點(diǎn)與區(qū)域輪廓進(jìn)行關(guān)聯(lián)，用矩形框標(biāo)記出運(yùn)動(dòng)物體所在的區(qū)域，該關(guān)聯(lián)算法如算法1 所示。

算法1 Rectangular box of dynamic region selection

算法將場景動(dòng)態(tài)區(qū)域掩模與區(qū)域中的動(dòng)態(tài)特征點(diǎn)進(jìn)行對應(yīng)實(shí)現(xiàn)關(guān)聯(lián)，結(jié)果如圖4(a)所示，其中圓點(diǎn)和三角點(diǎn)是動(dòng)態(tài)特征點(diǎn)和生長交點(diǎn)，分割線為場景分割后的遮擋邊界。 本文通過動(dòng)態(tài)特征點(diǎn)和生長交點(diǎn)來擬合最小多邊形，給出最小包圍矩形框，進(jìn)而得到場景區(qū)域中動(dòng)態(tài)區(qū)域掩模分割結(jié)果，如圖4(b)所示，白色框?yàn)閯?dòng)態(tài)區(qū)域掩模。

圖4 動(dòng)態(tài)區(qū)域掩模分割

2.3 基于圖像掩模剔除動(dòng)態(tài)區(qū)域

提升動(dòng)態(tài)場景中雙目SLAM 算法定位和構(gòu)圖的精度，本文在ORB-SLAM 算法中引入場景中動(dòng)態(tài)區(qū)域掩模分割和剔除動(dòng)態(tài)區(qū)域的功能，從而降低場景中運(yùn)動(dòng)物體對算法精度的影響。

ORB-SLAM 算法主要使用跟蹤、地圖構(gòu)建、閉環(huán)檢測三個(gè)線程[17－18]。 ORB-SLAM 算法將ORB 特征點(diǎn)輸入，利用光束平差法剔除誤差較大的特征點(diǎn)，從而減少場景中較遠(yuǎn)的運(yùn)動(dòng)物體的影響，但此方法對離相機(jī)較近的運(yùn)動(dòng)物體，其動(dòng)態(tài)特征點(diǎn)較多對相機(jī)位姿的估計(jì)精度會(huì)大大降低。 因此，本文在跟蹤線程中，為每一幀場景圖像都建立圖像掩模，那么ORB-SLAM 在輸入關(guān)鍵幀時(shí)也將與其對應(yīng)的圖像掩模保存下來，運(yùn)用這些關(guān)鍵幀形成點(diǎn)云地圖時(shí)，便可以利用圖像掩模將動(dòng)態(tài)區(qū)域剔除，從而繪制出靜態(tài)背景環(huán)境，最后利用靜態(tài)特征點(diǎn)進(jìn)行場景定位和構(gòu)圖，該操作大大降低了運(yùn)動(dòng)物體對雙目視覺SLAM系統(tǒng)的影響。

3 實(shí)驗(yàn)結(jié)果與分析

通過實(shí)驗(yàn)來驗(yàn)證本文提出算法的定位和構(gòu)圖的精準(zhǔn)度。 采用室外雙目相機(jī)和pioneer 移動(dòng)機(jī)器人小車一體化實(shí)驗(yàn)平臺在某小區(qū)獲取實(shí)拍數(shù)據(jù)。 采用計(jì)算機(jī)硬件為惠普筆記本電腦(CPU 為Intel i7－4720HQ，主頻最高為2.6 GHz，內(nèi)存8G，Windows 系統(tǒng))對雙目實(shí)拍場景圖片進(jìn)行處理實(shí)現(xiàn)室外機(jī)器人移動(dòng)狀態(tài)下的動(dòng)態(tài)區(qū)域掩模分割，例如對行走的人、行駛的車或其他運(yùn)動(dòng)物體，算法能夠?qū)崟r(shí)用矩形框?qū)鼍皡^(qū)域中動(dòng)態(tài)區(qū)域掩模完整框選出。

3.1 室外場景中動(dòng)態(tài)區(qū)域掩模分割實(shí)驗(yàn)

圖5(a)為實(shí)拍室外場景中出現(xiàn)行走的人(左)和靜止的人(右)，圖5(b)為實(shí)拍室外場景中出現(xiàn)騎車的人。 采用本文算法對實(shí)拍室外場景圖5 進(jìn)行動(dòng)態(tài)區(qū)域掩模分割，算法檢測結(jié)果采用白色框標(biāo)出，黑色框?yàn)槭謩?dòng)標(biāo)出真實(shí)動(dòng)態(tài)區(qū)域。 從圖中可以得出本文提出的算法能夠準(zhǔn)確標(biāo)注出場景區(qū)域中的動(dòng)態(tài)區(qū)域掩模部分。

圖5 室外動(dòng)態(tài)場景的動(dòng)態(tài)區(qū)域掩模分割

3.2 動(dòng)態(tài)場景下改進(jìn)的雙目視覺SLAM 算法實(shí)驗(yàn)

本文設(shè)計(jì)3 個(gè)實(shí)驗(yàn)將雙目相機(jī)的場景定位和構(gòu)圖的實(shí)驗(yàn)結(jié)果看作改進(jìn)SLAM 算法精度提升的檢驗(yàn)標(biāo)準(zhǔn)。 實(shí)驗(yàn)一設(shè)計(jì)雙目機(jī)器人處于靜止?fàn)顟B(tài)，雙目相機(jī)視野中存在運(yùn)動(dòng)物體(行人)。 實(shí)驗(yàn)二設(shè)計(jì)的方案是雙目機(jī)器人直線行走，視覺場景中始終有運(yùn)動(dòng)物體(行人)。 實(shí)驗(yàn)三設(shè)計(jì)的方案是雙目機(jī)器人行走軌跡是一個(gè)12 m×10 m 的矩形軌跡。 通過上述實(shí)驗(yàn)來驗(yàn)證本文提出的改進(jìn)SLAM 算法在動(dòng)態(tài)場景下的效果。

實(shí)驗(yàn)一設(shè)計(jì)的方案是行人在靜止的雙目機(jī)器人前方來回行走。 如圖6(a)所示，由于場景中動(dòng)態(tài)特征點(diǎn)導(dǎo)致相機(jī)定位軌跡出現(xiàn)漂移，場景構(gòu)建誤差大，跟蹤481 幀，平移RMSE 為0.128 7 m。 圖中場景構(gòu)建中黑色點(diǎn)為稀疏地圖，灰色點(diǎn)為雙目相機(jī)當(dāng)前位置，灰色曲線為漂移軌跡，場景構(gòu)建失真且存在動(dòng)態(tài)特征點(diǎn)。 如圖6(b)所示，通過本文算法采取動(dòng)態(tài)區(qū)域掩模分割和完全剔除動(dòng)態(tài)特征點(diǎn)，并利用環(huán)境中靜態(tài)特征點(diǎn)進(jìn)行定位，可以得到相對較準(zhǔn)確的定位結(jié)果，顯然圖中點(diǎn)云地圖與場景環(huán)境相符。

圖6 雙目相機(jī)靜止條件下的定位誤差對比圖

實(shí)驗(yàn)二設(shè)計(jì)的方案是雙目機(jī)器人直線行走，視覺場景中有持續(xù)運(yùn)動(dòng)物體(行人)。 圖7(a)為相機(jī)在動(dòng)態(tài)場景下分別采用ORB-SLAM 算法和本文算法進(jìn)行直線運(yùn)動(dòng)軌跡的定位結(jié)果，圖中給出的真實(shí)數(shù)據(jù)是以導(dǎo)航系統(tǒng)RTK(real-time kinematic)信號輸出的定位結(jié)果并作為參考數(shù)據(jù)；圖中ORB-SLAM 算法定位的結(jié)果，從圖7(b)中重建出的點(diǎn)云地圖出現(xiàn)較多雜點(diǎn)，相機(jī)定位產(chǎn)生嚴(yán)重漂移，該算法受到運(yùn)動(dòng)物體的影響較大；圖中本文算法定位軌跡，其定位軌跡漂移現(xiàn)象大幅度減少，圖7(c)中地圖重建雜點(diǎn)較少，點(diǎn)云地圖創(chuàng)建較準(zhǔn)確。 兩種算法直線定位軌跡絕對誤差如表1 所示。

圖7 室外機(jī)器人在實(shí)驗(yàn)1 中定位結(jié)果

表1 直線定位軌跡的絕對誤差

從實(shí)驗(yàn)一中，本文算法在動(dòng)態(tài)場景中的定位精度能夠提高76.1%，該值的計(jì)算公式如下:

式中:κ為定位精度提高值，τ和m分別為ORBSLAM 算法和本文算法在實(shí)驗(yàn)一中的定位誤差。

實(shí)驗(yàn)三設(shè)計(jì)的方案是雙目機(jī)器人行走軌跡為12 m×12 m 的矩形軌跡，視覺場景中有持續(xù)運(yùn)動(dòng)的多目標(biāo)(行人)。 根據(jù)本文提出的算法需要將動(dòng)態(tài)場景中的動(dòng)態(tài)區(qū)域掩模分割，然后剔除ORB 特征點(diǎn)，如圖8 所示。

圖8 實(shí)驗(yàn)二動(dòng)態(tài)區(qū)域處理結(jié)果

為了更好的驗(yàn)證本文算法的可靠性，實(shí)驗(yàn)對動(dòng)態(tài)場景下雙目機(jī)器人行走定位軌跡進(jìn)行5 次重復(fù)測量，如圖9 所示。 圖中“Δ”為軌跡真實(shí)數(shù)據(jù)，黑色粗線(本文算法)定位軌跡相比黑色細(xì)線(ORB-SLAM算法)的定位軌跡誤差小，定位更準(zhǔn)確。

圖9 本文算法與ORB-SLAM 算法的重復(fù)5 次實(shí)驗(yàn)定位軌跡對比

3.3 改進(jìn)SLAM 算法的時(shí)間分析

利用本文提出的改進(jìn)SLAM 算法對雙目機(jī)器人在動(dòng)態(tài)場景下采集的前后幀圖像的處理時(shí)間進(jìn)行測試。 測試步驟包括:①動(dòng)態(tài)特征點(diǎn)檢測；②場景區(qū)域分割；③動(dòng)態(tài)區(qū)域掩模分割。 算法運(yùn)行時(shí)間測試結(jié)果如表2 所示，總體平均下來耗費(fèi)時(shí)間為85.2ms，該算法在跟蹤線程上處理速度可達(dá)4.7 frame/s。

表2 改進(jìn)SLAM 算法圖像處理時(shí)間測試結(jié)果

4 結(jié)論

本文提出了基于圖像掩模技術(shù)的雙目SLAM 算法能夠提高室外定位和構(gòu)圖精度。 該方法以前后幀的特征點(diǎn)到極線的距離與閾值之間關(guān)系作為動(dòng)態(tài)特征點(diǎn)的判斷依據(jù)，從而在圖像中得出動(dòng)態(tài)特征點(diǎn)，再者利用圖像分割法和SPS 算法對場景區(qū)域進(jìn)行分割，融合上述圖像處理成果，通過計(jì)算在圖像中準(zhǔn)確標(biāo)出動(dòng)態(tài)區(qū)域掩模分割框，再利用圖像掩模剔除圖像中動(dòng)態(tài)特征點(diǎn)，利用得到的靜態(tài)環(huán)境來獲得場景定位及構(gòu)圖結(jié)果。 通過對改進(jìn)算法的實(shí)驗(yàn)測試結(jié)果得出，在雙目相機(jī)按照設(shè)定軌跡移動(dòng)的情況下，在動(dòng)態(tài)場景中的定位精度提高76.1%，構(gòu)圖精度顯著提高，改進(jìn)SLAM 算法圖像處理整體耗費(fèi)時(shí)長符合實(shí)時(shí)性要求。 因此，本文提出的改進(jìn)SLAM 算法在動(dòng)態(tài)場景下是有效的。