張皓誠，王曉華，王文杰

（西安工程大學 電子信息學院，陜西 西安 710048）

引言

將特征點的實時單目同步定位與地圖構(gòu)建(oriented fast and rotated BRIEF-simultaneous localization and mapping，ORB-SLAM)算法應(yīng)用于真實的動態(tài)場景時，存在例如行人、車輛、動物等運動物體，也存在如行人攜帶的書包等移動性物體，該類運動物體和移動性物體的特征點會導致SLAM前端的幀間無法正常匹配，易出現(xiàn)特征跟蹤丟失、運行軌跡漂移等問題[1-3]，影響系統(tǒng)的定位精度以及魯棒性，使得構(gòu)建的環(huán)境地圖的精度大大降低。同時，在高動態(tài)場景中，物體的快速運動會導致圖像區(qū)域模糊，低質(zhì)量的特征點在相鄰幀間不穩(wěn)定。因此，如何提取高質(zhì)量圖像特征點以及如何區(qū)分動、靜態(tài)點和剔除動態(tài)特征點，成為高精度SLAM 要解決的問題。

方琪[4]等針對快速魯棒特征算法的描述符運算時間較長、匹配準確率低的問題，提出一種基于網(wǎng)格運動統(tǒng)計的改進快速魯棒特征圖像提取與匹配算法。在動、靜態(tài)特征點區(qū)分方面，Tan 等[5]對關(guān)鍵幀和當前幀進行比較，將特征變化大的關(guān)鍵幀替換成新選擇的關(guān)鍵幀，消除動態(tài)物體對SLAM系統(tǒng)的影響，但并未對動點處理，計算出來的相機位姿和實際位姿還是有較大偏差。Klappstein 等人[6]通過計算特征點是否違背光流法灰度不變假設(shè)為依據(jù)，判斷是否為動態(tài)特征點，但通過圖像分割理論只能粗略分割物體的輪廓，實際效果不佳。林付春等人[7]通過德洛內(nèi)三角對動態(tài)和靜態(tài)特征點進行分割，并利用幾何約束計算出明顯的外點，但由于受到環(huán)境中物體的紋理、亮度等因素影響，并不能完整地分割出運動物體的整體輪廓。Emanuele[8]等人將RGB-D 相機采集到動靜態(tài)特征點信息映射到三維空間，依據(jù)顯式建模來檢測動態(tài)物體，使用顏色信息編碼對相機進行位姿估計，并構(gòu)建全局地圖，但當運動特征點較多時，系統(tǒng)無法區(qū)分運動和靜止的特征點，位姿估計會有極大誤差。

語義分割方法[9]能夠提取出動態(tài)物體的輪廓，可作為機器人識別環(huán)境中動態(tài)特征點的先驗信息。Zhang[10]等人以O(shè)RB-SLAM2算法為基礎(chǔ)，使用YOLO[11]（you only look once）算法對檢測到的關(guān)鍵幀進行語義分割，同時剔除位于動態(tài)物體區(qū)域的特征點，以適應(yīng)動態(tài)環(huán)境，但在檢測目標時，由于YOLO算法給出的邊界框含有大量的背景信息，會對算法的正常運行產(chǎn)生干擾。Yu 等人[12]提出DS-SLAM（dynamic environments-SLAM），該算法以O(shè)RB-SLAM 為框架，依據(jù)光流法對原始RGB圖像進行運動一致性檢測的同時，采用SegNet（segmentation network）[13]網(wǎng)絡(luò)對該原始RGB 圖像進行語義分割，然后刪除異常值并估計位姿，在獨立線程中構(gòu)建語義八叉樹地圖。SegNet網(wǎng)絡(luò)對物體的邊緣輪廓分割較差，對于人體等存在局部運動現(xiàn)象。Berta 等人于2018年提出Dyna-SLAM（dynamic-SLAM）[14]算法，該算法結(jié)合實例分割網(wǎng)絡(luò)Mask-RCNN（mask-region convolutional neural networks）[15]以及多視圖幾何對系統(tǒng)運行場景中的動態(tài)特征點進行篩選，對圖像靜態(tài)部分提取ORB（oriented fast and rotated BRIEF）特征，進行場景恢復和建圖。將動態(tài)物體去掉之后檢測到的特征點會處于較遠或紋理較弱的區(qū)域，會導致跟蹤精度下降，同時，Dyna-SLAM 時間開銷比較大。不斷有學者提出新的語義分割網(wǎng)絡(luò)，力圖兼顧分割的精度和運行速度，以便在實際應(yīng)用中達到理想的效果。姜昊辰等人[16]使用輕量級的Light-weight RefineNet[17]語義分割網(wǎng)絡(luò)作為獨立線程，和ORBSLAM2[18]框架相結(jié)合，采用語義先驗的加權(quán)極線和深度約束的運動一致性檢測與動態(tài)特征點剔除的方法，雖然減少了位姿估計的誤差，但語義分割對于動態(tài)物體邊緣的感知效果較差，會對構(gòu)建靜態(tài)地圖造成重影等影響。精度高且實時性能較好的語義分割網(wǎng)絡(luò)以及高質(zhì)量的靜態(tài)特征點提取，為相機位姿估計和建圖打下良好基礎(chǔ)，也是動態(tài)SLAM 技術(shù)要解決的首要問題。

本文以BiseNet（bilateral segmentation network）[19]實時輕量級雙邊語義分割網(wǎng)絡(luò)為基礎(chǔ)，設(shè)計了基于分支空洞卷積的實時輕量級雙邊語義分割網(wǎng)絡(luò)，對環(huán)境中的潛在運動區(qū)域和靜態(tài)區(qū)域進行分割，作為語義先驗信息。同時對ORB算法中圖像金子塔各層網(wǎng)絡(luò)進行網(wǎng)格劃分，使得特征均勻化分布，解決環(huán)境中特征點在部分區(qū)域過于集中、部分區(qū)域過于分散而導致的圖像局部特征信息丟失和動態(tài)物體剔除后紋理較弱區(qū)域缺乏特征點而跟蹤精度下降問題；應(yīng)用幾何約束運動一致性檢測算法，采用對潛在運動區(qū)域像素塊間相似度判斷的策略，對動態(tài)特征點剔除，進而應(yīng)用靜態(tài)特征點估計系統(tǒng)的位姿，更新環(huán)境地圖。

1 動態(tài)環(huán)境下基于語義先驗的SLAM系統(tǒng)

1.1 ORB 圖像的特征點均勻化

物體的快速運動導致圖像像素點間灰度差較小，圖像特征的質(zhì)量不高。本文將圖像的每層金字塔圖像劃分為K個區(qū)域，在每個區(qū)域內(nèi)進行ORB特征點提取和檢測，對于檢測不到特征點的區(qū)域，調(diào)整閾值，使得ORB 圖像特征在各個區(qū)域可以均勻分布，改變由動態(tài)物體去掉之后特征點處于較遠或紋理較弱的區(qū)域而導致的跟蹤精度下降的現(xiàn)象。對于機器人實時采集的環(huán)境圖像，采用ORB算法提取特征點，圖像金字塔各層的縮放尺度表達式為

式中：n為 圖像金子塔層數(shù)；α是金子塔各層的尺度因子；Si是第i層圖像的縮放尺度。

若圖像中能夠提取的特征點總數(shù)為N，則每層金字塔圖像需要提取的特征點數(shù)目為

式中：Ni是第i層所需的特征點數(shù)目；1/Si是尺度因子的倒數(shù)。

對每層金字塔圖像進行區(qū)域劃分，定義Sirow為第i層圖像的行分割數(shù)，Sicol為 第i層圖像的列分割數(shù)，設(shè)定預提取的數(shù)目為

在劃分區(qū)域中，設(shè)置提取特征點的初始化閾值Tini=25，記提取的數(shù)目為Nini。判斷Nini與預期提取的特征點數(shù)目的大小，若判定此時有區(qū)域提取的特征點為空，調(diào)整閾值Tmin，完成區(qū)域內(nèi)特征點的提取，保證特征點分布均勻。改進前后的ORB算法特征提取效果如圖1所示。

由圖1 可以看出，圖像特征點均勻化改進后，極大地改善了ORB-SLAM 原算法中圖像特征點過于集中的情況，改進算法保證了每幀圖像中特征信息的完整性，有助于相機位姿估計和地圖精度的提升。

1.2 輕量級高精度語義分割及運動先驗

SLAM 系統(tǒng)增加語義分割線程，會增加實際運行的時間，因此設(shè)計輕量級高分割精度的網(wǎng)絡(luò)尤為重要。BiseNet 網(wǎng)絡(luò)精度高，在大目標的分割上較為精準，缺點是網(wǎng)絡(luò)感受野大，造會成圖像中部分物體的空間信息丟失，致使網(wǎng)絡(luò)高精度的優(yōu)勢不復存在。因此，本文改進BiseNet 結(jié)構(gòu)，設(shè)計了基于分支空洞卷積的雙邊語義分割網(wǎng)絡(luò)，結(jié)構(gòu)如圖2所示。

在原有的主干分支上下文路徑后添加分支空洞卷積為3 次3×3的深度可分離卷積提取特征，并設(shè)置6、12、18 不同比例的空洞卷積擴張率，調(diào)節(jié)網(wǎng)絡(luò)感受野，獲取上下文特征信息。

在圖中原有的Xception 模型中添加多尺度特征融合模塊，為了避免Xception 提取特征冗余或?qū)е履Ｐ瓦^擬合，將重復殘差結(jié)構(gòu)的數(shù)量調(diào)整為2（即stride=2）。將不同分辨率分支提取的特征先經(jīng)過3×3卷積，其次融合2 倍上采樣特征，再經(jīng)過1×1卷積進行多尺度融合，實現(xiàn)特征的反復提取與交換，豐富上下文信息。

將上下文路徑獲取的融合特征與原BiseNet 空間路徑獲取的特征使用雙邊引導的聚合層進行融合，通過不同的尺度去指導捕獲那些層次不同且固定編碼的特征，使得圖像分割效果更好。圖3 顯示了語義分割算法結(jié)果。

室內(nèi)場景中每個物體的運動可能性的先驗是不同的，針對PASCALVOC2012 數(shù)據(jù)集中的20 類物體，將人、動物、自行車作為潛在運動物體，椅子等為靜態(tài)物體，應(yīng)用改進BiseNet 語義分割網(wǎng)絡(luò)，獲得圖像的運動掩膜，即物體的運動先驗。

1.3 運動一致性檢測

地圖中不能存在運動的人或動物等，真實環(huán)境中會存在沒有先驗動態(tài)標記而具有移動性的物體（如人手里拿著的書），因此需要進一步判定靜態(tài)區(qū)域物體是否真正靜態(tài)，本文結(jié)合圖像的幾何約束進行靜態(tài)特征的判斷?？臻g中的點P，在雙目視覺中，滿足如圖4所示的幾何約束。

圖中：O1和O2表示相機的光心；空間點P在Image1 和Image2 中的投影點用P1和P2表示，歸一化坐標分別為p1=[u1,v1,1]和p2=[u2,v2,1]；極線l1和l2用平面方程Ax+By+C=0表示，則P1到極線l2的映射為

式中F為基礎(chǔ)矩陣。

根據(jù)點P2和極線l2的關(guān)系，可判斷特征點狀態(tài)。當特征點P2不在極線l2上，空間點P可能為動態(tài)特征點，但也不排除靜態(tài)點的系統(tǒng)誤差原因。因而，計算點到直線之間的距離D：

如果距離D的數(shù)值大于經(jīng)過實驗和統(tǒng)計分析得到的距離設(shè)定值ds，則將這些特征點確定為動態(tài)特征點。

若點P2在極線l2上，也并不能確定點P2為靜態(tài)點，該點可能來自潛在運動區(qū)域（如該點提取自人手中的書本）。由于對極約束和運動一致性檢測比較耗時，只需對當前幀與關(guān)鍵幀進行檢測，即取P1和P2周圍5×5大小的像素塊進行塊匹配，使用去均值的歸一化互相關(guān)（normalized cross correlation，NCC）計算像素塊之間的相似度ρ。

式中：F、T分別表示特征點P1和P2周邊5×5的像素塊；、分別表示特征點P1和P2周邊5×5像素塊的均值。

若像素塊間相似度|ρ|≥0.9，就認為這些特征點是靜態(tài)特征點；否則是動態(tài)特征點。通過對特征點與極線關(guān)系的判斷，確定動態(tài)特征點并剔除，圖5所示為動態(tài)點剔除效果圖。

對得到的當前幀中靜態(tài)特征點與參考幀靜態(tài)特征點進行關(guān)聯(lián)，通過最小化誤差函數(shù)可以獲取相機的最優(yōu)位姿估計，然后對相鄰關(guān)鍵幀所有靜態(tài)特征點構(gòu)建最小二乘，從而得到系統(tǒng)位姿，并根據(jù)語義分割網(wǎng)絡(luò)提取的語義信息剔除動態(tài)特征點，對剩余的靜態(tài)特征點結(jié)合深度信息構(gòu)建三維靜態(tài)環(huán)境地圖。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集實驗

TUM[20]數(shù)據(jù)集有大量的室內(nèi)環(huán)境圖像。為了驗證本文算法在動態(tài)環(huán)境下的魯棒性和定位精度，基于上述數(shù)據(jù)集對提出的算法在特征點的均勻度、語義分割的效果、相機軌跡誤差以及建圖效果方面進行實驗評估。針對測試實驗的計算機配置如表1所示，實驗所需環(huán)境中設(shè)計的視覺SLAM系統(tǒng)使用C++語言。

表1 實驗計算機所需配置Table 1 Required configuration of experimental computer

2.1.1 圖像特征點提取測試

特征點提取的時間決定了系統(tǒng)能否滿足實時性的需求。采用牛津大學VGG（visual geometry group）標準數(shù)據(jù)測試各算法在不同實驗場景特征點提取，表2 給出了分別使用本文提出的特征點提取算法與SIFT(scale-invariant feature transform)、SURF(speeded up robust features)、ORB 和AKAZE(accelerated-KAZE)算法對標準數(shù)據(jù)集進行特征點提取的用時比較。

表2 特征點提取用時比較Table 2 Comparison of feature point extraction time ms

從表2 可以看出，ORB算法提取特征點用時最短，SIFT算法提取特征點所需時間最長。本文ORB 特征均勻化方法帶來的耗時與原ORB算法基本相當，對ORB-SLAM2算法的實時性能不會產(chǎn)生本質(zhì)影響。

2.1.2 各語義分割算法分割效果測試

為了驗證改進的語義分割網(wǎng)絡(luò)具有高效的分割性能，選擇Nyu-V2 數(shù)據(jù)集進行實驗，并與當前常提及的語義分割算法進行比較，實驗結(jié)果如圖6所示。

如圖6所示，第1 列為原始圖，第2 列到第5列分別為SegNet、Mask-RCNN、BiseNet 和本文提出算法在Nyu-V2 數(shù)據(jù)集上的分割效果圖?？芍猄egNet算法對于門和櫥柜等大目標的分割出現(xiàn)了混淆，分割效果不佳。雖然Mask-RCNN、BiseNet在大目標的分割上較為精準，但物體邊緣細節(jié)和遮擋處的分割不夠準確。

為了更好地評估算法性能，各語義分割算法在Nyu-V2 數(shù)據(jù)集進行實驗，得到平均像素準確率（MPA）和平均交并比（MIoU），結(jié)果如表3所示。

表3 各算法在Nyu-V2 的平均像素準確率（MPA）和平均交并比（MIoU）Table 3 MPA and MIoU of each algorithm in Nyu-V2

可見，相比于其他3 種語義分割算法，本文算法的平均像素準確率達到了74.83%，平均交并比達到了74.91%。這是因為在上下文路徑模型中本文算法首先采用深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像的初始特征，然后在該模型后添加分支空洞卷積模型，與此同時嵌入多尺度融合增強網(wǎng)絡(luò)，充分保存高分辨率信息，使物體邊緣分割更加細致，有效提高了圖像語義分割的精度。

在跟蹤線程中，由于本文算法采用多線程并行操作，因此實際的系統(tǒng)消耗時間大致由系統(tǒng)時間消耗最長的線程決定。本文中語義分割線程的平均耗時為49 ms。另外，本文算法還增加了對動態(tài)區(qū)域的判定與剔除（平均耗時5 ms），最終跟蹤線程中每幀的平均運行時間為54 ms，即系統(tǒng)整體上能達到15 幀/s 的圖像處理速度，對改進前的BiseNet分割的實時性影響較小，能夠滿足算法的實時性要求。

2.1.3 各算法相機軌跡誤差實驗

TUM 數(shù)據(jù)集中的fr3 系列是典型的動態(tài)場景序列集。數(shù)據(jù)集提供了應(yīng)用KinectV1 相機拍攝的RGB 圖像以及真實運動軌跡（ground truth）。其中，walking 序列是人在桌子旁邊走動的場景圖像。為體現(xiàn)本文算法在動態(tài)場景下的定位效果，通過TUM數(shù)據(jù)集中的walking_rpy 序列進行實驗對比不同算法，采用相機運動軌跡和真實值之間的絕對軌跡誤差（absolute trajectory error，ATE）進行系統(tǒng)性能評價。對比的目標包括ORB-SLAM2算法、DSSLAM算法以及Dyna-SLAM算法，實驗結(jié)果如圖7所示。

從圖7 可以看出，在walking 系列數(shù)據(jù)集的高動態(tài)場景下，ORB-SLAM2算法由于應(yīng)用大量動態(tài)特征點進行位姿優(yōu)化，因而系統(tǒng)誤差偏大。DSSLAM 中使用了語義分割網(wǎng)絡(luò)SegNet，其對物體的邊緣輪廓分割較差，因而存在人體等非剛性物體的局部運動特征點，這些動態(tài)點沒有徹底刪除而造成位姿估計精度不高。DynaSLAM算法中語義分割網(wǎng)絡(luò)Mask-RCNN 性能好于SegNet，但靜態(tài)特征點分布不均勻，導致跟蹤精度和位姿估計下降。相較于其他3 種算法，本文算法中的語義分割網(wǎng)絡(luò)分割精度高，且特征點均勻分布，因而，軌跡誤差最小，位姿估計更精確。

2.1.4 各算法構(gòu)建地圖的效果對比

為了驗證提出算法在動態(tài)環(huán)境中的建圖效果，仍采用fr3 數(shù)據(jù)集中的高動態(tài)walking_rpy 序列構(gòu)建環(huán)境地圖，實驗結(jié)果如圖8所示。

從圖8 可以看出，ORB-SLAM2算法構(gòu)建的地圖會有很多重影。DynaSLAM 中，語義分割網(wǎng)絡(luò)分割效果不及本文改進的基于分支空洞卷積的雙邊語義分割網(wǎng)絡(luò)，同時特征點分布不均勻，部分區(qū)域中靜態(tài)特征點的稀疏性最終影響了填補效果。

2.2 實際場景實驗

2.2.1 稀疏點云地圖構(gòu)建

在實驗室環(huán)境中，應(yīng)用ORB-SLAM2算法和本文算法建立稀疏點云圖，圖9 為建圖效果，其中下方藍色四棱錐代表關(guān)鍵幀位姿。

在圖9(a)中，由于ORB-SLAM2算法不分辨特征點的運動狀態(tài)，引起位姿計算錯誤，進而導致3D 坐標計算錯誤，最終地圖點疊加在一塊區(qū)域中，無法區(qū)分。圖9(b)中，動態(tài)物體被檢測到，剔除后建立靜態(tài)環(huán)境地圖。

2.2.2 稠密點云地圖構(gòu)建

取出人在視野內(nèi)變化的2 幀圖像，使用本文算法計算相機位姿，基于TUM 提供的稠密點云生成腳本，利用RGB-D 圖像和對應(yīng)的相機位姿拼接成稠密三維點云，應(yīng)用常見算法與本文算法構(gòu)建稠密地圖，結(jié)果如圖10所示。

從圖10 可以看出，本文算法建立的點云圖幾乎不包含動態(tài)點，可以更好地表現(xiàn)靜態(tài)場景。

3 結(jié)論

針對現(xiàn)有視覺SLAM 系統(tǒng)在動態(tài)環(huán)境下定位精度不足或?qū)崟r性較差的問題，本文基于ORBSLAM2 進行改進，增加一個語義分割線程。通過設(shè)計分支空洞卷積的雙邊語義分割網(wǎng)絡(luò)獲取圖像的語義信息，與運動一致性檢測方法相結(jié)合，確定運動物體，剔除對應(yīng)動態(tài)區(qū)域的特征點，使用處理后的靜態(tài)特征點進行幀間匹配和位姿估計。在公開數(shù)據(jù)集上進行的實驗結(jié)果表明，改進后的算法能大幅度提高SLAM 系統(tǒng)在動態(tài)環(huán)境下的精度和魯棒性，且能保證實時性。但本文算法仍存在局限性，當相機移動過快或潛在運動物體出現(xiàn)突發(fā)的不連續(xù)運動時，會出現(xiàn)跟蹤丟失的情況，導致定位建圖失敗。在未來的工作中將考慮與慣性測量單元（inertial measurement unit，IMU）融合，增強系統(tǒng)在極端環(huán)境下的魯棒性，使系統(tǒng)具有更強的適用性。