亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        語(yǔ)義線特征輔助的動(dòng)態(tài)SLAM

        2023-01-01 00:00:00陳帥周非吳凱

        摘要:動(dòng)態(tài)環(huán)境干擾是視覺(jué)同時(shí)定位與地圖構(gòu)建(SLAM)領(lǐng)域內(nèi)一個(gè)亟待解決的問(wèn)題,場(chǎng)景中的運(yùn)動(dòng)對(duì)象會(huì)嚴(yán)重影響系統(tǒng)定位精度。結(jié)合語(yǔ)義信息和幾何約束更強(qiáng)的線特征輔助基于傳統(tǒng)ORB特征的SLAM系統(tǒng)來(lái)解決動(dòng)態(tài)SLAM問(wèn)題。首先采用深度學(xué)習(xí)領(lǐng)域的優(yōu)秀成果SOLOv2作為場(chǎng)景分割網(wǎng)絡(luò),并賦予線特征語(yǔ)義信息;完成物體跟蹤和靜態(tài)區(qū)域初始化后,使用mask金字塔提取并分類特征點(diǎn);再使用極線約束完成動(dòng)態(tài)物體上點(diǎn)線特征的剔除;最后融合靜態(tài)點(diǎn)線特征完成位姿的精確估計(jì)。在TUM動(dòng)態(tài)數(shù)據(jù)集上的實(shí)驗(yàn)表明,所提出的系統(tǒng)比ORB-SLAM3的位姿估計(jì)精度提高了72.20%,比DynaSLAM提高了20.42%,即使與近年來(lái)同領(lǐng)域內(nèi)的優(yōu)秀成果相比也有較好的精度表現(xiàn)。

        關(guān)鍵詞:同時(shí)定位與地圖構(gòu)建;動(dòng)態(tài)環(huán)境;實(shí)例分割;SOLOv2;線特征

        中圖分類號(hào):TP391文獻(xiàn)標(biāo)志碼:A

        文章編號(hào):1001-3695(2023)05-047-1583-06

        0引言

        基于視覺(jué)的同時(shí)定位與地圖構(gòu)建是指機(jī)器人在未知環(huán)境中,通過(guò)對(duì)視覺(jué)傳感器獲得的環(huán)境信息進(jìn)行處理后,實(shí)現(xiàn)自身定位和運(yùn)動(dòng)估計(jì),并完成對(duì)所處環(huán)境的地圖繪建任務(wù)[1]。而場(chǎng)景中運(yùn)動(dòng)對(duì)象的干擾直接影響了整個(gè)SLAM系統(tǒng)的運(yùn)動(dòng)估計(jì)精度,并間接導(dǎo)致錯(cuò)誤的建圖。復(fù)雜動(dòng)態(tài)環(huán)境是SLAM系統(tǒng)部署在真實(shí)環(huán)境時(shí)必須考慮的問(wèn)題,同時(shí)也是近年來(lái)SLAM領(lǐng)域的重要研究方向[2]。針對(duì)動(dòng)態(tài)SLAM問(wèn)題的解決方案可按異常特征檢測(cè)方式的不同分為基于傳統(tǒng)幾何約束的方法和基于深度學(xué)習(xí)的方法[3]。

        幾何約束法一般作用于特征初步提取之后,先使用全局點(diǎn)特征、線特征或者面特征計(jì)算出連續(xù)時(shí)間域全局特征的共有約束,再利用此約束遍歷全局特征,篩檢出偏離共有約束的離群值。Sun等人[4]提出了一種結(jié)合RGB-D數(shù)據(jù)并使用粒子濾波器跟蹤篩除圖像中的運(yùn)動(dòng)區(qū)域塊,該團(tuán)隊(duì)之后又提出了融合光流的OFD-SLAM[5]。Zhang等人[6]使用稠密光流分割場(chǎng)景中的動(dòng)靜態(tài)區(qū)域,并使用RGB-D信息重建靜態(tài)背景點(diǎn)云。StaticFusion[7]使用加權(quán)優(yōu)化概率化的圖像分割結(jié)果來(lái)實(shí)現(xiàn)靜態(tài)背景的重建。Dai等人[8]把點(diǎn)特征按空間相關(guān)性對(duì)其動(dòng)靜狀態(tài)進(jìn)行判別。Kim等人[9]提出了一種基于距離圖像的方法,該方法通過(guò)檢查激光雷達(dá)掃描結(jié)果和預(yù)構(gòu)建地圖之間的一致性來(lái)刪除動(dòng)態(tài)點(diǎn),并使用多分辨率錯(cuò)誤預(yù)測(cè)還原算法來(lái)細(xì)化地圖。ERASOR[10]則是一種基于柵格占據(jù)的動(dòng)態(tài)物體過(guò)濾方法,它在構(gòu)建好點(diǎn)云地圖后再對(duì)地圖進(jìn)行處理,實(shí)現(xiàn)對(duì)動(dòng)態(tài)場(chǎng)景建圖的優(yōu)化。

        不能充分理解環(huán)境動(dòng)態(tài)信息是導(dǎo)致SLAM系統(tǒng)較差精度表現(xiàn)的直接原因。在傳統(tǒng)幾何法的基礎(chǔ)上引入基于深度學(xué)習(xí)的圖像分割和檢測(cè),如今已成為解決動(dòng)態(tài)SLAM問(wèn)題的有效方案。DS-SLAM結(jié)合SegNet[11]語(yǔ)義分割網(wǎng)絡(luò)識(shí)別環(huán)境中的運(yùn)動(dòng)對(duì)象,并用稀疏關(guān)鍵點(diǎn)光流來(lái)檢測(cè)外點(diǎn)特征。DynaSLAM[12]使用了檢測(cè)和分割精度更高的MaskR-CNN,再結(jié)合多視圖幾何法和光流法在動(dòng)態(tài)環(huán)境中取得了優(yōu)異的精度表現(xiàn),此外該系統(tǒng)還可以修復(fù)運(yùn)動(dòng)對(duì)象遮擋區(qū)域。Detect-SLAM[13]利用SSD網(wǎng)絡(luò)對(duì)關(guān)鍵幀進(jìn)行目標(biāo)檢測(cè),并通過(guò)在幀間關(guān)聯(lián)2D和3D點(diǎn)的運(yùn)動(dòng)狀態(tài)實(shí)現(xiàn)外點(diǎn)濾除。Ji等人[14]提出了一個(gè)高效的幾何模塊,通過(guò)將深度圖像聚類為幾個(gè)區(qū)域,并通過(guò)它們的重投影誤差識(shí)別動(dòng)態(tài)區(qū)域來(lái)檢測(cè)未知的移動(dòng)物體。Chen等人[15]將激光雷達(dá)掃描變成一個(gè)體素化的稀疏四維點(diǎn)云,并通過(guò)結(jié)合殘差圖像提高了網(wǎng)絡(luò)對(duì)移動(dòng)目標(biāo)的分割性能,其設(shè)計(jì)的LMNet啟蒙了諸多的后續(xù)研究。MID-Fusion[16]是一種考慮場(chǎng)景對(duì)象為坐標(biāo)中心的方案,它結(jié)合先驗(yàn)物體模型來(lái)同時(shí)計(jì)算動(dòng)態(tài)對(duì)象和相機(jī)各自的運(yùn)動(dòng)。為了同時(shí)跟蹤場(chǎng)景中的多個(gè)剛體,Henein等人[17]提出了一種不依賴先驗(yàn)三維建模的運(yùn)動(dòng)跟蹤模型,然后在對(duì)象和相機(jī)跟蹤的因子圖優(yōu)化框架中集成運(yùn)動(dòng)模型和語(yǔ)義信息。VDO-SLAM[18]也提出使用包含所有物體運(yùn)動(dòng)和相機(jī)運(yùn)動(dòng)的統(tǒng)一模型描述動(dòng)態(tài)場(chǎng)景,但其需要預(yù)先完成圖像分割和場(chǎng)景光流計(jì)算,無(wú)法實(shí)現(xiàn)獨(dú)立運(yùn)行。DynaSLAMII[19]通過(guò)優(yōu)化邊界框結(jié)構(gòu)實(shí)現(xiàn)2D特征匹配三維物體,進(jìn)一步提高了系統(tǒng)對(duì)于運(yùn)動(dòng)物體的多目標(biāo)跟蹤能力。RDS-SLAM[20]是一個(gè)接近實(shí)時(shí)的語(yǔ)義動(dòng)態(tài)SLAM系統(tǒng),它使用關(guān)鍵幀分割結(jié)合三維點(diǎn)貝葉斯濾波模型完成外點(diǎn)檢測(cè)。

        盡管這些SLAM方法在動(dòng)態(tài)環(huán)境中取得了很大的進(jìn)步,但在特定動(dòng)態(tài)場(chǎng)景中仍面臨著錯(cuò)誤位姿估計(jì),甚至系統(tǒng)無(wú)法運(yùn)行等問(wèn)題,并且對(duì)于跟蹤精度和運(yùn)行效率的權(quán)衡也還有可優(yōu)化的空間。由此,本文作出了以下貢獻(xiàn):a)在SALM系統(tǒng)中集成了近年來(lái)性能和效率表現(xiàn)更為先進(jìn)的SOLOv2實(shí)例分割網(wǎng)絡(luò),對(duì)場(chǎng)景中的物體實(shí)現(xiàn)像素級(jí)檢測(cè)分割;b)結(jié)合語(yǔ)義信息和線特征,跟蹤場(chǎng)景物體并初始化掩膜(mask)金字塔,用以完成點(diǎn)特征的提取、補(bǔ)充和分類,再結(jié)合傳統(tǒng)極線約束,實(shí)現(xiàn)物體運(yùn)動(dòng)狀態(tài)的檢測(cè);c)幾何約束更強(qiáng)的線特征還被用做動(dòng)態(tài)場(chǎng)景中的特征補(bǔ)充,依靠點(diǎn)線特征融合實(shí)現(xiàn)更精確的相機(jī)位姿估計(jì)。

        1語(yǔ)義點(diǎn)線動(dòng)態(tài)SLAM系統(tǒng)

        1.1系統(tǒng)概述

        考慮到ORB-SLAM3[21]是靜態(tài)環(huán)境假設(shè)下點(diǎn)特征SLAM的優(yōu)秀代表,本文以其RGB-D版本系統(tǒng)為基線框架,針對(duì)動(dòng)態(tài)環(huán)境展開(kāi)研究工作。因此本文提出的系統(tǒng)仍然包含tracking、localMapping、loopClosing三大基礎(chǔ)線程,此外還新增了快速LSD(linesegmentdetector)線特征提取和SOLOv2分割并行線程。圖1簡(jiǎn)明地描述了本文系統(tǒng)的整體框架。

        首先,在構(gòu)造當(dāng)前幀信息的同時(shí)開(kāi)啟線特征提取和實(shí)例分割線程,把重開(kāi)銷的兩部分設(shè)計(jì)為并行線程可大幅提高系統(tǒng)運(yùn)行效率;之后通過(guò)線特征匹配和相鄰幀的分割結(jié)果,計(jì)算confidence矩陣完成物體跟蹤;另一方面,為了提高點(diǎn)特征的可靠性和有效性,本系統(tǒng)使用實(shí)例分割掩膜的金字塔來(lái)輔助提取關(guān)鍵點(diǎn),實(shí)現(xiàn)將關(guān)鍵點(diǎn)分類到各個(gè)物體和背景中并適當(dāng)補(bǔ)充背景上的點(diǎn);隨后,通過(guò)假設(shè)絕對(duì)靜態(tài)背景的關(guān)鍵點(diǎn)匹配對(duì)計(jì)算基礎(chǔ)矩陣,并以此對(duì)物體表面匹配點(diǎn)對(duì)檢查極線約束;緊接著,按照極線約束檢查結(jié)果和前面的物體跟蹤結(jié)果來(lái)劃分動(dòng)靜態(tài)區(qū)域;最后,對(duì)靜態(tài)的關(guān)鍵點(diǎn)對(duì)和關(guān)鍵線對(duì)進(jìn)行重投影誤差融合,完成相機(jī)位姿估計(jì)并在后端完成稀疏點(diǎn)云的建圖工作。

        1.2SOLOv2實(shí)例分割

        在實(shí)例分割領(lǐng)域,Wang等人[22]從masklearning和快速NMS(非極大值抑制)兩個(gè)方面出發(fā),提出了SOLOv2這一高效率兼高精度的mask生成網(wǎng)絡(luò)。SOLOv2既不需要初階段目標(biāo)檢測(cè),也不需要嵌入學(xué)習(xí),它至多能以31.3FPS的運(yùn)行速度達(dá)到37.1%的mAP,其速度和精度表現(xiàn)一定程度地領(lǐng)先于MaskR-CNN和Yolact,非常適合作為SLAM系統(tǒng)的語(yǔ)義信息提取網(wǎng)絡(luò)??剂康綄?shí)時(shí)性,本文選用較為輕量化版本的模型SOLOv2_Light_448_R50_3x在COCO數(shù)據(jù)集上進(jìn)行訓(xùn)練,并使用TensorRT推理引擎完成部署。

        1.3語(yǔ)義線特征

        對(duì)分割所得實(shí)例進(jìn)行跟蹤可以提高系統(tǒng)對(duì)場(chǎng)景中運(yùn)動(dòng)物體的持續(xù)檢測(cè)能力。例如,文獻(xiàn)[18]提取并分類靜態(tài)區(qū)域的點(diǎn)和動(dòng)態(tài)對(duì)象的點(diǎn),再通過(guò)掩膜區(qū)域關(guān)鍵點(diǎn)的匹配來(lái)跟蹤物體,而Cube-SLAM[23]和EAO-SLAM[24]都使用到了邊緣線特征輔助幀間物體的關(guān)聯(lián)。所以為提高系統(tǒng)對(duì)實(shí)例中的小物體和具有良好幾何輪廓物體的跟蹤效果,本文使用幾何約束更為敏感的線特征對(duì)物體進(jìn)行匹配,同時(shí)提取到的線特征還可以作為良好的空間約束,進(jìn)一步提高后續(xù)的位姿估計(jì)精度。

        出于效率考慮,本文參考PL-VINS[25]的改進(jìn)快速LSD算法對(duì)輸入幀提取線特征,對(duì)當(dāng)前幀Ik提取到的關(guān)鍵線使用LBD描述后與參考幀Ik-1關(guān)鍵線完成描述子特征匹配,對(duì)動(dòng)態(tài)和靜態(tài)線特征不加區(qū)分。線特征匹配基于LBD描述子的漢明距離,使用KNN算法,并設(shè)置非極大值抑制閾值為0.7(TUM_fr3序列)。考慮時(shí)間域的語(yǔ)義信息流動(dòng)性,即兩幀間的實(shí)例分割結(jié)果并沒(méi)有相互關(guān)聯(lián),例如Ik-1幀的椅子01在Ik幀的檢測(cè)結(jié)果是椅子02??蓪㈥P(guān)鍵線與并行線程的SOLOv2實(shí)例分割結(jié)果融合,得到包含語(yǔ)義信息的線特征。當(dāng)關(guān)鍵線的兩個(gè)端點(diǎn)位于同一物體mask掩膜上時(shí),則認(rèn)為該線段為該物體上的特征。假設(shè)背景M0和實(shí)例掩膜Midclass構(gòu)成集合M,其中實(shí)例編號(hào)嚴(yán)格遵循COCO數(shù)據(jù)集的標(biāo)簽類別次序,如M0201中的“01”代表類別“人”,“02”代表第02號(hào)人。本文通過(guò)遍歷關(guān)鍵線匹配對(duì)用語(yǔ)義線特征對(duì)物體的跟蹤依賴于如圖2所示的confidence矩陣。

        confidence矩陣大小為m×n,(0,1)至(0,n-1)為參考幀物體實(shí)例,(1,0)至(m-1,0)為當(dāng)前幀物體實(shí)例,令實(shí)例Midclass為編號(hào)class×100+id,(x,y)為當(dāng)前幀實(shí)例x與參考幀實(shí)例y的有效匹配線對(duì)的數(shù)量,第m行和n列為各項(xiàng)的線匹配數(shù)總和。對(duì)分配結(jié)果使用非極大值抑制并取最優(yōu)匹配,即可得到幀間物體實(shí)例的實(shí)例追蹤關(guān)系。追蹤效果如圖3所示,成功使用語(yǔ)義線特征對(duì)物體實(shí)現(xiàn)持續(xù)追蹤,并為新出現(xiàn)的物體賦予新的編號(hào)。

        如果當(dāng)前幀產(chǎn)生實(shí)例的成功跟蹤,則傳遞參考幀的物體運(yùn)動(dòng)狀態(tài),結(jié)合跟蹤到的所有靜態(tài)物體Midclass和背景M0,可以得到如式(1)所示的初始靜態(tài)區(qū)域。

        1.4點(diǎn)線約束的動(dòng)態(tài)物體檢測(cè)

        文獻(xiàn)[11~13]對(duì)提取到的特征直接按掩膜類別做篩除,并使用基于特征幀間投影的幾何方法來(lái)檢測(cè)動(dòng)態(tài)特征。在此基礎(chǔ)上,本文提出mask金字塔和遞進(jìn)式極線約束計(jì)算方法,更進(jìn)一步地優(yōu)化了上述方法中的兩個(gè)問(wèn)題:a)按標(biāo)簽類別劃分動(dòng)態(tài)物體并直接刪除動(dòng)態(tài)區(qū)域特征后,特征過(guò)少嚴(yán)重影響跟蹤精度的問(wèn)題;b)極線幾何約束在動(dòng)態(tài)場(chǎng)景中的有效性下降問(wèn)題。

        初始基礎(chǔ)矩陣Finit的準(zhǔn)確性直接關(guān)系極線約束鑒別動(dòng)態(tài)物體的效果,為了使用不包含物體表面的關(guān)鍵點(diǎn)計(jì)算出更為精確可靠的背景關(guān)鍵點(diǎn)基礎(chǔ)矩陣,本文結(jié)合前面SOLOv2已得的分割實(shí)例,修改了ORB-SLAM3中的關(guān)鍵點(diǎn)提取方法,在計(jì)算輸入幀八層金字塔的同時(shí)也計(jì)算實(shí)例掩膜的八層金字塔,如圖4所示。mask金字塔有兩個(gè)作用:a)保證點(diǎn)集中的所有點(diǎn)可以在各自層的各自cell塊內(nèi)都能對(duì)關(guān)鍵點(diǎn)按實(shí)例分類為物體(彩色部分)點(diǎn)集pki∈Midclass和背景(黑色部分)點(diǎn)集pki∈M0;b)在cell塊內(nèi)的背景區(qū)域增加關(guān)鍵點(diǎn)數(shù)量,以獲得更準(zhǔn)確的初始基礎(chǔ)矩陣。

        3實(shí)驗(yàn)與分析

        本文系統(tǒng)在工作站電腦上完成測(cè)試,硬件配置為AMDEpyc7452CPU,最高睿頻3.35GHz,32核64線程,256GBRAM和RTX2080TiGPU,系統(tǒng)環(huán)境為Ubuntu20.04。

        TUM數(shù)據(jù)集[27]是較為權(quán)威的RGB-D室內(nèi)開(kāi)源數(shù)據(jù)集,其中動(dòng)態(tài)場(chǎng)景部分在動(dòng)態(tài)SLAM領(lǐng)域中被廣泛地用于各項(xiàng)指標(biāo)評(píng)估。其動(dòng)態(tài)部分可分為低動(dòng)態(tài)場(chǎng)景和高動(dòng)態(tài)場(chǎng)景兩大類,在TUM_fr3_sitting序列中包含人員和物體的微小運(yùn)動(dòng),TUM_fr3_walking序列中包含人員和物體的大幅度運(yùn)動(dòng),十分考驗(yàn)系統(tǒng)的跟蹤魯棒性。兩大類的相機(jī)運(yùn)動(dòng)還可以分為四小類:xyz指相機(jī)在三個(gè)主軸方向運(yùn)動(dòng);static指相機(jī)幾乎不動(dòng);rpy指相機(jī)沿三個(gè)坐標(biāo)軸做翻滾角、俯仰角、偏航角的旋轉(zhuǎn)運(yùn)動(dòng);halfsphere指相機(jī)在半球面上運(yùn)動(dòng)。

        3.1跟蹤精度實(shí)驗(yàn)

        對(duì)本文提出的SOLOv2輔助的語(yǔ)義點(diǎn)線動(dòng)態(tài)SLAM系統(tǒng)(SOLOpointlinedynamicSLAM,SPLD-SLAM)進(jìn)行跟蹤精度的定量評(píng)估,并以基線ORB-SLAM3和多個(gè)優(yōu)秀的動(dòng)態(tài)場(chǎng)景SLAM方案為參考對(duì)象。評(píng)估指標(biāo)為絕對(duì)軌跡誤差(absolutetrajectoryerror,ATE),即本系統(tǒng)對(duì)相機(jī)位姿的估計(jì)值與數(shù)據(jù)集真值之間的差異。表1為本文SPLD-SLAM與基線系統(tǒng)的ATE指標(biāo)對(duì)比,其中包括了均方誤差(RMSE)、平均誤差(mean)、中位數(shù)誤差(median)和標(biāo)準(zhǔn)差(S.D.)。其中,RMSE項(xiàng)直接描述估計(jì)值與真值之差,可以最直觀地反映SLAM系統(tǒng)的準(zhǔn)確性,而S.D.項(xiàng)代表系統(tǒng)的估計(jì)值距離真值的離散程度,可以反映系統(tǒng)的穩(wěn)定性。

        對(duì)每組實(shí)驗(yàn)重復(fù)6次再取平均值并取四位有效精度,可得表1的實(shí)驗(yàn)結(jié)果。從RMSE誤差項(xiàng)可以看出,本文SPLD-SLAM除了在微動(dòng)態(tài)場(chǎng)景sitting_static中未大幅領(lǐng)先于基線之外,在其余四個(gè)高動(dòng)態(tài)場(chǎng)景中取得了平均84.06%的精度提升,而在五個(gè)序列的總平均提升也有72.20%。但在挑戰(zhàn)性極高的walking_rpy序列上,本文SPLD-SLAM的誤差還是遠(yuǎn)高于其他幾個(gè)序列,主要還是因?yàn)樵撔蛄兄邢鄼C(jī)大幅度旋轉(zhuǎn)帶來(lái)的畫面模糊問(wèn)題和干擾人員占畫面過(guò)多問(wèn)題。

        選擇三個(gè)極具代表性的高動(dòng)態(tài)序列對(duì)本文SPLD-SLAM與基線系統(tǒng)進(jìn)行定性分析,如圖8所示。其展示了兩者在fr3_w_xyz、fr3_w_half和fr3_w_rpy這三個(gè)序列中的可視化軌跡誤差。對(duì)于該軌跡熱力圖,虛線為軌跡真值,實(shí)線為估計(jì)值,顏色越偏紅則表示誤差越大,顏色越偏藍(lán)則表示誤差越小(見(jiàn)電子版)。分析兩者在三個(gè)主軸方向的誤差可以看出,SPLD-SLAM估計(jì)出的軌跡總體上十分接近軌跡真值,且基本沒(méi)有出現(xiàn)類似基線系統(tǒng)局部誤差過(guò)大的情況。此外,基線系統(tǒng)在fr3_w_rpy序列上還出現(xiàn)了極為嚴(yán)重的軌跡偏離。圖9對(duì)比了兩個(gè)系統(tǒng)各項(xiàng)誤差隨時(shí)間變化的情況,結(jié)合標(biāo)準(zhǔn)差項(xiàng)可以看出在整個(gè)系統(tǒng)運(yùn)行周期內(nèi),SPLD-SLAM全程都保證了較低的跟蹤誤差和更小的誤差波動(dòng),真實(shí)直觀地說(shuō)明了其更高的跟蹤魯棒性和運(yùn)行穩(wěn)定性。

        為了更有效地分析SPLD-SLAM在同領(lǐng)域內(nèi)的橫向性能表現(xiàn),本文還在表2~4中對(duì)比了近年來(lái)的優(yōu)秀動(dòng)態(tài)SLAM方案,具體包括DS-SLAM、DynaSLAM、SLAM-PCD[28]和RDS-SLAM。其中,表2是絕對(duì)軌跡誤差A(yù)TE對(duì)比,表3和4分別是平移部分和旋轉(zhuǎn)部分的相對(duì)誤差(RPE)對(duì)比。在橫向?qū)Ρ戎?,本文SPLD-SLAM的精度表現(xiàn)穩(wěn)定且具有一定的精度優(yōu)勢(shì)。SPLD-SLAM在walking_xyz和walking_half序列中表現(xiàn)出領(lǐng)先的跟蹤精度水準(zhǔn),這也得益于其對(duì)位姿估計(jì)由粗到細(xì)的遞進(jìn)式優(yōu)化算法。特別地,將本文SPLD-SLAM與本領(lǐng)域開(kāi)源方案中的優(yōu)秀代表DynaSLAM相比,雖然在平移部分RPE中,SPLD-SLAM未與DynaSLAM拉開(kāi)明顯差距,但在旋轉(zhuǎn)部分RPE中的三個(gè)序列中,說(shuō)明了本文的延拓性研究有明顯的效果提升。而分析ATE部分的RMSE誤差項(xiàng)可以發(fā)現(xiàn),除了在walking_static中本文SPLD-SLAM的精度略有下降之外,在其他四個(gè)序列中均有較大提升,在五個(gè)序列上總體平均提升了20.42%。

        3.2動(dòng)態(tài)場(chǎng)景稀疏點(diǎn)云

        針對(duì)動(dòng)態(tài)場(chǎng)景的可視化稀疏點(diǎn)云,為了清晰地展現(xiàn)本文方案的有效性,設(shè)計(jì)了如圖10所示的多組實(shí)驗(yàn)。其中,圖(a)為點(diǎn)特征稀疏點(diǎn)云,圖(b)為線特征稀疏點(diǎn)云,圖(c)為點(diǎn)線融合稀疏點(diǎn)云。每組的左圖為單純點(diǎn)線特征融合無(wú)運(yùn)動(dòng)濾噪的建圖效果,右圖為本文SPLD-SLAM對(duì)運(yùn)動(dòng)干擾處理后的建圖效果。

        圖10的實(shí)驗(yàn)在fr3_w_xyz序列上進(jìn)行,其中每組圖中的左圖紅色圈內(nèi)為運(yùn)動(dòng)干擾人員表面的干擾特征,這些噪聲在地圖中被構(gòu)建,意味著大量干擾地圖點(diǎn)被系統(tǒng)錯(cuò)誤地用于相機(jī)位姿估計(jì)。而從每組圖的右圖中可以看出,在本文設(shè)計(jì)的語(yǔ)義線特征信息的輔助下,整個(gè)系統(tǒng)實(shí)現(xiàn)了較好效果的濾噪建圖。

        4結(jié)束語(yǔ)

        針對(duì)動(dòng)態(tài)場(chǎng)景的SLAM問(wèn)題,本文提出將語(yǔ)義信息與線特征結(jié)合的解決方案。本文使用比MaskR-CNN的效率和分割

        精度更為優(yōu)秀的SOLOv2作為實(shí)例分割網(wǎng)絡(luò),再賦予線特征語(yǔ)義信息;對(duì)場(chǎng)景中的動(dòng)態(tài)物體進(jìn)行追蹤,并計(jì)算出初始位姿,然后利用mask金字塔和點(diǎn)的極線幾何約束,對(duì)物體的運(yùn)動(dòng)狀態(tài)進(jìn)行判定;最后完成動(dòng)態(tài)特征的剔除,并實(shí)現(xiàn)精確的點(diǎn)線特征融合位姿估計(jì)。在TUM數(shù)據(jù)集動(dòng)態(tài)序列中的測(cè)試結(jié)果表明,本文提出的語(yǔ)義信息融合線特征SLAM方案的位姿估計(jì)精度與基線ORB-SLAM3相比有顯著提升,與同領(lǐng)域內(nèi)的優(yōu)秀代表DynaSLAM相比也有一定程度的提升。即使橫向?qū)Ρ冉陙?lái)諸多優(yōu)異動(dòng)態(tài)SLAM方案,本文SPLD-SLAM也有明顯的精度優(yōu)勢(shì)。在未來(lái)的工作中,將進(jìn)一步結(jié)合分割所得語(yǔ)義信息對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行稠密語(yǔ)義地圖的構(gòu)建,解決更高層的SLAM問(wèn)題。

        參考文獻(xiàn):

        [1]YuanShenghai,WangHan,XieLihua.Surveyonlocalizationsystemsandalgorithmsforunmannedsystems[J].UnmannedSystems,2021,9(2):129-163.

        [2]CadenaC,CarloneL,CarrilloH,etal.Past,present,andfutureofsi-multaneouslocalizationandmapping:towardtherobust-perceptionage[J].IEEETransonRobotics,2016,32(6):1309-1332.

        [3]張恒,侯家豪,劉艷麗.基于動(dòng)態(tài)區(qū)域剔除的RGB-D視覺(jué)SLAM算法[J].計(jì)算機(jī)應(yīng)用研究,2022,39(3):675-680.(ZhangHeng,HouJiahao,LiuYanli.RGB-DvisualSLAMalgorithmbasedondynamicregionelimination[J].ApplicationResearchofCompu-ters,2022,39(3):675-680.)

        [4]SunYuxiang,LiuMing,MengMQH.MotionremovalforreliableRGB-DSLAMindynamicenvironments[J].RoboticsandAutonomousSystems,2018,108(12):115-128.

        [5]ChengJiyu,SunYuxiang,MengMQH.ImprovingmonocularvisualSLAMindynamicenvironments:anoptical-flow-basedapproach[J].AdvancedRobotics,2019,33(12):576-589.

        [6]ZhangTianwei,ZhangHuayan,LiYang,etal.Flowfusion:dynamicdenseRGB-DSLAMbasedonopticalflow[C]//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEEPress,2020:7322-7328.

        [7]SconaR,JaimezM,PetillotYR,etal.StaticFusion:backgroundreconstructionfordenseRGB-DSLAMindynamicenvironments[C]//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEEPress,2018:3849-3856.

        [8]DaiWeichen,ZhangYu,LiPing,etal.RGB-DSLAMindynamicenvironmentsusingpointcorrelations[J].IEEETransonPatternAnalysisandMachineIntelligence,2020,44(1):373-389.

        [9]KimG,KimA.Remove,thenrevert:staticpointcloudmapconstructionusingmultiresolutionrangeimages[C]//ProcofIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway,NJ:IEEEPress,2020:10758-10765.

        [10]LimH,HwangS,MyungH.ERASOR:egocentricratioofpseudooccupancy-baseddynamicobjectremovalforstatic3Dpointcloudmapbuilding[J].IEEERoboticsandAutomationLetters,2021,6(2):2272-2279.

        [11]YuChao,LiuZuxin,LiuXJ,etal.DS-SLAM:asemanticvisualSLAMtowardsdynamicenvironments[C]//ProcofIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway,NJ:IEEEPress,2018:1168-1174.

        [12]BescosB,F(xiàn)ácilJM,CiveraJ,etal.DynaSLAM:tracking,mapping,andinpaintingindynamicscenes[J].IEEERoboticsandAutomationLetters,2018,3(4):4076-4083.

        [13]ZhongFangwei,WangSheng,ZhangZiqi,etal.Detect-SLAM:makingobjectdetectionandSLAMmutuallybeneficial[C]//ProcofIEEEWinterConferenceonApplicationsofComputerVision.Piscataway,NJ:IEEEPress,2018:1001-1010.

        [14]JiTete,WangChen,XieLihua.Towardsreal-timesemanticRGB-DSLAMindynamicenvironments[C]//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEEPress,2021:11175-11181.

        [15]ChenXieyuanli,LiShijie,MerschB,etal.Movingobjectsegmentationin3DLiDARdata:alearning-basedapproachexploitingsequentialdata[J].IEEERoboticsandAutomationLetters,2021,6(4):6529-6536.

        [16]XuBinbin,LiWenbin,TzoumanikasD,etal.MID-fusion:octree-basedobject-levelmulti-instancedynamicSLAM[C]//ProcofInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEEPress,2019:5231-5237.

        [17]HeneinM,ZhangJun,MahonyR,etal.DynamicSLAM:theneedforspeed[C]//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEEPress,2020:2123-2129.

        [18]ZhangJun,HeneinM,MahonyR,etal.VDO-SLAM:avisualdynamicobject-awareSLAMsystem[EB/OL].(2020).https://arxiv.org/abs/2005.11052.

        [19]BescosB,CamposC,TardósJD,etal.DynaSLAMⅡ:tightly-coupledmulti-objecttrackingandSLAM[J].IEEERoboticsandAutomationLetters,2021,6(3):5191-5198.

        [20]LiuYubao,MiuraJ.RDS-SLAM:real-timedynamicSLAMusingsemanticsegmentationmethods[J].IEEEAccess,2021,9:23772-23785.

        [21]CamposC,ElviraR,RodríguezJJG,etal.ORB-SLAM3:anaccurateopen-sourcelibraryforvisual,visual-inertial,andmultimapSLAM[J].IEEETransonRobotics,2021,37(6):1874-1890.

        [22]WangXinlong,ZhangRufeng,KongT,etal.SOLOv2:dynamicandfastinstancesegmentation[J].AdvancesinNeuralInformationProcessingSystems,2020,33:17721-17732.

        [23]YangShichao,SchererS.CubeSLAM:Monocular3-DobjectSLAM[J].IEEETransonRobotics,2019,35(4):925-938.

        [24]WuYanmin,ZhangYunzhou,ZhuDelong,etal.EAO-SLAM:monocularsemi-denseobjectSLAMbasedonensembledataassociation[C]//ProcofIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway,NJ:IEEEPress,2020:4966-4973.

        [25]FuQiang,WangJialong,YuHongshan,etal.PL-VINS:real-timemonocularvisual-inertialSLAMwithpointandlinefeatures[EB/OL].(2020).https://arxiv.org/abs/2009.07462.

        [26]Gomez-OjedaR,MorenoFA,Zuniga-NoёlD,etal.PL-SLAM:astereoSLAMsystemthroughthecombinationofpointsandlinesegments[J].IEEETransonRobotics,2019,35(3):734-746.

        [27]SturmJ,EngelhardN,EndresF,etal.AbenchmarkfortheevaluationofRGB-DSLAMsystems[C]//ProcofIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway,NJ:IEEEPress,2012:573-580.

        [28]FanYingchun,ZhangQichi,LiuShaofeng,etal.SemanticSLAMwithmoreaccuratepointcloudmapindynamicenvironments[J].IEEEAccess,2020,8:112237-112252.

        亚洲精品久久久久久久不卡四虎| 日韩视频午夜在线观看| 99久久久人妻熟妇精品一区二区 | 午夜免费福利小电影| 亚洲国产精品特色大片观看完整版 | 极品av麻豆国产在线观看| 中文字幕亚洲无线码在一区| 中文字幕乱码亚洲无线| 蜜桃视频一区二区三区四| 亚洲精品国产精品国自产| a级黑人大硬长爽猛出猛进| 男人的天堂av网站一区二区| 亚洲成人av在线播放不卡| 亚洲av不卡无码国产| 影音先锋每日av色资源站| 丝袜欧美视频首页在线| 亚洲国产一区二区视频| 久久精品国产亚洲av无码偷窥| 99久久亚洲精品无码毛片| 色播在线永久免费视频网站| 看一区二区日本视频免费| 精品综合久久久久久888蜜芽| 久久无码av三级| 99精品国产自产在线观看| 高清少妇二区三区视频在线观看| 国内熟女啪啪自拍| 中国无码人妻丰满熟妇啪啪软件 | 亚洲av第一页国产精品| 美女爽好多水快进来视频| 亚洲av永久一区二区三区| 中文字幕人妻无码视频| 特级毛片a级毛片在线播放www | 日本熟女精品一区二区三区| 精品人妻伦九区久久aaa片| 国产aⅴ夜夜欢一区二区三区| 亚洲日韩成人无码不卡网站| 亚洲色图偷拍自拍在线| 亚洲欧美乱综合图片区小说区| 成人一区二区免费视频| 欧美日一本| 色综合悠悠88久久久亚洲|