亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        室內(nèi)剔除行人特征點的視覺SLAM算法

        2023-05-08 12:44:53龔云徐昊天呂鳴雨
        西安科技大學(xué)學(xué)報 2023年6期
        關(guān)鍵詞:注意力機制

        龔云 徐昊天 呂鳴雨

        摘 要:針對視覺SLAM系統(tǒng)在室內(nèi)場景下易受行人干擾,導(dǎo)致定位精度和穩(wěn)定性下降的問題,提出了一種室內(nèi)剔除行人特征點的視覺SLAM算法,該算法在傳統(tǒng)的ORB_SLAM2算法中集成了一個新的動態(tài)目標(biāo)檢測線程,此線程使用YOLOV5s目標(biāo)檢測算法識別并剔除行人動態(tài)信息。首先,系統(tǒng)對YOLOV5s引入坐標(biāo)注意力機制,提取圖像中與目標(biāo)相關(guān)的特征;其次,將彩色圖像同時輸入到ORB_SLAM2算法和動態(tài)目標(biāo)檢測線程中,ORB_SLAM2算法實時估計相機位姿,動態(tài)目標(biāo)檢測線程識別和剔除行人動態(tài)目標(biāo),從而減少其對ORB_SLAM2算法的干擾;最后,將2個線程的輸出融合至靜態(tài)地圖構(gòu)建線程,生成無行人干擾的地圖構(gòu)建結(jié)果。針對文中算法,在不同數(shù)據(jù)集下開展試驗驗證。結(jié)果表明:相對于ORB_SLAM2算法,改進算法在TUM的高動態(tài)數(shù)據(jù)集中絕對軌跡精度提高了96.51%,相對軌跡精度提高了96.57%,相對軌跡誤差的旋轉(zhuǎn)精度提高了96.47%。室內(nèi)剔除行人特征點的視覺SLAM算法充分過濾了行人特征點,提高了SLAM系統(tǒng)的精度,為室內(nèi)導(dǎo)航、建圖等領(lǐng)域提供了一種新的解決方案。

        關(guān)鍵詞:SLAM算法;動態(tài)場景;注意力機制;動態(tài)目標(biāo)檢測;目標(biāo)剔除

        中圖分類號:TP 391.41;TP 242

        文獻標(biāo)志碼:

        A

        文章編號:1672-9315(2023)06-1195

        -12

        DOI:10.13800/j.cnki.xakjdxxb.2023.0618開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID):

        Visual SLAM algorithm for pedestrian feature points exclusion indoors

        GONG Yun,XU Haotian,LYU Mingyu

        (College of Geomatics,Xian University of Science and Technology,Xian 710054,China)

        Abstract:To address the issue of visual SLAM systems being susceptible to interference from pedestrians in indoor scenarios,resulting in decreased localization accuracy and stability,

        this paper proposed a visual SLAM algorithm for removing pedestrian feature points indoors.This algorithm integrates a new dynamic object detection thread into the traditional ORB_SLAM2 algorithm,utilizing the YOLOv5s object detection algorithm to identify and remove dynamic objects such as pedestrians.Firstly,a coordinate attention mechanism was introduced to effectively extract image features relevant to the target.Secondly,both the color image and the dynamic object detection thread were simultaneously input into the ORB_SLAM2 algorithm.The ORB_SLAM2 algorithm is responsible for real-time camera pose estimation,while the dynamic object detection thread identifying and removing dynamic objects, thereby reducing its? interference with the ORB_SLAM2 algorithm.

        Finally,the outputs of these two threads were fused into a static map construction thread to generate a map construction result free from pedestrian interference.Experimental results on various datasets indicate that,compared with the original ORB_SLAM2 algorithm, the absolute trajectory accuracy of the improved algorithm in the high dynamic data set of TUM is increased by 96.51%,the relative trajectory accuracy is increased

        by 96.57%,and the rotation accuracy of the relative trajectory error is increased by 96.47%.The visual SLAM algorithm

        that eliminates pedestrian feature points indoors fully filters the pedestrian feature points,improves the accuracy of the SLAM system,and provides a new solution for indoor navigation,mapping and other fields.

        Key words:SLAM algorithm;dynamic scenes;attention;dynamic object detection;object-removal

        0 引 言近年來,隨著智能化和自動化的不斷推進,同時定位與建圖(Simultaneous Localization and Mapping,SLAM)在室內(nèi)導(dǎo)航、機器人控制等領(lǐng)域中得到了廣泛的應(yīng)用,解決了機器人在未知環(huán)境中“定位”與“建圖”這2個關(guān)鍵問題[1]。根據(jù)機器人采集信息時使用的傳感器不同,可將SLAM分為激光SLAM和視覺SLAM(Visual SLAM,VSLAM)。相對于激光SLAM,視覺SLAM使用了造價成本較低的相機并且其體型較小,容易與常規(guī)傳感器互相搭配獲取豐富的圖像信息。視覺SLAM在大多數(shù)靜態(tài)環(huán)境假設(shè)下,都有著不錯的表現(xiàn),然而在室內(nèi)環(huán)境中,行人此類動態(tài)信息經(jīng)常出現(xiàn)在機器人視野范圍內(nèi),會對SLAM系統(tǒng)的特征點匹配和追蹤造成干擾,并且會導(dǎo)致后期建圖出現(xiàn)“重影”等問題,影響系統(tǒng)的精度和穩(wěn)定性[2]。因此,為了讓移動機器人在室內(nèi)場景下更好地構(gòu)建環(huán)境地圖,如何在系統(tǒng)前端有效剔除行人此類動態(tài)特征點,成為了SLAM研究的熱點議題[3]。目前,針對室內(nèi)剔除行人特征點的視覺SLAM算法已經(jīng)有一些研究,如通過幾何約束檢測物體的運動狀態(tài),利用極線約束估算出圖像像素,沿著極線的界限以此來檢測環(huán)境中運動的物體[4]。基于TSDF (Truncated Signed Distance Function)映射方法,通過在TSDF中的顏色信息估計傳感器位姿,再利用體素哈希表示方法結(jié)合配準(zhǔn)殘差,空閑空間表示的算法過濾行人的特征點信息[5]。HE提出基于輪廓的行人分割算法,嘗試通過提取行人的邊界輪廓來剔除行人特征點[6]。在復(fù)雜的室內(nèi)環(huán)境中,由于光照變化和背景干擾等因素,輪廓提取的效果可能并不理想,導(dǎo)致行人特征點的準(zhǔn)確剔除存在困難;BEWLEY等提出的基于運動估計的行人追蹤算法通過跟蹤行人在連續(xù)幀中的運動來剔除其特征點[7]。由于室內(nèi)環(huán)境中人流量大且行人運動頻繁,傳統(tǒng)的行人追蹤算法往往容易在復(fù)雜場景中丟失目標(biāo)。近年來SLAM在結(jié)合深度學(xué)習(xí)方面已經(jīng)取得了顯著的研究進展,BESCOS等提出的Dyna-SLAM,主要通過語義分割和MASK-RCNN進行動態(tài)信息分割,實現(xiàn)了對動態(tài)特征點的精準(zhǔn)過濾[8];高興波等提到,DS-SLAM,Dyna-SLAM是近年來針對剔除行人特征點的有效方法[9],其中DS-SLAM將SegNet通過語義分割網(wǎng)絡(luò)與動態(tài)檢測方法結(jié)合,減少了動態(tài)目標(biāo)對系統(tǒng)的影響,2種方法耗時較為嚴(yán)重[10];KEHL等提出了Detect-SLAM系統(tǒng),利用SSD目標(biāo)檢測網(wǎng)絡(luò)通過訓(xùn)練好模型對動態(tài)目標(biāo)進行檢測,在視覺里程計中實現(xiàn)了對動態(tài)特征點的剔除[11];ZHANG等通過研究RGB-SLAM,也利用深度學(xué)習(xí)對動態(tài)物體進行精準(zhǔn)分割,其分割精度較高,與DS-SLAM,Dyna-SLAM類似,同樣存在實時性差等問題[12];WANG等提出了動態(tài)場景下的語義SLAM系統(tǒng)利用YOLOV3目標(biāo)檢測算法完成了系統(tǒng)對動態(tài)信息的識別與過濾[13]。為了剔除行人對SLAM系統(tǒng)的干擾,探討了一種基于室內(nèi)剔除行人特征點的視覺SLAM算法。該算法結(jié)合了目標(biāo)檢測、特征點匹配和追蹤等技術(shù),能夠準(zhǔn)確有效地剔除行人特征點,提高SLAM系統(tǒng)的精度和穩(wěn)定性。具體研究內(nèi)容包括:

        1) YOLOV5s目標(biāo)檢測算法的改進,引入坐標(biāo)注意力機制(Coordinate-Attention,CA)來提高算法檢測行人的精度;

        2) 利用改進后的目標(biāo)檢測算法對行人的運動軌跡進行追蹤與識別;

        3)? 對SLAM系統(tǒng)中的特征點進行篩選,保留與定位相關(guān)的特征點,排除受行人運動干擾的特征點。利用過濾動態(tài)信息后得到的關(guān)鍵幀構(gòu)建靜態(tài)場景下的稠密點云地圖。

        1 SLAM算法特征點提取與匹配

        1.1 ORB特征點算法當(dāng)視覺感應(yīng)器把獲取圖像傳遞到視覺里程計系統(tǒng)時,要通過傳入圖像判斷相機動作,但因為圖像本身是由亮度和顏色構(gòu)成的矩陣,直接由矩陣角度來進行動作評估可能會存在問題。常見的辦法是從圖像中選取幾個有代表性的特征點,并通過這些點來預(yù)測所需要的位姿信號。特征點獲取與匹配則是視覺SLAM系統(tǒng)中十分關(guān)鍵的環(huán)節(jié)。ORB(Oriented FAST and Rotated BRIEF)算法是一種較為輕量級的特征點提取算法,適用于實時性要求較高的SLAM系統(tǒng)[14]。對于ORB特征點算法主要分為3個步驟:FAST特征點檢測、BRIEF特征描述子生成和方向分配。其主要是對FAST方法的提升與改進,由于傳統(tǒng)的FAST角點檢測算法在方向性方面存在一些不可控性,所以O(shè)RB算法添加了尺度與旋轉(zhuǎn)描述,以此來增加特征點的旋轉(zhuǎn)不變性。

        1.2 圖像金字塔為了實現(xiàn)增加特征點的旋轉(zhuǎn)不變性,ORB算法使用圖像金字塔構(gòu)建多個不同尺度的圖像。金字塔通過將圖像按照一定的倍率進行縮放,構(gòu)建出一個復(fù)雜的圖像結(jié)構(gòu),其中每一層都包含著不同的分辨率,使得整個圖像結(jié)構(gòu)更加清晰、完整。ORB算法可以有效地從多個尺寸的圖像中提取出有用的特征,保持圖像的尺寸穩(wěn)定性。在特征匹配算法中,可以匹配不同層級上提取的特征點,從而實現(xiàn)對不同尺度圖像的特征匹配。這使得SLAM系統(tǒng)能夠穩(wěn)健地估計相機的運動并構(gòu)建準(zhǔn)確的環(huán)境模型,

        適用于不同的尺度和視角。圖像金字塔如圖1所示。

        2 室內(nèi)動態(tài)場景下的SLAM算法

        2.1 YOLOV5s目標(biāo)檢測選用YOLOV5s目標(biāo)檢測算法,過濾行人此類動態(tài)信息,該算法與傳統(tǒng)的兩階段目標(biāo)檢測算法Faster R-CNN不同,YOLOV5s采用了單階段檢測方法,它無需候選框生成和篩選階段完成目標(biāo)檢測。首先使用了一種名為CSPDarknet53的特征提取網(wǎng)絡(luò),用于從輸入圖像中提取高質(zhì)量的特征[15];其次YOLOV5s引入了網(wǎng)絡(luò)分支,用于生成不同尺度的特征圖。這些分支包括不同的卷積層,用于檢測不同大小的目標(biāo);緊接著該算法輸出層包括多個不同尺度的預(yù)測頭部,每個頭部負(fù)責(zé)不同尺度的目標(biāo)檢測,每個預(yù)測頭部包括類別預(yù)測、邊界框預(yù)測和置信度預(yù)測。類別預(yù)測使用Softmax函數(shù)[16]輸出目標(biāo)的類別概率,邊界框預(yù)測用于確定目標(biāo)的位置,而置信度預(yù)測用于篩選檢測結(jié)果;最后為了減少重疊的邊界框,YOLOV5s使用非極大值抑制(Non-Maximum Suppression,NMS)算法來篩選最終的檢測結(jié)果[17]。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

        2.2 改進后的YOLOV5s目標(biāo)檢測算法YOLOV5s算法無論是在速度、精度還是擴展性上都在實際項目中有著不錯的表現(xiàn),但在有些復(fù)???????? 雜場景移動網(wǎng)絡(luò)中還需對其網(wǎng)絡(luò)結(jié)構(gòu)、模塊添加等方面加以改進,從而可以提升其性能。

        對此將對算法添加一種新的注意力機制“坐標(biāo)注意力機制”[18],也被稱為CA,是一種輕量級的注意力機制,它主要關(guān)注通道之間的關(guān)系,包括一些簡單的線性變換和非線性激活函數(shù),而不是像“空間注意力機制”[19](Spatial Attention,SA)一樣在空間維度上進行全局操作,大大降低了計算成本,相對于其他更復(fù)雜的注意力機制其可以有效地捕捉通道之間的相關(guān)性,有助于在卷積層之間更好地整合特征信息,使得YOLOV5s算法在資源受限的情況下仍能取得良好的性能。CA注意力機制將復(fù)雜的信息結(jié)構(gòu)分解成2個獨立的一維特征,從而實現(xiàn)在不同空間方向上的聚類和聚集。該機制旨在從一個角度捕捉遠(yuǎn)程相互依存的關(guān)系,同時又能夠準(zhǔn)確地記錄雙方的位置信息。通過將多個通道的注意力信息進行分析,可以構(gòu)建一個一維的注意力圖,該圖可以捕捉到多個方向的信息,包括空間坐標(biāo)信息,并且可以實現(xiàn)對位置的敏感性,這樣可以大大提升模型在定位和識別任務(wù)中的準(zhǔn)確性[20]。CA模塊結(jié)構(gòu)如圖4所示,涉及以下2個步驟:Coordinate信息嵌入和Coordinate注意力機制輸出。

        首先,通過一維平均池化,將2個獨立的方向感知特征圖分別壓縮,以便從中提取出特定方向的信息;

        接著,將這些特征圖編碼成注意力圖,并將相應(yīng)的位置信息輸入[21]。為了進一步提高位置信息的精確性,對全局池化進行分解操作,此步驟可以確保在編碼過程中保留更多的位置信息,如下式

        由表1可知改進后的目標(biāo)檢測算法在檢測精度上有一定的提升,mAP增加了11.3%,驗證了改進后算法的可行性。

        2.3 動態(tài)SLAM系統(tǒng)算法框架算法框架的各線程主要工作內(nèi)容如下:

        1)跟蹤線程:改進后彩色圖像會被系統(tǒng)分別傳入ORB_SLAM2算法與改進后的目標(biāo)檢測算法YOLOV5s中,經(jīng)過YOLOV5s對動態(tài)特征點檢測并剔除后的數(shù)據(jù)傳回至ORB_SLAM2中,對目標(biāo)區(qū)域進行后續(xù)的位姿估計與優(yōu)化;

        2)目標(biāo)檢測線程:為了識別與剔除動態(tài)信息而在跟蹤線程中新添加的線程,通過改進后的目標(biāo)檢測算法,為后續(xù)跟蹤線程與地圖的構(gòu)建過濾其中的動態(tài)信息[23];3)靜態(tài)地圖構(gòu)建線程:通過利用動態(tài)信息過濾后的地圖關(guān)鍵幀,生成靜態(tài)點云地圖或靜態(tài)八叉樹地圖。算法的系統(tǒng)框架圖5所示。

        3 試驗及其結(jié)果分析

        3.1 所用數(shù)據(jù)集介紹選用TUM數(shù)據(jù)集來做對比試驗[24]。每個原始數(shù)據(jù)中的rgb文件包含三通道格式為png的彩色圖像,且depth文件下包含16位單通道png圖像,groundturth.txt是獲取到的真實軌跡數(shù)據(jù);rgb.txt為彩圖的時間戳以及其名稱;depth.txt則是深度圖的時間戳以及名稱。文中對試驗類別進行分類一種是前綴為“walking”開頭的序列,代表了高動態(tài)數(shù)據(jù)集,在該數(shù)據(jù)集中人物運動幅度較大且豐富;一種是前綴為“sitting”的低動態(tài)數(shù)據(jù)集序列,其中人物運動幅度較小,大部分以坐姿為主,只有小范圍活動。為了研究該算法的實用性,將在研究數(shù)據(jù)集的基礎(chǔ)上針對實際環(huán)境,對其進行行人特征點過濾處理試驗,試驗場所設(shè)置在西安科技大學(xué)臨潼校區(qū)的測繪樓,該場所相對寬敞,場景紋理較弱,特征物比較明顯,

        并且存在處于運動狀態(tài)下的行人,為后續(xù)試驗提供了較為真實的試驗環(huán)境,真實環(huán)境如圖6所示。

        3.2 試驗結(jié)果及分析

        3.2.1 基于TUM數(shù)據(jù)集下的效果對比試驗利用改進后的目標(biāo)檢測算法YOLOV5s對動態(tài)信息進行過濾處理,由于該算法會對所有目標(biāo)進行識別標(biāo)識,故必須讓此算法通過對所需識別的數(shù)據(jù)進行數(shù)據(jù)集訓(xùn)練,在訓(xùn)練過程中改進加入CA注意力機制,如圖7所示,從而達到對TUM數(shù)據(jù)集場景中動態(tài)信息的精準(zhǔn)過濾,為SLAM前端提供語義信息。

        當(dāng)不進行動態(tài)信息過濾,經(jīng)過相機采集特征提取得到結(jié)果后沒有對行人特征點進行區(qū)分,使得特征點主要集中在人身上,如圖8(a)所示,而且人一直有可能處于運動的狀態(tài),如果使用這類特征點進行后續(xù)位姿估計,將會直接導(dǎo)致結(jié)果精度大大降低,影響整個系統(tǒng)的可用性。所以根據(jù)目標(biāo)檢測算法識別完成后的結(jié)果,對其在ORB_SLAM2[25]系統(tǒng)中進行特征點提取,與傳統(tǒng)算法不同的是,文中算法結(jié)果將剔除行人身上的特征點如圖8(b)所示,降低其對整個SLAM系統(tǒng)的影響。

        3.2.2 基于錄制數(shù)據(jù)下的效果對比試驗對于實際環(huán)境,在ORB-SLAM2系統(tǒng)前端中同樣增加了目標(biāo)檢測模塊,對來往行人進行識別,在深度相機獲取到上述數(shù)據(jù)后,進行2個不同的步驟,一個分支對獲取的RGB圖像進行特征提取,另一個分支通過預(yù)先訓(xùn)練好的室內(nèi)行人目標(biāo)檢測模型對每個特征點所在位置的局部圖像進行檢測,從而得到對應(yīng)特征點所屬的物體類別及其置信度。在獲取了特征點的類別信息和置信度之后,將進一步對提取出來的特征點進行分類,將行人此類動態(tài)信息的特征點從靜態(tài)物體部分的特征點中剔除,最終生成無行人干擾的稠密點云地圖。系統(tǒng)框架如圖9所示。

        圖10為真實室內(nèi)環(huán)境下對行人進行目標(biāo)檢測試驗,圖10(a)為添加CA通道注意力機制前,模擬多人情況下,人物進行往返直線運動,運動過程盡量平穩(wěn)。識別結(jié)果包含了除行人以外的物體。圖10(b)則是經(jīng)過改進后的YOLOV5s算法經(jīng)過訓(xùn)練后對行人進行目標(biāo)檢測后的結(jié)果,結(jié)果既可以驗證改進后目標(biāo)檢測算法的準(zhǔn)確性,也可以為下文動態(tài)信息更準(zhǔn)確的剔除提供有利條件。

        經(jīng)過上述目標(biāo)檢測后將對室內(nèi)錄制視頻中的動態(tài)信息行人特征點進行剔除ORB_SLAM2原系統(tǒng)無法識別動態(tài)區(qū)域,可以發(fā)現(xiàn)在行人身上提取了大量的特征點,這種情況將會影響SLAM的定位精度;相對于圖11(a)和圖11(b)利用上文提到的改進后的YOLOV5s目標(biāo)檢測算法識別動態(tài)信息區(qū)域,并在SLAM系統(tǒng)中標(biāo)記動態(tài)區(qū)域,剔除了行人此類動態(tài)信息的特征點。而圖11(c)和圖11(d)則為原始ORB_SLAM2系統(tǒng)算法與所提算法系統(tǒng)運行時的關(guān)鍵幀,可以發(fā)現(xiàn)左側(cè)原ORB_SLAM2系統(tǒng)關(guān)鍵幀在同一條件下關(guān)鍵幀變化較為明顯,而文中算法系統(tǒng)下則趨于直線運動。

        3.2.3 基于TUM數(shù)據(jù)集下的精度對比為了驗證改進算法后的可行性,以及直觀看出改進后所提升的性能,將針對TUM數(shù)據(jù)集,對改進前后算法精度指標(biāo)進行對比,計算在不同動態(tài)數(shù)

        據(jù)集下的絕對軌跡誤差(ATE)與相對軌跡誤差

        (15)表2~5分別為絕對軌跡誤差、相對軌跡誤差和相對軌跡誤差的旋轉(zhuǎn)誤差對比結(jié)果,并且對比了DS-SLAM、Dyna-SLAM和文中算法在動態(tài)環(huán)境下SLAM的均方根誤差。

        由表2~4可知,ORB_SLAM2系統(tǒng)在行人處于頻繁運動狀態(tài)數(shù)據(jù)集freiburg3_walking組中,絕對軌跡誤差與相對軌跡誤差數(shù)值都偏高,且精度較低,而在運動頻率較低的數(shù)據(jù)集freiburg3_sitting系列下,兩個誤差數(shù)值相差并不大,因為其自身能過濾少許動態(tài)特征點。由此表明原始ORB_SLAM2系統(tǒng)并不適用于高動態(tài)頻率的場景,故需要結(jié)合改進后YOLOV5s目標(biāo)檢測技術(shù)對其中的高動態(tài)特征點進行識別并提出,結(jié)合表2~5可知,文中算法ATE精度提高了96.51%;RPE精度提升了96.57%;相對旋轉(zhuǎn)誤差精度提升96.47%,有效降低了動態(tài)信息對系統(tǒng)的影響。動態(tài)環(huán)境下的SLAM算法RMSE對比中,文中算法的RMSE值小于DS-SLAM,但稍大于Dyna-SLAM,這是由于Dyna-SLAM系統(tǒng)降低了實時性而提高了精度[30]。在探討SLAM系統(tǒng)時研究速度也是重要的對比指標(biāo),表6對比了ORB_SLAM2算法與文中算法,Dyna-SLAM算法以及DS-SLAM算法的運行速度,由于文中算法添加了目標(biāo)檢測線程,所以運行時間略大于ORB_SLAM,但與DS-SLAM算法、Dyna-SLAM算法相比,具有明顯優(yōu)勢。

        圖12(a)~(d)直觀地表現(xiàn)出了原始ORB_SLAM2系統(tǒng)與文中算法在各類數(shù)據(jù)集下的ATE(上)以及RPE(下)可視化結(jié)果。

        圖12(a)~(d)分別為原始ORB_SLAM2(左)系統(tǒng)與文中算法(右)的運動軌跡與軌跡誤差結(jié)果。在ATE中藍(lán)色虛線為2種算法針對自身所估算出的相機位姿軌跡,而灰色實線是將真實軌跡與估算的軌跡對應(yīng)連接,實線越短,則表示所對應(yīng)2種誤差值誤差越小。而RPE圖中表示2種算法的誤差波動范圍,波動越密集表明誤差范圍越小。

        從圖12可以看到,在ORB_SLAM2系統(tǒng)處于高動態(tài)數(shù)據(jù)集時,系統(tǒng)有著比較大的誤差,是因為環(huán)境中人物大幅度的運動導(dǎo)致了該系統(tǒng)識別了動態(tài)信息的特征點,并且無法處理此類特征點,使得大量精度產(chǎn)生了偏差,這表明原始ORB_SLAM2系統(tǒng)并不適合此種場景。而將該系統(tǒng)與改進后的目標(biāo)檢測算法相結(jié)合后,無論是在運動軌跡還是在軌跡誤差上都有一個比較良好的結(jié)果。在目標(biāo)檢測算法的支持下,系統(tǒng)精準(zhǔn)地剔除了環(huán)境中

        動態(tài)信息特征點,并消除了運動物體對相機定位的影響。

        3.2.4 建圖結(jié)果對文中算法與ORB_SLAM算法針對TUM數(shù)據(jù)集以及錄制數(shù)據(jù)進行稠密點云建圖試驗。在ORB_SLAM算法中由于行人的干擾導(dǎo)致了建圖過程出現(xiàn)“重影”,相機位姿估計出現(xiàn)誤差,從而導(dǎo)致后期地圖無法應(yīng)用。結(jié)果如圖13所示。

        相比于ORB_SLAM2,文中算法利用目標(biāo)檢測線程,過濾了行人此類動態(tài)信息,在視覺里程計中剔除了其特征點,消除了行人對位姿估計的影響,利用靜態(tài)地圖構(gòu)建線程,通過關(guān)鍵幀構(gòu)建靜態(tài)稠密點云地圖,如圖14所示。

        4 結(jié) 論

        1)通過對消融試驗的比較,添加CA注意力機制的目標(biāo)檢測算法,在精度上提升了11.3%,也提高了對行人識別的準(zhǔn)確率。

        2)通過添加改進后YOLOV5s的動態(tài)目標(biāo)檢測線程,識別行人動態(tài)因素,并在跟蹤線程的視覺里程計中將其特征點過濾。之后得到關(guān)鍵幀,并在靜態(tài)地圖構(gòu)建線程中完成無“重影”的靜態(tài)稠密點云地圖。

        3)通過對TUM數(shù)據(jù)集中的算法精度進行比較測試,所提算法的絕對軌跡精度提高了96.51%,相對軌跡精度提高了96.57%,相對軌跡誤差的旋轉(zhuǎn)精度提高了96.47%。

        4)通過比較不同算法的處理速度,所提算法與Dyna-SLAM算法、DS-SLAM算法相比,具有一定優(yōu)勢。但由于添加線程原因,相較于ORB_SLAM算法略有不足。

        參考文獻(References):

        [1] 吳皓,遲金鑫,田國會.基于視覺SLAM的物體實例識別與語義地圖構(gòu)建[J].華中科技大學(xué)學(xué)報(自然科學(xué)版),2019,47(9):48-54.

        WU Hao,CHI Jinxin,TIAN Guohui.Object instance recognition and semantic map construction based on visual SLAM[J].Huazhong University of Science and Technology Journal(Natural Science Edition),2019,47(9):48-54.

        [2] MUR-ARTAL R,TARDOS J D.Orb-slam2:an opensou-rce slam system for monocular,stereo,and rgbd c-ameras[J].IEEE Transactions on Robotics,2017,33(5):1255-1262.

        [3]

        張峻寧,蘇群星,劉鵬遠(yuǎn),等.一種自適應(yīng)特征地圖匹配的改進VSLAM算法[J].自動化學(xué)報,2019,45(3):553-565.

        ZHANG Junning,SU Qunxing,LIU Pengyuan,et al.An

        improved VSLAM algorithm based on adaptive feature map[J].Acta Automatica Sinica,2019,45(3):553-565.

        [4] LABB M,MICHAUD F.RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation[J].Journal of Field Robotics,2019,36(2):416-446.

        [5]

        PALAZZOLO E,BEHLEY J,LOTTES P,et al.ReFusion:3D reconstruction in dynamic environments for RGB-D cameras exploiting residuals[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway,USA:IEEE,2019:7855-7862.

        [6] HE K,ZHANG X,REN S,et al.Spatial pyramid pooling in deep convolutional networks for visual re-cognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.

        [7]

        BEWLEY,ALEX,et al.Simple online and realtime trac-king with a deep association metric[J].Proceedings of the IEEE International Conference on Image Processing(ICIP),2016,40(8):433-456.[8]BESCOS B,F(xiàn)ACIL J M,CIVERA J,et al.DynaSLAM:Tracking,mapping,and inpainting in dynamic scenes[J].IEEE Robotics and Automation Letters,2018,3(4):4076-4083.[9]

        高興波,史旭華,葛群峰,等.面向動態(tài)物體場景的視覺SLAM綜述[J].機器人,2021,43(6):733-750.

        GAO Xingbo,SHI Xuhua,GE Qunfeng,et al.Overview of visual SLAM for dynamic object scene[J].Robot,2021,43(6):733-750.[10]

        BADRINARAYANAN V,KENDALL A,CIPOLLA R.SegNet:A deep convolutional encoder-decoder architecture for image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(12):2481-2495.[11]

        KEHL W,MILLETARI F,TOMBARI F,et al.Deep learning of local RGB-

        D patchesfor 3D object detection and 6D pose estimation[J].In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2017,39(12):2481-2495.

        [12]ZHANG T W,ZHANG H Y,LI Y,et al.FlowFusion:Dynamic dense RGBD SLAM based on optical flow[C]//IEEE International Conference on Robotics and Automation.Piscataway,USA:IEEE,2020,10(9):7322-7328.[13]

        WANG Z M,ZHANG Q,LI J S,et al.A computationally efficient semantic SLAM solution for dynamic scenes[J].Remote Sensing,2019,11(11):1363.[14]

        RAN T,YUAN L,ZHANG J B,et al.RS-SL-AM:arobust semantic SLAM in dynamic environments based on RGBD sensor[J].IEEE Sensors Journal,2021,21(18):20657-20664.

        [15]JADERBERG M,SIMONYAN K,ZISSERMAN A.Spatial transformer networks[J].Advances in Neural Information Processing Systems,2015,9(2):2017-2025.

        [16]LI W,LIU K,ZHANG L,et al.Object detection based on an adaptive attention mechanism[J].Scientific Reports,2020,10(1):1-13.

        [17]

        JIA W,XU S Q,LIANG Z,et al.Real-timeautomatichelmet detection of motorcyclists in urban traffic usingimproved YOLOv5 detector[J].IET Image Processing,2021,15(14):3623-3637.[18]

        GUO C,F(xiàn)AN B,ZHANG Q,et al.AugFPN:Improving multi-scale feature learning for object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2020:12595-12604.[19]

        LIU S,HUANG D,WANG Y.Adaptive NMS:Refining pedestrian detection in a crowd[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2019:6459-6468.[20]

        REDMON J,F(xiàn)ARHADI A.YOLO9000:better,faster,stronger[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2017:7263-7271.[21]

        ZHU X,LYU S,WANG X,et al.TPH-YOLOv5:Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision,2021:2778-2788.[22]

        WANG X,GIRSHICK R,GUPTA A,et al.Nonlocal neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2018:7794-7803.[23]

        薛旭升,張旭輝,毛清華,等.基于雙目視覺的掘進機器人定位定向方法研究[J].西安科技大學(xué)學(xué)報,2020,40(5):781-789.

        XUE Xusheng,ZHANG Xuhui,MAO Qinghua,et al.Localization and orientation method of roadheader robot basedon binocular vision[J].Journal of Xian University of Science and Technology,2020,40(5):781-789.

        [24]STURM J,ENGELHARD N,ENDRES F,et al.A benchmark for the evaluation of RGB-D SLAM systems[J].2012 IEEE/RSJ International Conference on Intelligent Robots and Systems,Vilamoura,2012:573-580.

        [25]

        AI Y B,RUI T,YANG X Q,et al.Visual SLAM in dynamic environments based on object detection[J].Defence Technology,2021,17(5):1712-1721.[26]

        房立金,劉博,萬應(yīng)才.基于深度學(xué)習(xí)的動態(tài)場景語義 SLAM[J].華中科技大學(xué)學(xué)報(自然科學(xué)版),2020,48(1):121-126.

        FANG Lijin,LIU Bo,WAN Yingcai.Dynamic scene semantic SLAM based on deep learning[J].Journal of Huazhong University of Science and Technology(Natural Science Edition),2020,48(1):121-126.[27]

        ZHONG F W,WANG S,HANG Z Q,et al.DetectS-LAM:Making object detection and SLAM mutually beneficial[C]//IEEE Winter Conference on Applications of Computer Vision.Piscataway,USA:IEEE,2018:1001-1010.[28]

        WANG Z M,ZHANG Q,LI J S,et al.A computationally efficient semantic SLAM solution for dynamic scenes[J].Remote Sensing,2019,11(11):1363.

        [29]VON GIOI R G,JAKUBOWICZ J,MOREL J M,et al.LSD:a fast line segment detector with a false detection control[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,32(4):722-732.

        (責(zé)任編輯:高佳)

        猜你喜歡
        注意力機制
        基于注意力機制的行人軌跡預(yù)測生成模型
        基于注意力機制和BGRU網(wǎng)絡(luò)的文本情感分析方法研究
        多特征融合的中文實體關(guān)系抽取研究
        基于序列到序列模型的文本到信息框生成的研究
        基于深度學(xué)習(xí)的手分割算法研究
        從餐館評論中提取方面術(shù)語
        面向短文本的網(wǎng)絡(luò)輿情話題
        基于自注意力與動態(tài)路由的文本建模方法
        基于深度學(xué)習(xí)的問題回答技術(shù)研究
        基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
        久久久久亚洲精品无码网址| 成人大片免费视频播放一级 | 国模一区二区三区白浆| 无码在线观看123| 中文字幕人成乱码中文| 国产情侣自拍一区视频| 亚洲中文字幕久在线| 国产日韩亚洲欧洲一区二区三区| 亚洲中文字幕第二十三页| 丁香花五月六月综合激情| 久久久久久久亚洲av无码| 国产性生交xxxxx免费| 日韩最新在线不卡av| 精品日韩在线观看视频| 免费在线黄色电影| 久久乐国产精品亚洲综合| 无码高清视频在线播放十区| 一本色道精品亚洲国产一区| 丰满少妇被粗大猛烈进人高清| 精品少妇ay一区二区三区| 无码av永久免费大全| 后入少妇免费在线观看| 欧美高清视频手机在在线| 一本一道久久综合狠狠老| 中文岛国精品亚洲一区| 免费观看日本一区二区三区| 亚洲av成人网| 伊人色综合视频一区二区三区| 岛国av一区二区三区| 国产午夜视频在线观看.| 久久久日韩精品一区二区三区| 无夜精品久久久久久| 激情五月开心五月av| 专干老熟女视频在线观看| 丰满少妇人妻无码专区| 国产一区二区三区av香蕉| 国产女人精品视频国产灰线| 女人扒开下面无遮挡| 国语精品视频在线观看不卡| 国产高清在线一区二区不卡| 无码不卡av东京热毛片|