張繼賢,劉 飛

1. 國(guó)家測(cè)繪產(chǎn)品質(zhì)量檢驗(yàn)測(cè)試中心,北京 100830; 2. 北京建筑大學(xué)測(cè)繪與城市空間信息學(xué)院,北京 102616

SLAM技術(shù)作為一種即時(shí)匯集未知環(huán)境幾何、拓?fù)洹⒄Z義等信息的前沿科技,逐漸成為一種集導(dǎo)航定位、地圖構(gòu)建、目標(biāo)檢測(cè)和場(chǎng)景識(shí)別為一體的測(cè)繪技術(shù),在自動(dòng)駕駛、智能機(jī)器人、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域發(fā)揮了重要作用[1-5],逐漸形成了以激光和相機(jī)為主的激光SLAM、視覺SLAM兩種技術(shù)模式,其中前者起步早、發(fā)展相對(duì)成熟,后者正處于快速發(fā)展與完善階段[6]。通常情況下,人類從外界獲得的信息約90%來自眼睛,而視覺SLAM具有類似特點(diǎn),可以從周邊環(huán)境中獲取海量、冗余紋理等測(cè)繪要素,并擁有優(yōu)異的場(chǎng)景辨別能力,配合其優(yōu)異的性價(jià)比,受到諸多學(xué)者的青睞。為此,本文重點(diǎn)圍繞視覺SLAM環(huán)境感知技術(shù)及其在測(cè)繪方面的應(yīng)用進(jìn)行論述。

視覺SLAM環(huán)境感知技術(shù)是指搭載視覺傳感器的載體在沒有環(huán)境先驗(yàn)信息的情況下,在運(yùn)動(dòng)過程中建立環(huán)境模型,同時(shí)估計(jì)載體運(yùn)動(dòng)[7-9],先后經(jīng)歷了傳統(tǒng)時(shí)代(1986—2004)、算法分析時(shí)代(2004—2015)、穩(wěn)健性-預(yù)測(cè)性時(shí)代(2015至今) 3個(gè)發(fā)展階段[10],形成了VO(visual odometry)、VIO(visual-inertial odometry)、SLAM等典型算法模型,涌現(xiàn)出了適用于單目、雙目、RGB-D等多種傳感器的視覺SLAM環(huán)境感知技術(shù)路線,促進(jìn)了視覺SLAM環(huán)境感知技術(shù)在導(dǎo)航、定位和制圖等方面的快速發(fā)展,并在自動(dòng)駕駛、航空攝影測(cè)量、地面移動(dòng)測(cè)量、信息提取與場(chǎng)景重建等測(cè)繪業(yè)務(wù)中的得到應(yīng)用[11-13]。

當(dāng)今,人類社會(huì)正逐漸向智能化時(shí)代邁進(jìn)。我國(guó)在《2019年政府工作報(bào)告》中將人工智能升級(jí)為“智能+”,美國(guó)、歐盟等全球38個(gè)國(guó)家、地區(qū)制定了國(guó)家層面的人工智能戰(zhàn)略和政策,推動(dòng)了人工智能技術(shù)研究不斷走向深入。隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新一代信息技術(shù)更新發(fā)展,推動(dòng)智能化測(cè)繪技術(shù)進(jìn)步和事業(yè)轉(zhuǎn)型升級(jí),已成為測(cè)繪業(yè)界關(guān)心的熱門話題[14]。視覺SLAM技術(shù)可以實(shí)時(shí)獲取位置、地圖、紋理、語義和文字等環(huán)境信息,成為環(huán)境感知的主要途徑之一,但如何通過新一代信息技術(shù)的加持,深入探索基于視覺SLAM的環(huán)境感知“眼睛”、深度學(xué)習(xí)算法的“大腦”和眾包地理信息的“課堂教學(xué)”之間的耦合發(fā)展方式,攻克基于視覺SLAM環(huán)境感知技術(shù)的地理信息環(huán)境感知、知識(shí)匯聚和智能化應(yīng)用技術(shù),進(jìn)一步提高測(cè)繪生產(chǎn)力和生產(chǎn)要素的智能化水平,成為當(dāng)前亟待解決的技術(shù)難題。

為了深入探討基于視覺SLAM環(huán)境感知技術(shù)支持的智能化測(cè)繪發(fā)展,需要厘清視覺SLAM環(huán)境感知技術(shù)概念、理論、技術(shù)發(fā)展動(dòng)態(tài),以及當(dāng)前的測(cè)繪應(yīng)用特點(diǎn)。為此,筆者分析了視覺SLAM環(huán)境感知技術(shù)的發(fā)展現(xiàn)狀,探討了智能化時(shí)代的視覺SLAM環(huán)境感知技術(shù)發(fā)展方向,進(jìn)而提出了智能化時(shí)代基于視覺SLAM環(huán)境感知技術(shù)的智能化測(cè)繪應(yīng)用模式。

1 視覺SLAM環(huán)境感知技術(shù)研究進(jìn)展

經(jīng)過30多年的發(fā)展,視覺SLAM環(huán)境感知技術(shù)的理論框架已經(jīng)逐漸清晰,包括前端、后端、回環(huán)檢測(cè)和制圖4個(gè)主要的技術(shù)環(huán)節(jié)。前端的任務(wù)是估算相鄰圖像采集時(shí)相機(jī)的運(yùn)動(dòng)和計(jì)算局部地圖;后端主要是基于回環(huán)檢測(cè)信息對(duì)圖像位姿和地圖信息進(jìn)行優(yōu)化;回環(huán)檢測(cè)則是根據(jù)圖像信息識(shí)別已經(jīng)出現(xiàn)的場(chǎng)景或位置,如果檢測(cè)到回環(huán),然后把信息提供給后端進(jìn)行處理;制圖環(huán)節(jié)主要根據(jù)估計(jì)的軌跡,建立對(duì)應(yīng)的地圖[7]。近年來,隨著4個(gè)主要環(huán)節(jié)技術(shù)的不斷發(fā)展變化,逐漸形成了以特征點(diǎn)法SLAM、直接法SLAM、視覺指紋庫(kù)SLAM、語義SLAM和類腦SLAM等為主體的視覺SLAM技術(shù)框架和算法模型,并在智慧交通、場(chǎng)景測(cè)繪、防災(zāi)減災(zāi)、虛擬(增強(qiáng))現(xiàn)實(shí)和智慧醫(yī)療等領(lǐng)域開展了產(chǎn)業(yè)化應(yīng)用探索。表1列舉了30多年來典型的實(shí)時(shí)視覺SLAM環(huán)境感知算法模型。

表1 典型視覺SLAM環(huán)境感知算法模型

1.1 特征點(diǎn)法視覺SLAM

特征點(diǎn)法視覺SLAM技術(shù)是建立在圖像特征信息處理基礎(chǔ)上,基于同名像點(diǎn)之間的最小歐氏距離或者像平面重投影誤差(reprojection error)最小化原理進(jìn)行估算相鄰圖像間相機(jī)的運(yùn)動(dòng)、定位信息和構(gòu)建局部地圖的技術(shù)[7,15],是視覺SLAM發(fā)展較早的一種方法。文獻(xiàn)[16]首次實(shí)現(xiàn)了基于濾波算法的實(shí)時(shí)SLAM技術(shù),文獻(xiàn)[17]發(fā)展了基于非線性優(yōu)化的多線程并行處理PTAM(parallel tracking and mapping)算法。文獻(xiàn)[18]提出S-PTAM(stereo PTAM)算法,將姿態(tài)估計(jì)與地圖構(gòu)建等并行處理。文獻(xiàn)[19]提出ORB-SLAM算法,并經(jīng)過ORB-SLAM2[3]和ORB-SLAM3[20]算法的完善和提升,發(fā)展成了一套適用單目、雙目和RGB-D相機(jī),且可實(shí)時(shí)處理的特征點(diǎn)法視覺SLAM技術(shù)框架,在精度方面,ORB-SLAM2算法可以實(shí)現(xiàn)百米距離內(nèi)優(yōu)于1%的相對(duì)定位精度和0.21°的姿態(tài)測(cè)量精度[3]。濾波和非線性優(yōu)化是早期兩種不同后端處理方式的技術(shù)框架,前者計(jì)算效率高,后者計(jì)算精度高,目前二者逐漸朝著相向的方向發(fā)展[21-22]。隨著S-PTAM、ORB-SLAM、ORB-SLAM2和ORB-SLAM3等特征點(diǎn)法典型模型的提出,特征點(diǎn)法視覺SLAM的技術(shù)框架基本確定,其中ORB-SLAM系列憑借支持多種傳感器、優(yōu)異的計(jì)算性能和精度、 有效的回環(huán)檢測(cè)算法和并行計(jì)算等特點(diǎn),成為特征點(diǎn)法視覺SLAM的基礎(chǔ)參考,圖1展示了特征點(diǎn)法視覺SLAM的技術(shù)框架[3,19-20,23]。

圖1 特征點(diǎn)法視覺SLAM技術(shù)框架Fig.1 The technical framework of feature-based visual SLAM

特征點(diǎn)法視覺SLAM技術(shù)是多種方法中研究時(shí)間較久,較為成熟的方案之一,美國(guó)“機(jī)遇號(hào)”“勇氣號(hào)”和“好奇號(hào)”火星探測(cè)車,以及中國(guó)的“月兔號(hào)”月球車采用光束法平差(bundle adjustment,BA)方法進(jìn)行著陸過程中的位置和姿態(tài)解算,支撐了探測(cè)車安全避障與路徑規(guī)劃所需的基礎(chǔ)地圖制作[33],而BA方法也是視覺SLAM位姿估計(jì)和圖優(yōu)化的重要方法之一。文獻(xiàn)[34—35]實(shí)現(xiàn)了基于無人機(jī)視覺SLAM技術(shù)的DOM(數(shù)字正射影像)、DSM(數(shù)字表面模型)和DEM(數(shù)字高程模型)等測(cè)繪產(chǎn)品的實(shí)時(shí)制作。文獻(xiàn)[36]采用單目SLAM技術(shù)實(shí)時(shí)構(gòu)造不同高度的網(wǎng)格地圖,為無人機(jī)平臺(tái)動(dòng)態(tài)選擇合適的著陸區(qū)域,為交互式路徑規(guī)劃技術(shù)提供了支撐。由于受稀疏的紋理環(huán)境、復(fù)雜的光照和高動(dòng)態(tài)場(chǎng)景影響比較嚴(yán)重,且在特征提取、描述和匹配等方面需要較大的計(jì)算資源,特征點(diǎn)法視覺SLAM技術(shù)的產(chǎn)業(yè)應(yīng)用受到了一定限制,尤其是構(gòu)建稠密地圖受到影響更甚。

1.2 直接法視覺SLAM

為了降低圖像特征處理時(shí)間和計(jì)算資源的消耗,直接法視覺SLAM技術(shù)應(yīng)運(yùn)而生。直接法視覺定位技術(shù)假設(shè)兩幀圖像中的匹配像素的灰度值不變,構(gòu)建光度誤差函數(shù),基于圖像間光度誤差(photometric error)最小化原理進(jìn)行位姿變化計(jì)算。過程中僅需特征提取,無須特征描述與匹配[37]。相比于特征點(diǎn)法只能構(gòu)建稀疏點(diǎn)云地圖(構(gòu)建半稠密或稠密需要采取其他技巧),直接法可以利用圖像上全部像素信息,具備構(gòu)建半稠密和稠密地圖的能力,在紋理稀疏場(chǎng)景具有一定優(yōu)勢(shì)。

直接法視覺SLAM是建立在圖像亮度一致性假設(shè)和光流法基礎(chǔ)上發(fā)展起來的。文獻(xiàn)[15,24]提出了完整的直接法SLAM框架DTAM(dense tracking and mapping),通過稠密、亞像素和精確多視立體重建等進(jìn)行軌跡跟蹤和三維模型重建。LSD-SLAM(large scale direct SLAM)的問世,成為第一個(gè)大尺度直接法單目視覺SLAM方法[25,38],利用圖像中像素梯度顯著的區(qū)域進(jìn)行位姿跟蹤和深度重構(gòu),可以恢復(fù)半稠密的三維場(chǎng)景地圖,文獻(xiàn)[38]將其拓展到雙目與大視角相機(jī),實(shí)現(xiàn)了手機(jī)端的AR應(yīng)用等其他功能,成為了直接法中最具代表性的技術(shù)框架[39]。文獻(xiàn)[26]在2013年基于圖像中全部像素光度誤差和深度誤差最小化原理提出了DVO-SLAM(dense visual odometry SLAM)算法框架,定位精度可達(dá)0.19 m,成為了基于RGB-D相機(jī)進(jìn)行視覺SLAM技術(shù)的基礎(chǔ)。作為視覺SLAM的前端技術(shù),DSO(direct sparse odometry)視覺里程計(jì)出現(xiàn)和發(fā)展,憑借良好的運(yùn)算速度與跟蹤精度,將直接法視覺SLAM技術(shù)推向了一個(gè)新的高度[40-41]。文獻(xiàn)[40]提出了半直接法(semi-direct monocular visual odometry,SVO),利用直接法估計(jì)相機(jī)運(yùn)動(dòng)及特征點(diǎn)位置,又對(duì)關(guān)鍵幀影像的路標(biāo)點(diǎn)進(jìn)行了優(yōu)化,該方法可以獲得更精確、穩(wěn)健和高效的結(jié)果,也被廣泛研究。圖2展示了直接法視覺SLAM算法的技術(shù)框架,不同于特征點(diǎn)法視覺SLAM技術(shù)的是前端和制圖兩部分內(nèi)容,其中前端主要基于圖像灰度信息進(jìn)行位姿估計(jì)和跟蹤,建圖部分半稠密和稠密地圖是直接法的特色和亮點(diǎn)。

圖2 直接法視覺SLAM簡(jiǎn)要技術(shù)框架Fig.2 The brief technical framework of direct-based visual SLAM

直接法視覺SLAM無須計(jì)算特征描述子,結(jié)合像素梯度計(jì)算結(jié)果即可完成跟蹤和半稠密或稠密地圖的構(gòu)建,對(duì)計(jì)算資源要求低,消耗時(shí)間短,成為近年來應(yīng)用研究的重點(diǎn)。意大利Leonardo軍工公司在無人機(jī)軍用編隊(duì)項(xiàng)目中將LSD-SLAM(large-scale direct monocular SLAM)算法與無人機(jī)集成,開展障礙物識(shí)別工作[42]。地平線公司采用StereoDSO算法進(jìn)行稠密地圖重建、3D環(huán)境感知與語義重建,研制了系列適用圖像處理的自動(dòng)駕駛應(yīng)用芯片,推動(dòng)了視覺SLAM技術(shù)的智能化發(fā)展[43]。直接法SLAM由于存在圖像灰度一致性假設(shè)、較小運(yùn)動(dòng)場(chǎng)景適用和圖像塊相關(guān)性計(jì)算等問題,在一定程度上限制了直接法SLAM的發(fā)展,為此未來需要進(jìn)一步地攻克上述問題。

1.3 視覺指紋庫(kù)SLAM

人類可以通過回憶判斷曾經(jīng)到達(dá)過的位置,而視覺指紋庫(kù)SLAM技術(shù)賦予了機(jī)器人構(gòu)建地圖和場(chǎng)景識(shí)別的能力。該技術(shù)根據(jù)預(yù)先構(gòu)建的物理世界視覺指紋庫(kù)[44]與當(dāng)前位置的視覺詞袋模型進(jìn)行匹配,利用場(chǎng)景外觀概率識(shí)別算法,確定機(jī)器人位置,并基于環(huán)境信息更新指紋庫(kù)。

早期基于整體或者局部特征相似度的視覺指紋庫(kù)SLAM方法雖然得到了大量的研究和嘗試,但是在應(yīng)用方面仍然存在較大的局限性。文獻(xiàn)[45]提出了視覺詞袋模型(bag of words,BoW),推動(dòng)了基于BoW和回環(huán)檢測(cè)結(jié)合的視覺指紋庫(kù)SLAM技術(shù)得到快速發(fā)展。文獻(xiàn)[27,46]提出了FAB-MAP算法,其2.0版本的模型在1000 km的路線測(cè)試中被證明是一種成功的場(chǎng)景識(shí)別算法,在100%的精度下,召回率為6.5%,足以支持一個(gè)好的尺度SLAM系統(tǒng),成為了基于視覺指紋庫(kù)SLAM方法的城市或者更大尺度場(chǎng)景定位和建模的重要基礎(chǔ)。圖3展示了簡(jiǎn)要的技術(shù)框架:首先對(duì)物理世界進(jìn)行建模,構(gòu)建物理世界的視覺指紋庫(kù),也即先驗(yàn)地圖;其次將感知的圖像信息轉(zhuǎn)換成視覺單詞;然后計(jì)算視覺單詞與視覺指紋庫(kù)的相似度,進(jìn)而實(shí)現(xiàn)位置確定,并將物理世界的信息更新至視覺指紋庫(kù)中[27]。具有類似原理的視覺場(chǎng)景識(shí)別(visual place recognition,VPR)技術(shù)也是視覺指紋庫(kù)SLAM感知技術(shù)的一種重要形式,得到了廣泛的研究和應(yīng)用[47-48]。

圖3 視覺指紋庫(kù)SLAM技術(shù)框架Fig.3 The technical framework of fingerprint-based visual SLAM

視覺指紋庫(kù)SLAM技術(shù)屬于一種長(zhǎng)時(shí)間序列、大空間尺度的視覺SLAM感知方法。文獻(xiàn)[49]提出了SeqSLAM(sequence SLAM)算法,即使存在因季節(jié)、天氣、晝夜變化等因素引起的極端環(huán)境變化導(dǎo)致基于特征的算法失敗時(shí),該方法仍然能夠以100%的準(zhǔn)確率和60%的召回率實(shí)現(xiàn)軌跡匹配,被認(rèn)為是最成功的環(huán)路閉合檢測(cè)算法。為了降低計(jì)算資源消耗和大型地圖的處理,文獻(xiàn)[50]提出了Fast-SeqSLAM算法,進(jìn)一步降低了計(jì)算復(fù)雜度,提高了計(jì)算效率。文獻(xiàn)[51]采用混合緊湊型神經(jīng)網(wǎng)絡(luò)模型進(jìn)行視覺位置識(shí)別,取得了比SeqSLAM更加優(yōu)異的結(jié)果。文獻(xiàn)[52]基于改進(jìn)的VPR提出更具潛力的適用于自動(dòng)駕駛需求的大范圍場(chǎng)景識(shí)別技術(shù)。當(dāng)前視覺指紋庫(kù)SLAM技術(shù)已經(jīng)解決了物理視覺的數(shù)據(jù)表達(dá)、關(guān)聯(lián)和搜索等問題,被廣泛應(yīng)用于大范圍場(chǎng)景的定位和識(shí)別,通過與無人機(jī)、無人車、無人潛航器等智能化裝備結(jié)合應(yīng)用[48],成為推動(dòng)人工智能技術(shù)發(fā)展的重要因素。

1.4 語義視覺SLAM

語義視覺SLAM是一種匯聚語義和SLAM技術(shù)的具有尺度、拓?fù)浜驼Z義地圖構(gòu)建功能為一體的視覺環(huán)境感知技術(shù),可以基于典型的SLAM技術(shù)結(jié)合物體類別、目標(biāo)檢測(cè)、語義分割等語義信息,實(shí)現(xiàn)物理環(huán)境幾何、拓?fù)浜驼Z義信息的獲取和地圖構(gòu)建,并用于導(dǎo)航定位等功能,是當(dāng)前視覺SLAM領(lǐng)域的一個(gè)熱點(diǎn)研究方向[10,53]。

20世紀(jì)中葉美國(guó)心理學(xué)家E·C·托爾曼提出了認(rèn)知地圖(cognitive map)的概念,拉開了語義地圖相關(guān)技術(shù)研究的序幕,到了70年代語義地圖和機(jī)器人技術(shù)緊密結(jié)合起來[54]。然而,語義視覺SLAM則是近年來隨著典型SLAM技術(shù)發(fā)展而來的新技術(shù)[55]。按照算法集成模式劃分,可以分為兩類處理方式,一類是獨(dú)立的SLAM與目標(biāo)識(shí)別算法結(jié)合方式。文獻(xiàn)[54]提出空間和語義結(jié)合,到文獻(xiàn)[29]提出的SLAM++算法,是比較早期整合語義信息進(jìn)行定位和制圖的算法,其中YOLO(you only look once)系列目標(biāo)識(shí)別算法被廣泛用于語義視覺SLAM技術(shù)研究[56-57]。另一類是將語義與SLAM耦合處理的方式。文獻(xiàn)[58]首次將幾何、語義和IMU(inertial measurement unit)信息統(tǒng)一到單個(gè)優(yōu)化框架中,用語義信息輔助提高定位精度,取得比單目ORB-SLAM更加優(yōu)異的結(jié)果。按照模型中語義作用劃分,可以分為服務(wù)于特征選擇算法,獲得對(duì)光照和視角變化穩(wěn)健性更好的特征點(diǎn)[59];服務(wù)于減弱圖像中動(dòng)態(tài)物體影響,提高系統(tǒng)的穩(wěn)健性[60];服務(wù)于單目視覺SLAM尺度恢復(fù)[61];服務(wù)于長(zhǎng)時(shí)間序列定位[62]和定位精度提高[57]等方面。近年來隨著深度學(xué)習(xí)算法的發(fā)展,如文獻(xiàn)[30]提出的CNN-SLAM(convolutional neural network SLAM)算法,深度估計(jì)誤差低于真實(shí)值10%,位姿估計(jì)精度優(yōu)于LSD-SLAM方法,推動(dòng)了深度學(xué)習(xí)支持的語義視覺SLAM技術(shù)成為了研究熱點(diǎn)[63]。圖4展示了語義視覺SLAM算法的技術(shù)框架,包括跟蹤與位姿計(jì)算、地圖構(gòu)建、回環(huán)檢測(cè)和語義重建等部分[64]。其中前3部分是傳統(tǒng)SLAM的技術(shù)框架,語義重建部分通常結(jié)合本文歸納的兩種處理方式實(shí)現(xiàn)。

圖4 語義視覺SLAM技術(shù)框架Fig.4 The technical framework of semantic visual SLAM

語義視覺SLAM環(huán)境感知技術(shù)目前處于快速發(fā)展的階段,逐漸成為了推動(dòng)智能裝備從被動(dòng)規(guī)劃式環(huán)境感知技術(shù)向主動(dòng)交互式環(huán)境感知技術(shù)發(fā)展的重要力量。文獻(xiàn)[60]利用語義視覺SLAM技術(shù)在高動(dòng)態(tài)環(huán)境中克服了傳統(tǒng)視覺SLAM技術(shù)靜態(tài)環(huán)境假設(shè)的應(yīng)用前提,提高了車輛導(dǎo)航時(shí)與動(dòng)態(tài)環(huán)境的交互性。文獻(xiàn)[65]開展了道路環(huán)境下的快速3D語義地圖構(gòu)建技術(shù)研究,能夠識(shí)別道路、人行道、墻體、地形、植被、交通標(biāo)識(shí)和汽車等物體。文獻(xiàn)[66]利用語義和粒子濾波技術(shù)自動(dòng)構(gòu)建了城市場(chǎng)景車道級(jí)高精度地圖,伴隨該方向的深入研究,相關(guān)成果可以為自動(dòng)駕駛車輛提供地圖支撐。文獻(xiàn)[67]詳細(xì)地描述了語義視覺SLAM環(huán)境感知技術(shù)在動(dòng)態(tài)環(huán)境理解與制圖、靜態(tài)場(chǎng)景理解、與人類和環(huán)境的交互,以及機(jī)器人改善工作能力等方面的作用,進(jìn)一步為語義視覺SLAM環(huán)境感知技術(shù)的應(yīng)用拓展指明了方向。未來,隨著語義視覺SLAM技術(shù)在目標(biāo)檢測(cè)、數(shù)據(jù)關(guān)聯(lián)準(zhǔn)確性方面的提高,以及復(fù)雜算法與計(jì)算資源之間矛盾的優(yōu)化,將會(huì)進(jìn)一步促進(jìn)該技術(shù)在語義地圖、場(chǎng)景解譯、高精度導(dǎo)航定位等領(lǐng)域的應(yīng)用。

1.5 類腦視覺SLAM

人類和動(dòng)物在陌生環(huán)境的導(dǎo)航能力,吸引了對(duì)類腦導(dǎo)航與空間認(rèn)知結(jié)合的仿生導(dǎo)航技術(shù)的不斷探索。隨著視覺SLAM技術(shù)的發(fā)展,采用腦科學(xué)、人工智能有機(jī)結(jié)合的類腦視覺SLAM技術(shù)開始嶄露頭角,成為近年來的研究熱點(diǎn)。類腦視覺SLAM指智能設(shè)備依靠視覺傳感器,依賴大腦導(dǎo)航機(jī)制,具有自主學(xué)習(xí)進(jìn)化、環(huán)境感知、認(rèn)知地圖構(gòu)建于一體的一種新型視覺SLAM技術(shù)方法[68]。

自1971年O'Keefe和Dostrovsky發(fā)現(xiàn)嚙齒動(dòng)物具有方向細(xì)胞和導(dǎo)航細(xì)胞,到2014年O'Keefe等人發(fā)現(xiàn)“構(gòu)成大腦定位系統(tǒng)的細(xì)胞”獲得諾貝爾醫(yī)學(xué)獎(jiǎng)。研究發(fā)現(xiàn)哺乳動(dòng)物海馬體中的“位置”細(xì)胞(place cell)、“網(wǎng)格”細(xì)胞(grid cell)、“方向”細(xì)胞(head direction cell)、“邊界”細(xì)胞(boundary vector cell)和“條紋”細(xì)胞(band cell)等是哺乳動(dòng)物感知環(huán)境、構(gòu)建環(huán)境認(rèn)知地圖和導(dǎo)航的主要支撐[69]。相關(guān)研究人員基于哺乳動(dòng)物海馬體對(duì)環(huán)境的認(rèn)知和導(dǎo)航機(jī)理,提出了仿生導(dǎo)航概念,類腦視覺SLAM技術(shù)逐漸開展起來[70]。文獻(xiàn)[31,71—72]利用相關(guān)支撐條件,提出RatSLAM算法模型,并不斷發(fā)展完善,實(shí)現(xiàn)了2D郊區(qū)地圖繪制和超過2周時(shí)間的辦公環(huán)境導(dǎo)航功能,開創(chuàng)了類腦SLAM算法的先河,為眾多改進(jìn)型算法模型的研究奠定了基礎(chǔ)。文獻(xiàn)[70]基于3D網(wǎng)格細(xì)胞和方向細(xì)胞提出了適用3D環(huán)境下的NeuroSLAM算法,在大型、非結(jié)構(gòu)化、不可預(yù)測(cè)的環(huán)境中推動(dòng)了腦感知SLAM的進(jìn)一步發(fā)展。另外,基于仿生眼技術(shù)的視覺SLAM解決方案,能夠在紋理稀疏環(huán)境主動(dòng)搜索豐富的紋理環(huán)境,提升視覺SLAM的穩(wěn)健性,也為類腦視覺SLAM提供一種新的解決方案[73]。圖5展示了腦感知SLAM的簡(jiǎn)要技術(shù)框架,主要由4部分內(nèi)容組成。首先,圖像預(yù)處理部分基于圖像信息進(jìn)行圖像特征或視覺單詞提取、位姿估計(jì)和路徑整合等;其次,物體感知部分進(jìn)行物體感知和閉環(huán)檢測(cè),服務(wù)于過往場(chǎng)景識(shí)別或新場(chǎng)景補(bǔ)充;然后,位置感知部分利用相關(guān)定位細(xì)胞進(jìn)行位姿計(jì)算;最后,利用物體感知和位置感知的結(jié)果構(gòu)建具備環(huán)境拓?fù)浜途植慷攘康沫h(huán)境地圖,也即情景認(rèn)知地圖[32,74]。

圖5 類腦視覺SLAM技術(shù)框架[74]Fig.5 The technical framework of brain-like visual SLAM[74]

作為新興的仿生導(dǎo)航技術(shù),類腦視覺SLAM環(huán)境感知技術(shù)仍然處于發(fā)展的初級(jí)階段,眾多學(xué)者圍繞定位、制圖等方面進(jìn)行研究,但是在賦予機(jī)器人自主交互能力和算法應(yīng)用等方面仍然面臨著較大的挑戰(zhàn)。隨著類腦視覺SLAM技術(shù)與傳感、認(rèn)知、學(xué)習(xí)和控制等技術(shù)的深度融合,將會(huì)賦予下一代機(jī)器人智能感知、自我學(xué)習(xí)與認(rèn)知、與人類和環(huán)境交互的能力[75],推動(dòng)機(jī)器人環(huán)境感知技術(shù)更加擬人化[76]。

制圖是視覺SLAM的重要功能之一,圖6展示了視覺SLAM方法可以形成的6種地圖形式。其中圖6(a)、(b)、(c)是尺度地圖的3種表示形式,也即根據(jù)地圖的稀疏程度精確地表示了地圖中物體的位置關(guān)系;拓?fù)涞貓D不具備真實(shí)的物理尺寸,只表示不同地點(diǎn)的連通關(guān)系和距離,常用于路徑規(guī)劃和定位約束;語義地圖是加標(biāo)簽的尺度地圖,常用于人機(jī)交互,可提供目標(biāo)物體類型、空間形態(tài)及位置等信息;情景認(rèn)知地圖(cognitive maps of city)是人腦中再現(xiàn)的環(huán)境意象,由路徑、標(biāo)志、節(jié)點(diǎn)、區(qū)域、邊界5個(gè)基本要素組成。上述地圖類型覆蓋了尺度、拓?fù)?、語義等環(huán)境信息,是測(cè)繪全息要素的重要組成部分。

圖6 視覺SLAM地圖表達(dá)形式Fig.6 The map representation of visual SLAM

綜上,特征點(diǎn)法視覺SLAM發(fā)展較早,相對(duì)成熟和完善,但是受光照、紋理等環(huán)境特征影響較大;直接法視覺SLAM回避了特征點(diǎn)法中的特征處理環(huán)節(jié),在稠密地圖重建方面更具優(yōu)勢(shì),但是受到圖像灰度一致性假設(shè)的限制;視覺指紋庫(kù)SLAM借助詞袋模型優(yōu)勢(shì),更加適應(yīng)大場(chǎng)景的應(yīng)用需求,但需對(duì)物理世界預(yù)先建模,且易受到季節(jié)、晝夜、天氣等因素影響;語義視覺SLAM技術(shù),立足上述算法,引入了基于深度學(xué)習(xí)算法的環(huán)境語義提取,提升了對(duì)環(huán)境的理解和交互能力;類腦視覺SLAM采用仿生機(jī)理建立的一種新型SLAM方法,在擬人化方面具有較大的發(fā)展?jié)摿?。然?面向智能化時(shí)代特點(diǎn),單一的視覺SLAM方法難以滿足復(fù)雜的應(yīng)用需求,而建立在新一代信息技術(shù)基礎(chǔ)之上的多種視覺SLAM方法融合更具發(fā)展優(yōu)勢(shì)。

2 智能化時(shí)代視覺SLAM環(huán)境感知發(fā)展趨勢(shì)

視覺SLAM技術(shù)對(duì)比激光SLAM技術(shù)具有成本低、語義信息豐富、可實(shí)時(shí)傳輸,以及符合人類的感知習(xí)慣等特點(diǎn)[77],成為近年來的研究熱點(diǎn),通過與物聯(lián)網(wǎng)、5G、云計(jì)算、深度學(xué)習(xí)等技術(shù)的結(jié)合,將會(huì)進(jìn)一步促進(jìn)當(dāng)前的技術(shù)進(jìn)步,在智能化環(huán)境交互感知、眾包化數(shù)據(jù)匯聚、網(wǎng)絡(luò)化實(shí)時(shí)處理、大數(shù)據(jù)知識(shí)服務(wù)和多樣化應(yīng)用等方面快速發(fā)展,呈現(xiàn)出智能化時(shí)代視覺SLAM環(huán)境感知技術(shù)的新特點(diǎn)和新面貌。

2.1 智能化環(huán)境感知交互

隨著視覺SLAM技術(shù)與智能芯片、深度學(xué)習(xí)算法的融合不斷加深,利用智能芯片和算法賦能視覺SLAM技術(shù),提升在環(huán)境感知、交互響應(yīng)等方面的智能化水平成為視覺SLAM技術(shù)的重要發(fā)展方向。在環(huán)境感知方面,基于視覺SLAM幾何環(huán)境信息獲取手段,深入研究基于深度學(xué)習(xí)算法支持的環(huán)境語義信息同步感知技術(shù),實(shí)現(xiàn)時(shí)空屬性與物體屬性同步認(rèn)知的功能;在交互響應(yīng)方面,利用腦感知視覺SLAM、語義視覺SLAM等主動(dòng)性地判別場(chǎng)景物體,自主跟蹤有效目標(biāo),對(duì)環(huán)境觀測(cè)信息進(jìn)行有效的綜合和取舍,并做出相應(yīng)的執(zhí)行動(dòng)作,推動(dòng)現(xiàn)在的“眼觀六路”感知技術(shù),向未來的“所見即所得”感知與交互融合方向發(fā)展,即在觀測(cè)信息的支持下,對(duì)環(huán)境情況做出即時(shí)的理解和響應(yīng)。

2.2 即時(shí)眾包化信息處理

視頻作為一種流媒體數(shù)據(jù)[78],為視覺SLAM技術(shù)在即時(shí)、眾包信息感知處理方面發(fā)展奠定了基礎(chǔ)。在即時(shí)信息處理方面,研究視覺SLAM與互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動(dòng)通信網(wǎng)等手段深度耦合方式,攻克基于即時(shí)通訊手段支撐的云-邊-端協(xié)同的位置、制圖、幾何、拓?fù)?、語義等實(shí)時(shí)處理技術(shù),打造“感知-信息”聯(lián)動(dòng)的在線應(yīng)用模式,提升視覺SLAM技術(shù)的即時(shí)服務(wù)能力;在眾包感知處理方面,利用視覺SLAM的即時(shí)處理能力,攻克基于網(wǎng)聯(lián)汽車、無人車、無人機(jī)、機(jī)器人、手機(jī)等設(shè)備云-機(jī)交互反饋的眾包信息處理技術(shù),滿足大眾化智能裝備在線導(dǎo)航、定位、避障、路徑規(guī)劃等需求,同步構(gòu)建基于云端的測(cè)繪產(chǎn)品[79],打破傳統(tǒng)依賴專業(yè)團(tuán)隊(duì)獲取與處理數(shù)據(jù)的局面,推動(dòng)眾包化環(huán)境物聯(lián)感知技術(shù)發(fā)展,進(jìn)一步地解放生產(chǎn)力,提高工作效率。

2.3 多樣化感知數(shù)據(jù)服務(wù)

視頻蘊(yùn)含著紋理、顏色、幾何、位置、拓?fù)?、語義、POI(point of interest)等眾多信息,是測(cè)繪地理信息產(chǎn)品的重要構(gòu)成。通過培育視覺SLAM新型數(shù)據(jù)服務(wù)技術(shù),能夠?yàn)闇y(cè)繪行業(yè)發(fā)展提供新動(dòng)能。通過研究視覺SLAM、GNSS、IMU、超聲波雷達(dá)等多模態(tài)集成算法,有助于推動(dòng)攻克自動(dòng)駕駛領(lǐng)域及未知環(huán)境區(qū)域的導(dǎo)航定位、路徑規(guī)劃、障礙物規(guī)避等難點(diǎn);探索基于視覺SLAM的DOM、DSM、DEM和實(shí)景模型在線處理技術(shù),構(gòu)建新型遙感制圖和實(shí)景三維的服務(wù)模式,為應(yīng)急測(cè)繪等對(duì)時(shí)效性要求強(qiáng)的應(yīng)用場(chǎng)景提供支撐;攻克語義視覺SLAM技術(shù)支撐的眾包POI獲取、在線地表變化研判等技術(shù),支撐導(dǎo)航地圖更新和自然資源監(jiān)測(cè)等需求。未來可以進(jìn)一步利用大數(shù)據(jù)技術(shù),深入挖掘視覺SLAM環(huán)境感知成果中蘊(yùn)藏的豐富地理信息,有效發(fā)揮視頻數(shù)據(jù)的潛在價(jià)值。

3 視覺SLAM智能化測(cè)繪應(yīng)用模式展望

在新一代信息技術(shù)快速發(fā)展的形式下,視覺SLAM環(huán)境感知技術(shù)將會(huì)不斷取得突破和進(jìn)展,推動(dòng)其與傳統(tǒng)測(cè)繪技術(shù)的深度融合,有助于打造基于視覺SLAM環(huán)境感知技術(shù)的導(dǎo)航定位、地圖制圖、實(shí)景三維、遙感解譯等智能化測(cè)繪應(yīng)用模式,促進(jìn)傳統(tǒng)測(cè)繪服務(wù)方式向智慧化、精準(zhǔn)化方向發(fā)展。圖7基于視覺SLAM技術(shù)在位置、制圖和語義等方面的優(yōu)勢(shì)和發(fā)展延伸,提出了6種測(cè)繪應(yīng)用方式。

圖7 智能化測(cè)繪應(yīng)用展望Fig.7 Prospect of intelligent surveying and mapping application scenarios

3.1 交互式導(dǎo)航定位

智能裝備通過集成視覺、激光、超聲波等多種傳感器,以及深度學(xué)習(xí)芯片等,具備了較強(qiáng)的環(huán)境感知能力和一定的認(rèn)知能力,如大疆無人機(jī)采用視覺和超聲波組合進(jìn)行避障等。當(dāng)前視覺SLAM技術(shù)多以環(huán)境感知的方式使用,隨著語義SLAM、腦感知SLAM等技術(shù)的不斷發(fā)展,基于深度學(xué)習(xí)算法的視覺感知與SLAM技術(shù)不斷融合,推動(dòng)智能裝備朝著感知與自主決策方向發(fā)展,類似火星車自主判斷與選擇降落點(diǎn)、自動(dòng)駕駛車輛自動(dòng)感知周圍靜態(tài)和動(dòng)態(tài)的物體和屬性做出行動(dòng)決策、智能機(jī)器人根據(jù)環(huán)境信息自主決策下一步的行動(dòng)計(jì)劃等,基于視覺SLAM和深度學(xué)習(xí)算法的交互式導(dǎo)航定位技術(shù)將會(huì)得到進(jìn)一步的發(fā)展。

3.2 數(shù)字孿生城市建設(shè)

數(shù)字孿生城市建設(shè)是未來城市發(fā)展方向之一,三維地理空間數(shù)據(jù)是數(shù)字孿生的基礎(chǔ)?；谝曈XSLAM的制圖和語義提取技術(shù),可以采用KinectFusion[80]、Openrealm[12]等算法對(duì)室內(nèi)外、地上下空間及附屬設(shè)施構(gòu)建BIM/CIM(building/city information modeling)模型,并基于CNN-SLAM賦之真實(shí)的語義屬性,實(shí)現(xiàn)現(xiàn)實(shí)世界與虛擬世界的精準(zhǔn)映射。融合互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、5G、人工智能、區(qū)塊鏈等數(shù)字技術(shù),構(gòu)建城市智能運(yùn)行的數(shù)字底座,催生城市治理思維和方式的轉(zhuǎn)變與范式重塑。

3.3 實(shí)時(shí)化地表監(jiān)測(cè)與解譯

視頻流從無人機(jī)、視頻衛(wèi)星等平臺(tái)傳輸至地面或者云服務(wù)平臺(tái),利用TerrainFusion[35]等視覺SLAM技術(shù)獲取實(shí)時(shí)的DOM、DEM、DSM等測(cè)繪產(chǎn)品。利用云-邊-端等跨終端協(xié)同處理技術(shù),結(jié)合深度學(xué)習(xí)、遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等多種智能計(jì)算模型和專家經(jīng)驗(yàn),開展地表空間遙感數(shù)據(jù)要素智能提取、“數(shù)據(jù)-模型-知識(shí)”驅(qū)動(dòng)的地表要素智能解譯、自然資源要素畫像和圖譜構(gòu)建技術(shù),實(shí)現(xiàn)自然資源要素、場(chǎng)景、知識(shí)的快速智能提取和表達(dá)[81],推動(dòng)傳統(tǒng)數(shù)據(jù)服務(wù)向知識(shí)服務(wù)的轉(zhuǎn)變,服務(wù)于國(guó)土普查與動(dòng)態(tài)監(jiān)測(cè)等業(yè)務(wù)[82]。

3.4 眾包地圖POI生產(chǎn)

視覺感知技術(shù)是地圖POI數(shù)據(jù)獲取的主要手段之一,基于深度學(xué)習(xí)算法支持的語義視覺SLAM、詞袋模型等技術(shù),可與高德等廠商的STR(自然場(chǎng)景文字識(shí)別)技術(shù)結(jié)合,實(shí)現(xiàn)實(shí)時(shí)獲取地圖POI數(shù)據(jù)。通過智能手機(jī)、智能網(wǎng)聯(lián)汽車等在使用過程中的視覺傳感器采集到的圖像、位置等數(shù)據(jù),通過5G等通訊網(wǎng)絡(luò)傳輸?shù)胶蠖嗽破脚_(tái),可以實(shí)時(shí)的轉(zhuǎn)換為POI數(shù)據(jù),推動(dòng)地圖POI數(shù)據(jù)感知的眾包化,革新地圖POI數(shù)據(jù)獲取的技術(shù)方法,打破專業(yè)人員人機(jī)交互獲取的模式,提升地圖POI數(shù)據(jù)獲取的智能化、實(shí)時(shí)化程度。

3.5 無人值守地質(zhì)災(zāi)害監(jiān)測(cè)

艱險(xiǎn)山區(qū)崩滑地質(zhì)災(zāi)害突發(fā)性強(qiáng)、危害性大,基于GNSS變形監(jiān)測(cè)技術(shù)對(duì)地質(zhì)災(zāi)害監(jiān)測(cè)的實(shí)景展示稍顯不足?；贠penrealm等視覺SLAM與設(shè)備自動(dòng)換/充電、無人值守[83]等技術(shù)的發(fā)展與融合,無人機(jī)遙感監(jiān)測(cè)系統(tǒng)可以根據(jù)GNSS等預(yù)警預(yù)報(bào)信息聯(lián)動(dòng)自主觀測(cè)災(zāi)害體,并實(shí)時(shí)回傳數(shù)據(jù)構(gòu)建災(zāi)害體實(shí)景三維模型,且可以利用視覺感知技術(shù)規(guī)避三維空間的障礙物,保障飛行安全,實(shí)現(xiàn)地質(zhì)災(zāi)害的無人機(jī)值守監(jiān)測(cè)與孿生展示。

3.6 深度空間自主交互探測(cè)

面向深空、深海、深地等深度空間的探索已成為人類科技競(jìng)爭(zhēng)的焦點(diǎn)之一,針對(duì)陌生甚至未知的深度空間,類似祝融號(hào)火星車、玉兔號(hào)月球車[33]等智能裝備對(duì)其環(huán)境感知、深度交互和主動(dòng)決策能力的需求愈發(fā)凸顯。利用視覺SLAM的導(dǎo)航、定位、制圖和語義等技術(shù)可以實(shí)現(xiàn)對(duì)深度空間地形、地貌獲取,以及場(chǎng)景和空間要素的識(shí)別與解譯,并可解決探索過程中的障礙物檢測(cè)與規(guī)避等問題,提高智能裝備在深度空間探測(cè)過程中的自主性。

4 結(jié) 語

隨著智能化、云計(jì)算、大數(shù)據(jù)時(shí)代的來臨,測(cè)繪行業(yè)面臨著重要的轉(zhuǎn)型升級(jí)的發(fā)展機(jī)遇,對(duì)測(cè)繪裝備、數(shù)據(jù)感知和數(shù)據(jù)應(yīng)用模式的發(fā)展提出了更高的要求。視覺SLAM環(huán)境感知技術(shù)經(jīng)過30多年的快速發(fā)展,在定位技術(shù)方面形成了多種穩(wěn)健、可靠的技術(shù)框架、算法模型和測(cè)繪應(yīng)用工藝,在大場(chǎng)景制圖、語義和類腦技術(shù)支持的交互式主動(dòng)服務(wù)等方面取得了較大突破和進(jìn)展。隨著視覺SLAM環(huán)境感知技術(shù)與人工智能、深度學(xué)習(xí)、大數(shù)據(jù)、云-邊-端計(jì)算等技術(shù)的深度交叉發(fā)展,將會(huì)推動(dòng)視覺SLAM環(huán)境感知技術(shù)朝著智能化、眾包化、即時(shí)化等方向快速發(fā)展,進(jìn)一步推動(dòng)測(cè)繪生產(chǎn)方式和生產(chǎn)力的變革與提升。

位置、幾何、拓?fù)?、語義等信息是賦能未來測(cè)繪業(yè)務(wù)智能化發(fā)展的重要基礎(chǔ),在當(dāng)前的新發(fā)展格局下,單一的視覺SLAM方法存在巨大應(yīng)用挑戰(zhàn),需要與新一代信息技術(shù)融合發(fā)展,研究與完善復(fù)雜場(chǎng)景多方法融合的視覺SLAM環(huán)境感知技術(shù)理論、算法框架,突破實(shí)時(shí)主動(dòng)環(huán)境感知、場(chǎng)景深度交互自主導(dǎo)航與路徑規(guī)劃、全息要素地圖構(gòu)建與要素識(shí)別等關(guān)鍵技術(shù),打造基于行業(yè)與大眾結(jié)合的開放、創(chuàng)新測(cè)繪技術(shù)服務(wù)模式,滿足新形勢(shì)下的測(cè)繪應(yīng)用需求。