郭延寧,馮 振,馬廣富,郭宇晴,張米令
(哈爾濱工業(yè)大學(xué)控制科學(xué)與工程系,哈爾濱 150001)
人類已經(jīng)發(fā)射了240多顆星際探測器,到訪了太陽系內(nèi)的八大行星、小行星、彗星,目前旅行者一號探測器已飛離太陽系。針對最具挑戰(zhàn)的近距離探測外太空天體的著陸探測,也突破了月球、火星、金星、小行星、彗星等。作為最直接高效的探測方式,通過發(fā)射行星車實(shí)現(xiàn)地外天體的著陸巡視探測,探索氣候及地質(zhì)特征,搜索生命信號,對人類研究行星生命演化、開發(fā)和利用空間資源具有重要的科學(xué)意義。近年來,美國、俄羅斯、歐空局、日本以及印度相繼制定了宏大的深空探測長遠(yuǎn)規(guī)劃與實(shí)施計(jì)劃。在這些規(guī)劃中,重返月球、Mars2020、ExoMars等探測任務(wù)都計(jì)劃攜帶最先進(jìn)的巡視器,通過礦物分析來獲得更多的地外早期生命跡象,也為后續(xù)的載人探測、人類基地建設(shè)等奠定基礎(chǔ)。我國已通過嫦娥三號攜帶玉兔號月球車實(shí)現(xiàn)了月面自主巡視、深空測控通信等一系列關(guān)鍵技術(shù)突破,近期將發(fā)射嫦娥四號首次實(shí)現(xiàn)月球背面巡視探測、嫦娥五號采樣返回等任務(wù)。國務(wù)院制定的《“十三五”國家科技創(chuàng)新規(guī)劃》明確指出“到2020年發(fā)射首顆火星探測器,突破火星環(huán)繞、進(jìn)入、著陸與巡視等核心關(guān)鍵技術(shù),通過一次發(fā)射實(shí)現(xiàn)火星環(huán)繞和著陸巡視探測”[1-2]。
行星車實(shí)際上是具有高度集成化、小型化、智能化的部分自主或全自主的行星表面移動機(jī)器人,在相關(guān)的文獻(xiàn)中也稱月球車、火星車、星球車、漫游車等。在行星著陸器完成自主進(jìn)入、下降及著陸(Entry, descent and landing, EDL)任務(wù)后,行星車需要根據(jù)地面設(shè)定的探測任務(wù)開始有人或無人介入的科學(xué)探測。作為其最重要分系統(tǒng)之一,行星車導(dǎo)航與控制系統(tǒng)是提升其科學(xué)回報(bào)的重要保障條件,包括了行星車附近地形感知、自主定位、路徑規(guī)劃與避障等。同地面移動機(jī)器人不同,行星車導(dǎo)航與控制的特點(diǎn)可總結(jié)為:1) 探測距離遠(yuǎn):行星車同地面站通訊時(shí)滯大,除月球外,地球同距離最近的行星火星的平均通訊時(shí)延為25分鐘,且因行星自轉(zhuǎn)、遮擋等導(dǎo)致通訊窗口受限,地面站人為決策難以實(shí)現(xiàn)實(shí)時(shí)探測;2) 非結(jié)構(gòu)環(huán)境:行星表面布滿未知、非確定、非連續(xù)的隕石坑、溝壑、沙地,要求行星車自主感知多尺度環(huán)境,同時(shí)發(fā)掘探索有價(jià)值科學(xué)目標(biāo);3) 導(dǎo)航資源少:地面常用的GPS、磁強(qiáng)計(jì)、無線電基站導(dǎo)航等都無法使用,僅能利用天文導(dǎo)航和視覺導(dǎo)航等;4) 相機(jī)種類多:已有的行星車往往配置多個(gè)冗余視覺相機(jī)實(shí)現(xiàn)導(dǎo)航、避障、全景拍攝、科學(xué)分析等,有效融合相關(guān)數(shù)據(jù),避免單一視覺誤差及誤匹配等,具有重要研究意義;5) 科學(xué)任務(wù)多:早期巡視任務(wù)往往選擇平坦地形以確保安全性,未來將攜帶多種科學(xué)載荷,面向地形復(fù)雜但科考價(jià)值豐富的目標(biāo)開展接觸式勘測。
綜上所述,結(jié)合我國深空探測巡視重大科技任務(wù)需求及《新一代人工智能發(fā)展規(guī)劃》中將自主無人系統(tǒng)的定位、導(dǎo)航、識別等作為關(guān)鍵共性技術(shù)的號召,本文在總結(jié)歸納已有行星車任務(wù)及導(dǎo)航系統(tǒng)特點(diǎn)的基礎(chǔ)上,針對基于多視覺信息的行星車環(huán)境自主感知、導(dǎo)航、規(guī)劃與控制任務(wù)中的系列關(guān)鍵問題的研究進(jìn)展進(jìn)行了梳理,指出了當(dāng)前研究存在的問題,并對未來發(fā)展趨勢進(jìn)行了展望。
表1針對所有成功實(shí)現(xiàn)月球和火星等地外天體的巡視器及導(dǎo)航系統(tǒng)進(jìn)行了梳理[3-4]。
表1 已成功開展巡視探測的行星車及導(dǎo)航系統(tǒng)[3-4]Table 1 Planetary rover and navigation systems that have been successfully launched[3-4]
1970年前蘇聯(lián)成功發(fā)射了世界上第一輛地外天體巡視器月球車1號,而美國則分別在1971~1972年的3次阿波羅登月任務(wù)中成功發(fā)射載人駕駛月球車。玉兔號月球車2013年成功著陸使得中國成為目前僅有的三個(gè)成功開展月球巡視的國家。由于距離地球相對較近,早期月球車一般通過地面站遙測遙控或有人駕駛的方式行進(jìn),相機(jī)和激光測距設(shè)備多為科學(xué)探測,不參與導(dǎo)航。而玉兔號月球車首次實(shí)現(xiàn)了我國在地外天體表面的無人自動巡視和科學(xué)探測,獲取了高分辨率的月球局部區(qū)域三維光學(xué)圖像。
目前成功登陸并開展巡視任務(wù)的火星車僅有4輛,均來自美國。旅居者號(也稱索杰納號)通過獲取5個(gè)激光條紋的主動投影首次實(shí)現(xiàn)了自主立體三角測量,但每幅圖像只能提取20個(gè)3D點(diǎn),而在機(jī)遇號和勇氣號中分別可以獲取48000和15000個(gè)3D點(diǎn)。好奇號新裝載一個(gè)彩色全景攝像機(jī),能夠更好地用于地形感知與導(dǎo)航。美國國家航空航天局(NASA)在Mars2020計(jì)劃中設(shè)計(jì)的新一代的火星車?yán)^承了好奇號85%的硬件系統(tǒng),并計(jì)劃加裝X射線光譜儀、紫外線激光器和測地雷達(dá)。歐洲航天局(ESA)也計(jì)劃在2020年發(fā)射ExoMars火星車,配置多種視覺相機(jī)用于導(dǎo)航及科學(xué)探測,并計(jì)劃同時(shí)發(fā)射NASA設(shè)計(jì)的MAX-C火星車,有望實(shí)現(xiàn)人類首次在地外天體2臺行星車協(xié)同工作[3]。關(guān)于我國2020年的首次火星探測工程,朱巖等[2]對火星車的有效載荷進(jìn)行了系統(tǒng)介紹,包括導(dǎo)航地形相機(jī)、多光譜相機(jī)、表層探測雷達(dá)以及載荷控制器等,可有效完成火星表面立體成像、多光譜成像、目標(biāo)成分探測等任務(wù),多角度揭示火星環(huán)境特征。
即使攜帶了大量的視覺感知設(shè)備,美國系列火星車依舊分別考慮了盲行模式(根據(jù)地面指令行走)和自主模式(完全自主行走),機(jī)遇號和勇氣號采用避障相機(jī)自主避障的比例分別低于21%和28%[5]。雖然好奇號并未公開相關(guān)數(shù)據(jù),但可以確信的是該比例必然得到了較大提升,并且未來行星車有望實(shí)現(xiàn)極少人為干預(yù)的全自主運(yùn)行。值得說明的是,Mars2020計(jì)劃火星車視覺系統(tǒng)包括23個(gè)相機(jī),如圖1所示,包括了全景相機(jī)、導(dǎo)航相機(jī)、避障相機(jī)、地形感知相機(jī)、天空相機(jī)等一系列科學(xué)、工程用途相機(jī),預(yù)期可實(shí)現(xiàn)1 km每天的行駛速度,理論上說40天即可突破機(jī)遇號14年的地外天體行駛最高記錄??梢灶A(yù)見,利用多個(gè)視覺相機(jī)協(xié)作實(shí)現(xiàn)智能化行星車的環(huán)境感知、自主導(dǎo)航等,輔助實(shí)現(xiàn)路徑規(guī)劃與控制,提升系統(tǒng)可靠性,具有顯著的研究前景。
圖1 美國Mars 2020計(jì)劃火星車視覺系統(tǒng)[6]Fig.1 Mars rover vision system in Mars 2020 program [6]
面臨地外天體非確定、非連續(xù)、非結(jié)構(gòu)化的未知的表面環(huán)境,如何從行星車配置的各種傳感器中提取有效信息,從而獲取附近高精度的地形、地質(zhì)數(shù)據(jù),并對遠(yuǎn)距離地形進(jìn)行合理的評估,識別潛在危險(xiǎn),發(fā)現(xiàn)具有科考價(jià)值目標(biāo),對于行星車自主導(dǎo)航、可通過性評估、任務(wù)規(guī)劃等具有重要作用。
根據(jù)行星車附近多尺度環(huán)境信息感知方式和應(yīng)用場景不同,已有的行星車自主環(huán)境感知技術(shù)途徑可分為:1) 對于近距離環(huán)境,基于立體視覺的地形評估具有顯著優(yōu)勢。如美國噴氣推進(jìn)實(shí)驗(yàn)室(JPL)為機(jī)遇號和勇氣號開發(fā)了基于立體圖像生成的數(shù)字高程圖(DEM)來評估危險(xiǎn)地形,獲得行星車附近區(qū)域的點(diǎn)云數(shù)據(jù)的高度、密度、斜坡等分布特征,進(jìn)而識別障礙分布情況[5]。Ishigami等[7]提出了一種類似的路徑規(guī)劃幾何地形分析,通過地形粗糙度,節(jié)點(diǎn)之間的長度和地形傾斜度等三個(gè)指標(biāo)來分析地形。針對ExoMars火星車探測任務(wù),ESA學(xué)者也提出采用立體圖像測量小山丘尺度,并與機(jī)遇號行星車數(shù)據(jù)進(jìn)行比較,進(jìn)而感知松散沙子形成的流動性極強(qiáng)的風(fēng)沙床地形[8]。2) 對于遠(yuǎn)距離環(huán)境,由于難以獲得精確三維信息,一般基于二維圖像評估地形。由于缺乏精確尺度信息,常采用基于地形特征分類學(xué)習(xí)的方法。JPL的Howard等[9]通過地形專家分類訓(xùn)練設(shè)計(jì)了一種人工神經(jīng)網(wǎng)絡(luò)(ANN)分類器,可以將行星車拍攝的圖像紋理映射到一系列預(yù)設(shè)的表面類型中實(shí)現(xiàn)地形分類。Fujita等[10]還通過行星車獲取的序列視覺圖像,基于動態(tài)紋理分析實(shí)現(xiàn)了土壤類型分類,同時(shí)實(shí)現(xiàn)了行星車相對地形的運(yùn)動估計(jì)。3) 考慮視覺對光線敏感、焦距固定等原因,部分學(xué)者也引入激光測距或雷達(dá)提升環(huán)境感知維度。Stavens等[11]研究提出了一種基于激光測距數(shù)據(jù)訓(xùn)練地形粗糙度預(yù)測的自監(jiān)督學(xué)習(xí)方法。Xiao等[12]采用擴(kuò)展條件隨機(jī)場模型(CRF)將從相機(jī)和激光雷達(dá)得到的信息進(jìn)行融合,從而將二者的優(yōu)缺點(diǎn)進(jìn)行了互補(bǔ)。值得一提的是,由于金星被濃密云層籠罩,在ESA提出的EnVision金星軌道探測器將通過多極化合成孔徑雷達(dá)探測行進(jìn)地表數(shù)據(jù)[13]。4) 行星車或機(jī)器人運(yùn)行過程中還可以通過安裝在本體的運(yùn)行狀態(tài)感知傳感器獲取當(dāng)前地形信息,技術(shù)途徑包括基于行星車車輪電機(jī)電流與轉(zhuǎn)速信息[14]、基于加速度計(jì)[15]、基于智能感知輪胎[16]、基于聲波特征[17]、基于車輪與土壤交互[18]等。
但是,僅通過圖像或激光等任何一種單一的傳感器來進(jìn)行地形分類都具有一些固有缺點(diǎn),考慮到單一傳感器的測量誤差、環(huán)境的不確定性以及環(huán)境的非結(jié)構(gòu)化特征,目前已有較多研究考慮采用數(shù)據(jù)融合的方法實(shí)現(xiàn)多傳感器協(xié)同感知。如Howard等[9]提出對每個(gè)傳感器(包括激光雷達(dá)、立體相機(jī)等)數(shù)據(jù)獨(dú)立分析,以獲取危險(xiǎn)地圖,進(jìn)而利用模糊推理整合粗糙度、坡度、不連續(xù)性、硬度等特性設(shè)計(jì)了一種可通過性指數(shù)。Iagnemma等[19]提出將IMU和車輪轉(zhuǎn)速等數(shù)據(jù)相融合,利用支持向量機(jī)(SVM)對歷史數(shù)據(jù)進(jìn)行評估分類,而后續(xù)也有學(xué)者基于無監(jiān)督學(xué)習(xí)方式預(yù)測車輛的滑移狀態(tài)進(jìn)而輔助路徑規(guī)劃[20]。為了融合諸如顏色、紋理、振動、形狀、尺度等各種單一特征數(shù)據(jù),Halatci[21]則利用SVM實(shí)現(xiàn)了包括振動數(shù)據(jù)在內(nèi)的多傳感器數(shù)據(jù)分類,通過機(jī)器學(xué)習(xí)實(shí)現(xiàn)局部地形識別。Otsu等[22]研究了行星表面的多源協(xié)作和自我訓(xùn)練的地形分類策略。Gonzalez等[23]分別采用了監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)算法實(shí)現(xiàn)了基于IMU、傾角羅盤、驅(qū)動電機(jī)、超聲波探測器傳感器數(shù)據(jù)融合,從而實(shí)現(xiàn)了行星車行進(jìn)過程滑移檢測。
行星車最重要的任務(wù)是在安全運(yùn)行的前提下開展更多的科學(xué)探測,充分發(fā)揮其攜帶的各種科學(xué)探測載荷的作用。通訊時(shí)延大、通訊窗口及速率受限等多種約束極大地限制了行星車返回到地球科學(xué)家的科學(xué)數(shù)據(jù)量。隨著人工智能技術(shù)的發(fā)展,在不增加硬件設(shè)備的前提下,有效地提升行星車的自主智能科學(xué)探測能力,必將成為未來發(fā)展的重要方向。因此在行星車行進(jìn)過程中需自主對其視野內(nèi)的地形地質(zhì)信息進(jìn)行初步分析,如通過視覺特征分析發(fā)現(xiàn)硫酸鹽、氯化物蒸發(fā)鹽和各種礦物質(zhì)或者撞擊坑、火山口、河床地形等,然后結(jié)合X射線光譜儀和化學(xué)相機(jī)等專用科學(xué)載荷開展進(jìn)一步研究。悉尼大學(xué)Arora等[24]通過實(shí)用貝葉斯網(wǎng)絡(luò)對科學(xué)知識進(jìn)行編碼,并使用蒙特卡洛樹搜索技術(shù)來推理網(wǎng)絡(luò),可完成針對沙漠、河床等地理特征的自主識別。Ellery等[25]則提出將太空機(jī)器人的智能生物學(xué)特征作為提高火星車任務(wù)科學(xué)生產(chǎn)力的前景,構(gòu)建了具有深度學(xué)習(xí)能力的貝葉斯專家系統(tǒng),對巖石進(jìn)行視覺紋理分析、地質(zhì)分類并判斷生命特征。邸凱昌等[26]長期從事地外天體遙感制圖和探測器導(dǎo)航定位相關(guān)工作,并對火星表面含水礦物質(zhì)探測進(jìn)行了系統(tǒng)的總結(jié),期望為中國2020年發(fā)射的火星著陸器通過就位探測近距離發(fā)現(xiàn)火星存在水和生命的證據(jù)。
綜上所述,行星車多源自主環(huán)境感知技術(shù)在以下幾個(gè)方面還存在提升空間:
1) 工程應(yīng)用存在差距:縱然各種多傳感器數(shù)據(jù)融合算法已經(jīng)提出并得到地面試驗(yàn)驗(yàn)證,而出于計(jì)算量和可靠性角度考慮,距離未來工程應(yīng)用還存在距離,因此提升算法的魯棒性、降低算法計(jì)算量是目前面臨的問題。
2) 自學(xué)習(xí)能力和泛化能力需要提升:雖然SVM等機(jī)器學(xué)習(xí)技術(shù)功能已經(jīng)非常強(qiáng)大,但是需要大量的樣本訓(xùn)練,對于行星車面臨的大量未知環(huán)境依舊難以實(shí)現(xiàn)在線精確分類。能夠高效結(jié)合視覺等傳感器觀測數(shù)據(jù)、行星車自身運(yùn)動狀態(tài)測量數(shù)據(jù),提升環(huán)境感知算法的在線自學(xué)習(xí)能力和泛化能力。
3) 具備自主科學(xué)目標(biāo)發(fā)掘能力:目前,通過好奇號獲取的各種圖像等信息,由JPL地面科學(xué)家發(fā)掘科學(xué)探測目標(biāo),用于支持好奇號路徑規(guī)劃[27]。而未來具備科學(xué)目標(biāo)自主發(fā)現(xiàn)能力,將是研究的重要方向。
已有行星車導(dǎo)航包括綜合了基于軌道器的無線電導(dǎo)航、基于航拍地圖和行星車視覺的影像匹配導(dǎo)航、基于IMU及車輪編碼器的航跡遞推、基于太陽敏感器的方向確定、基于視覺相機(jī)的測距等方法獲得全局和局部位姿信息,并通過組合濾波等提升了系統(tǒng)的精度及可靠性。如玉兔號月球車在月面未知環(huán)境中即利用了慣導(dǎo)和視覺組合的方式實(shí)現(xiàn)局部導(dǎo)航,定位精度達(dá)到總里程1%[28]。此外,也利用甚長基線干涉技術(shù)(VLBI)實(shí)現(xiàn)了月球車的全局定位,精度可達(dá)100 m[29],但由于地球測量基線限制,難以滿足火星或者其它行星巡視器的全局定位精度需求。考慮近年來機(jī)器視覺系統(tǒng)的低成本、高集成度等發(fā)展趨勢,未來基于視覺信息的行星車自主導(dǎo)航比重必將顯著提升,因此本節(jié)對相關(guān)技術(shù)進(jìn)行了系統(tǒng)歸納和總結(jié)。
行星車在行星固連坐標(biāo)系的全局導(dǎo)航是其進(jìn)行已知隕石坑或山峰等特定區(qū)域科學(xué)探測的必要條件,由于在行星軌道器繞飛過程已經(jīng)采集了大量的行星地表的圖像信息,比如目前高分辨率科學(xué)成像HiRISE火星表面分辨率已達(dá)0.25 m[30],火星數(shù)字高程圖(DEM)的海拔不確定性在±3 m[31],對于實(shí)現(xiàn)火星車的視覺全局導(dǎo)航提供了便利條件。1) 在基于航拍圖像的全局導(dǎo)航方面,由于航拍圖像同行星車圖像視角夾角很大,觀測特征迥異,且易造成相似地貌誤匹配,因此勇氣號和機(jī)遇號全局導(dǎo)航主要依賴地面。邸凱昌等[32]提出了一種基于地面圖像和航拍圖像集成的火星車定位方法,通過匹配石塊特征實(shí)現(xiàn)火星車的自主全局導(dǎo)航,接著又提出基于隨機(jī)采樣一致性(RANSAC)的算法實(shí)現(xiàn)外點(diǎn)剔除和火星車與衛(wèi)星圖像匹配[33]。2) 在基于DEM的全局導(dǎo)航方面,JPL的Matthies等[34]于1997年即提出綜合利用軌道器、著陸器、巡游器拍攝圖像綜合生成DEM,同時(shí)實(shí)現(xiàn)地圖構(gòu)建和區(qū)域?qū)Ш降母拍睢wangbo等[35]提出了分層跟蹤行星車位置的思路,即首先利用行星全局DEM數(shù)據(jù)同行星車局部DEM數(shù)據(jù)匹配,一旦感興趣區(qū)域被定位,然后執(zhí)行巖石提取和模式匹配。Van Pham等[36]設(shè)計(jì)了一種能夠在全局非結(jié)構(gòu)化DEM上搜索行星車位置的改進(jìn)粒子濾波器。Chiodini等[37]提出了基于火星車視野內(nèi)的地平線信息與DEM匹配全局導(dǎo)航方法。但以上算法均因觀測信息有限等難以避免相似地形誤匹配等問題。
由于計(jì)算機(jī)視覺和地面移動機(jī)器人技術(shù)的迅速發(fā)展,基于單雙目相機(jī)、深度相機(jī)等的同時(shí)定位和地圖構(gòu)建(SLAM)技術(shù)等室內(nèi)外導(dǎo)航方法都得到發(fā)展和應(yīng)用,通過視覺里程計(jì)、回環(huán)檢測、圖優(yōu)化等,實(shí)現(xiàn)對大規(guī)模非結(jié)構(gòu)化的位置環(huán)境的高精度地圖構(gòu)建。用于地面機(jī)器人的視覺SLAM方法包括單目視覺SLAM系統(tǒng)MonoSLAM、多線程SLAM算法PTAM[38]、基于特征的ORB-SLAM[39]等、基于深度信息的RGBD SLAM以及LSD-SLAM、Fast-SLAM、Grid-Fast SLAM等[40]。2017年發(fā)布的開源的ORB-SLAM2也整合了單目、雙目和深度相機(jī),在絕大多數(shù)情況下可以達(dá)到極高的精度[41]。作為SLAM最核心的關(guān)鍵技術(shù)之一,閉環(huán)檢測可以有效消除由單一視覺里程計(jì)帶來的誤差累計(jì)問題,通過重訪同一區(qū)域?qū)φ麄€(gè)地圖進(jìn)行優(yōu)化。在行星探測任務(wù)中,為結(jié)合火星車全景相機(jī)和導(dǎo)航相機(jī)實(shí)現(xiàn)長距離高精度定位,美國俄亥俄州立大學(xué)開發(fā)了基于光束法平差的定位方法[42]。余萌[43]利用EKF-SLAM研究了行星車的自主導(dǎo)航方法問題,通過主動重觀測實(shí)現(xiàn)回歸路徑。但同地面機(jī)器人不同,行星車旨在探測未知科學(xué)目標(biāo),難以僅為提升導(dǎo)航性能而刻意重訪某一區(qū)域,因此極大地限制了已有的SLAM技術(shù)的在行星車中的直接應(yīng)用。
如前文所述,未來行星車將配置多冗余視覺相機(jī),并且相機(jī)間相對位置和姿態(tài)都可以視為固定已知,可有效降低導(dǎo)航和地圖構(gòu)建的復(fù)雜度,利用多個(gè)相機(jī)協(xié)作對行星車進(jìn)行導(dǎo)航定位和地圖構(gòu)建,通過對如前向和后向視覺相機(jī)重訪匹配,降低因單一相機(jī)視野內(nèi)特征稀疏引起的導(dǎo)航誤差。已有的多視覺信息融合的研究可分為兩類:一方面,基于多機(jī)器人平臺攜帶的視覺相機(jī)開展協(xié)作SLAM,通過共享探測信息,迅速提升對未知環(huán)境認(rèn)知,主要目的在于擴(kuò)大機(jī)器人對大型場景的探測范圍和速度,主要涉及的問題包括三維地圖重建、異構(gòu)地標(biāo)、動態(tài)環(huán)境[44]等。另一方面,通過安裝在同一移動平臺的多個(gè)視野無重疊的視覺相機(jī),各個(gè)相機(jī)獨(dú)立進(jìn)行運(yùn)動估計(jì),然后基于非線性最小二乘算法等來實(shí)現(xiàn)對多個(gè)視覺里程計(jì)信息的融合[45]。而行星車運(yùn)行過程不同方向相機(jī)可能存在特征稀疏沙地、自身陰影、車轍等系列不同,簡單地融合幾種導(dǎo)航信息雖然能夠使得誤差平均,但并不能充分發(fā)揮多視覺系統(tǒng)信息豐富的優(yōu)勢。
基于單目視覺導(dǎo)航定位具有硬件低成本、軟件計(jì)算量小等特點(diǎn),但其獲取的二維圖像缺乏深度信息,因此一般需要依賴測距傳感器獲得絕對尺度信息。為增強(qiáng)單目視覺導(dǎo)航的應(yīng)用范圍,不依賴額外傳感器情況下,常見的尺度恢復(fù)的技術(shù)一般為基于已知精確尺度的特定空間目標(biāo)(如無人機(jī)停機(jī)坪、交通標(biāo)識符)[46]、基于粗略已知目標(biāo)辨識及估計(jì)(如人臉、樓層高度、桌椅等)[47]、基于相機(jī)安全高度及位置[48]等。Liu等[49]利用深度卷積神經(jīng)網(wǎng)絡(luò)從單目視覺圖像中學(xué)習(xí)深度信息,并進(jìn)行特性分析。但是大多數(shù)采用深度卷積神經(jīng)網(wǎng)絡(luò)的方法需要大量人工標(biāo)記的數(shù)據(jù)進(jìn)行訓(xùn)練,因此Garg等[50]提出了用無監(jiān)督框架的深層卷積神經(jīng)網(wǎng)絡(luò)的方法,可以對單目獲取的信息進(jìn)行深度預(yù)測。代爾夫特理工Hecke等[51]提出利用空間探測機(jī)器人單目相機(jī)自主學(xué)習(xí)距離特征完成在軌服務(wù)任務(wù),該概念為開展低成本行星車探測任務(wù)以及部分相機(jī)失效下應(yīng)急模式等開拓了思路。
綜上所述,行星車自主視覺導(dǎo)航技術(shù)還有以下問題值得深入研究:
(1) 全局導(dǎo)航性能有待提升:已有研究一般考慮地形特征顯著的石塊進(jìn)行區(qū)域匹配,難以應(yīng)用于特征稀疏區(qū)域,需探索更加通用的全局導(dǎo)航策略。
(2) 多視覺傳感器甚至多行星車視覺協(xié)同導(dǎo)航有待發(fā)展:已有研究一般注重視覺和非視覺融合,而同一行星車的不同視覺傳感器之間或多個(gè)行星車間則缺乏有效結(jié)合,而行星車的車轍數(shù)據(jù)等對于提升導(dǎo)航精度、增強(qiáng)對未知環(huán)境的認(rèn)知具有重要作用。
(3) 較少考慮緊湊型配置或應(yīng)急模式:未來的行星探測任務(wù)可能會利用單目視覺系統(tǒng)開展低成本探測,而冗余視覺系統(tǒng)也可能出現(xiàn)部分傳感器失效情況。
行星表面可能存在山脊、溝壑、斜坡、懸崖、隕石坑等復(fù)雜非連續(xù)地貌,具有迥異特性的觀測數(shù)據(jù),也可能存在大面積沙漠等連續(xù)但特征稀疏地貌,難以提取特征,易引起滑移甚至翻滾。如勇氣號、機(jī)遇號的車輪都曾沉陷在沙土中導(dǎo)致任務(wù)停止甚至失敗。出于可靠性角度考慮,已有的行星車的路徑規(guī)劃任務(wù)基本都由地面完成,典型代表如JPL為機(jī)遇號、勇氣號、好奇號等系列火星車開發(fā)的車輛任務(wù)序列與可視化系統(tǒng)(RSVP),通過快速精確復(fù)現(xiàn)行星車周圍三維信息,為用戶提供友好人機(jī)接口輔助任務(wù)序列制定[52-53]。好奇號在行駛過程中結(jié)合火星軌道偵察器數(shù)據(jù)和行駛過程中沿途拍攝的高光譜圖像,確定赤鐵礦、水合硫酸鹽礦床等具有科學(xué)探測目標(biāo)的位置,進(jìn)而進(jìn)行路徑規(guī)劃,確保時(shí)間和資源的高效利用[27]。然而,能夠自主地從行星車配置的各種傳感器中提取有效信息,對附近地形進(jìn)行評估,識別障礙及潛在危險(xiǎn),進(jìn)而完成具備避障的自主路徑規(guī)劃和跟蹤控制策略,是其自主智能控制的必要內(nèi)容。
可通過性分析主要體現(xiàn)了移動機(jī)器人通過某一區(qū)域的難易程度。主要分為結(jié)構(gòu)化環(huán)境下的可通過性分析和非結(jié)構(gòu)化環(huán)境下的可通過性分析。由于結(jié)構(gòu)化環(huán)境地形平坦且變化不大,所以障礙物是影響通行性的主要因素,因此在結(jié)構(gòu)化環(huán)境中可通過性評估主要集中在障礙物的檢測,常用的方法可分為以下幾種:1) 主動檢測法[54]:通過激光雷達(dá)等探測器主動對周圍環(huán)境進(jìn)行探測,獲取反饋信息,判斷障礙物的位置從而得到前方可通過性。2) 被動檢測法[55]:通過攝像頭獲取周圍環(huán)境的視覺信息,通過圖像處理相關(guān)技術(shù)獲得障礙物的信息。針對單目視覺可以通過邊緣分割或光流跟蹤法來實(shí)現(xiàn)障礙物的檢測;針對立體視覺可采用三角測量和立體成像原理獲取周圍環(huán)境的高度、位置信息,通過計(jì)算障礙物的高度和距離獲取前方區(qū)域的可通過性。在非結(jié)構(gòu)化環(huán)境中,車輛能否安全高效通過前方區(qū)域不僅與障礙物、地形特性和土壤特性有關(guān),還與車輛自身外形及移動特性有關(guān)。已有的方法包括在柵格地圖構(gòu)建時(shí)綜合考慮車輛的當(dāng)前狀態(tài)、放置安全性、通過安全性、地形特性、粗超特性等分析前方區(qū)域的可通過性[56-57]。JPL為勇氣號和機(jī)遇號開發(fā)了基于網(wǎng)格的當(dāng)?shù)氐匦伪砻婵赏ㄟ^性分析系統(tǒng)(GESTALT),該系統(tǒng)基于立體圖像生成的DEM來評估危險(xiǎn)地形,通過將行星車大小的區(qū)域設(shè)置為一個(gè)網(wǎng)格區(qū)域,利用DEM點(diǎn)的最小二乘擬合平面來獲得斜率,并將粗糙度定義為最佳平面擬合的殘差。而在高度的變化超過某個(gè)閾值時(shí),則將對應(yīng)物體視為障礙物,并在網(wǎng)格地圖中標(biāo)記為不可通過[5]。針對可能發(fā)生的車輪受尖銳物品穿刺損傷等情況,JPL也為好奇號設(shè)計(jì)了新的可通過性評估機(jī)制,通過估計(jì)網(wǎng)格地圖中物體的曲率搜索尖銳物體,引導(dǎo)其較多行駛在平坦沙地上,規(guī)避可能存在風(fēng)險(xiǎn)的堅(jiān)硬地形,但同時(shí)也增加了沉陷或滑移的概率。因此,學(xué)者們建議一方面通過技術(shù)和流程改進(jìn)來提升行星車對危險(xiǎn)地形感知能力,一方面通過對地面操作員的培訓(xùn)增強(qiáng)對行星表面環(huán)境理解[58-59]。
路徑規(guī)劃是指在給定的環(huán)境中尋找從起點(diǎn)到一個(gè)或多個(gè)目標(biāo)點(diǎn)的最優(yōu)路徑,是行星車能夠安全高效的開展巡視科學(xué)探測的重要保證。行星車的路徑規(guī)劃分為兩類:一類是基于先驗(yàn)地圖信息的全局路徑規(guī)劃,另一類是基于傳感器獲取附近地形等信息的局部路徑規(guī)劃,以探索局部科學(xué)目標(biāo)及規(guī)避障礙。類似地面移動機(jī)器人,考慮對地形環(huán)境處理方式不同,已有的路徑規(guī)劃算法可分為以下幾種:1) 最短路徑算法[60-62]:由于在已建立的柵格地圖中快速獲取最短路徑,在行星車任務(wù)中得到較多研究,針對靜態(tài)場景可采用A*算法或Dijkstra算法,具有內(nèi)存小,計(jì)算速度快的優(yōu)點(diǎn);由于具備更高效的重規(guī)劃性能,針對動態(tài)場景的D*算法也得到較多關(guān)注。2) 人工勢場法[63-64]:機(jī)器人避障控制中最廣泛應(yīng)用的方法之一,但需要全局地形已知且容易陷入局部極小值,不太適用于多崎嶇地形的行星表面環(huán)境。3) 隨機(jī)搜索法[65-66]:通過對狀態(tài)空間的隨機(jī)采樣,把搜索導(dǎo)向空白區(qū)域,避免了對空間的建模,適用于包括障礙物和微分約束的場景:諸如遺傳算法、蟻群算法、粒子群算法、神經(jīng)網(wǎng)絡(luò)算法等系列算法也都在行星車或移動機(jī)器人路徑規(guī)劃中得到應(yīng)用[67-68]。此外,也有學(xué)者研究多種算法之間的結(jié)合,如JPL學(xué)者2015年提出將A*算法和隨機(jī)搜索算法結(jié)合實(shí)現(xiàn)行星車的智能障礙規(guī)避的局部路徑規(guī)劃[69]。
行星車的自主移動控制系統(tǒng)是確保其安全、準(zhǔn)確跟蹤規(guī)劃路徑的重要保障。所謂跟蹤控制,是指在得到規(guī)劃路徑之后,根據(jù)當(dāng)前行星車的狀態(tài)與周圍環(huán)境之間的相對運(yùn)動關(guān)系,設(shè)計(jì)滿足一定性能指標(biāo)或多種約束條件的控制策略,使行星車沿規(guī)劃路徑安全行駛。對行星車等輪式機(jī)器人的移動控制主要分為:1) 軌跡跟蹤控制:傳統(tǒng)的軌跡跟蹤主要采用的是基于運(yùn)動模型的方法進(jìn)行控制,通過對車輛的建模,參考輪地相互作用力學(xué)和地形幾何信息,使用PID或者非線性模型預(yù)測控制(Nonlinear model predictive control, NMPC)完成軌跡跟蹤控制[70];然而實(shí)際行星表面環(huán)境比較復(fù)雜,存在未知非線性、非連續(xù)約束,導(dǎo)致數(shù)學(xué)建模與物理實(shí)際存在差異,因此,已有學(xué)者提出可以采用自適應(yīng)神經(jīng)網(wǎng)絡(luò)或模擬控制等方式實(shí)現(xiàn)在無模型或者非完整模型下的軌跡跟蹤控制[71-72]。部分學(xué)者也通過研究改善行星車的懸掛系統(tǒng)提升其通過斜坡或非結(jié)構(gòu)化路面的能力,如印度SRM大學(xué)學(xué)者針對Rudra火星車設(shè)計(jì)了主動自適應(yīng)懸掛系統(tǒng)[73]。2) 滑移補(bǔ)償控制:針對行星車行駛在大坡度或者小接觸系數(shù)下車輪容易發(fā)生空轉(zhuǎn)或者滑動的情況,可以通過調(diào)節(jié)行星車每個(gè)車輪的不同轉(zhuǎn)速,克服車輪滑動,實(shí)現(xiàn)牽引力的最大化[74-75];或者提前預(yù)測車輪滑移和側(cè)偏角,綜合車輛自身特性提前作出補(bǔ)償[76]。
綜上所述,行星車自主路徑規(guī)劃與控制技術(shù)還有以下問題值得深入研究:
1) 可通過性評估指標(biāo)多為二值化:已有研究多基于幾何地形特征構(gòu)建二值化地圖,而實(shí)際地形往往難以用簡單的二值指標(biāo)衡量,有必要綜合科學(xué)探測目標(biāo)、環(huán)境地形等多種因素優(yōu)化可通過指標(biāo)。
2) 路徑規(guī)劃目標(biāo)函數(shù)、約束條件等單一:已有研究多將最短路徑作為目標(biāo)函數(shù),缺乏對行星車自身移動特性、多科學(xué)目標(biāo)優(yōu)化等考慮。
3) 路徑跟蹤控制難以精確補(bǔ)償擾動:已有路徑跟蹤控制策略多注重滑移率估計(jì)及補(bǔ)償,而實(shí)際行星車移動系統(tǒng)環(huán)境具有強(qiáng)不確定性、同系統(tǒng)特性強(qiáng)耦合等特點(diǎn),難以精確估計(jì)并補(bǔ)償某一參數(shù)影響。
綜上分析可知,作為行星車最重要的分系統(tǒng)之一,行星車的導(dǎo)航與控制系統(tǒng)未來將具備全自主、高可靠、高精度、高集成、智能化、多協(xié)同、環(huán)境魯棒性等系列特征,結(jié)合未來行星探測任務(wù)需求及行星車發(fā)展歷史,總結(jié)展望未來發(fā)展趨勢如下。
1)科學(xué)目標(biāo)自主辨識
由于通訊窗口及數(shù)據(jù)傳輸速率約束,行星車不能也不必要將所有過程探測數(shù)據(jù)返回地面分析,但因此容易錯(cuò)失行駛過程部分有價(jià)值探測目標(biāo)。因此,未來的行星車應(yīng)具備對行星表面巖石材質(zhì)、河床和隕石坑地形、生物特征等目標(biāo)進(jìn)行自主判定,通過對視覺和地形感知數(shù)據(jù)的整合分類,結(jié)合地面人員提前設(shè)定的科學(xué)價(jià)值目標(biāo)特征及就位探測后的土壤分析,設(shè)計(jì)具備深度學(xué)習(xí)能力的科學(xué)目標(biāo)自主辨識策略,實(shí)現(xiàn)向科學(xué)探測為主的戰(zhàn)略轉(zhuǎn)變。
2)多視覺源協(xié)作自主導(dǎo)航
出于任務(wù)可靠性考慮,已有的實(shí)際行星車探測的導(dǎo)航系統(tǒng)多為地面介入,而在全局導(dǎo)航理論研究方面,單一視覺導(dǎo)航仍存在相似地形的誤匹配、特征稀疏區(qū)域?qū)Ш秸`差大等問題;在相對導(dǎo)航過程中,已有研究多通過設(shè)計(jì)濾波器實(shí)現(xiàn)視覺相機(jī)同IMU、車輪編碼器等不同類型數(shù)據(jù)的相互融合,而忽視了多視覺信息之間的信息校驗(yàn)、平差計(jì)算等。因此,如何綜合利用行星車自身冗余視覺敏感器信息,如后視攝像頭獲取的車轍信息,克服由于光照條件、陰影遮擋、迥異路況等引起的導(dǎo)航誤差,結(jié)合已知行星表面地形地圖特征,實(shí)現(xiàn)高精度的基于多視覺信息協(xié)同感知的行星車導(dǎo)航系統(tǒng)成為行星車自主化發(fā)展的重要方向。
3)多目標(biāo)自主路徑規(guī)劃
已有的自主路徑規(guī)劃研究中,簡單地依賴局部障礙集合特征得到是否可通過結(jié)論過于保守,并未有效結(jié)合行星車運(yùn)動特性及其與路面的接觸特征;并且路徑規(guī)劃也不能簡單基于柵格地圖的最短距離,而應(yīng)綜合火星車越障能力、能耗特性等,在確保安全的提前下,主動探索具有一定紋理及粗糙度的地形,提升行進(jìn)過程的視覺導(dǎo)航性能以及科學(xué)目標(biāo)主動搜索能力。因此,開展基于幾何特征與接觸特征的行星車可通過性聯(lián)合評估,提出考慮行星車運(yùn)動特性的多約束多目標(biāo)混合路徑規(guī)劃及跟蹤算法,是未來行星車控制由自動化向智能化探測轉(zhuǎn)變的重要途徑。
4)復(fù)雜路況在線學(xué)習(xí)路徑跟蹤
行星表面環(huán)境及土壤接觸特性復(fù)雜未知,行星車移動系統(tǒng)可能出現(xiàn)部分車輪空轉(zhuǎn)、車輪接觸特性不同、多子系統(tǒng)強(qiáng)耦合等系列特點(diǎn),僅依靠地面預(yù)置的任務(wù)場景設(shè)計(jì)和訓(xùn)練的控制系統(tǒng)難以充分發(fā)揮效能,如已有研究中設(shè)計(jì)的滑移率估計(jì)及補(bǔ)償方案等難以進(jìn)行有效的在線評估。因此,開展基于在線學(xué)習(xí)的復(fù)雜地形行星車路徑跟蹤控制,實(shí)現(xiàn)對未建模、非線性環(huán)境特性的估計(jì)與補(bǔ)償,是未來提升行星車運(yùn)行安全性的重要保障。
5)多行星車協(xié)作探測
隨著多智能系統(tǒng)的快速發(fā)展,目前地面多機(jī)器人協(xié)同導(dǎo)航與控制得到廣泛研究,在大型非結(jié)構(gòu)化場景中應(yīng)用具有顯著優(yōu)勢。未來將有望發(fā)射多臺行星車協(xié)作開展科學(xué)探測,如ESA計(jì)劃于2020年發(fā)射的ExoMars任務(wù)就曾提及將攜帶NASA的MAX-C火星車,實(shí)現(xiàn)2臺行星車協(xié)同工作。在導(dǎo)航與控制系統(tǒng)層面,多臺行星車系統(tǒng)協(xié)作實(shí)現(xiàn)導(dǎo)航與地圖構(gòu)建,通過主從編隊(duì)、分布探測等多種方式,共享探測信息,迅速提升對未知非結(jié)構(gòu)化行星表面環(huán)境認(rèn)知,擴(kuò)大行星車的探測范圍、探測速度以及探測能力,并聯(lián)合實(shí)現(xiàn)復(fù)雜結(jié)構(gòu)目標(biāo)協(xié)同探測等。
6)低成本小型化導(dǎo)航系統(tǒng)
隨著機(jī)器視覺技術(shù)的迅速發(fā)展,視覺相機(jī)開始逐步小型化、高度集成化,高性能MEMS IMU單元也已經(jīng)商業(yè)化。同時(shí),基于單目視覺進(jìn)行視覺導(dǎo)航和智能尺度估計(jì)的研究成果也逐步涌現(xiàn),有望實(shí)現(xiàn)基于車轍、車影、相機(jī)高度等信息的目標(biāo)場景尺度還原。因此,在未來行星表面探測過程中,為配合多行星車協(xié)作探測,研究設(shè)計(jì)緊湊型低成本的行星車,僅利用單目視覺、小型移動平臺、MEMS芯片,實(shí)現(xiàn)對未知環(huán)境的地形感知、地圖構(gòu)建和導(dǎo)航定位等,也是非常有價(jià)值的研究方向。
考慮未來行星車發(fā)展的多視覺信息融合的全自主、智能化控制為基礎(chǔ)的科學(xué)探測的發(fā)展趨勢,結(jié)合航天器控制、深空探測導(dǎo)航、制導(dǎo)與控制等領(lǐng)域的研究經(jīng)驗(yàn),構(gòu)建了未來行星車巡視任務(wù)的自主環(huán)境感知、導(dǎo)航、規(guī)劃與控制系統(tǒng)(見圖2)。系統(tǒng)主要包含以下三個(gè)模塊:
1)自主環(huán)境感知模塊
針對行星表面復(fù)雜未知環(huán)境,利用立體相機(jī)獲取近距離3D點(diǎn)云數(shù)據(jù)中的距離和高度信息、全景相機(jī)獲取遠(yuǎn)距離2D圖像數(shù)據(jù)中的紋理及顏色信息以及車影車轍信息、IMU獲取行星車姿態(tài)和振動數(shù)據(jù)、以及車輪編碼器和電機(jī)電流傳感器獲得的當(dāng)前車輪信息等,通過離線訓(xùn)練實(shí)現(xiàn)對已知或預(yù)設(shè)樣本的科學(xué)目標(biāo)特征提取和復(fù)雜地形感知。在線實(shí)施過程中,分別實(shí)現(xiàn)對于遠(yuǎn)處及附近的視覺特征感知和已行駛區(qū)域接觸特性感知,并基于在線學(xué)習(xí)對未知地形進(jìn)行辨識和樣本庫補(bǔ)充,用于構(gòu)建可通過性評估指標(biāo)及行星車移動系統(tǒng)的未建模特性在線辨識;在此基礎(chǔ)上實(shí)現(xiàn)基于生命特征、地形、紋理等的科學(xué)目標(biāo)主動辨識,用于行星車自主路徑規(guī)劃。
2)多源協(xié)作導(dǎo)航模塊
為實(shí)現(xiàn)全自主、高精度導(dǎo)航,未來行星車必須充分利用各種不同類型的傳感器。在局部導(dǎo)航方面,首先需要實(shí)現(xiàn)單目或雙目的自主導(dǎo)航,綜合前向、后向等不同方向的全景相機(jī)、避障相機(jī)、導(dǎo)航相機(jī)的數(shù)據(jù),實(shí)現(xiàn)多視覺源協(xié)同自主導(dǎo)航與地圖構(gòu)建,并結(jié)合IMU、車輪編碼器數(shù)據(jù)獲得可靠、精確的局部導(dǎo)航信息,同時(shí)也可以基于視覺與車輪信息辨識行星車的滑移、車輪沉陷情況。全局導(dǎo)航可分為離線和在線兩個(gè)階段,在離線階段,需要在利用軌道器獲取的行星表面影像地圖和DEM進(jìn)行數(shù)據(jù)分類處理,對著陸區(qū)附近的隕石坑、溝壑、石塊等地形地貌分類及特征提取,構(gòu)建視覺及地形路標(biāo)庫。在線實(shí)施階段,有效結(jié)合地平線匹配導(dǎo)航、區(qū)域石塊特征匹配導(dǎo)航、局部協(xié)同導(dǎo)航結(jié)果,實(shí)現(xiàn)行星車全局協(xié)同導(dǎo)航,用于可通過性評估及自主路徑規(guī)劃。
3)智能規(guī)劃與控制模塊
未來的行星車將實(shí)現(xiàn)科學(xué)探測為主的戰(zhàn)略轉(zhuǎn)變,而高價(jià)值科學(xué)探測目標(biāo)附近往往伴隨著非連續(xù)、非機(jī)構(gòu)化的地形地表特征,而單一基于障礙高度或坡度等地形信息構(gòu)建的0-1型可通過性柵格地圖過于保守,未來必須綜合地形障礙評估、接觸特性評估,構(gòu)建新型的可通過性地圖。面臨地面人員給定的隕石坑、河床、山脈基于航拍影響提取的全局目標(biāo)或行星車視野內(nèi)自主或人為確定的局部目標(biāo),結(jié)合行星車局部及全局導(dǎo)航信息,實(shí)現(xiàn)多目標(biāo)自主路徑規(guī)劃。隨后,針對規(guī)劃得到的參考路徑,結(jié)合多源環(huán)境感知獲取的行星表面接觸特征,由路徑跟蹤控制模塊實(shí)現(xiàn)強(qiáng)非線性、強(qiáng)耦合性環(huán)境下的干擾辨識及智能跟蹤控制,并進(jìn)一步實(shí)現(xiàn)多個(gè)車輪的控制指令動態(tài)分配。最后,行星車控制還必須考慮部分車輪沉陷、車輛滑移、車輪空轉(zhuǎn)等情況下的撤離、改變構(gòu)型等應(yīng)急策略,提升任務(wù)的可靠性和智能性。
圖2 行星車自主環(huán)境感知、導(dǎo)航、規(guī)劃與控制系統(tǒng)架構(gòu)設(shè)想Fig.2 Autonomous environmental perception, navigation, planning and control system architecture of planetary rover
我國在嫦娥三號探測器攜帶的玉兔號月球車已經(jīng)順利完成了對月面自主巡視、月表形貌與地質(zhì)研究、月表高分辨率圖像獲取等任務(wù),并即將在嫦娥五號探測器實(shí)現(xiàn)月球表面樣品采樣返回任務(wù),火星2020計(jì)劃也將實(shí)現(xiàn)我國首次火星著陸及巡視探測,面臨更加嚴(yán)峻的深空通信、自主導(dǎo)航、自主任務(wù)規(guī)劃與控制任務(wù)需求及挑戰(zhàn)。因此,針對行星巡視探測任務(wù)面臨的諸多挑戰(zhàn),開展行星車多源自主環(huán)境感知、多源協(xié)作導(dǎo)航、智能規(guī)劃與控制技術(shù)等領(lǐng)域的創(chuàng)新研究,提升行星車的自主化、智能化程度,可為我國未來行星巡視探測任務(wù)提供有價(jià)值的參考方案和開闊的學(xué)術(shù)思路。