張?zhí)煲恚?松,田 鶴
(1. 北京空間飛行器總體設(shè)計部,北京 100094;2. 吉林大學(xué) 機(jī)械制造及其自動化系,長春 130025)
星球車是一種適應(yīng)星表復(fù)雜環(huán)境、具有移動勘測能力的航天器,通過攜帶科學(xué)儀器在星面移動,對目標(biāo)科學(xué)點(diǎn)展開近距離和接觸式考察。在深空探測實(shí)踐中,星球車巡視探測過程是器地交互、地面持續(xù)支持的過程[1]。隨著深空探測任務(wù)的不斷加強(qiáng),目標(biāo)星體距地距離增大,時延和通信帶寬嚴(yán)重影響遙操作模式的實(shí)時性,器地交互頻次會影響探測進(jìn)程,因而提升星球車自主導(dǎo)航性能迫在眉睫。
星球表面沙石遍地,溝壑縱橫,屬于典型非結(jié)構(gòu)化環(huán)境,星球車預(yù)先對工作環(huán)境僅有粗略了解,若要實(shí)現(xiàn)長距離正常行駛并安全到達(dá)指定工作點(diǎn),星球車需完成環(huán)境感知、位姿估計、路徑規(guī)劃、運(yùn)動控制、安全監(jiān)測等環(huán)節(jié)[2]。環(huán)境感知是車體內(nèi)部系統(tǒng)與外部環(huán)境的紐帶,通過星球車搭載的傳感單元獲取周圍探測環(huán)境信息,為后續(xù)路徑規(guī)劃、運(yùn)動決策等環(huán)節(jié)提供基礎(chǔ)信息。其中,獲取障礙信息是環(huán)境感知環(huán)節(jié)的重要任務(wù),通過檢測環(huán)境中的危險地貌進(jìn)行地形評估,從而構(gòu)建可通過性地圖,選取最佳行駛路徑。由此可見,有效的障礙識別是星球車安全高效行駛的前提,也是提高星球車自主性能的關(guān)鍵。
星球車面臨的環(huán)境障礙可分為幾何障礙和非幾何障礙[3],幾何障礙為完全基于其幾何特性而被視為不可穿越的任何對象和地形特征。在近來的巡視任務(wù)中,多采用立體視覺三維重建生成巡視區(qū)數(shù)字高程模型(Digital Elevation Model,DEM),根據(jù)DEM中的地形變化,結(jié)合灰度、紋理信息完成巖石、凹坑和坡度等障礙識別[4]。非幾何障礙則不能用形狀表征,與星壤的力學(xué)特性緊密相關(guān)[5],最終以打滑、沉陷為故障表征形式。通往較高探測優(yōu)先級科學(xué)目標(biāo)點(diǎn)(如火山口)的線路通常涉及沙丘、低凝聚力土壤和斜坡等非幾何障礙多發(fā)地形。相對于已形成完備感知技術(shù)體系的幾何障礙而言,非幾何障礙識別困難,會導(dǎo)致星球車牽引力及速度損失而造成嚴(yán)重后果,是環(huán)境感知中不可或缺的一環(huán)。
本文通過回顧已成功發(fā)射的無人星球車非幾何障礙感知技術(shù)發(fā)展歷程,歸納感知技術(shù)分為當(dāng)前障礙估測和前方障礙預(yù)測兩大類,分別針對這兩類的國內(nèi)外研究現(xiàn)狀進(jìn)行闡述和分析,總結(jié)啟示,對未來發(fā)展進(jìn)行展望。
截至2020年7月,共有11輛星球車成功執(zhí)行地外天體表面巡視探測任務(wù)。其中,除去美國“阿波羅15號”(Apollo-15)、“阿波羅16號”(Apollo-16)和“阿波羅17號”(Apollo-17)月球探測任務(wù)中的3輛載人月球車,共有8輛無人星球車成功執(zhí)行任務(wù)。
由表1可知,應(yīng)用于無人星球車非幾何障礙感知技術(shù)集中于滑移估測和滑移預(yù)測兩大類。前者旨在當(dāng)前障礙狀態(tài)監(jiān)測,后者旨在識別前方潛在危險。對于星球車巡視而言,二者缺一不可。障礙狀態(tài)監(jiān)測信息可作為反饋?zhàn)兞繉圀w進(jìn)行運(yùn)動控制,在車輪下沉前及時檢測障礙增大了脫險可能性[6]。障礙預(yù)測輔助規(guī)避前方風(fēng)險,對于路徑規(guī)劃提供有效信息。
表1 無人星球車非幾何障礙感知技術(shù)Table 1 Non-geometric hazard perception of unmanned planetary rover
接下來分別闡述當(dāng)前非幾何障礙監(jiān)測和前方非幾何障礙預(yù)測涉及的研究進(jìn)展。
非幾何障礙表征形式多為沉陷、打滑,因而可通過監(jiān)測星球車的車輪沉陷量及滑移率來判斷當(dāng)前非幾何障礙危險程度。
1)車輪沉陷量估測
為直觀獲取沉陷量信息,可通過分析輪轍或輪地作用圖像來實(shí)現(xiàn)。但由于有些星球車采用篩網(wǎng)輪,星壤顆粒會通過輪網(wǎng)間隙,造成輪轍表觀沉陷量小于實(shí)際沉陷量[7]。故基于車轍進(jìn)行沉陷量估測具有局限性,首選輪地作用圖像進(jìn)行沉陷量估測。
2004年,Iagnemma[8]率先提出基于輪地作用圖像的車輪沉陷檢測。首先通過車輪內(nèi)外直徑提取車輪邊緣點(diǎn),定義一個環(huán)形感興趣區(qū)域(Region of Interest),如圖1所示,將其分為Sright和Sleft兩部分以區(qū)分車輪進(jìn)入?yún)^(qū)域和離去區(qū)域。分析區(qū)域內(nèi)各點(diǎn)的灰度,具有極大灰度變化的點(diǎn)即為輪地接觸的邊緣點(diǎn)。Reina等[9-10]沿著車輪半徑同心圓輪廓,每隔1°計算圖像灰度差異,灰度差異大的地方為車輪與沙地的接觸邊緣點(diǎn)。Hegde等[11]基于彩色圖像,運(yùn)用最小二乘法逼近邊緣曲線,利用映射矩陣轉(zhuǎn)換到車輪平面內(nèi),在車輪平面計算車輪沉陷量與輪地接觸角[12]。呂鳳天等[13]采用邊緣檢測算法提取車輪邊緣輪廓線,通過攝像機(jī)成像原理校正圖像平面。
綜上,通過圖像分割、輪地作用邊界特征提取、圖像校正、坐標(biāo)轉(zhuǎn)換等環(huán)節(jié)可得到實(shí)時沉陷量大小,一方面實(shí)時監(jiān)測當(dāng)前沉陷狀態(tài),另一方面由沉陷量可求得進(jìn)入角的值,為星壤參數(shù)識別提供信息。
圖1 基于輪地作用圖像的車輪沉陷量估測[8]Fig. 1 Estimation of wheel sinkage based on wheel-ground interaction image[8]
2)滑移率估測
由表1可知,星球車發(fā)展歷程中曾采用多種方法估測滑移信息?!霸虑?號”/“月球2號”和“索杰納號”采用的是基于車輪轉(zhuǎn)數(shù)及基于電機(jī)電流方法,該方法在不平整表面精準(zhǔn)度不高。2004年后,Nister等[14]提出的基于視覺里程計(Visual Odometry,VO)的滑移率估測技術(shù)被應(yīng)用于星球巡視任務(wù),通過匹配序列圖像與車輪轉(zhuǎn)速結(jié)合估測當(dāng)前滑轉(zhuǎn)率。該方法估測精度高,但有以下局限性:① 序列圖像匹配計算成本高,每次計算約3 min[15];② 在地表特征稀疏或陰影區(qū)域特征點(diǎn)匹配受限;③ 不適用于高速運(yùn)行環(huán)境(> 0.8 m/s),高速運(yùn)動環(huán)境中圖像會出現(xiàn)模糊效應(yīng)[16]。
針對VO計算復(fù)雜且需受限于地表特征點(diǎn)獲取的問題,Ding等[17]提出通過單目視覺基于車轍痕跡的滑移率檢測方法。Li等[18]分析車轍形成機(jī)理建立輪刺空間軌跡方程,建立基于車轍圖像時域特征的滑移率估測模型。受時域頻譜周期性啟發(fā),進(jìn)而提出基于車轍頻域特征的滑移率估測方法,提升了估測算法的魯棒性[19]。呂鳳天等[20]基于輪地圖像提取車轍邊界估計車輪前進(jìn)速度,結(jié)合追蹤車輪標(biāo)記點(diǎn)得到的車輪旋轉(zhuǎn)速度進(jìn)行滑移估測。
Gonzalez等[6]通過機(jī)器學(xué)習(xí)算法將滑移數(shù)值檢測問題轉(zhuǎn)化為分類問題,將滑移水平分為低滑、中滑、高滑?;趹T性測量單元(Inertial Measurement Unit,IMU)信號,采用監(jiān)督學(xué)習(xí)方法(支持向量機(jī)(Support Vector Machines,SVM)、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN))和無監(jiān)督學(xué)習(xí)方法(K均值聚類(K-means)、自組織映射(Self- Organizing Mapping,SOM))實(shí)現(xiàn)滑移等級評估。算法具有計算精度高、運(yùn)算速度快、存儲空間小等優(yōu)勢,且克服了圖像對于環(huán)境特征的依賴性。Gonzalez[21]隨后針對信號選取、IMU置放位置、車輛速度、機(jī)器學(xué)習(xí)算法等直接影響估測結(jié)果的細(xì)節(jié)進(jìn)行了探究。
綜上,星球車中常見的滑移估測方法如圖2所示[22],按照獲取信息來源可分為基于外部傳感器和基于本體傳感器兩大類。外部傳感器以視覺相機(jī)為主,已廣泛應(yīng)用于星球車巡視任務(wù),但受限于星球車計算機(jī)配置及圖像處理算法的復(fù)雜性,未能實(shí)現(xiàn)實(shí)時檢測,且對于陰影或地形特征稀疏區(qū)域識別能力不足。機(jī)器學(xué)習(xí)算法的引入將滑移估測轉(zhuǎn)化為滑移水平分類問題,基于不依賴于環(huán)境信息的本體傳感器信息,提升了估測算法效率及魯棒性,具有廣闊的研究應(yīng)用前景。
圖2 星球車中常見的滑移估計方法[22]Fig. 2 Most common slippage estimation approaches for rovers[22]
“勇氣號”發(fā)生車輪沉陷,導(dǎo)致系統(tǒng)移動功能喪失,這表明僅障礙監(jiān)測已不能滿足星球車星表安全運(yùn)行需求,需要展開對前方障礙預(yù)測的研究,通常選取滑移率作為預(yù)測量。滑移率的預(yù)測大致基于理論推導(dǎo)方法和基于實(shí)驗(yàn)測量方法兩種[23]?;诶碚撏茖?dǎo)的方法將星壤參數(shù)與滑移建立聯(lián)系,基于實(shí)驗(yàn)測量的方法將地面類型與滑移建立映射關(guān)系。綜上,星壤參數(shù)識別和地形分類是滑移預(yù)測中的關(guān)鍵技術(shù)。
1)星壤參數(shù)識別
在深空探測中,輪式星球車因具有較好的移動性能而被廣泛使用。經(jīng)典輪壤相互作用力分析如圖3所示[24],圖3中參數(shù)說明詳見文獻(xiàn)[24]。在車輪與松軟星壤的接觸面上,作用力表現(xiàn)為連續(xù)的法向應(yīng)力 σ 和剪切力 τ,分別基于Bekker承壓模型和Janosi剪切力模型建立表達(dá)式。在水平地面上以恒定速度工作的車輪平衡可以通過方程(1)~(3)描述車體與星壤各自構(gòu)成較為復(fù)雜的非線性系統(tǒng),其中涉及到的星壤參數(shù)如表2所示。
圖3 半經(jīng)驗(yàn)?zāi)P洼喨雷饔昧Ψ治鰣D[24]Fig. 3 Semi-empirical model of wheel action[24]
表2 星壤參數(shù)Table 2 Parameter of soil
“海盜號”(Viking)著陸器和“索杰納號”火星車分別通過機(jī)械臂和車輪進(jìn)行挖溝實(shí)驗(yàn),由離線分析技術(shù)獲取火壤參數(shù)信息[25-26]。但離線分析技術(shù)限制了星球車行進(jìn)自主性,星球車若要實(shí)現(xiàn)自主探測,需具備在線辨識星壤參數(shù)的能力。輪壤力學(xué)模型參數(shù)高度耦合,基于輪壤力學(xué)積分模型進(jìn)行參數(shù)辨識可以保證星壤參數(shù)的準(zhǔn)確程度,但若實(shí)現(xiàn)在線求解,難度極高。
表3列舉了基于經(jīng)典輪地力學(xué)模型的在線星壤參數(shù)識別相關(guān)研究。歸納可知,星壤力學(xué)參數(shù)的在線識別,多采用簡化輪地力學(xué)模型進(jìn)行非線性參數(shù)求解?;趹?yīng)力線性化或積分求積簡化模型。非線性參數(shù)求解多采用最小二乘法和牛頓迭代法,Meng[27]對比兩種方法,結(jié)果表明牛頓迭代法具有更高的迭代速度,但是對于初值的依賴性較高,有必要對于初值閾值進(jìn)行初步優(yōu)化,因而在求解參數(shù)之前可先進(jìn)行地形分類優(yōu)化初值。
表3 基于經(jīng)典輪地力學(xué)模型的星壤參數(shù)在線識別研究Table 3 Research on soil parameter online identification based on classic wheel-soil interaction mechanics model
經(jīng)典輪地模型非常復(fù)雜,只能滿足部分參數(shù)的在線識別。Liu等[35]通過分析Bekker模型中最大沉陷量出現(xiàn)處與最大應(yīng)力點(diǎn)不一致的問題,引入新定義參數(shù)等效沉陷量zσ。實(shí)驗(yàn)驗(yàn)證了法向應(yīng)力、剪切力均與zσ呈線性關(guān)系,故引入等效地形剛度Kσ和等效抗剪強(qiáng)度Kτ表征地形特性。
綜上,星壤力學(xué)參數(shù)的在線識別有兩條技術(shù)路徑:① 簡化經(jīng)典輪地力學(xué)模型,進(jìn)行常規(guī)星壤參數(shù)求解;② 改進(jìn)經(jīng)典輪地力學(xué)模型,引入或保留表征星壤特性的關(guān)鍵參數(shù)進(jìn)行求解。方法②大大減少了待識別參數(shù)個數(shù),為在線識別提供了新思路。
2)地形分類
與滑移估測分類相似,按照信息來源不同,用于非幾何障礙識別的地形分類方法可分為兩類:基于外部傳感器和基于本體傳感器。
基于外部傳感器的方法主要依靠于相機(jī),由地形紋理、色彩等特征判別地形。Howard等[35]基于圖像紋理,通過ANN分類器,實(shí)現(xiàn)地面硬度、坡度、粗糙度類型識別,利用模糊集將地形特征轉(zhuǎn)化為可穿越性語義?;趫D像的地形分類技術(shù)已應(yīng)用于地外無人探測任務(wù),“勇氣號”和“機(jī)遇號”火星車可以識別巖石和斜坡等視覺危險區(qū)域[36]。美國噴氣推進(jìn)實(shí)驗(yàn)室(Jet Propulsion Laboratory,JPL)開發(fā)了用于“好奇號”滑移預(yù)測的SPOC-G軟件[23],建立起地形分類與滑移量間的映射關(guān)系。首先基于全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Networks,F(xiàn)CNNs)處理導(dǎo)航相機(jī)圖像實(shí)現(xiàn)前方地形分類如圖4所示,結(jié)合前方地形坡度,通過滑移-坡度模型預(yù)測滑移率。圖5展示了兩種滑移-坡度模型:地面校準(zhǔn)模型(黑線)和高斯過程回歸模型(紅線),分別基于大量地面試驗(yàn)及“好奇號”星上滑移實(shí)例建立[37-38]。兩種模型在小巖石、基巖地形中都表現(xiàn)出良好的預(yù)測性能。
圖4 “好奇號”導(dǎo)航相機(jī)圖像地形分類預(yù)測示例Fig. 4 Examples of terrain classifier predicted classes in Curiosity Navcam image
本體傳感器基于自身運(yùn)動信號進(jìn)行地形分類。2004年,Iagnemma等[30]首次提出基于振動信號的星球車地形分類方法。Sadhukhan等[39]提出在不增加負(fù)載的情況下使用IMU進(jìn)行地形分類,取垂直加速度進(jìn)行快速傅里葉變換,采用概率神經(jīng)網(wǎng)絡(luò)(Probabilistic Neural Network,PNN)進(jìn)行地面分類。Weiss基于大量試驗(yàn),針對6種分類器分類效果進(jìn)行總結(jié),結(jié)果如表4所示[40]。其中SVM分類器具有最佳分類效果及在線分類效率,kNN分類器雖然分類時間較長,但在分類精度和訓(xùn)練長時的表現(xiàn)上可圈可點(diǎn)。
有些研究將本體傳感器與外部傳感器結(jié)合應(yīng)用。Brooks等[41]預(yù)先采取離線方法基于振動信號訓(xùn)練SVM識別地形分類。應(yīng)用時,視覺單元先獲取前方地形圖像,當(dāng)星球車行駛至該區(qū)域時,本體感知分類器通過振動信號判別地面類型,輸出地形標(biāo)簽訓(xùn)練與先前地形圖像建立聯(lián)系,從而訓(xùn)練外部感知地形分類器,通過自我監(jiān)督學(xué)習(xí)最終實(shí)現(xiàn)根據(jù)圖像判別地形類別,在未知地形視覺外觀的條件下實(shí)現(xiàn)地形分類。
圖5 3種地形條件下的滑移-坡度曲線[23]Fig. 5 Slip vs. slope curves for three terrain classes[23]
表4 用于地形分類的6類分類器效果對比Table 4 Comparison of the effects of six classifiers for terrain classifications
綜上,用于滑移預(yù)測的地形分類旨在將地面類型與滑移量或滑移等級建立映射關(guān)系?;谕獠總鞲衅鞯牡匦畏诸惪蓪η胺酱蠓秶h(huán)境信息進(jìn)行感知,基于本體傳感器的地形感知獲取當(dāng)前環(huán)境信息。結(jié)合二者優(yōu)勢,通過機(jī)器學(xué)習(xí)算法提升星球車自學(xué)習(xí)能力,使星球車在未知環(huán)境中具備地形識別分類能力,為滑移預(yù)測奠定基礎(chǔ)。
隨著深空探測任務(wù)難度升級,對于全自主、智能化星球車的需求愈發(fā)迫切,非幾何障礙感知技術(shù)關(guān)乎星球車巡視安全,是提高星球車自主性能的關(guān)鍵。綜合以上分析,總結(jié)用于非幾何障礙識別的啟示如下。
1)優(yōu)化輪地力學(xué)模型
輪地相互作用是產(chǎn)生滑移、沉陷的主導(dǎo)因素,非幾何障礙故障的發(fā)生與車輪參數(shù)和星壤性質(zhì)直接相關(guān)。如圖5所示,“好奇號”的SPOC-G滑移預(yù)測技術(shù)對于沙地的預(yù)測性能有待提高,這是由于基于視覺的地形分類并未能細(xì)化到星壤參數(shù)層面,不同星壤條件下的滑移-坡度樣本特點(diǎn)不甚相同,不能在“沙地”分類下一概而論。但經(jīng)典輪地力學(xué)模型求解具有局限性,很難實(shí)時識別所有參數(shù)。通過優(yōu)化經(jīng)典輪地力學(xué)模型,針對表征星壤特性的關(guān)鍵參數(shù)進(jìn)行求解,為前方非幾何障礙預(yù)測及可通過性評估奠定基礎(chǔ)。
2)多源信息融合感知障礙
外部傳感器以視覺單元為主,通過獲取序列圖像及前方大范圍圖像,為障礙監(jiān)測和障礙預(yù)測提供豐富信息。但針對特征稀疏及陰影區(qū)域存在誤匹配、識別不足等問題,且雙目圖像處理算法復(fù)雜程度高,計算不能滿足實(shí)時要求。本體傳感器感知精度高且克服了環(huán)境依賴性,但不具備前方障礙感知預(yù)測能力。結(jié)合本體與外部傳感器,形成由近及遠(yuǎn)的非幾何障礙感知體系,充分發(fā)揮各部分優(yōu)勢,擴(kuò)展感知范圍,提升感知效率。
3)應(yīng)用人工智能技術(shù)
面對非結(jié)構(gòu)化、不確定性星球環(huán)境,人工智能算法賦予星球車自主學(xué)習(xí)性能,使星球車在面對潛在危險時能夠拓展先驗(yàn)知識從而自主完成巡視任務(wù)。基于機(jī)器學(xué)習(xí)分類、回歸思想,將滑移數(shù)值檢測問題轉(zhuǎn)化為滑移水平分類問題,將“測量”轉(zhuǎn)化為“認(rèn)知”[42],提升了算法的計算效率及泛化能力[43],為傳統(tǒng)的非幾何障礙感知識別開拓了新思路。同時,迅速發(fā)展的深度學(xué)習(xí)算法能夠提取高級抽象特征,為弱特征環(huán)境及不確定環(huán)境障礙識別感知提供技術(shù)支持[44]。
針對“好奇號”SPOC-G滑移預(yù)測技術(shù)中對于星壤參數(shù)認(rèn)知不足的問題,綜合上文非幾何障礙研究的回顧,提出基于星壤參數(shù)識別的滑移預(yù)測框架,如圖6所示。通過地面試驗(yàn),建立不同地形條件下滑移-坡度曲線模型,由圖5可知,松軟沙地的滑移實(shí)例數(shù)據(jù)分布雜亂,需要通過星壤參數(shù)閾值細(xì)化沙地地形分類,建立與坡度、星壤參數(shù)相關(guān)的滑移模型。運(yùn)行時,外部以圖像為輸入,通過立體圖像及2D圖像獲取地形類別及坡度信息,初步篩選滑移預(yù)測模型,輪地作用圖像為星壤參數(shù)識別提供沉陷量參數(shù),本體根據(jù)IMU、電機(jī)電流信號進(jìn)行地形分類及有效星壤參數(shù)識別,細(xì)化篩選預(yù)測模型。已知星壤參數(shù)、地形、坡度,即可根據(jù)地面建立的滑移曲線模型進(jìn)行非幾何障礙預(yù)測。
圖6 基于星壤參數(shù)識別的滑轉(zhuǎn)預(yù)測方法構(gòu)想Fig. 6 Conception of slip prediction framework based on star soil parameter identification
同時,將本體傳感器信號、星壤參數(shù)、外部圖像通過時延組合為同一空間訓(xùn)練樣本,基于運(yùn)行滑移實(shí)例不斷修正模型,賦予星球車學(xué)習(xí)能力及推理能力以應(yīng)對未知環(huán)境挑戰(zhàn)。
非幾何障礙感知是提升星球車自主高效開展巡視探測任務(wù)的關(guān)鍵環(huán)節(jié)之一,可分為障礙監(jiān)測與障礙預(yù)測兩方面。未來的非幾何障礙研究,一方面需加強(qiáng)星球車自學(xué)習(xí)能力,提升算法實(shí)時性、魯棒性,解決異步時延數(shù)據(jù)融合等技術(shù)問題;另一方面,需關(guān)注輪地力學(xué)研究優(yōu)化模型,為后續(xù)星球巡視任務(wù)非幾何障礙感知研究提供支持。