薛 龍，李 瀾，黨兆龍，陳百超，鄒 猛，黎 靜*

（1.江西農(nóng)業(yè)大學(xué) 工學(xué)院，江西 南昌 330045；2.中國(guó)空間技術(shù)研究院 北京空間飛行器總體設(shè)計(jì)部，北京 100094；3.吉林大學(xué) 工程仿生教育部重點(diǎn)實(shí)驗(yàn)室，吉林 長(zhǎng)春 130022）

1 引言

火星地表復(fù)雜多變，除了其表面覆蓋的松散星壤，還遍布著石塊、隕石坑及沙丘，使得火星車（Mars Rover）面臨高滑轉(zhuǎn)、易沉陷的威脅，這不僅導(dǎo)致了火星車機(jī)動(dòng)性能降低，使其無(wú)法到達(dá)預(yù)定位置，甚至?xí)?dǎo)致火星車沉陷，失去移動(dòng)能力，并最終導(dǎo)致任務(wù)的失敗?；鹦擒嚨臋C(jī)動(dòng)性能不僅與車輛外形、車輪形狀有關(guān)，還與地表障礙物、地形和星壤的特性有關(guān)。了解星壤的特性，主要是其物理力學(xué)參數(shù)，對(duì)火星車的路徑規(guī)劃、通過(guò)性評(píng)估及風(fēng)險(xiǎn)預(yù)測(cè)和脫困都有十分重要的意義。

由于發(fā)射有效載荷的限制，目前火星車都沒(méi)有配備專用測(cè)量火星壤力學(xué)參數(shù)的設(shè)備，因此無(wú)法實(shí)時(shí)準(zhǔn)確地獲得火星壤的力學(xué)參數(shù)。使用火星車攜帶的相機(jī)，并結(jié)合地面力學(xué)知識(shí)，通過(guò)火星車觸土部件與火星壤相互作用留下的痕跡，特別是火星車車輪在火星表面留下的車轍，可以對(duì)火星車輪下及周邊火星壤的特性進(jìn)行估計(jì)［1］，例如火星壤的內(nèi)聚力、內(nèi)摩擦角、車輪沉陷和滑轉(zhuǎn)率。滑轉(zhuǎn)率是火星車車輪與火星壤相互作用留下的痕跡，受到不同火星壤類型的影響其變化范圍非常大，是影響火星車機(jī)動(dòng)性能的一個(gè)重要的參數(shù)。因此在進(jìn)入某一特定區(qū)域或進(jìn)行路徑規(guī)劃前，通過(guò)對(duì)滑轉(zhuǎn)率信息進(jìn)行預(yù)判可以避免火星車進(jìn)入危險(xiǎn)區(qū)域，導(dǎo)致車輛滑轉(zhuǎn)率過(guò)大而陷入火星地表［2］?；鹦擒囋趶?fù)雜的火星地表?xiàng)l件下的探測(cè)過(guò)程中，圖像是了解巡視器周邊土壤信息最直接也是最方便獲取的資源［3-4］，通過(guò)火星車采集的車轍圖像獲得車轍信息及地形地貌信息［4］，然后綜合獲取的信息作為輸入變量，通過(guò)大量的地面及在軌試驗(yàn)數(shù)據(jù)并結(jié)合機(jī)器學(xué)習(xí)的方法對(duì)滑轉(zhuǎn)率進(jìn)行預(yù)測(cè)［5-6］，可以使地面控制人員在確保巡視器行駛安全的前提下，完成科學(xué)探測(cè)任務(wù)。但是，對(duì)海量圖像數(shù)據(jù)的辨別和處理通常是通過(guò)人工判斷，這種方法既費(fèi)時(shí)又費(fèi)力，而且對(duì)判別人員的要求也非常高。利用車轍圖像信息，通過(guò)圖像分類、深度學(xué)習(xí)和語(yǔ)義分割等方法把地面圖像按照石塊、車轍和未擾動(dòng)地面等類型進(jìn)行分割［7］，這不僅可以有效避免人為選擇的誤差，還可以降低勞動(dòng)強(qiáng)度，并從海量的信息中提取有效數(shù)據(jù)［8］。

本文主要是應(yīng)用車載導(dǎo)航相機(jī)采集的火星車前方和后方的地表圖像，并經(jīng)過(guò)圖像變換，然后應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）實(shí)現(xiàn)圖像的訓(xùn)練和判別，并對(duì)圖像中的石塊、車轍和土壤建立分割圖像。

2 材料與方法

2.1 試驗(yàn)設(shè)備

模型火星車行走系統(tǒng)大小是與實(shí)際火星車按照1∶1 設(shè)計(jì)的，其懸架為新型的主動(dòng)懸架移動(dòng)系統(tǒng)［9］（Active Suspension System）。懸架系統(tǒng)包含6 個(gè)車輪，車輪直徑和輪寬分別為300 mm 和200 mm，輪刺高度和個(gè)數(shù)分別為10 mm 和20 個(gè)，輪刺間距為47.1 mm，材料為鋁合金，如圖1 所示。通過(guò)增加配重，模型火星車的總質(zhì)量及其每個(gè)車輪的輪上載荷與實(shí)際火星車保持一致，行駛測(cè)控系統(tǒng)與實(shí)際火星車行駛測(cè)控系統(tǒng)一致，并且可以獲得每個(gè)車輪的驅(qū)動(dòng)電機(jī)電流和整車的位姿信息。該模型火星車的圖像采集系統(tǒng)由云臺(tái)和雙目相機(jī)組成，兩個(gè)相機(jī)的間距是256 mm，應(yīng)用標(biāo)準(zhǔn)的9×12 黑白標(biāo)定板采集標(biāo)定圖像，然后對(duì)兩個(gè)相機(jī)的內(nèi)參和外參進(jìn)行標(biāo)定，圖像的像素尺寸為1 944×2 592。相機(jī)距離地面為1.0 m，與地面的水平夾角是12.5°。

圖1 模型火星車Fig.1 Mars rover model

試驗(yàn)地點(diǎn)在吉林大學(xué)土槽實(shí)驗(yàn)室，該試驗(yàn)場(chǎng)地長(zhǎng)、寬分別為24 m 和2.5 m。鋪設(shè)JLU Mars-3模型火星壤（Martian Simulant Regolith），對(duì)應(yīng)的中值粒徑為700 μm，按松軟（Soft）狀態(tài)和自然（Normal）狀態(tài)兩種方式進(jìn)行整備和鋪設(shè)，對(duì)應(yīng)的容重分別是1.12 g/cm3和1.24 g/cm3。

2.2 試驗(yàn)過(guò)程與數(shù)據(jù)預(yù)處理

為了獲取不同滑轉(zhuǎn)率的車轍圖像，設(shè)定移動(dòng)平臺(tái)的理論速度為200 m/h，并在模型火星車后方加載不同的掛鉤牽引力，當(dāng)小車行駛時(shí)同時(shí)記錄車輪旋轉(zhuǎn)圈數(shù)和實(shí)際的行駛距離，并根據(jù)s=(VT-V)/VT計(jì)算得到滑轉(zhuǎn)率s，其中VT為車輪實(shí)際旋轉(zhuǎn)圈數(shù)與小車?yán)碚撍俣扔?jì)算得到的理論行駛距離，V為實(shí)際行駛距離。

根據(jù)車載的雙目視覺(jué)系統(tǒng)，對(duì)左目相機(jī)采集的圖像進(jìn)行變換。在前方距離相機(jī)0～4 m，左右兩端距離為3 m 的范圍內(nèi)建立鳥瞰視圖，得到鳥瞰圖大小為1 637×2 242 pixels。選取鳥瞰圖中的特征區(qū)域并裁剪，提取像素塊的大小為1 000×1 000 pixels，接著進(jìn)行直方圖均衡化，最后為了調(diào)高神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)對(duì)圖像進(jìn)行等比縮小，縮小的比例尺為0.5，因此得到的最終建模圖像大小為500×500 pixels，具體過(guò)程見圖2。

圖2 圖像預(yù)處理過(guò)程Fig.2 Image preprocessing process

圖3 為經(jīng)過(guò)預(yù)處理后的圖像，其中圖3（a）為無(wú)擾動(dòng)圖像，即整備后的地貌，在松軟的地表布置三塊大小不同的巖石；圖3（b）為擾動(dòng)后圖像，即模型火星車行駛后的地貌，可見地表也分布不同大小的巖石。

圖3 經(jīng)過(guò)預(yù)處理后的圖像Fig.3 Preprocessed image

對(duì)圖像進(jìn)行網(wǎng)格劃分，網(wǎng)格的大小是50×50 pixels，根據(jù)對(duì)應(yīng)網(wǎng)格中的每一小塊圖像所包含的內(nèi)容分別劃分不同的類別，主要為Rut、Rock 和Sand 三類。根據(jù)這三個(gè)類別建立每個(gè)圖像塊對(duì)應(yīng)標(biāo)簽，為了減少訓(xùn)練時(shí)間并考慮每種類別參與訓(xùn)練的平衡性，按照每種類別150 個(gè)的數(shù)據(jù)量隨機(jī)選擇用于建立建模集和預(yù)測(cè)集的圖像，因此共有450 個(gè)數(shù)據(jù)。建模集與預(yù)測(cè)集按照70%和30%的比例隨機(jī)劃分，具體的數(shù)據(jù)量見表1。

表1 數(shù)據(jù)集類別及個(gè)數(shù)Tab.1 Category and number of datasets

通過(guò)遷移學(xué)習(xí)，本文設(shè)定的類別為3 類，預(yù)訓(xùn)練網(wǎng)絡(luò)為Resnet50，特征層為fc1000，MiniBatch-Size 設(shè)置為30，文中所用代碼均應(yīng)用MATLAB處理。

3 分類結(jié)果

應(yīng)用Resnet50 神經(jīng)網(wǎng)絡(luò)模型對(duì)建模集和預(yù)測(cè)集進(jìn)行預(yù)測(cè)，預(yù)測(cè)的準(zhǔn)確率分別為75.56%和81.48%。圖4 為預(yù)測(cè)集的預(yù)測(cè)結(jié)果，可見圖像塊中有兩個(gè)Rock 被分別誤判為Rut 和Sand；有12個(gè)Rut 被誤判為Sand；有11 個(gè)Sand 被誤判為Rut，對(duì)應(yīng)三個(gè)類別的準(zhǔn)確率分別為95.6%、73.3%和75.6%。圖5 為從預(yù)測(cè)集中隨機(jī)選擇的8 副圖像塊預(yù)測(cè)結(jié)果，圖中“預(yù)測(cè)”表示該網(wǎng)絡(luò)模型預(yù)測(cè)的結(jié)果，“實(shí)際”表示該圖像塊真實(shí)的標(biāo)記類別，其中3 號(hào)和6 號(hào)圖像塊數(shù)據(jù)被誤判為“Sand”，4 號(hào)圖像塊被誤判為“Rut”。

圖4 預(yù)測(cè)集的預(yù)測(cè)結(jié)果Fig.4 Predicted result of prediction dataset

圖5 Resnet50 模型的預(yù)測(cè)結(jié)果Fig.5 Predicted results of Resnet50 model

對(duì)每個(gè)圖像塊進(jìn)行類別分類后，按照?qǐng)D像塊在原圖像中的編號(hào)位置和所占像素的大小，分別用三種不同的顏色作為半透明的掩膜附著在原圖像上，如圖6 所示?？梢?，圖6（a）為包含車轍的擾動(dòng)圖像，即模型火星車的后方視野，對(duì)靠近模型火星車的車轍識(shí)別較為準(zhǔn)確，而且判斷的圖像塊可以形成完整的車轍痕跡；圖6（b）為不包含車轍的圖像，即模型火星車前方視野，可見有少量圖像塊被誤判為車轍，而且分布的較為分散。另外，從圖6 中可以看出兩個(gè)圖片中均把石塊的位置準(zhǔn)確判別出來(lái)。通過(guò)該方法可將原始圖像前后方地表進(jìn)行分類，并提取區(qū)塊的感興趣區(qū)域，以便實(shí)現(xiàn)更為精準(zhǔn)的判別。

圖6 分類后的圖像Fig.6 Classified images

4 討論

火星車作為火星探測(cè)的主要載體是人類智慧的結(jié)晶，其上包含多種傳感器用來(lái)“感知”火星車的“健康”狀態(tài)，因此充分利用這些車載數(shù)據(jù)是火星車通過(guò)性能研究的發(fā)展方向。這些車載數(shù)據(jù)大體可以劃分為兩種類型，一種為圖像數(shù)據(jù)，一種為傳感器數(shù)據(jù)。圖像數(shù)據(jù)主要通過(guò)車載導(dǎo)航相機(jī)和避障相機(jī)獲取，并且根據(jù)圖像數(shù)據(jù)可以獲取火星車周邊的全景圖和數(shù)字地圖，主要包括車轍痕跡、火星車周邊沙丘的坡度、石塊大小及分布，這些數(shù)據(jù)代表了火星壤的強(qiáng)度。除了光學(xué)相機(jī)采集地表圖像外，還可以利用熱敏相機(jī)對(duì)地表成像，并根據(jù)熱慣量法預(yù)測(cè)火星壤的力學(xué)參數(shù)［10-11］。傳感器數(shù)據(jù)主要包括火星車上各種電機(jī)的驅(qū)動(dòng)電流、車體位姿和車載機(jī)械臂的位置信息等，這些數(shù)據(jù)對(duì)應(yīng)著火星車車輪的驅(qū)動(dòng)能力、火星車所在位置的坡度及各輪的輪上載荷以及機(jī)械臂采樣過(guò)程中末端執(zhí)行器的位置，因此通過(guò)車輪或采樣鏟這些直接與火星壤相互接觸的觸土部件為研究對(duì)象，并結(jié)合地面力學(xué)知識(shí)也可以對(duì)火星壤的力學(xué)參數(shù)進(jìn)行預(yù)測(cè)［12-13］。

將這些車載數(shù)據(jù)作為通過(guò)性判斷的主要信息源，通過(guò)深度學(xué)習(xí)、語(yǔ)義分割、數(shù)理統(tǒng)計(jì)等方法［14-15］，將滑轉(zhuǎn)率、沉陷深度、扭矩、輪上載荷、坡度、姿態(tài)角作為訓(xùn)練模型的輸入?yún)?shù)，建立星球車通過(guò)性實(shí)時(shí)預(yù)測(cè)模型，并輸出通過(guò)性判斷矩陣，然后結(jié)合采集的圖像信息對(duì)火星車的行駛和避障提供參考。

5 結(jié)論

本文應(yīng)用Resnet50 為預(yù)訓(xùn)練模型網(wǎng)絡(luò)，將采集的圖像變換為鳥瞰視圖，并進(jìn)行圖像增強(qiáng)預(yù)處理，然后將圖像劃分為等大小的圖像塊，并根據(jù)圖像塊包含的內(nèi)容，將圖像分為Rut、Rock 和Sand 三個(gè)類別，并建立對(duì)應(yīng)的標(biāo)簽數(shù)組。接著，隨機(jī)選擇450 個(gè)圖像數(shù)據(jù)，每個(gè)類別150 組數(shù)據(jù)，按照7∶3 的比例建立建模集和預(yù)測(cè)集，并訓(xùn)練預(yù)測(cè)模型。經(jīng)過(guò)訓(xùn)練得到的建模集和預(yù)測(cè)集的準(zhǔn)確率分別為75.56% 和81.48%，可見該方法具有較好的可行性。然后，將每個(gè)圖像塊的判斷的類別與原圖像融合，建立識(shí)別圖像，實(shí)現(xiàn)圖像感興趣區(qū)域的劃分。最后，對(duì)火星車通過(guò)性判斷理論和技術(shù)進(jìn)行梳理和展望，提出充分利用車轍痕跡、驅(qū)動(dòng)電機(jī)電流和車體位姿作為輸入?yún)?shù)，并結(jié)合深度學(xué)習(xí)、語(yǔ)義分割和數(shù)理統(tǒng)計(jì)等方法，然后通過(guò)地面火星車的驗(yàn)證試驗(yàn)，建立火星車通過(guò)性模型。