余 萌，居鶴華，韓亮亮

(1.南京航空航天大學(xué)航天系統(tǒng)工程系，南京210016；2.上海宇航系統(tǒng)工程研究所，上海201109；3.中國航天科技集團(tuán)有限公司空間結(jié)構(gòu)與機(jī)構(gòu)技術(shù)實(shí)驗(yàn)室，上海201108)

1 引言

隨著航天技術(shù)的不斷發(fā)展，在月球表面漫游巡視任務(wù)呈現(xiàn)多元化、多地化的發(fā)展趨勢，如嫦娥四號月表巡視器執(zhí)行的月球背面勘探任務(wù)[1]，以及正在論證的月面極地探索計(jì)劃[2-3]等。未來的月面勘探任務(wù)將在可靠性得到充分保障的前提下，不斷探索新區(qū)域，包括與地面基站存在通訊阻礙、欠缺先驗(yàn)測繪知識的月表區(qū)域。因此如何在陌生的星表環(huán)境執(zhí)行安全的自主任務(wù)，利用巡視器有限的壽命自主探索更多具有科學(xué)價(jià)值的地況與地貌，便成為提高月表巡視任務(wù)的關(guān)鍵要素。

Schuster等[4]認(rèn)為安全性高、成本低廉的星表地貌自主探索可靠方案能夠顯著提高星表探索任務(wù)效率[4]。Schwarz等[5]提出在巡視器上裝備一些主動感知設(shè)備，如放置靈巧機(jī)械手，通過主動接觸巖面來感知地貌。Ono等提出利用人工智能方法進(jìn)行地貌自主分析，如利用圖像分割方法去理解星表圖像中的興趣區(qū)域[6]、利用局部特征檢測方法進(jìn)行障礙檢測[7]等。雖然地貌自主感知技術(shù)能夠有效提高探測效率，但出于可靠性考慮，目前的星表巡視任務(wù)尚以半自主遙操作為主[8]，針對星表地貌自主感知技術(shù)也尚處在概念研究與初步仿真測試階段。

考慮未來月表漫游巡視任務(wù)的發(fā)展需求，針對面向未來月面巡視器自主地貌感知的應(yīng)用需求，本文提出一種月表地貌主動感知方法，構(gòu)建地貌特征知識庫，并利用強(qiáng)化學(xué)習(xí)方法進(jìn)行在線規(guī)劃相機(jī)參數(shù)以實(shí)現(xiàn)地貌的主動感知。

2 組建月表地貌知識庫

月表地貌主動感知方法流程如圖1所示。圖中地貌主動感知方法分為離線(左)與在線(右)過程。其中離線過程包括組建供強(qiáng)化學(xué)習(xí)訓(xùn)練的地貌知識庫，以及基于知識庫的獎(jiǎng)勵(lì)函數(shù)構(gòu)建；在線過程包括基于顯著性分析的目標(biāo)地貌檢測以及后續(xù)主動感知觸發(fā)判據(jù)的設(shè)定。

圖1 月表地貌主動感知方法流程圖Fig.1 Flow chart of lunar landform active perception

地貌知識庫目的是為強(qiáng)化學(xué)習(xí)方法提供訓(xùn)練樣本，進(jìn)而通過訓(xùn)練實(shí)現(xiàn)目標(biāo)地貌的主動感知。由于月表地貌普遍顏色單一，圖像紋理表征稀疏，且缺乏普適的描述模型。紋理特征細(xì)節(jié)的匱乏造成基于機(jī)器學(xué)習(xí)的方法很難找到一個(gè)合適的分類界限。同時(shí)，現(xiàn)階段所能獲取的月表圖像的分辨率及數(shù)量有限，難以構(gòu)建用于機(jī)器學(xué)習(xí)方法訓(xùn)練的大規(guī)模樣本集?？紤]上述因素，本文從圖像局部特征描述的角度來構(gòu)建樣本集，以保證小規(guī)模平紋理樣本彼此之間的辨識度。

將前期收集的星表圖像集合表示為Ip，并在每張圖像中標(biāo)注興趣地貌特征，將地貌類別表示為 Oi，i=1，…，No。 其中 Oi代表第 i個(gè)地貌類別，No代表地貌類別的總數(shù)。針對每類地貌，在其所屬圖像區(qū)域內(nèi)提取SURF(Speeded up robust feature)特征描述算子，構(gòu)成特征描述算子集合Oi，見式(1)。SURF算子是由Bay等[9]提出的一種圖像局部特征描述算子，其借鑒Haar模板與積分圖像思想，有效提高了尺度不變特征提取的運(yùn)行效率。

其中，SOi表示針對地貌類別Oi的SURF特征描述子集合，nOi代表含有Oi類地貌的圖像個(gè)數(shù)。值得注意的是某類地貌的特征描述集合并不是單幅圖像特征，而是通過從多幅圖像中提取局部特征來完成組建。由于每幅圖像拍攝條件受多種因素影響，如太陽高度角、拍攝距離與角度、光照強(qiáng)度等，其陰影區(qū)域并不具備代表性，因此在進(jìn)行SURF特征提取前利用K-means方法[10]劃分圖像陰影區(qū)域，并忽略分布在距離陰影邊緣距離5個(gè)像素內(nèi)的SURF特征描述子。

3 目標(biāo)地貌預(yù)估

3.1 顯著性分析

在進(jìn)行地貌感知前，需要先預(yù)估當(dāng)前場景是否存在興趣目標(biāo)。不同于地球地貌，月表地貌的顏色更為單一，且紋理表征較為貧瘠，可能導(dǎo)致在地面成熟應(yīng)用的目標(biāo)識別方法(如基于深度學(xué)習(xí)的一系列目標(biāo)識別算法)因樣本區(qū)分度不高而出現(xiàn)頻繁誤報(bào)。綜合考慮月表地貌的特殊性與星載計(jì)算機(jī)運(yùn)算能力，將地貌目標(biāo)的興趣程度近似等同于其圖像表征的紋理復(fù)雜程度，認(rèn)為圖像中紋理特征越明顯、與背景區(qū)分度越高的區(qū)域，其對應(yīng)興趣地貌的可能性越高。選擇圖像顯著性分析方法來預(yù)判地貌的興趣程度，圖像的顯著性根據(jù)視覺關(guān)注機(jī)理指視覺角度值得關(guān)注的局部區(qū)域，對應(yīng)本文的應(yīng)用背景便是具有一定紋理特征的月表地貌。

綜合考慮顯著性分析方法的精度與實(shí)時(shí)性，選擇經(jīng)典的譜殘差方法(Spectral Residual Method)[11]進(jìn)行圖像中地貌顯著性分析，示例結(jié)果見圖2。圖2(a)為原星表拍攝圖像，圖2(b)為顯著區(qū)域提取結(jié)果，可以看到顯著性區(qū)域集中在圖中視覺關(guān)注度最高的巖石附近。在圖像顯著性分析的基礎(chǔ)上，設(shè)定地貌主動感知的觸發(fā)條件，主要依據(jù)是圖像顯著性區(qū)域中對應(yīng)目標(biāo)地貌的可能性。

圖2 譜殘差顯著性分析示意圖Fig.2 Illustration of Spectral Residual Method

3.2 感知目標(biāo)判定依據(jù)

假設(shè)單幅圖像中檢測到N個(gè)閉合顯著輪廓，其相應(yīng)的像素面積記作式(2)。

其中，s1，s2，…，sN為N個(gè)閉合輪廓的像素面積。計(jì)算像素面積中最大面積與次大面積的面積比，見式(3)。

其中，Smax1為圖像中最大的顯著性輪廓面積；Smax2=max{MSmax1}為第二大的輪廓面積。當(dāng)rS＞1.5時(shí)，認(rèn)為當(dāng)前圖像內(nèi)含有目標(biāo)地貌，即滿足地貌主動感知觸發(fā)判據(jù)。

4 月表地貌主動感知

4.1 地貌主動感知概念

主動感知地貌的核心在于“主動”，具體指通過主動調(diào)節(jié)相機(jī)的內(nèi)外參數(shù)來實(shí)現(xiàn)對當(dāng)前場景內(nèi)目標(biāo)地貌的更好觀測。

對目標(biāo)地貌更好的觀測可以體現(xiàn)在與地貌知識庫中與某一地貌具有更高的相似度。假設(shè)在k時(shí)刻觸發(fā)地貌主動感知判據(jù)，從像素面積最大的顯著性區(qū)域中提取SURF局部特征集合，并記作Zk，則當(dāng)前目標(biāo)地貌與知識庫中地貌的相似度可以通過Zk與知識庫中隸屬地貌的特征集的交集來判斷，見式(4)。

其中‖·‖代表集合的基數(shù)，即所含元素的個(gè)數(shù)，Zk∩SOq為觀測特征集Zk與第q類地貌特征集中匹配的特征集合。式中ak∈(0，1)為目標(biāo)與知識庫中地貌的相似度，ak越接近于1，則意味當(dāng)前目標(biāo)與知識庫中的某類地貌越相似。地貌主動感知的目的是不斷通過主動調(diào)節(jié)參數(shù)最大化相機(jī)視場內(nèi)的目標(biāo)地貌與知識庫中某類地貌的相似度。

由式(4)可知，地貌相似度僅與觀測量與知識庫中地貌特征集交集的個(gè)數(shù)有關(guān)。這種相似度判斷方法雖簡單易行，但在本文應(yīng)用背景下存在隱患：由于月表地貌顏色單一、紋理貧瘠，與自然圖像相比，其反應(yīng)在圖像上的特征多樣性較為匱乏，進(jìn)而導(dǎo)致在樣本集中不同的地貌特征集間也存在交集，影響相似度判斷的準(zhǔn)確性。針對此問題，將結(jié)合強(qiáng)化學(xué)習(xí)框架，從另一角度對地貌相似性進(jìn)行判斷。

4.2 基于貝葉斯方法的地貌相似度度量指標(biāo)

以貝葉斯方法為基礎(chǔ)，構(gòu)建地貌知識庫相對于觀測特征集的后驗(yàn)概率，并據(jù)此建立觀測特征集與已編目地貌相似程度的度量。典型的知識庫地貌-觀測特征集條件概率見式(5)。

其中，F(xiàn)k=Zk∩SO為k時(shí)刻觀測特征集Zk與某類地貌特征集SO的交集。式中p(Fk|SO)為Fk關(guān)于某地貌特征集SO的先驗(yàn)概率，見式(6)。

其中， S= {SO1，SO2，…，SOK}為知識庫中所有地貌類別的特征描述子集合(共計(jì)K類地貌)。若不區(qū)分地貌出現(xiàn)的優(yōu)先級，則可以認(rèn)為任何一類地貌出現(xiàn)的概率都相同，即p(SO)=1/K。 式(5)中p(Fk)可以通過遍歷地貌類別的概率密度積分來實(shí)現(xiàn)，見式(7)。

如式(5)～(7)所示，將地貌相似度求取建模為貝葉斯后驗(yàn)概率形式，弱化了因不同地貌特征集間存在交集這一情況對相似度判斷精度的影響，在后驗(yàn)概率描述基礎(chǔ)上，進(jìn)一步結(jié)合強(qiáng)化學(xué)習(xí)框架建立完整的地貌主動感知方法。

4.3 強(qiáng)化學(xué)習(xí)框架下的地貌主動感知

服務(wù)于主動感知的敏感器動作參數(shù)(以離散的形式描述)見式(8)。

其中，Af為單目相機(jī)焦距的調(diào)整參數(shù)序列，Aδ為相機(jī)云臺偏航角的動作空間序列，f0、δ0分別代表初始的焦距與云臺偏航角，+、-分別代表焦距放大收縮，以及云臺沿體軸z軸左轉(zhuǎn)及右轉(zhuǎn)。上述動作參數(shù)為2個(gè)維度，在實(shí)際任務(wù)中還可以根據(jù)計(jì)算能力增加動作空間的自由度，如加入相機(jī)的云臺俯仰角控制。

根據(jù)4.2節(jié)中建立的后驗(yàn)概率，此處重新梳理強(qiáng)化學(xué)習(xí)框架中的獎(jiǎng)勵(lì)函數(shù)，如式(9)所示。

其中，Rh·()為獎(jiǎng)勵(lì)函數(shù)，x為當(dāng)前相機(jī)狀態(tài)量，x′為下一時(shí)刻相機(jī)狀態(tài)量，xmax為最大許用狀態(tài)量；a=[af，aδ]為當(dāng)前相機(jī)調(diào)整動作，其中 af∈ Af，aδ∈ Aδ；ΔI(a，x，x′) 為執(zhí)行動作 a 后的后驗(yàn)概率Fisher信息熵增；CR?ΔI為獎(jiǎng)勵(lì)常數(shù)，設(shè)置此常數(shù)項(xiàng)的目的是當(dāng)相機(jī)狀態(tài)達(dá)到極限時(shí)(最大/最小焦距或云臺偏航角度)停止算法的訓(xùn)練工作；Cs?ΔI為動作停止獎(jiǎng)勵(lì)常數(shù)，目的是若當(dāng)前狀態(tài)下執(zhí)行任何動作均不能獲得回報(bào)時(shí)，立即停止動作并結(jié)束訓(xùn)練。ΔI(a，x，x′)的具體描述形式見式(10)。

其中Z、Z′分別為當(dāng)前時(shí)刻以及下一時(shí)刻的觀測特征集；H O|Z( )為地貌集相對于觀測集的Fisher信息熵，用來描述觀測量關(guān)于地貌知識庫后驗(yàn)概率的完備性，其離散形式見式(11)。

式(11)不同于常規(guī)Fisher信息熵，引入了歸一化參數(shù)log NK( )，其中NK為與當(dāng)前觀測特征集Z相關(guān)的地貌類別總和，引入該項(xiàng)參數(shù)目的一是降低計(jì)算量，二是增加算法的針對性，即更加準(zhǔn)確感知某一類的地貌，而非追求感知地貌的數(shù)量?；谑?9)的獎(jiǎng)勵(lì)函數(shù)，可以建立完整的強(qiáng)化學(xué)習(xí)框架。具體而言，強(qiáng)化學(xué)習(xí)訓(xùn)練開始于基于圖像顯著性的主動感知觸發(fā)，經(jīng)策略估值——策略更新的迭代最終收斂于最佳策略，此處的策略指的是為獲得更好的地貌感知結(jié)果而訓(xùn)練出來的相機(jī)參數(shù)動作調(diào)整序列。將策略記作πA|X( )，其中 A={a1，a2，…，ak} 為動作序列； X={x1，x2，…，xk}為相機(jī)狀態(tài)的歷史參數(shù)；將策略估值函數(shù)記為v，并認(rèn)為初始估值為v0=0，并將相機(jī)的狀態(tài)空間設(shè)定為7×7，對一個(gè)策略的改進(jìn)更新需要遍歷所有的狀態(tài)，針對每一步狀態(tài)都選擇能最大化獎(jiǎng)勵(lì)函數(shù)的參數(shù)動作，該過程類似“貪婪”選取，即式(12)：

在得到新的估值函數(shù)與策略后進(jìn)行策略更新，并不斷進(jìn)行評估-更新的迭代，直到策略收斂[12]，見式(13)：

其中E代表策略評估，I代表策略改進(jìn)，由于狀態(tài)空間僅限定為7×7，策略估值-迭代通常能夠快速收斂。強(qiáng)化學(xué)習(xí)中的策略迭代算法如下：

輸入：地貌知識庫O，初始動作序列A0，觀測特征集Z

初始化： vπ={0，….0}；π0=null；

設(shè)定收斂閾值：ε＞0，TStable?ε，CR，Cs＞0

While(TStable＞ε)

1.策略評估(Policy Evaluation)

利用貪婪選取方法，輸出vπ以及π//(式(12))2.策略更新(Policy Improvement)

輸出最終控制策略：π*=π

5 仿真算例與分析

基于改進(jìn)增強(qiáng)學(xué)習(xí)的地貌主動感知方法進(jìn)行仿真計(jì)算。首先利用Rhino軟件生成三維行星地景，并在其中添加數(shù)個(gè)興趣地貌作為待感知目標(biāo)地貌，完整的三維行星地景以及目標(biāo)興趣地貌如圖3所示。針對這些興趣地貌分別模擬不同的光照條件及拍照位置，并從渲染的行星圖像中提取SURF特征點(diǎn)組建地貌知識庫。

圖3 基于Rhino的行星三維地景及模擬地貌Fig.3 3D planetary surface and simulated landforms generated by Rhino

將相機(jī)的調(diào)控參數(shù)離散化為7×7的狀態(tài)空間，即針對相機(jī)的焦距以及云臺載體均有7個(gè)不同取值，如式(14)所示：

其中狀態(tài)之間的轉(zhuǎn)移通過式(8)中的動作參數(shù)完成。利用模擬變焦距相機(jī)以及1自由度載具云臺進(jìn)行實(shí)時(shí)仿真分析。仿真算例結(jié)果如圖4所示。S代表地貌感知開始時(shí)拍攝的圖像，G代表地貌感知結(jié)束時(shí)拍攝的圖像。圖5為所生成的控制序列。

圖4 仿真開始與結(jié)束時(shí)的地貌感知對比Fig.4 Comparison of landform sensing before and after simulation

圖5 地貌主動感知?jiǎng)幼餍蛄蠪ig.5 Sequence of actions in active landform sensing

如圖5所示，經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練后，最終生成的主動感知調(diào)整動作一共有6步，見式(15)。

相機(jī)的動作參數(shù)最終收斂于狀態(tài) [ fc++，δc-]，算法的迭代停止閾值設(shè)定為ε=0.01，共經(jīng)過14次迭代完成收斂，其中每次迭代生成的主動感知?jiǎng)幼鞔螖?shù)如圖6所示。

圖6 每次策略估值-更新迭代的動作次數(shù)Fig.6 Number of actions per each policy evaluationupdating iteration

如圖4、圖5所示，由增強(qiáng)學(xué)習(xí)訓(xùn)練得到的結(jié)果為拉近相機(jī)焦距，并向左旋轉(zhuǎn)相機(jī)云臺，即a*=[]。 相比原有的地貌觀測，經(jīng)參數(shù)調(diào)整后能夠更清晰地分辨圖像中的地貌，這是因?yàn)樵谙鄼C(jī)拉近后從地貌對應(yīng)的圖像區(qū)域內(nèi)提取的SURF特征集與特征知識庫中對應(yīng)的地貌特征及匹配度更高。在其余算例仿真中，經(jīng)強(qiáng)化學(xué)習(xí)訓(xùn)練后的地貌感知結(jié)果在視覺顯著性上均有不同程度的改善。

在仿真中發(fā)現(xiàn)本文算法的一些不足，該方法對地貌知識庫構(gòu)建的質(zhì)量較為依賴，若當(dāng)前待感知的興趣地貌在知識庫中未被描述充分(例如拍攝視角/位置欠佳或光照條件欠佳)，其地貌主動感知結(jié)果并不理想。此外，供組建地貌數(shù)據(jù)庫的月表地貌圖像數(shù)量及地元分辨率也影響算法的效果：圖像數(shù)量的欠缺會導(dǎo)致訓(xùn)練集完備性不足，影響興趣地貌的響應(yīng)成功率；圖像地元分辨率的不足也會增大觀測特征集與地貌特征集的差異，進(jìn)而影響識別精度。針對以上不足，解決途徑是在巡視器前期勘探任務(wù)中根據(jù)收集到的現(xiàn)場圖像對地貌特征集進(jìn)行增廣，即在線篩選優(yōu)秀地貌特征實(shí)時(shí)更新地貌特征集，提高訓(xùn)練集的完備性與精度。與此同時(shí)，在實(shí)際任務(wù)中仍有必要針對地貌知識庫中未充分編目的興趣地貌開發(fā)主動感知技術(shù)，后續(xù)工作將圍繞相關(guān)內(nèi)容展開進(jìn)一步研究。

6 結(jié)論

1)利用SURF特征描述算子組建了地貌特征知識庫，并在強(qiáng)化學(xué)習(xí)框架下設(shè)計(jì)了相應(yīng)地貌識別獎(jiǎng)勵(lì)函數(shù)，該方法利用SURF算子完成地貌的表征，在有效保證運(yùn)行效率的同時(shí)，實(shí)現(xiàn)對地貌的準(zhǔn)確識別；

2)在地貌在線感知階段，采用局部顯著性分析方法設(shè)計(jì)了地貌主動感知的觸發(fā)判據(jù)，確保了地貌感知的有效性，將在線地貌感知與強(qiáng)化學(xué)習(xí)方法相結(jié)合建立了完整的月表地貌主動感知方法；

3)仿真算例結(jié)果顯示，所提方法能夠在有限的策略估值-更新迭代次數(shù)內(nèi)給出有效地貌主動感知的相機(jī)調(diào)整動作參數(shù)，并且地貌感知結(jié)果較未采取主動感知策略的拍攝結(jié)果從視覺顯著性角度具有一定幅度的提升，體現(xiàn)了地貌主動感知算法的有效性。