陳奧,解永春,王勇,李林峰

1.北京控制工程研究所,北京 100190

2.空間智能控制技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京 100190

在軌服務(wù)操作通常是指服務(wù)航天器與目標(biāo)航天器完成交會(huì)對(duì)接后,服務(wù)航天器利用所攜帶的機(jī)械臂對(duì)目標(biāo)航天器進(jìn)行末端操作的過(guò)程,包括對(duì)壽命末期或者故障航天器的在軌故障修復(fù)、模塊更換、燃料加注、以及輔助離軌等[1]。在軌加注是指服務(wù)航天器在空間軌道上,為目標(biāo)航天器補(bǔ)充推進(jìn)劑,是一種典型的在軌服務(wù)操作。在軌加注在降低空間運(yùn)輸成本以及任務(wù)風(fēng)險(xiǎn)方面起著重要的作用,對(duì)于提高空間資產(chǎn)使用效益、保障飛行器在軌安全可靠運(yùn)行具有重大意義。

已有的在軌加注通過(guò)遙操作或在人員監(jiān)控下完成,自主等級(jí)低。國(guó)外典型的在軌加注任務(wù)有“軌道快車(Orbital Express,OE)”和“機(jī)器人燃料加注任務(wù)(Robotic Refueling Mission,RRM)”。2007年,在“軌道快車”任務(wù)中,服務(wù)航天器ASTRO向目標(biāo)航天器NEXTSat傳輸了肼燃料,還利用機(jī)械臂為NEXTSat安裝了一塊電池,這些操作是在人員監(jiān)控下完成的,依賴于地面指令[2]。2013年,在第三階段的“機(jī)器人燃料加注任務(wù)(Robotic Refueling Mission-3,RRM-3)”中,安裝于國(guó)際空間站外部的機(jī)械臂完成了一系列加注操作的在軌演示,包括開(kāi)啟燃料加注工具啟動(dòng)鎖、抓取并取出鎖線切割工具、切割閥門螺帽鎖線、放回切割工具、抓取連接管工具、移動(dòng)連接管工具至模擬衛(wèi)星燃料閥處、將連接管插入模擬衛(wèi)星燃料閥、乙醇燃料傳輸?shù)?上述操作由遙操作完成,并且需要地面人員向機(jī)械臂操作系統(tǒng)發(fā)送精確的加注指令[3]。國(guó)內(nèi)典型的在軌加注任務(wù)有“天源一號(hào)”“實(shí)踐十七號(hào)”和“天舟一號(hào)-天宮二號(hào)”任務(wù)。2016年,“天源一號(hào)”完成了液體燃料的管理和加注工作,驗(yàn)證了多項(xiàng)在軌加注關(guān)鍵技術(shù)。同年,“實(shí)踐十七號(hào)”衛(wèi)星完成的無(wú)毒推進(jìn)劑二硝酰胺銨的在軌加注試驗(yàn)。2017年,“天舟一號(hào)”貨運(yùn)飛船對(duì)“天宮二號(hào)”空間實(shí)驗(yàn)艙進(jìn)行多次推進(jìn)劑補(bǔ)加工作。以上國(guó)內(nèi)的3次在軌加注,研究的重點(diǎn)是在空間環(huán)境下的推進(jìn)劑管理與加注,并沒(méi)有對(duì)在軌加注中的相關(guān)操作技術(shù)展開(kāi)研究。雖然美國(guó)航天機(jī)構(gòu)在在軌加注相關(guān)技術(shù)方面的研究更加全面、起步較早,但整個(gè)加注過(guò)程并不是全自主的,仍依賴于地面指令或是空間站航天員的遙操作。中國(guó)處于起步階段,在推進(jìn)劑管理方面積累了許多經(jīng)驗(yàn),而在自主在軌加注操作方面仍是空白。

視覺(jué)感知系統(tǒng)在在軌加注中起著重要的作用,可以感知操作任務(wù)周圍環(huán)境并提供給控制系統(tǒng)。在軌加注中的視覺(jué)感知方法隨著在軌加注控制方法的改進(jìn)和加注任務(wù)需求的增加而發(fā)展?；诳梢?jiàn)光成像的目標(biāo)探測(cè)技術(shù),因具有技術(shù)相對(duì)成熟、圖像分辨率高、目標(biāo)特征豐富、系統(tǒng)功耗小等優(yōu)點(diǎn),被廣泛應(yīng)用于空間目標(biāo)形態(tài)識(shí)別。在早期的加注任務(wù)中,如“軌道快車”任務(wù),視覺(jué)感知系統(tǒng)要對(duì)目標(biāo)航天器上的合作標(biāo)志器進(jìn)行測(cè)量,引導(dǎo)機(jī)械臂完成加注操作,類似涉及合作目標(biāo)測(cè)量的任務(wù)還有日本的ETS-VII計(jì)劃[4]。“機(jī)器人燃料加注任務(wù)”,通過(guò)遙操作的方式完成,因此其視覺(jué)感知系統(tǒng)僅需要提供監(jiān)控視頻,而不需要做測(cè)量。隨著在軌加注自主化程度的不斷提高,視覺(jué)感知系統(tǒng)需要向控制系統(tǒng)提供操作對(duì)象的相對(duì)位置和姿態(tài)等信息。對(duì)于非合作目標(biāo)的感知和測(cè)量的研究,各國(guó)尚處于地面試驗(yàn)階段,研究的對(duì)象具有較明顯的圖像特征特點(diǎn),如點(diǎn)、直線、圓和曲線等,且需要提供一些先驗(yàn)信息?？偟膩?lái)看,當(dāng)前用于在軌加注的視覺(jué)感知方法智能程度低,無(wú)法感知復(fù)雜形態(tài)的衛(wèi)星部件、無(wú)法適應(yīng)復(fù)雜不確定的空間環(huán)境,此外,一般很難精確測(cè)量目標(biāo)位姿。

隨著人工智能的發(fā)展,深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning,DRL)在地面機(jī)器人操作中顯示出了巨大的潛力[5]。經(jīng)過(guò)多次重復(fù)的探索訓(xùn)練,機(jī)器人可以學(xué)得一種適應(yīng)于環(huán)境的控制策略,從而高效地完成給定任務(wù),這種深度強(qiáng)化學(xué)習(xí)方法為實(shí)現(xiàn)自主在軌加注提供了一種思路。利用深度學(xué)習(xí)(Deep Learning,DL)方法從傳感器數(shù)據(jù)提取當(dāng)前場(chǎng)景的狀態(tài)特征,是深度強(qiáng)化學(xué)習(xí)的關(guān)鍵點(diǎn)之一。在在軌加注任務(wù)中,一種重要的傳感器數(shù)據(jù)是相機(jī)或激光設(shè)備采集的當(dāng)前場(chǎng)景的圖像。相較于傳統(tǒng)視覺(jué)感知方法,基于深度學(xué)習(xí)的圖像感知方法能夠自主感知復(fù)雜外形的目標(biāo),具備一定的魯棒性和泛化性,無(wú)需精確計(jì)算目標(biāo)位姿信息。因此,基于深度學(xué)習(xí)的視覺(jué)感知是在軌加注的一個(gè)重要發(fā)展方向,目前未見(jiàn)相關(guān)研究,但是基于深度學(xué)習(xí)的視覺(jué)感知已在其他領(lǐng)域有了廣泛應(yīng)用,例如自動(dòng)駕駛[6]、人臉識(shí)別[7]和工業(yè)裝配等。

在基于深度學(xué)習(xí)的視覺(jué)感知中,廣泛采用的是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)。在卷積神經(jīng)網(wǎng)絡(luò)中,采用層級(jí)的卷積層和池化層來(lái)逐級(jí)提取融合輸入圖像的特征,最終完成目標(biāo)識(shí)別、檢測(cè)和分割等任務(wù),代表性的網(wǎng)絡(luò)有ResNet[8],Faster R-CNN[9]和Mask R-CNN。Mask R-CNN由FAIR(Facebook AI Research)的何凱明等[10]于2017年提出,該網(wǎng)絡(luò)在Faster R-CNN的基礎(chǔ)上添加了一個(gè)掩模分支來(lái)做語(yǔ)義分割,Mask R-CNN在MS COCO數(shù)據(jù)集上的表現(xiàn)超越了MNC[11]和FCIS[12],是如今最成熟的目標(biāo)檢測(cè)分割算法。卷積神經(jīng)網(wǎng)絡(luò)屬于聯(lián)結(jié)主義,因此缺乏邏輯推理能力,只能對(duì)見(jiàn)過(guò)的模式進(jìn)行特征提取。也就是說(shuō),對(duì)于那些未經(jīng)訓(xùn)練的模式,盡管它們?cè)诟邔蛹?jí)的圖像層上,且與訓(xùn)練過(guò)的模式高度相關(guān),仍然無(wú)法被訓(xùn)練好的網(wǎng)絡(luò)識(shí)別。

圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network,GNN)可以用來(lái)處理相互關(guān)聯(lián)的數(shù)據(jù),也就是說(shuō)圖神經(jīng)網(wǎng)絡(luò)可以幫助理解數(shù)據(jù)之間的語(yǔ)義關(guān)系或空間關(guān)系,這賦予了網(wǎng)絡(luò)邏輯推理能力,彌補(bǔ)了卷積神經(jīng)網(wǎng)絡(luò)的不足。相互關(guān)聯(lián)的數(shù)據(jù)常用圖結(jié)構(gòu)表示,與歐幾里得數(shù)據(jù)相比,圖結(jié)構(gòu)數(shù)據(jù)不規(guī)則、復(fù)雜,對(duì)數(shù)據(jù)的描述能力非常強(qiáng)大,典型的圖結(jié)構(gòu)數(shù)據(jù)就是知識(shí)圖譜。GNN的起源可追溯至“先深度學(xué)習(xí)”時(shí)期,GNN被廣泛用于社交網(wǎng)絡(luò)[13]、搜索與推薦系統(tǒng)[14]、金融風(fēng)險(xiǎn)控制和信號(hào)燈預(yù)測(cè)等。以搜索與推薦系統(tǒng)為例,知識(shí)圖譜的引入,使得互聯(lián)網(wǎng)逐步從僅包含網(wǎng)頁(yè)與網(wǎng)頁(yè)之間超鏈接的文檔萬(wàn)維網(wǎng)轉(zhuǎn)變?yōu)榘罅棵枋龈鞣N實(shí)體和實(shí)體之間豐富關(guān)系的數(shù)據(jù)萬(wàn)維網(wǎng),大大提升了搜索效率。文獻(xiàn)[15]利用GNN作為推理模塊來(lái)對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行擴(kuò)展,并在視覺(jué)問(wèn)答系統(tǒng)中取得了很好的結(jié)果。然而,GNN的隱藏狀態(tài)更新函數(shù)需滿足壓縮函數(shù)的條件,這極大地限制了其表示能力；其梯度下降過(guò)程需迭代多次,計(jì)算代價(jià)很大；基于不動(dòng)點(diǎn)的收斂導(dǎo)致結(jié)點(diǎn)間的隱藏狀態(tài)存在較多信息共享,從而導(dǎo)致結(jié)點(diǎn)的隱藏狀態(tài)過(guò)于光滑[16]。為了解決上述問(wèn)題,學(xué)者們又提出了門控圖網(wǎng)絡(luò)(Gated Graph Neural Network,GGNN)和圖卷積網(wǎng)絡(luò)(Graph Convolutional Network,GCN)。

然而很少有人對(duì)知識(shí)圖譜在視覺(jué)感知方面的應(yīng)用開(kāi)展研究。文獻(xiàn)[17-18]利用嵌入知識(shí)的表示來(lái)識(shí)別細(xì)粒鳥(niǎo)類物種,文獻(xiàn)[19]采用GCN識(shí)別多標(biāo)簽圖像,文獻(xiàn)[20]引入先驗(yàn)知識(shí)圖譜提高了目標(biāo)檢測(cè)正確率。上述研究構(gòu)造的知識(shí)圖結(jié)構(gòu)都比較簡(jiǎn)單,大多是基于物體間的語(yǔ)義關(guān)系。知識(shí)圖譜廣泛存在于視覺(jué)感知任務(wù)中,表示了物體和物體間的關(guān)系,主要包括語(yǔ)義關(guān)系和空間位置關(guān)系這兩大類。

在軌加注面臨非結(jié)構(gòu)復(fù)雜環(huán)境,其特點(diǎn)為范圍廣、光照復(fù)雜和動(dòng)態(tài)性強(qiáng),例如：在服務(wù)航天器與目標(biāo)航天器接觸時(shí),隨著太陽(yáng)照射角度變化,會(huì)產(chǎn)生復(fù)雜的光照情形?？臻g機(jī)械臂在這樣的環(huán)境下自主完成操作任務(wù)時(shí),需要具備自主識(shí)別和定位能力,實(shí)現(xiàn)對(duì)操作環(huán)境的實(shí)時(shí)、準(zhǔn)確認(rèn)知。相比于傳統(tǒng)識(shí)別技術(shù),深度學(xué)習(xí)能夠自主提取復(fù)雜環(huán)境特征,實(shí)現(xiàn)完全基于樣本的學(xué)習(xí),具備一定的魯棒性和適應(yīng)性。然而基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法,對(duì)相似實(shí)例的檢測(cè)精確率低,對(duì)光照變化敏感,大大限制了基于深度學(xué)習(xí)的視覺(jué)感知方法在在軌加注任務(wù)中的應(yīng)用。

本文針對(duì)在軌加注任務(wù),提出了基于深度圖推理(Deep Graph Reasoning Method,DGRM)的衛(wèi)星背板部件的檢測(cè)方法。相關(guān)研究的最初結(jié)果見(jiàn)文獻(xiàn)[21],文獻(xiàn)[21]對(duì)3種簡(jiǎn)單的目標(biāo)的檢測(cè)分割給出了數(shù)學(xué)仿真結(jié)果。相較于文獻(xiàn)[21],本文對(duì)圖卷積網(wǎng)絡(luò)的結(jié)構(gòu)展開(kāi)了更加深入的研究,細(xì)化了圖網(wǎng)絡(luò)結(jié)構(gòu),給出了整體算法的流程圖,在物理仿真中完整地驗(yàn)證了基于深度圖推理的目標(biāo)檢測(cè)方法的正確性,并在實(shí)驗(yàn)室條件下驗(yàn)證了提出的方法對(duì)光照變化的強(qiáng)適應(yīng)性和相似實(shí)例的高識(shí)別率。

1 檢測(cè)方法

本文主要以Mask R-CNN為基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)框架來(lái)提取圖像特征,并在此基礎(chǔ)上加入了基于知識(shí)圖譜的邏輯推理模塊,在提取的特征中融入先驗(yàn)信息來(lái)進(jìn)一步做推理,以實(shí)現(xiàn)對(duì)相似部件的檢測(cè),并提高網(wǎng)絡(luò)在光照變化的情況下的魯棒性。

這里給出本文提出的基于深度圖推理的衛(wèi)星背板部件檢測(cè)方法的流程圖,如圖1所示,包含2個(gè)主要模塊：基于Mask R-CNN的表示學(xué)習(xí)模塊和基于圖卷積網(wǎng)絡(luò)的邏輯推理模塊,下面分別對(duì)這2個(gè)模塊進(jìn)行介紹。圖中掩模區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模塊表示Mask R-CNN。

圖1 基于深度圖推理的衛(wèi)星背板部件檢測(cè)方法流程圖

1.1 基于Mask R-CNN的表示學(xué)習(xí)

Mask R-CNN具備強(qiáng)大的圖像特征提取能力,可以對(duì)目標(biāo)進(jìn)行像素級(jí)的精確定位,滿足在軌加注的精細(xì)操作任務(wù)需求,因此采用Mask R-CNN來(lái)學(xué)習(xí)圖像表征。Mask R-CNN包含3個(gè)主要模塊：特征提取模塊、候選框生成模塊以及檢測(cè)和分割模塊,如圖1中的Mask R-CNN部分所示。特征提取模塊從輸入圖像中提取出多層級(jí)的特征,候選框生成模塊基于提取出的多層級(jí)特征生成一系列候選框,最后,檢測(cè)和分割模塊基于多層級(jí)特征和候選框,實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別、定位與分割。

1) 特征提取

Mask R-CNN以ResNet-FPN作為特征提取網(wǎng)絡(luò),ResNet-FPN具備強(qiáng)大的特征提取能力,可以用來(lái)識(shí)別結(jié)構(gòu)復(fù)雜的衛(wèi)星背板部件。ResNet-FPN在ResNet的基礎(chǔ)上添加了一個(gè)特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network,FPN)結(jié)構(gòu)。

ResNet是一種殘差網(wǎng)絡(luò),由He[10]提出,其核心是在一般的深層神經(jīng)網(wǎng)絡(luò)中引入跳層連接,即恒等影射來(lái)解決神經(jīng)網(wǎng)絡(luò)隨著層數(shù)的加深而出現(xiàn)的退化現(xiàn)象。神經(jīng)網(wǎng)絡(luò)可以通過(guò)自我學(xué)習(xí)將一些卷積層映射F設(shè)置為很小的數(shù),即F(x)≈0,這就保證可將前面網(wǎng)絡(luò)層的信息x,通過(guò)跳層結(jié)構(gòu)傳遞至下一層網(wǎng)絡(luò),即F(x)+x≈x,從而保留每層網(wǎng)絡(luò)提取到的特征圖的關(guān)鍵信息。本方案采用了ResNet-50結(jié)構(gòu)來(lái)提取特征,ResNet-50是融入跳層連接的50層卷積神經(jīng)網(wǎng)絡(luò)。

FPN[22]采用具有橫向連接且自上而下的路徑方法將ResNet-50淺層高分辨率、弱語(yǔ)義特征圖與高層低分辨率、強(qiáng)語(yǔ)義特征圖相融合,使得所有尺度上的特征圖都具備強(qiáng)大的表示能力,其示意圖如圖2所示,其中C1～C5是由ResNet-50生成的5個(gè)不同尺度的特征圖,P2～P6是經(jīng)由FPN融合相鄰特征圖的表達(dá)能力更強(qiáng)的新的特征圖,FPN由卷積操作和池化操作構(gòu)成。

圖2 FPN的多尺度特征融合過(guò)程

2) 候選框生成

Mask R-CNN采用RPN(Region Proposal Network)來(lái)生成候選框。RPN在ResNet-FPN生成的多個(gè)特征層面P2～P6上,都生成了相應(yīng)的候選區(qū)域,這些候選框的尺寸各不相同,RPN由卷積操作和全連接操作構(gòu)成。由于后續(xù)的檢測(cè)和分割模塊需要以固定尺寸的特征圖作為輸入,因此采用了RoIAlign將候選框的特征圖歸一化為相同尺寸,相較于采用量化操作的RoIPooling,RoIAlign在輸出候選框坐標(biāo)時(shí),采用雙線性內(nèi)插算法,這解決了歸一化前后特征圖不對(duì)齊的問(wèn)題。經(jīng)過(guò)上述RPN的計(jì)算和RoIAlign操作后,會(huì)得到多達(dá)上萬(wàn)的候選框,大多數(shù)候選框存在相互交疊的情況,因此采用非極大值抑制(Non-Maximum Suppression,NMS)算法可以去除交并比高的候選框,保留少數(shù)關(guān)鍵的候選框RoI。

3) 檢測(cè)和分割

檢測(cè)和分割模塊主要由卷積操作和全連接操作構(gòu)成,候選框RoI被分別送入檢測(cè)和分割分支,檢測(cè)分支對(duì)候選框進(jìn)行目標(biāo)分類和定位,分割分支對(duì)候選框進(jìn)行目標(biāo)像素級(jí)分類,即目標(biāo)分割,兩條分支構(gòu)成一個(gè)多任務(wù)學(xué)習(xí)網(wǎng)絡(luò),在訓(xùn)練過(guò)程中,兩個(gè)分割的損失同時(shí)在最終的損失函數(shù)L中體現(xiàn),互相促進(jìn)各任務(wù)的學(xué)習(xí)。

定義多任務(wù)損失L=Lcls+Lbox+Lmask,采用梯度下降法來(lái)學(xué)習(xí)網(wǎng)絡(luò)參數(shù)。其中Lcls、Lbox的定義和Faster R-CNN的定義一致,衡量了分類代價(jià)和定位代價(jià)。由于分割分支實(shí)際是對(duì)感興趣像素點(diǎn)的分類,因此Lmask定義為平均二值交叉熵?fù)p失。在測(cè)試時(shí),整個(gè)算法的偽代碼如算法1所示。

算法1 Mask R-CNN算法偽代碼

輸入:二維RGB圖像輸出:目標(biāo)類別,目標(biāo)位置(矩形框),目標(biāo)掩模1.將圖像送入ResNet-50進(jìn)行特征提取,得到5個(gè)不同深度的卷積層特征圖C1～C5。2.將C1～C5送入FPN,進(jìn)行下采樣和特征融合,得到特征圖P6～P2。3.將P6～P2傳入RPN,分別得到每個(gè)特征層下的候選區(qū),用rpn_probs和rpn_bbox兩個(gè)參量表示。4.對(duì)rpn_probs和預(yù)先定義的anchors進(jìn)行處理,可初步得到修正后的候選框位置,再根據(jù)rpn_probs和top-N,NMS原則等對(duì)候選框進(jìn)行后處理,得到修建后的少量感興趣區(qū)域rpn_rois。5.采用RoIAlign將rpn_rois與ResNet50提取到的特征圖匹配起來(lái),得到特征圖中的感興趣區(qū)域。6.將特征圖中的感興趣區(qū)域送入全連接層得到目標(biāo)類別和定位,送入掩模分支進(jìn)行卷積運(yùn)算得到掩模。

1.2 基于圖卷積網(wǎng)絡(luò)的邏輯推理

本文在基于Mask R-CNN的表示學(xué)習(xí)的基礎(chǔ)上,提出了基于圖卷積網(wǎng)絡(luò)的邏輯推理模塊。

圖像中的單個(gè)目標(biāo)是由各具特征的子部件組合而成,且各目標(biāo)都不是孤立存在的,具有一定的排布關(guān)系,將這些結(jié)構(gòu)化信息與卷積神經(jīng)網(wǎng)絡(luò)提取到的圖像表征相結(jié)合,可以實(shí)現(xiàn)相似實(shí)例的檢測(cè)分割,并保證網(wǎng)絡(luò)在復(fù)雜光照條件下的魯棒性。知識(shí)圖譜可以將先驗(yàn)信息融入特征提取過(guò)程中,利用圖卷積則可以對(duì)知識(shí)圖譜進(jìn)行操作,在圖節(jié)點(diǎn)間傳播先驗(yàn)信息,增強(qiáng)關(guān)鍵節(jié)點(diǎn),削弱不相關(guān)的節(jié)點(diǎn)。

衛(wèi)星背板上的部件的正確檢測(cè)對(duì)于加注操作任務(wù)來(lái)說(shuō)至關(guān)重要,尤其是加注口的正確檢測(cè),正確的識(shí)別與定位為加注工具的對(duì)接及加注提供了保障,實(shí)驗(yàn)中用到的加注端結(jié)構(gòu)如圖3所示,從左至右依次為左對(duì)接口、加注口和右對(duì)接口。記表示學(xué)習(xí)模塊檢測(cè)到的左對(duì)接口、加注口、右對(duì)接口、10 N發(fā)動(dòng)機(jī)和490 N發(fā)動(dòng)機(jī)為知識(shí)圖譜的節(jié)點(diǎn)。

圖3 加注端上的目標(biāo)

邏輯推理模塊通過(guò)構(gòu)建知識(shí)圖譜G={X,A},并利用GCN做邏輯推理。在知識(shí)圖譜G的構(gòu)建時(shí),對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)模塊學(xué)到的特征進(jìn)行抽取,組成節(jié)點(diǎn)初始特征X∈RN×9,N為表示學(xué)習(xí)模塊檢測(cè)到的目標(biāo)的數(shù)量,當(dāng)檢測(cè)到2個(gè)以上的目標(biāo)時(shí),需要進(jìn)行進(jìn)一步的邏輯推理。對(duì)每一個(gè)目標(biāo),抽取學(xué)到的9維特征來(lái)初始化節(jié)點(diǎn)特征,具體的,若xi表示第i個(gè)目標(biāo)的節(jié)點(diǎn)特征,那么將xi的第i個(gè)元素設(shè)置為檢測(cè)到的實(shí)例為“目標(biāo)i”的置信度,將xi的第6～9個(gè)元素設(shè)置為“目標(biāo)i”的邊界框坐標(biāo)。考慮到各目標(biāo)具有確定的位置關(guān)系,引入一個(gè)非標(biāo)準(zhǔn)的單位上三角矩陣A∈RN×N作為鄰接矩陣,其對(duì)角線元素為0。本文設(shè)計(jì)的知識(shí)圖譜是變結(jié)構(gòu)的,其結(jié)構(gòu)由檢測(cè)到的目標(biāo)的數(shù)量N決定,相比于固定結(jié)構(gòu)的知識(shí)圖譜,檢測(cè)精確率和運(yùn)行效率更高。

在構(gòu)建知識(shí)圖譜G后,采用圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)先驗(yàn)知識(shí)在節(jié)點(diǎn)間的傳播并對(duì)節(jié)點(diǎn)特征進(jìn)行更新。設(shè)計(jì)的圖卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,圖卷積網(wǎng)絡(luò)包含2層圖卷積層,3個(gè)全連接層,3次批歸一化(Batch Normalization,BN)操作以及2次非線性變換操作。其中圖卷積層1將節(jié)點(diǎn)特征維數(shù)由9維擴(kuò)增至12維,圖卷積層2將12維特征壓縮提取為6維,圖卷積層的計(jì)算公式為[23]

圖4 GCN的網(wǎng)絡(luò)結(jié)構(gòu)

(1)

在邏輯推理模塊,圖網(wǎng)絡(luò)解決的實(shí)際是分類問(wèn)題,因此,選取交叉熵?fù)p失來(lái)訓(xùn)練網(wǎng)絡(luò),一個(gè)批的交叉熵?fù)p失為

(2)

式中：m為批內(nèi)樣本個(gè)數(shù)；n為每個(gè)樣本的維數(shù)；p為數(shù)據(jù)的真實(shí)概率分布；p(xi)表示樣本的真實(shí)標(biāo)簽；q為數(shù)據(jù)的預(yù)測(cè)概率分布；q(xi)表示網(wǎng)絡(luò)的實(shí)際輸出。

2 數(shù)學(xué)仿真

在本文提出的基于深度圖推理的衛(wèi)星背板部件檢測(cè)方法中,邏輯推理模塊是提高檢測(cè)方法魯棒性的重要部分。因此,在數(shù)學(xué)仿真中重點(diǎn)驗(yàn)證了該模塊的有效性,認(rèn)為基于卷積神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)部分是已經(jīng)完成訓(xùn)練的,即可獲得實(shí)例的檢測(cè)置信度以及其邊界框的坐標(biāo)。本節(jié)內(nèi)容是根據(jù)文獻(xiàn)[21]仿真得到的,僅對(duì)對(duì)接口和加注口的推理檢測(cè)進(jìn)行仿真。

根據(jù)成像原理,采用數(shù)學(xué)仿真方法生成目標(biāo)孔的坐標(biāo)(像素坐標(biāo)系下的坐標(biāo))和置信度,即世界坐標(biāo)系和圖像坐標(biāo)系的變換關(guān)系。在本任務(wù)中,假定目標(biāo)都在同一個(gè)平面上,建立世界坐標(biāo)系,取ZW=0,那么攝像機(jī)模型為

(3)

(4)

在仿真中,在一定的約束下隨機(jī)生成n、o、p,再根據(jù)給定的目標(biāo)在世界坐標(biāo)系下的坐標(biāo)XW、YW,便可生成目標(biāo)在圖像坐標(biāo)系下的坐標(biāo)u、v。

為了使GCN能夠正確檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)無(wú)法處理的相似實(shí)例,即提高加注端3個(gè)孔的檢測(cè)率,降低誤檢率和漏檢率,本文按照一定比例生成了檢測(cè)正確的目標(biāo)、誤檢的目標(biāo)(分類錯(cuò)誤)和漏檢目標(biāo)(測(cè)到了但置信度比較低),這3類情況在真實(shí)物理仿真中最為最常見(jiàn),最后以npy文件格式存儲(chǔ)這些生成數(shù)據(jù)。

在訓(xùn)練階段,讀取npy文件中的數(shù)據(jù)作為網(wǎng)絡(luò)結(jié)點(diǎn)的初始特征,按照式(2)定義的損失函數(shù)訓(xùn)練設(shè)計(jì)的圖卷積網(wǎng)絡(luò)。圖5表示了訓(xùn)練過(guò)程中損失函數(shù)變化,橫坐標(biāo)為訓(xùn)練次數(shù),縱坐標(biāo)為損失函數(shù)的值,損失函數(shù)收斂的比較快,在約300次訓(xùn)練后,就收斂到了極小值。相較于卷積神經(jīng)網(wǎng)絡(luò),圖網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)較淺,參數(shù)較少,收斂的更快。

圖5 訓(xùn)練過(guò)程中圖卷積網(wǎng)絡(luò)的損失函數(shù)的變化(數(shù)學(xué)仿真)

圖6和圖7分別給出了漏檢和誤檢情況下的仿真結(jié)果,橫縱坐標(biāo)軸模擬了圖像坐標(biāo)系下的橫縱坐標(biāo)軸。

圖6是漏檢情況下的仿真結(jié)果,圖6(a)和圖6(b) 的第1行和第2行分別都表示了仿真生成數(shù)據(jù)模擬的基于Mask R-CNN的表示學(xué)習(xí)模塊(基準(zhǔn)網(wǎng)絡(luò))和基于知識(shí)圖譜的邏輯推理模塊(優(yōu)化網(wǎng)絡(luò))對(duì)相同輸入圖像的檢測(cè)結(jié)果。在圖6(a)中,基準(zhǔn)網(wǎng)絡(luò)沒(méi)有檢測(cè)到“加注口”,但是優(yōu)化網(wǎng)絡(luò)卻可以正確檢測(cè)到“加注口”。而在圖6(b)中,在圖7中,基準(zhǔn)網(wǎng)絡(luò)沒(méi)有檢測(cè)到“右對(duì)接口”,而優(yōu)化網(wǎng)絡(luò)正確的檢測(cè)到了“右對(duì)接口”。

圖6 基準(zhǔn)網(wǎng)絡(luò)和優(yōu)化網(wǎng)絡(luò)對(duì)加注端的漏檢結(jié)果

圖7是誤檢情況下的仿真結(jié)果,圖7(a)和圖7(b)的第1行和第2行分別都表示了仿真生成數(shù)據(jù)模擬的基于Mask R-CNN的表示學(xué)習(xí)模塊(基準(zhǔn)網(wǎng)絡(luò))和基于知識(shí)圖譜的邏輯推理模塊(優(yōu)化網(wǎng)絡(luò))。在圖7(a)中,基準(zhǔn)網(wǎng)絡(luò)將“加注口”檢測(cè)為了“右對(duì)接口”,而將“右對(duì)接口”檢測(cè)為“加注口”,這對(duì)后續(xù)操作很不利,優(yōu)化模塊則正確檢測(cè)出了“右對(duì)接口”和“加注口”。在圖7(b)中,基準(zhǔn)網(wǎng)絡(luò)錯(cuò)誤的檢測(cè)了“左對(duì)接口”和“右對(duì)接口”,優(yōu)化網(wǎng)絡(luò)則將“左對(duì)接口”和“右對(duì)接口”正確的定位出來(lái)了。

圖7 基準(zhǔn)網(wǎng)絡(luò)和優(yōu)化網(wǎng)絡(luò)對(duì)加注端的誤檢結(jié)果

表1和表2分別對(duì)訓(xùn)練階段及測(cè)試階段的基準(zhǔn)網(wǎng)絡(luò)和優(yōu)化模塊的目標(biāo)檢測(cè)正確率進(jìn)行了統(tǒng)計(jì),可以看到優(yōu)化模塊對(duì)相似實(shí)例的檢測(cè)率有了顯著的改善,且模型具有較好的泛化性。

表1 基準(zhǔn)網(wǎng)絡(luò)和優(yōu)化模塊對(duì)加注端的檢測(cè)精確率(訓(xùn)練階段)

表2 基準(zhǔn)網(wǎng)絡(luò)和優(yōu)化模塊對(duì)加注端的檢測(cè)精確率(測(cè)試階段)

3 物理仿真

為了驗(yàn)證本文提出的基于深度圖推理的衛(wèi)星背板部件檢測(cè)方法對(duì)相似部件的檢測(cè)效果,以及算法在復(fù)雜光照下的檢測(cè)效果,搭建了地面物理演示實(shí)驗(yàn)系統(tǒng)和算法平臺(tái),并制備了訓(xùn)練和測(cè)試數(shù)據(jù)集。

1) 地面物理演示實(shí)驗(yàn)系統(tǒng)

地面物理演示實(shí)驗(yàn)系統(tǒng)主要根據(jù)在軌加注的學(xué)習(xí)訓(xùn)練環(huán)境的情況進(jìn)行設(shè)計(jì),用于模擬空間機(jī)械臂對(duì)受體航天器的在軌加注過(guò)程,如圖8所示。

圖8 物理實(shí)驗(yàn)系統(tǒng)

系統(tǒng)主要包括以下幾個(gè)部分：模擬空間機(jī)器人的UR10工業(yè)機(jī)械臂,末端配置單目手眼相機(jī)和六維力傳感器；模擬受體航天器的模擬衛(wèi)星端面,端面配置有對(duì)接環(huán)、10 N發(fā)動(dòng)機(jī)、490 N發(fā)動(dòng)機(jī)和天線等；模擬燃料加注裝置,包括加注主動(dòng)端和被動(dòng)端；用于網(wǎng)絡(luò)訓(xùn)練的智能算法服務(wù)器；其他供配電系統(tǒng)。

2) 算法平臺(tái)

硬件環(huán)境主要包括：1塊64位、16核CPU；1塊P40顯卡；1個(gè)IntelRealSense D435相機(jī)。軟件環(huán)境包括：Ubuntu 16.04.5 LTS操作系統(tǒng)；Caffe2深度學(xué)習(xí)平臺(tái)；編程語(yǔ)言為Python3.6。

3) 數(shù)據(jù)集

為了訓(xùn)練基于Mask R-CNN的表示學(xué)習(xí)模塊,使用手眼相機(jī)采集2 500張不同角度衛(wèi)星端面圖像并使用Labelme軟件進(jìn)行標(biāo)注,共標(biāo)注了背板上的5類關(guān)鍵目標(biāo),分別是10 N發(fā)動(dòng)機(jī)、490 N 發(fā)動(dòng)機(jī)、左對(duì)接口、加注孔、右對(duì)接口,記上述2 500張圖像為訓(xùn)練樣本集I。

為了訓(xùn)練基于圖卷積網(wǎng)絡(luò)的邏輯推理模塊并驗(yàn)證算法在復(fù)雜光照下的檢測(cè)效果,在實(shí)驗(yàn)室環(huán)境下,通過(guò)調(diào)節(jié)光照亮度,模擬了5種不同的光照環(huán)境,在5種光照環(huán)境下,通過(guò)示教學(xué)習(xí),讓機(jī)械臂在相同的運(yùn)動(dòng)軌跡下采集模擬衛(wèi)星端面的圖像,這樣可以排除如成像角度和運(yùn)動(dòng)模糊等因素對(duì)算法檢測(cè)效果的影響。5種光照環(huán)境下,采集到的圖像的平均灰度值如表3所示。

表3 5種光照環(huán)境下圖像的平均灰度值

分別在5種光照環(huán)境下采集圖像,并從光照I環(huán)境下采集到的樣本隨機(jī)抽取30%數(shù)量的圖像,從光照V環(huán)境下采集到的樣本隨機(jī)抽取30%數(shù)量的圖像,一同作為訓(xùn)練樣本,來(lái)訓(xùn)練圖卷積網(wǎng)絡(luò),這部分訓(xùn)練樣本共包含483張圖像,記為訓(xùn)練樣本集II。而用光照I環(huán)境下采集的剩下70%數(shù)量的圖像,光照II、III、IV環(huán)境下采集到的全部圖像,以及光照V環(huán)境下采集的剩下70%數(shù)量的圖像來(lái)測(cè)試提出的基于深度圖推理的衛(wèi)星背板部件檢測(cè)方法,這部分樣本共包含3 626張圖像,記為測(cè)試樣本集。

4) 訓(xùn)練與測(cè)試

在訓(xùn)練過(guò)程中,分別訓(xùn)練Mask R-CNN和圖卷積網(wǎng)絡(luò)。利用訓(xùn)練樣本集I訓(xùn)練Mask R-CNN時(shí),用梯度下降法不斷優(yōu)化網(wǎng)絡(luò)參數(shù)以使損失函數(shù)下降,初始學(xué)習(xí)率lr=0.02,并按照0.000 1的衰減率減少,在第60 000次和第80 000次衰減學(xué)習(xí)率,批內(nèi)樣本數(shù)為512；在訓(xùn)練好的Mask R-CNN的基礎(chǔ)上訓(xùn)練圖卷積網(wǎng)絡(luò),將訓(xùn)練樣本集II送入訓(xùn)練好的Mask R-CNN網(wǎng)絡(luò),并將檢測(cè)到的加注端上的目標(biāo)的置信度和邊界框坐標(biāo)抽象為圖卷積網(wǎng)絡(luò)的初始特征,采用Adam優(yōu)化方法訓(xùn)練圖卷積網(wǎng)絡(luò)至損失函數(shù)收斂,初始學(xué)習(xí)率lr=0.01,每500次訓(xùn)練步衰減0.1的學(xué)習(xí)率,在10 000 次循環(huán)后,損失降到了0.006 254,損失函數(shù)的變化如圖9所示,橫坐標(biāo)為訓(xùn)練的次數(shù),縱坐標(biāo)為損失函數(shù)的值。

圖9 訓(xùn)練過(guò)程中圖卷積網(wǎng)絡(luò)的損失函數(shù)的變化(物理仿真)

為了評(píng)估提出的基于深度圖推理的衛(wèi)星背板部件檢測(cè)方法的有效性,分別采用提出的方法(記為DGRM)和Mask R-CNN(記為MRCNN)對(duì)測(cè)試樣本集進(jìn)行了目標(biāo)的檢測(cè)和分割,并就加注端上的左對(duì)接口、加注口、右對(duì)接口、490 N發(fā)動(dòng)機(jī)、10 N發(fā)動(dòng)機(jī)這5類關(guān)鍵目標(biāo)的精確率(Precision)和召回率(Recall)這2個(gè)指標(biāo)進(jìn)行比較(檢測(cè)閾值 thresh=0.95)。精確率反應(yīng)了目標(biāo)的誤檢測(cè)情況,而召回率反應(yīng)了目標(biāo)的漏檢測(cè)情況。精確率和召回率的計(jì)算公式為

(5)

(6)

式中：TP表示分類正確且分類結(jié)果為正樣本；FP表示分類錯(cuò)誤且分類結(jié)果為正樣本;FN表示分類錯(cuò)誤且分類結(jié)果為負(fù)樣本,正樣本表示計(jì)算指標(biāo)時(shí)所考慮的樣本類別,而負(fù)樣本表示除了正樣本以外的其他樣本類別,以計(jì)算10 N發(fā)動(dòng)機(jī)的精確率為例,正樣本為10 N發(fā)動(dòng)機(jī),而2個(gè)對(duì)接口,一個(gè)加注口和490 N發(fā)動(dòng)機(jī)均為負(fù)樣本。結(jié)果如表4～表8所示。

表4 光照I下樣本檢測(cè)的精確率和召回率

表6 光照III下樣本檢測(cè)的精確率和召回率

表7 光照IV下樣本檢測(cè)的精確率和召回率

表8 光照V下樣本檢測(cè)的精確率和召回率

在不同的光照強(qiáng)度下,MRCNN和DGRM對(duì)衛(wèi)星背板上的5類關(guān)鍵目標(biāo)的平均檢測(cè)精確率和召回率分別如圖10和圖11所示,以5種光照強(qiáng)度下采集到的圖像的平均灰度值為橫坐標(biāo)來(lái)表示不同的光照強(qiáng)度,橫縱坐標(biāo)均為無(wú)單位常量。

圖10 光照I～光照V下MRCNN和DGRM檢測(cè)平均精確率

圖11 光照I～光照V下MRCNN和DGRM檢測(cè)平均召回率

隨著光照強(qiáng)度由暗到明(光照I～光照V),MRCNN方法,除了在光照I下,對(duì)左對(duì)接口的檢測(cè)精確率為99.64%,對(duì)右對(duì)接口的檢測(cè)精確率為99.07%,在光照I～光照V下,對(duì)其他各類目標(biāo)的檢測(cè)精確率均為100%,這說(shuō)明在變化的光照下,MRCNN對(duì)背板上的各類目標(biāo)幾乎不存在誤檢測(cè)的情況,這是因?yàn)楦黝惸繕?biāo)的外形差異較大,而MRCNN具備良好的復(fù)雜目標(biāo)特征提取性能；采用MRCNN方法,變化的光照對(duì)各類目標(biāo)檢測(cè)的召回率產(chǎn)生了不同的影響,對(duì)于右對(duì)接口、加注口和10 N發(fā)動(dòng)機(jī)這3類目標(biāo),隨著光照的增強(qiáng),其召回率先提升后穩(wěn)定,對(duì)于左對(duì)接口,隨著光照的增強(qiáng),其召回率先由62.22%(光照I)提升至99.06%(光照IV),后降低至91.07%(光照V),對(duì)于490 N發(fā)動(dòng)機(jī),其召回率穩(wěn)定在100%(光照III下為99.86%),這可能是因?yàn)?90 N發(fā)動(dòng)機(jī)的尺寸明顯大于其他4類目標(biāo),且由相對(duì)粗糙的材料制造,對(duì)光照的反射弱于其他4類目標(biāo),光照對(duì)于大尺寸、光反射性能弱的目標(biāo)的漏檢影響更小。

綜上所述,變化的光照影響MRCNN對(duì)目標(biāo)的檢測(cè)效率,在本實(shí)驗(yàn)中,主要體現(xiàn)在影響了目標(biāo)檢測(cè)的召回率。

在相同的光照強(qiáng)度下,相較于MRCNN,DGRM大幅提高了目標(biāo)檢測(cè)的召回率,見(jiàn)圖11；對(duì)于精確率而言,盡管在光照I和光照II下,DGRM對(duì)目標(biāo)檢測(cè)的平均精確率略低于MRCNN方法,但仍高于96%,在可接受的范圍內(nèi)。

隨著光照強(qiáng)度由暗到明(光照I～光照V),DGRM對(duì)目標(biāo)檢測(cè)的平均精確率和平均召回率是逐漸提升的,但幅度不大,總體來(lái)說(shuō)較穩(wěn)定,且均高于96%。這說(shuō)明,在變化的光照環(huán)境下,DGRM具有更優(yōu)的目標(biāo)檢測(cè)效率,也就是說(shuō),DGRM是一種適用于一定范圍變化光照下的一種高效目標(biāo)檢測(cè)方法。

給出光照I～光照V下,MRCNN和DGRM對(duì)相同圖像(僅光照不同)的檢測(cè)結(jié)果,如圖12所示。圖中藍(lán)色、紅色、綠色、黃色、白色掩模分別表示左對(duì)接口、加注口、右對(duì)接口、10 N發(fā)動(dòng)機(jī)和490 N發(fā)動(dòng)機(jī)(圖13和圖14相同)。

圖12的圖像結(jié)果和表5～表9數(shù)據(jù)結(jié)果一致,即變化的光照對(duì)MRCNN的檢測(cè)召回率有影響,而DGRM在變化的光照下的檢測(cè)召回率較高且穩(wěn)定。在光照I和光照II下,盡管DGRM未能將加注口正確的檢測(cè)出來(lái),但是,相較于MRCNN,也分別正確檢測(cè)出右對(duì)接口和左對(duì)接口。

圖12 光照I～光照V下MRCNN和DGRM的檢測(cè)分割結(jié)果

在光照I下,MRCNN和DGRM對(duì)相同圖像(僅光照不同)的檢測(cè)結(jié)果,如圖13所示。

如圖13所示,MRCNN將加注口錯(cuò)誤的識(shí)別為左對(duì)接口,而DGRM識(shí)別結(jié)果正確,這說(shuō)明DGRM可以對(duì)有效地區(qū)分相似實(shí)例。

圖13 光照I下MRCNN和DGRM對(duì)相似實(shí)例的檢測(cè)分割結(jié)果

MRCNN和DGRM對(duì)模擬衛(wèi)星端面的檢測(cè)分割結(jié)果如圖14所示?？梢钥吹?相較于MRCNN,DGRM對(duì)復(fù)雜形狀的目標(biāo)均有良好的檢測(cè)效果。

圖14 MRCNN和DGRM的檢測(cè)分割結(jié)果

4 結(jié) 論

1) 本文采用的基于深度學(xué)習(xí)的方法,可以有效地檢測(cè)復(fù)雜形狀的目標(biāo),不依賴于手工設(shè)計(jì)的特征。

2) 相較于基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法,本文提出的基于深度圖推理的方法提高了復(fù)雜光照環(huán)境下部件的檢測(cè)正確率。

3) 本文提出的基于深度圖推理方法可以有效地區(qū)分外形相似的不同部件。

4) 本文提出的基于深度圖推理方法的有效性在數(shù)學(xué)仿真和物理仿真中均得到了驗(yàn)證。