周 芮，劉延芳，齊乃明，佘佳宇

（哈爾濱工業(yè)大學(xué) 航天學(xué)院，黑龍江 哈爾濱 150090）

1 引言

隨著世界各國(guó)對(duì)太空資源探索的深入，航天任務(wù)范圍不斷拓展，空間任務(wù)應(yīng)用逐漸多元化，不再局限于通信、遙感、導(dǎo)航等傳統(tǒng)領(lǐng)域，而是面向在軌服務(wù)、編隊(duì)飛行、深空探測(cè)等新型任務(wù)，這些空間任務(wù)涉及非合作目標(biāo)檢測(cè)識(shí)別、繞飛接近、交會(huì)對(duì)接等過(guò)程。傳統(tǒng)星地回路控制方法的地面測(cè)控站由于定姿定軌精度和通訊響應(yīng)速度等的影響而不利于航天器自主任務(wù)完成。為保障新型空間任務(wù)的順利完成，急需開(kāi)展航天器對(duì)空間目標(biāo)自主檢測(cè)跟蹤、軌跡規(guī)劃、自主控制等方法的研究，目標(biāo)位姿估計(jì)技術(shù)是其中的重點(diǎn)技術(shù)之一。

目標(biāo)位姿估計(jì)技術(shù)是非接觸測(cè)量技術(shù)領(lǐng)域的 重 點(diǎn) 研 究 方 向［1］，在 空 間 操 作［2-5］、自 主 導(dǎo)航［6-12］、工業(yè)檢測(cè)［13-15］、輔助醫(yī)療［16-17］等領(lǐng)域發(fā)揮著重要作用。精確位姿測(cè)量是完成空間任務(wù)諸如交會(huì)對(duì)接［18-19］、在軌裝配［20-22］、在軌維修［23］等在軌服務(wù)任務(wù)［24-26］的關(guān)鍵環(huán)節(jié)。

空間任務(wù)［27-28］中常用的傳感器技術(shù)有微波雷達(dá)技術(shù)［29］、激光雷達(dá)技術(shù)［30］、視覺(jué)測(cè)量技術(shù)［31］。微波雷達(dá)和激光雷達(dá)是目前常用來(lái)測(cè)量空間物體之間相對(duì)運(yùn)動(dòng)狀態(tài)的有源主動(dòng)式傳感器，但由于功耗高、體積大和造價(jià)昂貴等因素，使得它們?cè)趯?shí)際工程應(yīng)用中受到了很大的限制，難以應(yīng)用在微小衛(wèi)星平臺(tái)上。視覺(jué)傳感器因具有體積小、質(zhì)量輕、功耗低、傳感信息豐富等特點(diǎn)，使得基于視覺(jué)的測(cè)量技術(shù)在近距離高精度空間目標(biāo)位姿估計(jì)任務(wù)中具有較大潛在優(yōu)勢(shì)［32］。特別是，隨著處理器算力的大幅提高、圖像處理技術(shù)的不斷發(fā)展、深度學(xué)習(xí)算法的日新月異，航天器在軌裝配、故障或失效衛(wèi)星維修、太空垃圾清理等空間任務(wù)對(duì)空間目標(biāo)位姿測(cè)量提出迫切需求，基于計(jì)算機(jī)視覺(jué)的空間目標(biāo)位姿估計(jì)技術(shù)逐步成為研究熱點(diǎn)［33］。

本文主要針對(duì)面向空間任務(wù)的視覺(jué)位姿估計(jì)技術(shù)進(jìn)行綜述。首先，歸納總結(jié)在空間任務(wù)中視覺(jué)位姿估計(jì)技術(shù)及應(yīng)用，然后對(duì)視覺(jué)位姿估計(jì)技術(shù)進(jìn)行概述，以深度學(xué)習(xí)算法作為切入點(diǎn)，系統(tǒng)地歸納了各種目標(biāo)識(shí)別及位姿估計(jì)算法；最后，針對(duì)空間任務(wù)的特殊性，在任務(wù)需求和研究現(xiàn)狀分析的基礎(chǔ)上，對(duì)視覺(jué)位姿估計(jì)技術(shù)的發(fā)展趨勢(shì)和應(yīng)用進(jìn)行展望。

2 空間任務(wù)中視覺(jué)系統(tǒng)的應(yīng)用情況

隨著空間對(duì)抗技術(shù)與裝備的迅猛發(fā)展，構(gòu)建空間態(tài)勢(shì)感知系統(tǒng)已成為關(guān)系國(guó)家安全的重大戰(zhàn)略問(wèn)題。視覺(jué)系統(tǒng)在自動(dòng)交會(huì)對(duì)接、主動(dòng)碎片清除、在軌裝配服務(wù)等空間任務(wù)中成為不可或缺的關(guān)鍵技術(shù)。

空間目標(biāo)近距離位姿估計(jì)任務(wù)中一般涉及目標(biāo)飛行器和追蹤飛行器，目標(biāo)飛行器按照三維模型是否已知或是否預(yù)先安裝合作靶標(biāo)分為合作目標(biāo)［34］和非合作目標(biāo)［35］。針對(duì)合作目標(biāo)的近距離視覺(jué)位姿估計(jì)技術(shù)較為成熟［36］，已經(jīng)在軌應(yīng)用。但對(duì)于空間垃圾、失效衛(wèi)星等非合作目標(biāo)，因其無(wú)法獲取先驗(yàn)信息，也沒(méi)有預(yù)先布設(shè)的合作靶標(biāo)，其視覺(jué)位姿估計(jì)面臨著許多技術(shù)挑戰(zhàn)，仍有待深入研究［37］。穩(wěn)定可靠的非合作目標(biāo)的位姿估計(jì)對(duì)未來(lái)空間任務(wù)有重大意義［38］。視覺(jué)系統(tǒng)在空間任務(wù)中的發(fā)展如表1和圖1所示。

圖1 視覺(jué)空間任務(wù)發(fā)展Fig.1 Vision-based space mission development

表1 視覺(jué)技術(shù)在空間任務(wù)中的應(yīng)用Tab.1 Applications based on visual technology in space missions

續(xù)表1視覺(jué)技術(shù)在空間任務(wù)中的應(yīng)用Tab.1 Applications based on visual technology in space missions

2.1 空間遙操作

空間遙操作是最早應(yīng)用視覺(jué)系統(tǒng)的空間任務(wù)，宇航員通過(guò)視覺(jué)遠(yuǎn)程操作完成空間任務(wù)，能避免出艙操作的風(fēng)險(xiǎn)，有明顯優(yōu)勢(shì)。

1981年，加拿大研制出第一個(gè)航天飛機(jī)機(jī)械臂系統(tǒng)SRMS（Space Shuttle Remote Manipulator System），其具備遙操作功能，用來(lái)部署和回收衛(wèi)星、勘探及抓獲目標(biāo)，在國(guó)際空間站裝配任務(wù)中起到關(guān)鍵作用［39］。俄羅斯研制的遙操作交會(huì)對(duì)接系統(tǒng)TORU（Teleoperatornity Maneuvering Vehicle）成功應(yīng)用于“和平號(hào)”空間站與國(guó)際空間站的交會(huì)對(duì)接任務(wù)；1994年，歐空局應(yīng)用TORU遙操作系統(tǒng)實(shí)現(xiàn)了無(wú)人貨運(yùn)飛船ATV與國(guó)際空間站的交會(huì)對(duì)接［40］。此外，美國(guó)機(jī)器人燃料加注任務(wù)RRM（Robotic Refueling Mission）使用機(jī)械臂在兩個(gè)相機(jī)監(jiān)控下為服役衛(wèi)星加注推進(jìn)劑燃料［41］。2013年，我國(guó)“玉兔號(hào)”巡視器也采用了雙目相機(jī)進(jìn)行遙操作［42］。

2.2 合作目標(biāo)位姿估計(jì)

空間遙操作方式受通信速率的影響，圖像質(zhì)量較差，通訊延遲較大，不能滿足所有任務(wù)需求。因此，空間任務(wù)需要航天器自主完成。合作目標(biāo)位姿估計(jì)技術(shù)能夠根據(jù)已知信息自主完成位姿估計(jì)，得到測(cè)量信息。

1997年，日本川崎重工業(yè)公司研發(fā)出鄰近敏感器用于ETS-VII上，采用100個(gè)紅色二極管作為靶標(biāo)，由CCD相機(jī)獲取圖像，得到相對(duì)位姿［43］。

1999年，美國(guó)開(kāi)展軌道快車OE計(jì)劃（Orbital Express），采 用NASA研 發(fā) 的VGS（Video Guidance Sensor）系統(tǒng)，對(duì)合作目標(biāo)進(jìn)行抓捕，過(guò)程中應(yīng)用合作目標(biāo)位姿估計(jì)技術(shù)。VGS系統(tǒng)經(jīng)過(guò) 多 次 升 級(jí)，2005年，AVGS（Advanced Video Guidance Sensor）系統(tǒng)應(yīng)用于DART太空船計(jì)劃［44］。我國(guó)也開(kāi)展了相關(guān)研究，2011年，利用合作靶標(biāo)完成天宮一號(hào)和神舟八號(hào)交會(huì)對(duì)接任務(wù)［45］。

2.3 非合作目標(biāo)位姿估計(jì)

隨著航天技術(shù)的發(fā)展，空間任務(wù)不斷升級(jí)，對(duì)空間碎片清理、失效衛(wèi)星回收等非合作目標(biāo)任務(wù)有更多的需求，非合作目標(biāo)位姿估計(jì)尤為必要，越來(lái)越多的非合作目標(biāo)位姿估計(jì)計(jì)劃被提出。

美國(guó)DAPRA資助的前端機(jī)器人使能近期演示驗(yàn)證計(jì)劃FREND（Fronted Robotics Enabling Near-term Demonstration）利用通用軌道修正器SUMO（Spacecraft for the Universal Modification of Orbits）平臺(tái)，采用基于多目視覺(jué)的位姿估計(jì)方案，當(dāng)航天器接近至100米處，選擇最優(yōu)角度的三個(gè)相機(jī)對(duì)目標(biāo)成像，估計(jì)位姿［46］。2011年，在FREND計(jì)劃的基礎(chǔ)上，美國(guó)提出了鳳凰計(jì)劃（PHOENIX），該計(jì)劃主要實(shí)現(xiàn)廢舊衛(wèi)星的維修及回收［47］。2002年，歐空局針對(duì)故障航天器及空間碎片等非合作目標(biāo)，開(kāi)展地球靜止軌道清理機(jī)器人ROGER計(jì)劃（Robotic Geostationary Orbit Restorer），采用變焦相機(jī)對(duì)非合作目標(biāo)進(jìn)行監(jiān)視和抓捕，該項(xiàng)目于2003年終止［48］。2005年，德國(guó)開(kāi)展空間系統(tǒng)演示驗(yàn)證技術(shù)衛(wèi)星計(jì)劃TECSAS（Technology Satellite for Demonstration and Verification of Space Systems），該計(jì)劃于2006年終止［49］。在此基礎(chǔ)上開(kāi)展德國(guó)在軌服務(wù)DEOS（Deutsche Orbitale Servicing）項(xiàng)目，采用光學(xué)相機(jī)和激光雷達(dá)進(jìn)行交會(huì)對(duì)接和重返大氣層等近地軌道技術(shù)演示任務(wù)，利用歐洲接近操作模擬器

EPOS（European Proximity Operations Simulator）完成半物理仿真試驗(yàn)。此外，德國(guó)宇航局開(kāi)發(fā)的靜止軌道延壽系統(tǒng)（CX-OLEV）采用多相機(jī)組合的測(cè)量方式，使兩個(gè)遠(yuǎn)場(chǎng)相機(jī)測(cè)量距離由2 km到100 m，兩個(gè)中場(chǎng)相機(jī)測(cè)量距離由100 m到5 m，2007年，應(yīng)用SMART-1衛(wèi)星平臺(tái)進(jìn)行驗(yàn)證［50］。2009年，日本宇航探索局（JAXA）開(kāi)展的空間碎片清理者項(xiàng)目SDMR（Space Debris Micro Remover）采用雙目立體視覺(jué)系統(tǒng)，對(duì)非合作目標(biāo)進(jìn)行位姿估計(jì)，完成對(duì)目標(biāo)的繞飛、接近及抓取［51］。2016年，美國(guó)DARPA提出地球同步軌道衛(wèi)星機(jī)器人服務(wù)（RSGS），2021年進(jìn)行試驗(yàn)驗(yàn)證，采用立體視覺(jué)系統(tǒng)對(duì)非合作目標(biāo)進(jìn)行機(jī)械排故、輔助變軌等。2012年，歐洲航天局啟動(dòng)e.Deorbit任務(wù)，于2021年進(jìn)行相關(guān)試驗(yàn)驗(yàn)證，目的為清除800 km～1 000 km太陽(yáng)同步軌道和極軌道上的大質(zhì)量非合作目標(biāo)［53］。此外，我國(guó)火星探測(cè)器“天問(wèn)一號(hào)”及著陸器“祝融號(hào)”均搭載不同的相機(jī)載荷，用于導(dǎo)航及火星表面情況探測(cè)［52］。

綜上所述，空間任務(wù)中的近距離目標(biāo)位姿估計(jì)大多采用視覺(jué)測(cè)量系統(tǒng)。目前，針對(duì)合作目標(biāo)位姿估計(jì)較為成熟，對(duì)非合作目標(biāo)的位姿估計(jì)仍存在許多技術(shù)挑戰(zhàn)。

3 視覺(jué)位姿估計(jì)方法

如圖2所示，視覺(jué)位姿估計(jì)方法可分為傳統(tǒng)測(cè)量方法［54］和深度學(xué)習(xí)方法［55］。傳統(tǒng)測(cè)量方法包含目標(biāo)識(shí)別和位姿估計(jì)兩方面，其中目標(biāo)識(shí)別分為基于特征匹配［56］和模板匹配方法［57］，位姿估計(jì)分為基于點(diǎn)特征、線特征和邊緣特征方法［58］。深度學(xué)習(xí)方法［59］分為基于目標(biāo)識(shí)別網(wǎng)絡(luò)的測(cè)量方法［60］和基于位姿估計(jì)網(wǎng)絡(luò)的測(cè)量方法［61-64］。前者先采用目標(biāo)識(shí)別網(wǎng)絡(luò)得到關(guān)鍵點(diǎn)位置，再采用傳統(tǒng)位姿解算方式得到位姿估計(jì)信息。目標(biāo)識(shí)別網(wǎng)絡(luò)又可分為一階回歸網(wǎng)絡(luò)［65］和二階區(qū)域候選網(wǎng)絡(luò)［66］。而基于位姿估計(jì)網(wǎng)絡(luò)的測(cè)量方法以圖像為輸入，直接由網(wǎng)絡(luò)輸出位姿估計(jì)結(jié)果。位姿估計(jì)網(wǎng)絡(luò)按結(jié)構(gòu)可以分為整體回歸［67］和分類投票［68］。

圖2 視覺(jué)位姿估計(jì)方法分類Fig.2 Classification of visual pose estimation methods

3.1 傳統(tǒng)視覺(jué)位姿估計(jì)方法

傳統(tǒng)視覺(jué)位姿估計(jì)技術(shù)始于上世紀(jì)八十年代，目前在實(shí)際工程任務(wù)中已得到大量應(yīng)用，其基本估計(jì)的算法流程如圖3所示，包括圖像預(yù)處理、目標(biāo)識(shí)別和位姿解算等環(huán)節(jié)。

圖3 傳統(tǒng)視覺(jué)測(cè)量方法流程圖Fig.3 Flowchart of traditional pose estimation method

傳統(tǒng)視覺(jué)位姿估計(jì)方法需要依據(jù)先驗(yàn)知識(shí)設(shè)計(jì)特征，特定的場(chǎng)景下能夠達(dá)到較高的檢測(cè)速度和精度。但是，由于對(duì)先驗(yàn)知識(shí)的特別依賴，導(dǎo)致其自適應(yīng)性及泛化性較差。

傳統(tǒng)位姿估計(jì)方法比較成熟，文獻(xiàn)［54］進(jìn)行了較為詳細(xì)的論述。但傳統(tǒng)視覺(jué)方法需要手工設(shè)計(jì)特征，在背景復(fù)雜、高自主性的空間任務(wù)應(yīng)用中存在自適應(yīng)性差、魯棒性低的問(wèn)題。隨著計(jì)算機(jī)視覺(jué)技術(shù)及人工智能的發(fā)展，基于深度學(xué)習(xí)的視覺(jué)位姿估計(jì)方法研究發(fā)展迅猛。

3.2 深度學(xué)習(xí)視覺(jué)位姿估計(jì)方法

基于學(xué)習(xí)方式的智能算法能夠自適應(yīng)地提取目標(biāo)特征，有效地提高檢測(cè)精度及泛化性，成為目前的研究熱點(diǎn)?；谏疃葘W(xué)習(xí)的視覺(jué)位姿估計(jì)方法主要可分為基于目標(biāo)識(shí)別網(wǎng)絡(luò)和基于位姿估計(jì)網(wǎng)絡(luò)兩類位姿估計(jì)算法，如圖4所示。

圖4 深度學(xué)習(xí)視覺(jué)位姿估計(jì)方法分類Fig.4 Classification of visual pose estimation methods based on deep learning

基于目標(biāo)識(shí)別網(wǎng)絡(luò)的位姿估計(jì)算法先采用目標(biāo)識(shí)別網(wǎng)絡(luò)進(jìn)行特征提取，得到關(guān)鍵點(diǎn)位置信息，再采用傳統(tǒng)方式進(jìn)行位姿估計(jì)?；谖蛔斯烙?jì)網(wǎng)絡(luò)的位姿估計(jì)算法直接由圖像得到六自由度位姿估計(jì)結(jié)果，下面對(duì)目標(biāo)識(shí)別網(wǎng)絡(luò)和位姿估計(jì)網(wǎng)絡(luò)展開(kāi)論述。

3.2.1 目標(biāo)識(shí)別網(wǎng)絡(luò)

目標(biāo)識(shí)別網(wǎng)絡(luò)大多利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取、特征匹配、目標(biāo)識(shí)別及關(guān)鍵點(diǎn)檢測(cè)，主要可分為基于回歸的單階目標(biāo)識(shí)別網(wǎng)絡(luò)和基于區(qū)域候選的兩階目標(biāo)識(shí)別網(wǎng)絡(luò)。單階網(wǎng)絡(luò)通過(guò)卷積層、特征圖、預(yù)測(cè)層直接輸出目標(biāo)識(shí)別結(jié)果；兩階網(wǎng)絡(luò)在單階網(wǎng)絡(luò)的基礎(chǔ)上增加區(qū)域候選網(wǎng)絡(luò)，先篩選感興趣區(qū)域，后進(jìn)行目標(biāo)識(shí)別，目標(biāo)識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比圖如圖5所示。圖5中陰影部分為單階網(wǎng)絡(luò)，包含區(qū)域候選網(wǎng)絡(luò)在內(nèi)的總體網(wǎng)絡(luò)為兩階網(wǎng)絡(luò)。目標(biāo)識(shí)別網(wǎng)絡(luò)對(duì)比見(jiàn)表2。

表2 目標(biāo)識(shí)別網(wǎng)絡(luò)對(duì)比Tab.2 Comparison of target recognition networks

圖5 目標(biāo)識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比圖Fig.5 Comparison of target recognition network structure

3.2.1.1 回歸網(wǎng)絡(luò)

基于回歸的單階目標(biāo)識(shí)別網(wǎng)絡(luò)代表有YOLO（You Only Look Once）［69］和SSD（Single Shot Multi-box Detector）［70］等。

YOLO網(wǎng)絡(luò)是2015年Redmond首次提出的基于GoogleNet的分類回歸網(wǎng)絡(luò)，計(jì)算速度快，能夠應(yīng)用在實(shí)時(shí)任務(wù)中。SSD網(wǎng)絡(luò)同年被提出，其檢測(cè)精度和計(jì)算速度均優(yōu)于YOLO。SSD的相關(guān) 改 進(jìn) 算 法 有DSSD［71］和RSSD［72］等。而 后，YOLOv2［73］、YOLOv3［74］、YOLOv4［75］相 繼 問(wèn) 世，檢測(cè)精度和計(jì)算速度逐步提升。YOLOv3，YOLOv4因計(jì)算量小、計(jì)算速度快，被應(yīng)用在多種領(lǐng)域。2020年6月，Glenn J開(kāi)源YOLOv5算法，其準(zhǔn)確度與YOLOv4相當(dāng)，但更加輕量級(jí)、速度更快。

3.2.1.2區(qū)域候選網(wǎng)絡(luò)

基于區(qū)域候選的兩階目標(biāo)識(shí)別網(wǎng)絡(luò)代表有R-CNN［76］、Fast R-CNN［77］、Faster R-CNN［78］、Mask R-CNN［79］、Mask Scoring R-CNN［80］等。

2014年提出的R-CNN是區(qū)域候選網(wǎng)絡(luò)的開(kāi)山之作，F(xiàn)ast R-CNN在其基礎(chǔ)上將整張圖像送入卷積網(wǎng)絡(luò)計(jì)算，大大提高計(jì)算效率。Faster RCNN提出目標(biāo)有效定位方法，按區(qū)域在特征圖上進(jìn)行索引，降低卷積計(jì)算消耗的時(shí)間。相較于Faster R-CNN，Mask R-CNN在速度上沒(méi)有提升，但通過(guò)改進(jìn)區(qū)域池化部分，目標(biāo)檢測(cè)精度得到提升。Mask Scoring R-CNN于2019年被提出，在Mask R-CNN的基礎(chǔ)上增加了掩碼區(qū)域打分機(jī)制，精度進(jìn)一步提升。

3.2.2 位姿估計(jì)網(wǎng)絡(luò)

位姿估計(jì)網(wǎng)絡(luò)直接通過(guò)輸入圖像進(jìn)行位姿估計(jì)，可分為整體回歸和分類投票網(wǎng)絡(luò)，詳見(jiàn)表3。

表3 位姿估計(jì)網(wǎng)絡(luò)對(duì)比Tab.3 Comparison of pose estimation networks

3.2.2.1 整體回歸網(wǎng)絡(luò)

整體回歸網(wǎng)絡(luò)通常采用端對(duì)端網(wǎng)絡(luò)，以圖像作為輸入，直接輸出目標(biāo)位姿結(jié)果。典型的整體回歸法網(wǎng)絡(luò)結(jié)構(gòu)有PoseCNN［81］、BB8［82］、YOLO-6D［83］、SSD-6D［84］、Deep6DPose［85］等。

PoseCNN采用卷積網(wǎng)絡(luò)實(shí)現(xiàn)平移和旋轉(zhuǎn)解耦估計(jì)。該網(wǎng)絡(luò)通過(guò)圖像定位物體中心并預(yù)測(cè)其與攝像機(jī)的距離來(lái)估計(jì)物體的三維平移向量，再采用回歸方式估計(jì)物體的三維旋轉(zhuǎn)向量。該網(wǎng)絡(luò)包含13個(gè)卷積層和4個(gè)池化層，同時(shí)提取不同分辨率特征圖，并輸出高維特征圖，利用高維特征輸出語(yǔ)義標(biāo)簽，并將高維語(yǔ)義標(biāo)簽嵌入低維特征，與中心點(diǎn)建立聯(lián)系，輸出位姿估計(jì)結(jié)果。

BB8直接檢測(cè)目標(biāo)對(duì)象，再通過(guò)對(duì)象邊界框角點(diǎn)2D投影來(lái)預(yù)測(cè)3D姿態(tài)。BB8以單幀RGB圖像為輸入，采用卷積網(wǎng)絡(luò)完成圖像定位、分割、分類以及優(yōu)化估計(jì)，利用3D邊界盒8個(gè)頂點(diǎn)的2D投影結(jié)合N點(diǎn)透視法PnP算法來(lái)預(yù)測(cè)目標(biāo)3D姿態(tài)，并通過(guò)限制訓(xùn)練圖像的旋轉(zhuǎn)范圍解決各類旋轉(zhuǎn)對(duì)稱的姿態(tài)估計(jì)不確定問(wèn)題。該網(wǎng)絡(luò)可同時(shí)針對(duì)多個(gè)目標(biāo)對(duì)象訓(xùn)練。

YOLO-6D采用YOLOv2網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)9個(gè)控制點(diǎn)參數(shù)化目標(biāo)的3D模型，相比BB8網(wǎng)絡(luò)增加了形心點(diǎn)，在投影預(yù)測(cè)2D坐標(biāo)點(diǎn)過(guò)程中優(yōu)先考慮形心點(diǎn)，再改進(jìn)8個(gè)角點(diǎn)位置，加快運(yùn)算速度，而后采用PnP方法估計(jì)六自由度位姿結(jié)果。YOLO-6D運(yùn)行時(shí)間與目標(biāo)數(shù)量關(guān)聯(lián)不大，較為穩(wěn)定且不考慮微調(diào)環(huán)節(jié)，速度加快。

SSD-6D將SSD網(wǎng)絡(luò)用于位姿估計(jì)任務(wù)，采用離散化視圖而非直接回歸預(yù)測(cè)姿態(tài)，將姿態(tài)估計(jì)問(wèn)題轉(zhuǎn)化為分類問(wèn)題，加快了估計(jì)速度。SSD-6D基礎(chǔ)網(wǎng)絡(luò)采用InceptionV4，經(jīng)過(guò)不同尺寸模塊產(chǎn)生6個(gè)特征圖；將特征圖分別與預(yù)測(cè)卷積核卷積，得到不同尺寸和形狀的預(yù)測(cè)邊界框；最后給出離散視圖上的得分并進(jìn)行分類，得到位姿結(jié)果。

Deep6DPose是一種端對(duì)端的多任務(wù)網(wǎng)絡(luò)，能夠進(jìn)行目標(biāo)檢測(cè)、實(shí)例分割、以及位姿估計(jì)。在輸入RGB圖像后，首先采用深層卷積網(wǎng)絡(luò)進(jìn)行圖像特征提?。辉倮酶郊訁^(qū)域建議網(wǎng)絡(luò)輸出感興趣區(qū)域；最后，針對(duì)感興趣區(qū)域分別完成目標(biāo)檢測(cè)、實(shí)例分割和位姿估計(jì)任務(wù)。

3.2.2.2 分類投票法網(wǎng)絡(luò)

分類投票法可分為兩個(gè)階段，先對(duì)輸入圖像進(jìn)行區(qū)域預(yù)選，然后根據(jù)預(yù)選區(qū)域估計(jì)目標(biāo)姿態(tài)。典型的分類投票法網(wǎng)絡(luò)有MCN［86］、Cull-Net［87］、DenseFusion［88］、PVNet［89］、PVN3D［90］等。

MCN是基于投票方法的多視圖融合網(wǎng)絡(luò)，采用單個(gè)姿態(tài)預(yù)測(cè)分支，分支可由多類共享，同時(shí)進(jìn)行多類訓(xùn)練。此外，該網(wǎng)絡(luò)將類別圖與卷積層拼接，嵌入對(duì)象類別標(biāo)簽，并利用物體掩膜進(jìn)行進(jìn)一步檢測(cè)。MCN為大規(guī)模對(duì)象類和無(wú)約束的混亂背景提供可拓展的位姿估計(jì)學(xué)習(xí)網(wǎng)絡(luò)，減少單視圖的模糊性。

CullNet利用置信度評(píng)分對(duì)位姿估計(jì)結(jié)果進(jìn)行篩選，剔除假陽(yáng)性結(jié)果，選擇最優(yōu)位姿估計(jì)結(jié)果。該網(wǎng)絡(luò)分兩個(gè)階段操作：（1）提取階段：基于YOLOv3輸出3個(gè)不同比例的關(guān)鍵點(diǎn)提取結(jié)果；（2）篩選階段：將提取階段得到k組2D關(guān)鍵點(diǎn)經(jīng)E-PnP算法得到k個(gè)位姿估計(jì)結(jié)果同裁剪后緊密匹配的原始圖像和姿態(tài)渲染模板作為輸入，傳遞到CullNet網(wǎng)絡(luò)中，輸出位姿估計(jì)結(jié)果校準(zhǔn)后的置信度，挑選置信度最好的位姿估計(jì)結(jié)果輸出。

DenseFusion可以單獨(dú)處理兩個(gè)數(shù)據(jù)源，采用稠密融合網(wǎng)絡(luò)來(lái)提取像素級(jí)的稠密特征，并據(jù)此進(jìn)行位姿估計(jì)。此外，該網(wǎng)絡(luò)集成了端到端迭代位姿細(xì)化步驟，進(jìn)一步改善了位姿估計(jì)結(jié)果。該網(wǎng)絡(luò)包含兩個(gè)階段。第一個(gè)階段根據(jù)已知對(duì)象種類進(jìn)行語(yǔ)義分割，針對(duì)每個(gè)對(duì)象分別提取深度信息和彩色信息。第二個(gè)階段處理分割的結(jié)果并進(jìn)行位姿估計(jì)。

PVNet通過(guò)學(xué)習(xí)對(duì)物體2D關(guān)鍵點(diǎn)的方向向量場(chǎng)，能夠較好地處理遮擋效應(yīng)，并使用不確定性驅(qū)動(dòng)的PNP算法來(lái)估計(jì)位姿。該網(wǎng)絡(luò)首先輸出語(yǔ)義分割結(jié)果和關(guān)鍵點(diǎn)的方向向量場(chǎng)；然后根據(jù)一致性投票從方向向量場(chǎng)中計(jì)算出物體的關(guān)鍵點(diǎn)，同時(shí)生成關(guān)鍵點(diǎn)的概率分布；隨后利用關(guān)鍵點(diǎn)的不確定性在PnP解算中進(jìn)一步提高位姿估計(jì)的魯棒性。

PVN3D將基于二維關(guān)鍵點(diǎn)的PVNet擴(kuò)展到三維關(guān)鍵點(diǎn)，充分利用剛性物體的幾何約束信息，顯著提高六自由度估計(jì)的精度。該網(wǎng)絡(luò)采用單一的RGB-D圖像作為輸入，首先，進(jìn)行特征提取，分別輸入到三個(gè)模塊中預(yù)測(cè)關(guān)鍵點(diǎn)、語(yǔ)義標(biāo)簽和中心偏移；接著，應(yīng)用聚類算法來(lái)區(qū)分具有相同語(yǔ)義標(biāo)簽的不同實(shí)例；然后，利用深度霍夫投票網(wǎng)絡(luò)來(lái)檢測(cè)物體的三維關(guān)鍵點(diǎn)；最后，使用最小二乘法擬合位姿參數(shù)。

綜上所述，應(yīng)用在位姿估計(jì)任務(wù)上的深度學(xué)習(xí)網(wǎng)絡(luò)，有以下特點(diǎn)：

（1）引入關(guān)鍵點(diǎn)不確定性或者置信度機(jī)制對(duì)位姿估計(jì)結(jié)果進(jìn)行篩選，例如CullNet與PVNet；

（2）劃分多個(gè)子網(wǎng)絡(luò)，將高維特征語(yǔ)義標(biāo)簽與低維特征中心點(diǎn)建立聯(lián)系，例如PoseCNN與PVN3D；

（3）采用不同類型的卷積網(wǎng)絡(luò)分別進(jìn)行特征提取，使用融合網(wǎng)絡(luò)融合不同類型特征結(jié)果，例如Deep6DPose和DenseFusion。

4 深度學(xué)習(xí)在空間任務(wù)中的應(yīng)用

隨著片上系統(tǒng)的發(fā)展，諸如視覺(jué)、雷達(dá)的自主測(cè)量手段具有一定的應(yīng)用。同時(shí)，深度學(xué)習(xí)在不同領(lǐng)域，特別是計(jì)算機(jī)視覺(jué)領(lǐng)域，都取得了巨大的成功，吸引了很多空間研究者的注意。然而，空間應(yīng)用不同于地面任務(wù)，可靠性需求高且缺少真實(shí)數(shù)據(jù)集［91］。

4.1 空間視覺(jué)測(cè)量任務(wù)的特殊性

相比地面視覺(jué)應(yīng)用，空間視覺(jué)測(cè)量任務(wù)具有以下幾點(diǎn)特殊性：

（1）空間視覺(jué)的任務(wù)場(chǎng)景范圍更大，大多視覺(jué)任務(wù)包含遠(yuǎn)距離接近、近距離環(huán)繞和抵近距離交會(huì)對(duì)接等，測(cè)量距離變化較大，需要適應(yīng)低紋理、低分辨率的目標(biāo)識(shí)別需求；

（2）空間環(huán)境存在較多恒星、人造天體等的雜散光背景、測(cè)量目標(biāo)表面包覆層反射及視線角變化帶來(lái)的光照變化劇烈問(wèn)題，使得目標(biāo)在圖像中呈亮點(diǎn)狀且光照復(fù)雜多變，對(duì)目標(biāo)檢測(cè)帶來(lái)巨大挑戰(zhàn)。

4.2 典型網(wǎng)絡(luò)

4.2.1 SPN網(wǎng)絡(luò)

Sharma等 人［92］提 出 了Spacecraft Pose Network（SPN）網(wǎng)絡(luò)，該網(wǎng)絡(luò)是第一個(gè)基于單目視覺(jué)的已知非合作航天器位姿估計(jì)方法，采用海馬8號(hào)氣象衛(wèi)星拍攝地球?qū)嶋H圖像和OpenGL生成SPEED數(shù)據(jù)集。該網(wǎng)絡(luò)使用五層CNN基本網(wǎng)絡(luò)，并連接到三個(gè)不同的分支：（1）使用R-CNN結(jié)構(gòu)進(jìn)行2D邊界框提?。唬?）使用全連接網(wǎng)絡(luò)進(jìn)行相對(duì)姿態(tài)分類；（3）通過(guò)分支2得到N個(gè)候選項(xiàng)，使用另一交叉熵?fù)p失最小化，獲得每個(gè)候選項(xiàng)的相對(duì)權(quán)重，采用四元數(shù)平均計(jì)算得到最終精細(xì)姿態(tài)。SPN網(wǎng)絡(luò)利用Gauss-Newton方法解決了估計(jì)相對(duì)位姿的最小化問(wèn)題，相對(duì)位置誤差為厘米級(jí)、姿態(tài)誤差為度級(jí)。

4.2.2 基于ResNET方法

Proenca等 人［93］在Unreal Engine 4虛幻引 擎上構(gòu)建了面向已知非合作航天器的URSO數(shù)據(jù)集，提出基于ResNet網(wǎng)絡(luò)的位姿估計(jì)深度學(xué)習(xí)框架，直接回歸輸出位置，以最小化相對(duì)誤差為損失函數(shù)。此外，該框架贏得了歐洲航天局位姿估算挑戰(zhàn)賽第二名，并給出在太空真實(shí)圖像上的執(zhí)行方法。

4.2.3 基于LSTM方法

Kechagias等人［94］提出深度循環(huán)卷積神經(jīng)網(wǎng)絡(luò)，輸入多投影點(diǎn)云圖像，利用CNN架構(gòu)提取底層特征，采用LSTM進(jìn)行建模，得到位姿估計(jì)結(jié)果。試驗(yàn)中采用斯阿萊尼亞航天公司開(kāi)發(fā)的衛(wèi)星模型用于非合作相對(duì)機(jī)器人空間應(yīng)用導(dǎo)航任務(wù)，僅針對(duì)模擬數(shù)據(jù)進(jìn)行訓(xùn)練，多種情景下的評(píng)估結(jié)果表明網(wǎng)絡(luò)結(jié)構(gòu)有很強(qiáng)的適應(yīng)性，能夠在較低的運(yùn)算需求下提供較優(yōu)的里程精度。

4.2.4 二階網(wǎng)絡(luò)方法

為了實(shí)現(xiàn)快速準(zhǔn)確的位姿估計(jì)，Huo等人［95］提出了基于深度神經(jīng)網(wǎng)絡(luò)方法并結(jié)合PnP算法和幾何優(yōu)化方法的網(wǎng)絡(luò)。該網(wǎng)絡(luò)在SPEED數(shù)據(jù)集實(shí)現(xiàn)，首先設(shè)計(jì)了輕量級(jí)的YOLOv3網(wǎng)絡(luò)用于預(yù)測(cè)關(guān)鍵點(diǎn)位置，接著回歸生成熱圖，最后利用PnP和EKF方法得到位姿結(jié)果并優(yōu)化，該方法實(shí)現(xiàn)了較低的計(jì)算消耗。

綜上所述，深度學(xué)習(xí)在空間位姿估計(jì)領(lǐng)域已有部分成果，理論研究表明位姿估計(jì)結(jié)果可在厘米級(jí)和度級(jí)，能夠滿足空間應(yīng)用的需求。但由于缺乏真實(shí)數(shù)據(jù)集，能否滿足空間任務(wù)對(duì)魯棒性的高要求，尚未在實(shí)際空間任務(wù)中驗(yàn)證。

5 結(jié)論

本文對(duì)視覺(jué)位姿估計(jì)技術(shù)的發(fā)展及其在空間任務(wù)中的應(yīng)用展開(kāi)綜述，得到了如下幾點(diǎn)結(jié)論：

（1）傳統(tǒng)視覺(jué)位姿估計(jì)技術(shù)較為成熟，有大量工程應(yīng)用，但受環(huán)境因素影響較大，需要針對(duì)任務(wù)設(shè)計(jì)特征，通用性和適應(yīng)性較差。

（2）利用深度學(xué)習(xí)方法進(jìn)行視覺(jué)位姿估計(jì)的理論研究發(fā)展迅猛，但現(xiàn)仍存在訓(xùn)練需求數(shù)據(jù)集龐大，且運(yùn)算量大等問(wèn)題，尚未廣泛應(yīng)用。

（3）各國(guó)廣泛開(kāi)展視覺(jué)位姿估計(jì)技術(shù)在空間任務(wù)中的應(yīng)用，其中，對(duì)于合作目標(biāo)的位姿估計(jì)較為成熟，非合作目標(biāo)位姿估計(jì)仍處于探索階段。

針對(duì)空間任務(wù)，相對(duì)位姿估計(jì)技術(shù)尚存在較大不足，需要針對(duì)以下特定問(wèn)題展開(kāi)研究：

（1）低紋理、低分辨率目標(biāo)識(shí)別。相比傳統(tǒng)任務(wù)，空間任務(wù)視場(chǎng)范圍大，目標(biāo)距離遠(yuǎn)，運(yùn)動(dòng)速度較快，目標(biāo)紋理和分辨率較低，需要對(duì)目標(biāo)快速定位跟蹤。

（2）退化視覺(jué)環(huán)境成像。太空是典型的退化視覺(jué)環(huán)境，存在空間雜散光背景、目標(biāo)包覆層反射、光照變化劇烈等問(wèn)題。要完成空間目標(biāo)的位姿估計(jì)任務(wù)，視覺(jué)位姿估計(jì)算法需要對(duì)環(huán)境有較好的適應(yīng)性。