亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度學(xué)習(xí)的非合作目標(biāo)感知研究進(jìn)展*

        2023-04-25 13:02:42何英姿張海博
        飛控與探測(cè) 2023年1期
        關(guān)鍵詞:位姿衛(wèi)星文獻(xiàn)

        何英姿,杜 航,張海博

        (1.北京控制工程研究所·北京·100194;2.空間智能控制技術(shù)國防科技重點(diǎn)實(shí)驗(yàn)室·北京·100194)

        0 引 言

        近年來,由于近地航天器發(fā)射數(shù)目激增,在軌失效衛(wèi)星和故障衛(wèi)星逐漸增多,為應(yīng)對(duì)這些問題,空間碎片清除和在軌服務(wù)等任務(wù)陸續(xù)被提出,其中包括薩里航天中心的Remove DEBRIS任務(wù)[1]、美國國防部高級(jí)研究計(jì)劃局(Defense Advanced Research Projects Agency,DARPA)的鳳凰計(jì)劃[2]和美國航空航天局(National Aeronau-tics and Space Administration,NASA)的Restore-L任務(wù)[3]等。執(zhí)行這些任務(wù)的關(guān)鍵是準(zhǔn)確獲取目標(biāo)航天器相對(duì)于服務(wù)衛(wèi)星的位置和姿態(tài)信息,然而,失效衛(wèi)星、空間碎片等目標(biāo)航天器是非合作的,沒有已知的標(biāo)記信息,并且無法向服務(wù)衛(wèi)星提供有效的位姿信息。因此,要求服務(wù)衛(wèi)星能夠在無人參與的情況下估計(jì)和預(yù)測(cè)空間目標(biāo)的相對(duì)位姿。為了實(shí)現(xiàn)自主姿態(tài)估計(jì),需要從單個(gè)或一組圖像中快速獲取目標(biāo)的相對(duì)位置和姿態(tài),并且由于空間光照條件復(fù)雜、對(duì)比度低、明暗變化大,對(duì)算法的魯棒性提出了更高的要求。

        非合作目標(biāo)感知的主要實(shí)現(xiàn)功能是針對(duì)非合作目標(biāo)的識(shí)別與測(cè)量,根據(jù)目標(biāo)航天器相對(duì)服務(wù)衛(wèi)星的距離遠(yuǎn)近,可以劃分出遠(yuǎn)距離辨識(shí)、目標(biāo)航天器位姿測(cè)量、近距離目標(biāo)航天器上結(jié)構(gòu)部件識(shí)別與測(cè)量等具體任務(wù)。文獻(xiàn)[4]對(duì)非合作航天器識(shí)別與姿態(tài)估計(jì)的不同方法進(jìn)行了全面綜述。目標(biāo)航天器識(shí)別與姿態(tài)估計(jì)的經(jīng)典方法通常先從2D圖像中提取目標(biāo)的人工設(shè)置特征,典型方法有Harris角點(diǎn)檢測(cè)算法、Canny邊緣檢測(cè)算法以及通過Hough變換的線檢測(cè)和尺度不變特征檢測(cè)(Scale-Invariant Feature Transform,SIFT)。在成功提取所述特征后,采用迭代算法預(yù)測(cè)當(dāng)存在異常值和未知特征情況下使某個(gè)誤差最小化的最佳姿態(tài)解。這些關(guān)于位姿估計(jì)的算法往往依賴于提前獲知目標(biāo)位姿的先驗(yàn)信息,或者假設(shè)目標(biāo)上存在已知特征標(biāo)記。

        近年來,隨著卷積神經(jīng)網(wǎng)絡(luò)(Conventional Neural Network,CNN)的發(fā)展,基于深度學(xué)習(xí)的圖像分類、識(shí)別算法在計(jì)算機(jī)視覺領(lǐng)域取得了重大突破。一方面,已有關(guān)于圖像識(shí)別的R-CNN[5]、YOLO網(wǎng)絡(luò)[6]及用于位姿估計(jì)的Pose-CNN[7]等,但這些地面圖像處理算法所需的計(jì)算機(jī)算力很大,當(dāng)算力受限時(shí),識(shí)別精度將難以滿足在軌服務(wù)任務(wù)要求以及直接應(yīng)用于在軌情景的需求;另一方面,衛(wèi)星在軌圖像具有光照情況復(fù)雜、對(duì)比度低、分辨率低等特點(diǎn),使用CNN的方法相較于傳統(tǒng)方法,不依賴人工設(shè)置的輔助識(shí)別標(biāo)識(shí),魯棒性更好。因此,研究空間非合作目標(biāo)智能感知的深度學(xué)習(xí)算法具有很好的應(yīng)用前景。

        1 非合作目標(biāo)發(fā)展現(xiàn)狀

        近年來,各國開展的在軌服務(wù)研究項(xiàng)目及其使用的空間相對(duì)測(cè)量系統(tǒng)如表1所示。現(xiàn)有非合作目標(biāo)在軌服務(wù)項(xiàng)目涵蓋廣泛,包括對(duì)模型已知的非合作目標(biāo)的視覺監(jiān)測(cè)、輔助廢棄衛(wèi)星離軌、在軌組裝、在軌維修和在軌加注等。

        在軌任務(wù)一般分為4個(gè)階段:遠(yuǎn)距離交會(huì)階段(>300m);近距離交會(huì)階段,又可進(jìn)一步細(xì)分為接近階段(300~15m)和最后進(jìn)近階段(15~1m);目標(biāo)抓捕和維修階段(<1m)。遠(yuǎn)距離交會(huì)階段主要針對(duì)非合作航天器進(jìn)行辨識(shí),由于距離較遠(yuǎn),給測(cè)量工作帶來了較大難度;在近距離交會(huì)階段,隨著距離的接近,非合作航天器的外形特征逐漸清晰,可以識(shí)別出非合作航天器上的結(jié)構(gòu)部件,進(jìn)一步規(guī)劃在軌任務(wù),由于非合作航天器不具備合作特征,這一階段的任務(wù)重點(diǎn)主要集中在通用特征的識(shí)別和動(dòng)態(tài)測(cè)量;在目標(biāo)抓捕和維修階段,此時(shí)距離小于1m,相機(jī)由于視場(chǎng)問題無法拍攝到非合作目標(biāo)航天器的完整圖像,此階段的難點(diǎn)是針對(duì)局部圖像的特征識(shí)別與測(cè)量。

        在軌任務(wù)的每個(gè)階段根據(jù)服務(wù)衛(wèi)星與目標(biāo)衛(wèi)星之間的距離不同,考慮到任務(wù)的工況要求和敏感器的特點(diǎn),可以采用不同的空間相對(duì)測(cè)量系統(tǒng)獲取故障衛(wèi)星與服務(wù)衛(wèi)星之間的相對(duì)狀態(tài)信息,并以此設(shè)計(jì)不同的算法。通過對(duì)表1所列項(xiàng)目進(jìn)行分析,歸納總結(jié)出任務(wù)階段的劃分以及各階段使用的敏感器,如表2所示。

        表1 非合作目標(biāo)在軌服務(wù)研究項(xiàng)目匯總

        從表2可以看出,最后接近距離操作分為2個(gè)階段(15~5m,5~1m),由于相機(jī)視場(chǎng)(Field of View,F(xiàn)OV)的限制,使用了不同的敏感器。最后進(jìn)近Ⅰ階段(距離15~5m),一般選擇單目相機(jī)和激光雷達(dá)(Light Detection and Ranging,LiDAR)作為相對(duì)姿態(tài)測(cè)量的敏感器。與激光雷達(dá)或雷達(dá)測(cè)距儀(Radio Detection and Ranging,RADAR)等其他主動(dòng)傳感器相比,使用基于視覺的光學(xué)敏感器(如單目相機(jī)、雙目相機(jī)等)由于其質(zhì)量和功率要求較小,在衛(wèi)星上搭載更具優(yōu)勢(shì)。此外,單目相機(jī)因?yàn)闃?gòu)造相對(duì)簡(jiǎn)單,更適合在新型的小型航天器如立方體衛(wèi)星上搭載。但是單目相機(jī)只能獲取RGB圖像,在極近距離(<1m)情景下,單目相機(jī)的視角無法拍攝到目標(biāo)航天器整個(gè)場(chǎng)景的完整圖像,通常需要采用幾個(gè)相機(jī)共同工作的方式來獲取所需的信息。通過幾何計(jì)算,考慮到一定的余量,單目相機(jī)的視角應(yīng)至少為80°,但是80°的視角會(huì)產(chǎn)生很大的鏡頭失真,這給準(zhǔn)確提取特征點(diǎn)帶來了困難。換言之,實(shí)際中的光學(xué)傳感器無法在距離較近的情況下拍攝整個(gè)目標(biāo)航天器結(jié)構(gòu)。因此,在5~1m范圍內(nèi)的相對(duì)姿態(tài)測(cè)量是一項(xiàng)具有挑戰(zhàn)性的任務(wù),現(xiàn)有空間操作任務(wù)相關(guān)的非合作目標(biāo)的識(shí)別與測(cè)量研究也主要集中在這一距離范圍內(nèi)。

        表2 空間相對(duì)測(cè)量系統(tǒng)介紹

        近年來,飛行時(shí)間(Time-of-Flight,ToF)測(cè)距成像相機(jī)在商用上得到普及。文獻(xiàn)[23]論述了ToF相機(jī)在空間應(yīng)用的可能性,其通過測(cè)量光在相機(jī)與物體表面之間的飛行時(shí)間來測(cè)量距離,通常的測(cè)量范圍為0.3~7m。與單目相機(jī)相比,ToF相機(jī)可以提供深度信息;與雙目視覺相機(jī)提供的稀疏深度信息相比,ToF相機(jī)可以提供稠密的深度數(shù)據(jù);與激光傳感器和LiDAR相比,ToF相機(jī)的體積小、功耗低。目前,針對(duì)宇航空間適用的ToF相機(jī)的研制正處于起步階段[24-26]。

        綜上,ToF相機(jī)具有諸多優(yōu)點(diǎn),例如:結(jié)構(gòu)緊湊,功耗低,對(duì)光照變化不敏感,可以直接提供深度信息,彌補(bǔ)近距離測(cè)量特征信息少的不足,算法相對(duì)簡(jiǎn)單,實(shí)時(shí)性強(qiáng)。因此,近年來的研究逐漸開始選擇ToF相機(jī)作為基于深度學(xué)習(xí)的非合作目標(biāo)感知光學(xué)敏感器。特別是在極近距離下(<1m),可為感知研究提供RGB圖像與深度信息兩種測(cè)量信息,彌補(bǔ)單目相機(jī)由于視角問題只能獲取局部圖像的不足。

        2 空間非合作目標(biāo)特征分析

        空間非合作目標(biāo)由于運(yùn)動(dòng)狀態(tài)不可知,沒有先驗(yàn)標(biāo)識(shí),所以在進(jìn)行空間操作等任務(wù)過程中需要依賴識(shí)別非合作目標(biāo)的幾何形狀??臻g目標(biāo)的光學(xué)特征是非合作目標(biāo)識(shí)別與測(cè)量的基礎(chǔ),光學(xué)特性包括空間非合作目標(biāo)的結(jié)構(gòu)特征(幾何形狀結(jié)構(gòu))和非合作目標(biāo)表面的光照特性[27]。

        2.1 非合作目標(biāo)結(jié)構(gòu)特征

        圖1所示為幾種典型結(jié)構(gòu)的衛(wèi)星,分別為(a)立方體衛(wèi)星,例如實(shí)踐五號(hào)衛(wèi)星;(b)球形衛(wèi)星,典型代表為我國在1970年4月24日成功發(fā)射的東方紅一號(hào)衛(wèi)星;(c)圓柱體衛(wèi)星,典型代表為東方紅二號(hào)衛(wèi)星;(d)六棱柱衛(wèi)星,典型代表為美國20世紀(jì)80年代發(fā)射的中繼衛(wèi)星系統(tǒng)[28](Tracking and Data Relay Satellite System,TDRSS)的中繼衛(wèi)星。從圖1可以看出,衛(wèi)星幾何形狀中比較常見的是矩形特征和圓形(橢圓形)特征,因此,通過對(duì)直線、矩形和橢圓結(jié)構(gòu)的識(shí)別進(jìn)行姿態(tài)測(cè)量是非合作目標(biāo)感知的一個(gè)重要途徑。

        (a)立方體衛(wèi)星:實(shí)踐五號(hào)衛(wèi)星

        可供非合作目標(biāo)感知的對(duì)象主要由以下三部分組成:

        1)衛(wèi)星本體。對(duì)于立方體衛(wèi)星、圓柱體衛(wèi)星和六棱柱衛(wèi)星,可以通過識(shí)別其直線特征和矩形特征進(jìn)行測(cè)量;對(duì)于球形衛(wèi)星,可以通過識(shí)別圓形和橢圓進(jìn)行測(cè)量。

        2)太陽帆板及其支架。太陽帆板為衛(wèi)星提供太陽能供電,通過支架安裝在衛(wèi)星本體上,一般為長方形,可以通過識(shí)別其直線特征和矩形特征進(jìn)行測(cè)量;此外,也有特殊的三角形太陽帆板,可以通過三角形識(shí)別進(jìn)行測(cè)量。

        3)星箭對(duì)接環(huán)和發(fā)動(dòng)機(jī)噴嘴。星箭對(duì)接環(huán)和發(fā)動(dòng)機(jī)噴嘴都是圓環(huán)形,可以通過識(shí)別其圓面特征或者橢圓特征進(jìn)行測(cè)量。

        從非合作目標(biāo)的主要組成部分可以看出,其主要形狀特征為直線特征、矩形特征和圓形特征。

        2.2 非合作目標(biāo)表面光照特性

        在在軌環(huán)境中,大部分非合作目標(biāo)可能存在一定的旋轉(zhuǎn)角速度或章動(dòng),這導(dǎo)致目標(biāo)表面光照環(huán)境會(huì)發(fā)生明暗變化。此外,服務(wù)衛(wèi)星上攜帶的光學(xué)傳感器拍攝到的非合作目標(biāo)所處背景也是變化的,有存在雜光的太空背景,也有地球等行星作為背景,還可能出現(xiàn)其他空間飛行器,并且當(dāng)服務(wù)衛(wèi)星對(duì)非合作目標(biāo)進(jìn)行在軌操作時(shí),傳感器視場(chǎng)內(nèi)也會(huì)出現(xiàn)服務(wù)衛(wèi)星所攜帶的機(jī)械臂或其他操作機(jī)構(gòu)。

        3 基于深度學(xué)習(xí)的非合作目標(biāo)感知研究現(xiàn)狀

        基于深度學(xué)習(xí)的非合作目標(biāo)感知研究內(nèi)容主要分為非合作目標(biāo)數(shù)據(jù)集構(gòu)建、非合作目標(biāo)識(shí)別算法與非合作目標(biāo)位姿檢測(cè)算法,其中非合作目標(biāo)數(shù)據(jù)集是后續(xù)研究的基礎(chǔ)。

        3.1 非合作目標(biāo)數(shù)據(jù)集構(gòu)建

        與智能駕駛、人臉識(shí)別等熱門方向不同,空間非合作目標(biāo)識(shí)別沒有通用的數(shù)據(jù)集。非合作航天器圖像的來源主要有三種:第一種是光學(xué)敏感器拍攝的在軌衛(wèi)星圖像,這類圖像較為珍貴,數(shù)量稀少,一般研究人員難以獲得;第二種是利用衛(wèi)星等比、縮比模型在實(shí)驗(yàn)室環(huán)境下進(jìn)行拍照,這種方法比較常見,但是如果數(shù)據(jù)集采樣都是單一背景單一光照條件,訓(xùn)練出的模型魯棒性較差;第三種是用圖像處理軟件如3DMAX、OPENGL等渲染生成非合作目標(biāo)圖像,得到非合作目標(biāo)圖像后,對(duì)數(shù)據(jù)庫圖像進(jìn)行標(biāo)注建立數(shù)據(jù)集。

        衛(wèi)星工具包(Satellite Tool Kit,STK)是美國Analytical Graphics公司開發(fā)的一款航天領(lǐng)域商業(yè)化分析軟件,其中包含了國際空間站、北斗衛(wèi)星、Artemis衛(wèi)星等多種衛(wèi)星的三維模型。文獻(xiàn)[29]分別采用STK軟件中的北斗衛(wèi)星模型、Cartosat-2衛(wèi)星模型與使用SolidWorks軟件繪制的北斗衛(wèi)星模型和Cartosat-2衛(wèi)星模型采集圖片,對(duì)非合作目標(biāo)的衛(wèi)星本體、太陽帆板、衛(wèi)星天線、噴管、相機(jī)和星敏感器等結(jié)構(gòu)組件進(jìn)行標(biāo)注。文獻(xiàn)[30]采用STK軟件中的北斗衛(wèi)星、Artemis衛(wèi)星、國際空間站、小行星探測(cè)飛船(Near-Earth Asteroid Rendezvous Spacecraft,NEAR)等92種衛(wèi)星的外觀圖像,利用Labelme軟件對(duì)衛(wèi)星圖像中的太陽帆板和衛(wèi)星天線進(jìn)行標(biāo)注,最終得到1288張圖像構(gòu)成的數(shù)據(jù)集,數(shù)據(jù)集示例如圖2所示。

        圖2 非合作目標(biāo)數(shù)據(jù)集示例[30]Fig.2 Non-cooperative target dataset example[30]

        文獻(xiàn)[31-33]采用對(duì)非合作目標(biāo)縮比模型進(jìn)行拍照的方式采集圖像,通過采集不同場(chǎng)景不同姿態(tài)的航天器模型圖片來制作數(shù)據(jù)集。文獻(xiàn)[34]介紹了斯坦福大學(xué)空間交會(huì)實(shí)驗(yàn)室(Space Rendezvous Laboratory,SLAB)使用C++軟件OPENGL庫在不同半徑的航天器模型周圍以球形模式拍攝仿真圖像,生成500000張包含衛(wèi)星姿態(tài)標(biāo)簽的數(shù)據(jù)集。文獻(xiàn)[35]在文獻(xiàn)[34]的基礎(chǔ)上進(jìn)一步完善,制作了航天器姿態(tài)估計(jì)數(shù)據(jù)集(Spacecraft Pose Estimation Dataset,SPEED),SPEED由兩部分組成,第一部分是在MATLAB軟件和C++軟件上使用OPENGL繪制Tango衛(wèi)星的圖像,并以Himawari-8地球靜止氣象衛(wèi)星拍攝的地球?qū)嶋H圖像作為背景進(jìn)行渲染,制作了15000張?zhí)摂M合成圖像,如圖3前兩行所示;第二部分是使用交會(huì)光學(xué)導(dǎo)航實(shí)驗(yàn)臺(tái)(Testbed for Rendezvous and Optical Navigation,TRON)攝像機(jī)拍攝的300張Tango衛(wèi)星1∶1模型圖像,如圖3第三行所示。訓(xùn)練集由來自第一部分中的12000張合成圖像組成,其余3000張合成圖像和來自第二部分的300張實(shí)際相機(jī)拍攝圖像作為2個(gè)單獨(dú)的測(cè)試集。在后續(xù)研究中,文獻(xiàn)[36-40]采用了SPEED。2021年,文獻(xiàn)[41]在SPEED的基礎(chǔ)上進(jìn)一步完善,除了60000張用于訓(xùn)練的合成圖像外,還增加了9531張TRON拍攝的航天器模型的半實(shí)物圖像共同組成了SPEED+數(shù)據(jù)集,并且用于由SLAB和歐空局共同舉辦的第二次國際衛(wèi)星姿態(tài)估計(jì)挑戰(zhàn)賽中。

        圖3 SPEED示例[35]Fig.3 SPEED example[35]

        文獻(xiàn)[42]使用Blender軟件包,導(dǎo)入開源的SpaceX飛船的Dragon衛(wèi)星CAD模型,通過渲染模擬國際空間站上NASA的Raven敏感器組件所看到的在軌環(huán)境,其中考慮采用變化太陽角度、變化地球背景和增加敏感器隨機(jī)噪聲的方法來豐富數(shù)據(jù)集。文獻(xiàn)[43]使用3DMAX軟件建立了3種非合作目標(biāo)模型,設(shè)置黑色背景和地球背景來模擬太空環(huán)境,并設(shè)置相機(jī)采集非合作目標(biāo)圖像,如圖4所示。此外,文獻(xiàn)[40]和文獻(xiàn)[44-48]也采用了軟件渲染的方式建立數(shù)據(jù)集,在軟件中導(dǎo)入CAD模型進(jìn)行渲染,使用軟件包括3DMAX、3DSMAX、Gazebo、Unreal Engine 4及Blender等。文獻(xiàn)[49]在不同數(shù)據(jù)集上驗(yàn)證了CNN的關(guān)鍵點(diǎn)檢測(cè)性能,實(shí)驗(yàn)表明,通過添加隨機(jī)燈光、變化材質(zhì)紋理和改變圖像背景,可以提高渲染數(shù)據(jù)集算法魯棒性。文獻(xiàn)[50]針對(duì)空間低照度情況下衛(wèi)星圖像成像質(zhì)量差的問題,提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的圖像增強(qiáng)方法。

        圖4 地球背景下不同航天器數(shù)據(jù)集[43]Fig.4 The multi class spacecrafts in earth background datasets[43]

        3.2 非合作目標(biāo)識(shí)別算法

        基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要集中在2個(gè)方向:基于One-stage網(wǎng)絡(luò)的識(shí)別算法和基于Two-stage網(wǎng)絡(luò)的識(shí)別算法?;贠ne-stage網(wǎng)絡(luò)的識(shí)別算法直接在網(wǎng)絡(luò)中提取特征以預(yù)測(cè)物體的類別和位置;基于Two-stage網(wǎng)絡(luò)的識(shí)別算法將整個(gè)過程分為兩步,首先提取候選框(一個(gè)可能包含待檢物體的預(yù)選框,英文名稱proposal),然后再進(jìn)行物體分類與檢測(cè)框坐標(biāo)回歸。兩種算法結(jié)構(gòu)如圖5所示。

        圖5 One-stage和Two-stage算法結(jié)構(gòu)Fig.5 One-stage and Two-stage algorithm structure

        3.2.1 基于One-stage網(wǎng)絡(luò)的識(shí)別算法

        One-stage網(wǎng)絡(luò)的典型代表是J.Redmon等在2015年提出的YOLO(You Only Look Once)網(wǎng)絡(luò)[51],能夠基于單個(gè)神經(jīng)網(wǎng)絡(luò)完成目標(biāo)檢測(cè)任務(wù),YOLO的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

        圖6 YOLO算法流程[51]Fig.6 YOLO algorithm flow[51]

        YOLO將目標(biāo)檢測(cè)問題轉(zhuǎn)化成一個(gè)回歸問題。給定輸入圖像,直接在圖像的多個(gè)位置上回歸出目標(biāo)的位置及其分類類別。YOLO是一個(gè)可以一次性預(yù)測(cè)多個(gè)目標(biāo)位置和類別的CNN,能夠?qū)崿F(xiàn)端到端的目標(biāo)檢測(cè)和識(shí)別,其最大的優(yōu)勢(shì)就是速度快。事實(shí)上,目標(biāo)檢測(cè)的本質(zhì)就是回歸,因此一個(gè)實(shí)現(xiàn)回歸功能的卷積網(wǎng)絡(luò)并不需要復(fù)雜的設(shè)計(jì)過程。YOLO沒有選擇滑動(dòng)窗口(silding window)或提取候選框(即可能存在物體的區(qū)域)的方式訓(xùn)練網(wǎng)絡(luò),而是直接選用整圖訓(xùn)練模型。這樣做的好處在于可以更好地區(qū)分目標(biāo)和背景區(qū)域。 如圖7所示,YOLO將原圖劃分為S×S個(gè)區(qū)域。如果一個(gè)物體的中心在某個(gè)區(qū)域,那么該區(qū)域就負(fù)責(zé)此物體的定位和識(shí)別。YOLO最大的優(yōu)點(diǎn)在于速度快,能很好地滿足實(shí)時(shí)性要求較高的任務(wù)。但YOLO方法也存在一些缺陷:1)受限于每個(gè)區(qū)域?qū)τ诿總€(gè)類只預(yù)測(cè)2個(gè)候選框,導(dǎo)致某個(gè)區(qū)域附近臨近的小物體或物體集群無法被檢測(cè)到;2)因?yàn)槭窃趨^(qū)域中直接預(yù)測(cè)回歸框,因此當(dāng)物體的長寬比比較特殊且訓(xùn)練中沒有出現(xiàn)時(shí),難以進(jìn)行識(shí)別;3)提取的特征過于粗糙,因?yàn)榻?jīng)過了很多次降采樣,不夠精細(xì)。loss function對(duì)于同樣大小的錯(cuò)誤在大框和小框上的懲罰應(yīng)該不同。這些缺陷導(dǎo)致利用其進(jìn)行物體檢測(cè)會(huì)帶來對(duì)小物體細(xì)粒度檢測(cè)效果差,以及定位不準(zhǔn)的問題。

        圖7 YOLO進(jìn)行目標(biāo)檢測(cè)Fig.7 Object detection by YOLO

        現(xiàn)有文獻(xiàn)研究多采用YOLO網(wǎng)絡(luò)作為One-stage直接檢測(cè)目標(biāo)。文獻(xiàn)[29]利用YOLO網(wǎng)絡(luò)對(duì)非合作目標(biāo)的衛(wèi)星本體、太陽帆板、衛(wèi)星天線、噴管、相機(jī)和星敏感器進(jìn)行識(shí)別,識(shí)別準(zhǔn)確率達(dá)到了90%以上。文獻(xiàn)[36]提出了一種輕量化特征融合網(wǎng)絡(luò),即NCDN(Non-cooperative Detection Network)模型,以MobileNetV2為基礎(chǔ)網(wǎng)絡(luò)檢測(cè)Tango衛(wèi)星組件,包括GPS天線、FFRF天線和敏感器,在SPEED 上平均AP值(mean Average Precision,mAP)可達(dá)0.898。文獻(xiàn)[37]采用YOLO網(wǎng)絡(luò)檢測(cè)非合作目標(biāo),然后利用Landmark回歸網(wǎng)絡(luò)在YOLO網(wǎng)絡(luò)識(shí)別出的二維邊界框中檢測(cè)非合作目標(biāo)角點(diǎn)。上述方法多在單幅圖片上進(jìn)行驗(yàn)證,難以滿足在軌識(shí)別精度要求,且距離實(shí)時(shí)測(cè)量存在較大差距。

        3.2.2 基于Two-stage網(wǎng)絡(luò)的識(shí)別算法

        基于Two-stage網(wǎng)絡(luò)算法的核心是利用目標(biāo)建議(Object Proposal)方法先提取候選框,再對(duì)候選框內(nèi)區(qū)域進(jìn)行分類和檢測(cè),即“候選框+分類” 的方法。2014年,加州大學(xué)伯克利分校的R.B. Girshick等提出了R-CNN算法[52],其算法結(jié)構(gòu)也成為后續(xù)Two-stage的經(jīng)典結(jié)構(gòu),R-CNN的算法流程如圖8所示。通過選擇性搜索(selective search)在原圖中得到所有候選框,然后對(duì)這些區(qū)域依次提取特征,將得到的特征用支持向量機(jī)進(jìn)行分類。

        圖8 R-CNN基本流程Fig.8 Basic process of R-CNN

        雖然R-CNN算法相較于傳統(tǒng)目標(biāo)檢測(cè)算法取得了50%的性能提升,但也存在很多缺陷:1)重復(fù)計(jì)算造成計(jì)算量大;2)訓(xùn)練測(cè)試不簡(jiǎn)潔,中間數(shù)據(jù)需要單獨(dú)保存,耗費(fèi)空間;3)速度慢:重復(fù)計(jì)算與串行訓(xùn)練的特點(diǎn)最終導(dǎo)致R-CNN速度很慢,GPU上處理一張圖片需要十幾秒,CPU上則需要更長時(shí)間;4)輸入的圖片必須強(qiáng)制縮放成固定大小,造成物體形變,導(dǎo)致檢測(cè)性能下降。后續(xù)的Two-stage算法實(shí)際上都是針對(duì)這些缺陷進(jìn)行改進(jìn),典型算法有SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN和Mask R-CNN等[53-57]。

        采用Two-stage網(wǎng)絡(luò)的非合作目標(biāo)識(shí)別算法主要基于現(xiàn)有網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)。文獻(xiàn)[58]在Mask R-CNN的基礎(chǔ)上,融合ResNet-FPN結(jié)構(gòu)、Dense Block和區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)改進(jìn)特征提取結(jié)構(gòu),對(duì)非合作目標(biāo)的太陽帆板進(jìn)行識(shí)別。文獻(xiàn)[45]同樣以Mask R-CNN框架為基礎(chǔ),使用Light-head R-CNN(頭部輕量化CNN)取代Mask R-CNN的頭部結(jié)構(gòu)(作用是對(duì)劃定區(qū)域的識(shí)別),提升了檢測(cè)速度。文獻(xiàn)[59]通過引入遷移學(xué)習(xí)的方法,利用COCO數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練,設(shè)計(jì)改進(jìn)的CenterMask網(wǎng)絡(luò)檢測(cè)衛(wèi)星的太陽帆板和天線。文獻(xiàn)[44]則以高分辨率目標(biāo)檢測(cè)網(wǎng)絡(luò)HRNet為基礎(chǔ),首先在單目相機(jī)拍攝的圖片中檢測(cè)包含整個(gè)衛(wèi)星輪廓的二維邊界框,再根據(jù)檢測(cè)到的二維邊界框?qū)υ紙D像進(jìn)行裁剪,然后通過關(guān)鍵點(diǎn)回歸網(wǎng)絡(luò)輸出衛(wèi)星外輪廓關(guān)鍵角點(diǎn)。這種基于Two-stage網(wǎng)絡(luò)的算法檢測(cè)精度高于One-stage網(wǎng)絡(luò),但算法檢測(cè)速度慢,難以滿足實(shí)時(shí)測(cè)量的要求。

        文獻(xiàn)[47]和文獻(xiàn)[60]對(duì)不同CNN間的性能差距進(jìn)行了定量研究,其中,文獻(xiàn)[47]對(duì)Inception-ResNet-V2網(wǎng)絡(luò)和ResNet-101網(wǎng)絡(luò)進(jìn)行非合作目標(biāo)檢測(cè)對(duì)比,實(shí)驗(yàn)表明,Inception-ResNet-V2網(wǎng)絡(luò)檢測(cè)結(jié)果更為精確,但ResNet-101網(wǎng)絡(luò)的訓(xùn)練時(shí)間可以節(jié)省50%以上,且處理過程比Inception-ResNet-V2網(wǎng)絡(luò)快了4倍。文獻(xiàn)[60]對(duì)比了Faster R-CNN和YOLO v3網(wǎng)絡(luò)檢測(cè)太陽帆板的效果,實(shí)驗(yàn)表明,F(xiàn)aster R-CNN檢測(cè)準(zhǔn)確度要高于YOLO v3網(wǎng)絡(luò),但處理時(shí)間為YOLO v3網(wǎng)絡(luò)的2.5倍。目前,整體研究處于初步階段,對(duì)CNN的定量研究較少。綜上,對(duì)One-stage網(wǎng)絡(luò)和Two-stage網(wǎng)絡(luò)進(jìn)行對(duì)比,如表3所示。

        表3 One-stage網(wǎng)絡(luò)和Two-stage網(wǎng)絡(luò)對(duì)比

        從上述文獻(xiàn)可以看出,One-stage網(wǎng)絡(luò)識(shí)別速度快,但算法精度低;Two-stage網(wǎng)絡(luò)精度高、識(shí)別錯(cuò)誤率低,但是檢測(cè)速度慢,難以滿足空間非合作目標(biāo)檢測(cè)的實(shí)時(shí)性需求。

        3.3 非合作目標(biāo)位姿檢測(cè)算法

        空間非合作目標(biāo)的測(cè)量主要包括位置和姿態(tài)的實(shí)時(shí)測(cè)量,通過對(duì)非合作目標(biāo)進(jìn)行跟蹤并獲取目標(biāo)表面特征,求解目標(biāo)的運(yùn)動(dòng)狀態(tài),基于視覺的空間目標(biāo)測(cè)量技術(shù)是在軌感知的一個(gè)研究熱點(diǎn)。根據(jù)算法的不同,將現(xiàn)有基于深度學(xué)習(xí)的非合作目標(biāo)測(cè)量研究分為間接測(cè)量方法和端到端測(cè)量方法。

        3.3.1 間接測(cè)量方法

        間接測(cè)量方法首先通過CNN識(shí)別出非合作目標(biāo)的特征,如非合作目標(biāo)結(jié)構(gòu)部件關(guān)鍵角點(diǎn)、長寬比等,然后通過n點(diǎn)透視(Perspective-n-Point,PnP)算法和EPnP(Efficient Perspective-n-Point)算法等解算位姿。

        文獻(xiàn)[31]在YOLO網(wǎng)絡(luò)的基礎(chǔ)上,提出了YOLO-GhostECA 算法來檢測(cè)非合作目標(biāo),再根據(jù)檢測(cè)出非合作目標(biāo)的長寬比來粗略估算位姿,該方法估計(jì)的位姿誤差較大,無法滿足實(shí)際在軌測(cè)量精度要求。文獻(xiàn)[44]基于單目相機(jī)拍攝的圖像,首先利用目標(biāo)檢測(cè)網(wǎng)絡(luò)HRNet檢測(cè)衛(wèi)星,再利用關(guān)鍵點(diǎn)回歸網(wǎng)絡(luò)預(yù)測(cè)二維關(guān)鍵點(diǎn)坐標(biāo),并結(jié)合多視圖三角剖分重建三維模型,最后采用非線性最小二乘法最小化2D-3D對(duì)應(yīng)坐標(biāo),預(yù)測(cè)位置和姿態(tài),該方法只在特定渲染圖片上進(jìn)行實(shí)驗(yàn),距離連續(xù)測(cè)量動(dòng)態(tài)目標(biāo)具有較大差距。與文獻(xiàn)[44]類似,文獻(xiàn)[37]采用YOLO網(wǎng)絡(luò)檢測(cè)非合作目標(biāo),然后利用Landmark回歸網(wǎng)絡(luò)檢測(cè)非合作目標(biāo)角點(diǎn),最后使用EPnP算法解算位姿。文獻(xiàn)[40]采用SSD MobileNetV2網(wǎng)絡(luò)檢測(cè)衛(wèi)星所在回歸框,再利用改進(jìn)后的MobilePose網(wǎng)絡(luò)檢測(cè)關(guān)鍵點(diǎn),最后用EPnP算法解算位姿。文獻(xiàn)[61]和文獻(xiàn)[62]先使用CNN檢測(cè)特征,再通過CEPPnP解算器和卡爾曼濾波估計(jì)位姿。這種基于2D-3D關(guān)鍵點(diǎn)對(duì)應(yīng)的方式嚴(yán)重依賴于關(guān)鍵點(diǎn)識(shí)別的精度,由于空間光照條件變化復(fù)雜,傳統(tǒng)關(guān)鍵點(diǎn)檢測(cè)算法因魯棒性差難以使用,而基于CNN的方法可以在一定程度上彌補(bǔ)傳統(tǒng)方法的劣勢(shì),但這種先采用兩級(jí)CNN識(shí)別非合作目標(biāo)角點(diǎn)的方式對(duì)算力要求較高,處理時(shí)間長,難以滿足在軌實(shí)時(shí)測(cè)量的要求。為解決實(shí)時(shí)動(dòng)態(tài)測(cè)量問題,文獻(xiàn)[63]提出了一種基于卷積位姿機(jī)網(wǎng)絡(luò)的測(cè)量方法,通過設(shè)計(jì)卷積位姿機(jī)網(wǎng)絡(luò)識(shí)別非合作目標(biāo)關(guān)鍵點(diǎn),再通過PnP算法解算位姿,并完成了實(shí)時(shí)物理實(shí)驗(yàn),相對(duì)位置測(cè)量誤差小于2mm。

        除了通過PnP算法解算位姿外,文獻(xiàn)[32]在通過VGG19網(wǎng)絡(luò)識(shí)別衛(wèi)星關(guān)鍵點(diǎn)后,采用搭建的雙目相機(jī)系統(tǒng)解算位姿,但該方法存在關(guān)鍵點(diǎn)識(shí)別精度低、位姿解算算法誤差大的問題,后續(xù)還需繼續(xù)優(yōu)化。文獻(xiàn)[39]提出了LSPNet結(jié)構(gòu),它由3個(gè)互相連接的CNN組成,分別為位置CNN、定位CNN和方向CNN。其中位置CNN和定位CNN組成轉(zhuǎn)化模塊,由UNet和ResNet融合而成;轉(zhuǎn)化模塊連接到由ResNet修改成的方向CNN,輸出實(shí)時(shí)位姿。但是上述研究僅在仿真圖片上進(jìn)行驗(yàn)證,缺乏物理實(shí)驗(yàn)來驗(yàn)證算法的泛化性,并且缺乏實(shí)時(shí)性指標(biāo)論證。文獻(xiàn)[64]使用PointNet++網(wǎng)絡(luò)從點(diǎn)云數(shù)據(jù)中識(shí)別捕獲區(qū)域,從而輸出分割后的對(duì)接環(huán)位姿,并在V-rep仿真軟件中進(jìn)行了實(shí)驗(yàn)。這種通過深度學(xué)習(xí)處理點(diǎn)云數(shù)據(jù)的方法在非合作目標(biāo)感知領(lǐng)域的研究較少,后續(xù)會(huì)是一個(gè)可以開發(fā)的方向。

        此外,針對(duì)近距離(<1m)非合作目標(biāo)測(cè)量,由于相機(jī)視角問題無法獲得整體圖像,文獻(xiàn)[65]使用ToF相機(jī)實(shí)時(shí)采集RGB圖像和深度圖像,將RGB圖像通過改進(jìn)的BiseNet對(duì)非合作目標(biāo)進(jìn)行語義分割,提取衛(wèi)星結(jié)構(gòu)部件,再通過將RGB圖像與深度圖像相匹配的方法,獲得對(duì)接環(huán)的位姿,確定抓捕點(diǎn)。該方法完成了地面物理實(shí)驗(yàn),后續(xù)還需要在模擬太空光照條件下進(jìn)行測(cè)試,對(duì)模型占用內(nèi)存進(jìn)行評(píng)估,為真正在軌應(yīng)用提供支撐。

        3.3.2 端到端測(cè)量方法

        端到端測(cè)量方法主要通過CNN直接輸出非合作目標(biāo)的位姿,2018年開始有基于CNN的非合作目標(biāo)端到端姿態(tài)估計(jì)研究成果發(fā)表。文獻(xiàn)[46]在Google研發(fā)的Google Inception NetV3模型的基礎(chǔ)上進(jìn)行修改,輸入是將渲染出的非合作目標(biāo)模型圖像處理為99×299 像素的單通道灰度圖像,輸出是一個(gè)1×3 的三軸位姿向量,并利用線性回歸輸出角速度向量值。

        文獻(xiàn)[34]在使用基于AlexNet的遷移學(xué)習(xí)將圖像分類到正確的姿態(tài)標(biāo)簽后,在未經(jīng)訓(xùn)練的PRISMA任務(wù)衛(wèi)星圖像上進(jìn)行測(cè)試。該方法生成圖像主要變化量來自4個(gè)自由度(3個(gè)自由度與姿態(tài)有關(guān),1個(gè)自由度與相機(jī)視軸位置有關(guān)),誤差大于10°?;贑NN的航天器姿態(tài)估計(jì)在文獻(xiàn)[35]中得到了改進(jìn),在文獻(xiàn)[34]的基礎(chǔ)上,使用合成的PRISMA圖像作為數(shù)據(jù)集,設(shè)計(jì)了離散標(biāo)簽之間的回歸姿態(tài)估計(jì)算法,通過分類框架估計(jì)姿態(tài),緩解了離散姿態(tài)標(biāo)簽的問題,同時(shí)仍然保持分類網(wǎng)絡(luò)的魯棒性,基于在實(shí)驗(yàn)室環(huán)境中創(chuàng)建的合成圖像和真實(shí)圖像的測(cè)試,該方法誤差小于10°。

        文獻(xiàn)[42]沿用文獻(xiàn)[34-35]的分類網(wǎng)絡(luò),通過設(shè)定特定級(jí)別的姿態(tài)標(biāo)簽離散化的方式,增強(qiáng)了算法的魯棒性,并對(duì)實(shí)現(xiàn)姿態(tài)精度目標(biāo)所需的訓(xùn)練集大小以及不同的在軌變量如何影響CNN精度進(jìn)行了定量分析。文獻(xiàn)[43]以ResNet-50為主干網(wǎng)絡(luò),將ResNet-50的最后一個(gè)全連接層改為3個(gè)全連接層分支輸出位置、方向和類別,在一定姿態(tài)范圍內(nèi)的衛(wèi)星仿真圖片上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。文獻(xiàn)[61]采用AlexNet和ResNet作為主干網(wǎng)絡(luò),將AlexNet末端的全連接層改為3個(gè)并聯(lián)的全連接層以輸出衛(wèi)星的三軸位姿角,并設(shè)計(jì)了姿態(tài)分類損失函數(shù)和姿態(tài)回歸損失函數(shù)進(jìn)一步提高檢測(cè)精度,實(shí)驗(yàn)結(jié)果表明,標(biāo)準(zhǔn)差均在0.9°以內(nèi)。此方法的一個(gè)突破點(diǎn)是采用遷移學(xué)習(xí)的方法,利用ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練初始化網(wǎng)絡(luò)參數(shù),后續(xù)沒有人工設(shè)計(jì)特征,實(shí)現(xiàn)了對(duì)非合作目標(biāo)的端對(duì)端估計(jì)。文獻(xiàn)[33]基于ResNet101設(shè)計(jì)了端到端檢測(cè)網(wǎng)絡(luò),并與ResNet50、ResNet18和MobileNet_V2 進(jìn)行對(duì)比,實(shí)驗(yàn)證明,ResNet101檢測(cè)精度高,但網(wǎng)絡(luò)大小和檢測(cè)速度明顯高于ResNet50、ResNet18和MobileNet_V2。文獻(xiàn)[48]基于VGG19設(shè)計(jì)了兩種CNN,分別為分支網(wǎng)絡(luò)和并行網(wǎng)絡(luò),分支網(wǎng)絡(luò)將一些特征位置信息直接連接到模型末端的全連接層,避免被最大池化層消除;并行網(wǎng)絡(luò)將用于測(cè)量相對(duì)距離的VGG網(wǎng)絡(luò)和用于測(cè)量衛(wèi)星姿態(tài)的VGG網(wǎng)絡(luò)并行連接。文獻(xiàn)[66]基于修改后的GoogleLeNet檢測(cè)Soyuz衛(wèi)星渲染圖片的位姿,輸出為三軸位置和四元數(shù)。

        由于應(yīng)用于目標(biāo)識(shí)別模型的低級(jí)特征對(duì)姿態(tài)估計(jì)具有通用的效果,因此可以基于遷移學(xué)習(xí)初始化前幾層網(wǎng)絡(luò)參數(shù)而構(gòu)建CNN,避免產(chǎn)生過大的數(shù)據(jù)集模型。此外,與當(dāng)前基于模型的姿態(tài)初始化方法相比,經(jīng)過訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)可以快速識(shí)別姿態(tài)信息。然而,由于姿態(tài)分類標(biāo)簽是離散的,很難獲得高精度的姿態(tài)測(cè)量結(jié)果,因此,后續(xù)的研究中可通過實(shí)驗(yàn)驗(yàn)證提供達(dá)到所需測(cè)量精度的訓(xùn)練數(shù)據(jù)量和標(biāo)簽離散化水平之間的定量結(jié)果。此外,雖然已知CNN算法在可變光照條件和復(fù)雜背景場(chǎng)景的測(cè)量中魯棒性較好,但是在后續(xù)研究中完善空間操作各種光學(xué)條件下的定量方法對(duì)非合作目標(biāo)檢測(cè)仍然具有重要意義。

        目前,針對(duì)非合作目標(biāo)感知的深度學(xué)習(xí)網(wǎng)絡(luò)輕量化研究較少,文獻(xiàn)[36]設(shè)計(jì)了輕量化非合作目標(biāo)組件檢測(cè)網(wǎng)絡(luò),通過在MobileNet結(jié)構(gòu)中對(duì)所有卷積層中的卷積核數(shù)量乘以縮小因子α(其中α∈(0,1]) 來壓縮網(wǎng)絡(luò),在不過分降低網(wǎng)絡(luò)整體檢測(cè)精度的情況下優(yōu)化卷積核參數(shù)冗余,壓縮后模型存儲(chǔ)空間僅為2.2Mbit,節(jié)省了約88%的空間。在采用25%計(jì)算量時(shí),距離非合作目標(biāo)15m內(nèi)檢測(cè)mAP>0.9,整體精度犧牲約為5%。

        綜上,對(duì)間接測(cè)量方法和端到端測(cè)量方法進(jìn)行對(duì)比,如表4所示。間接測(cè)量方法的精度要高于端到端測(cè)量方法,但端到端測(cè)量方法檢測(cè)速度快,未來研究將著重于以下三點(diǎn):1)檢測(cè)精度和檢測(cè)速度的平衡;2)針對(duì)星載計(jì)算機(jī)進(jìn)行算力的優(yōu)化;3)針對(duì)非合作目標(biāo)所處的在軌光照變化環(huán)境也要進(jìn)行相應(yīng)的實(shí)驗(yàn)驗(yàn)證。

        表4 間接測(cè)量方法和端到端測(cè)量方法對(duì)比

        4 關(guān)鍵問題與發(fā)展趨勢(shì)

        近年來,針對(duì)非合作目標(biāo)感知的深度學(xué)習(xí)方法研究逐漸增多,但距離在軌應(yīng)用還有一定差距。針對(duì)目前的研究現(xiàn)狀,本文總結(jié)以下關(guān)鍵問題與發(fā)展趨勢(shì):

        1)非合作目標(biāo)數(shù)據(jù)集樣本少:目前針對(duì)非合作目標(biāo)建立的數(shù)據(jù)集的圖片數(shù)據(jù)量少且種類單一,只針對(duì)特定衛(wèi)星,但實(shí)際在軌衛(wèi)星形狀豐富,如立方體衛(wèi)星、圓柱體衛(wèi)星等。針對(duì)這一問題,一方面是采用UE4等更先進(jìn)的渲染軟件進(jìn)行精細(xì)渲染仿真,同時(shí)綜合考慮太陽光照變化、空間點(diǎn)光源線光源、噪聲、空間機(jī)械臂遮擋、其他衛(wèi)星背景干擾等多方面因素,建立包含更多種類、更豐富細(xì)節(jié)的空間非合作目標(biāo)的數(shù)據(jù)集;另一方面是考慮引入?yún)^(qū)域隨機(jī)化的概念,建立基于域隨機(jī)化的非合作目標(biāo)數(shù)據(jù)集,不依賴于模擬環(huán)境,而是通過隨機(jī)化生成數(shù)據(jù)集增強(qiáng)算法泛化能力,這也是非合作目標(biāo)數(shù)據(jù)集未來的研究方向之一。

        2)基于小樣本的CNN設(shè)計(jì):在現(xiàn)有數(shù)據(jù)集并不完備的情況下,基于小樣本的CNN設(shè)計(jì)也是一個(gè)方向。針對(duì)這一問題,可以采用:①基于生成對(duì)抗網(wǎng)絡(luò)生成高質(zhì)量的樣本并實(shí)現(xiàn)數(shù)據(jù)增擴(kuò);②設(shè)計(jì)更具泛化能力的特征提取器;③采用遷移學(xué)習(xí)的方式,從其他圖像分類與識(shí)別任務(wù)中挖掘判別信息,通過更改初始化網(wǎng)絡(luò)參數(shù)的方式優(yōu)化網(wǎng)絡(luò);④采用元學(xué)習(xí)方式學(xué)習(xí)一個(gè)具有較好泛化能力的圖像到嵌入特征空間的映射,然后在嵌入特征空間中直接求解最近鄰達(dá)到預(yù)測(cè)分類的目的。

        3)近距離局部組件測(cè)量難:在服務(wù)衛(wèi)星與非合作目標(biāo)距離小于1m時(shí),相機(jī)由于視場(chǎng)問題無法拍攝到非合作目標(biāo)的完整圖像,給基于局部組件的測(cè)量帶來極大難度,目前基于深度學(xué)習(xí)針對(duì)這一部分的研究較少。為解決這一問題,一個(gè)思路是從傳感器入手,以近年來視覺應(yīng)用研究較多的ToF相機(jī)為一個(gè)研究方向[25],ToF相機(jī)通過紅外激光發(fā)射器可以同時(shí)獲得彩色RGB圖像和深度圖像,很好地彌補(bǔ)了近距離非合作目標(biāo)局部部件測(cè)量光學(xué)信息少的問題;第二個(gè)思路是引入深度學(xué)習(xí)圖像處理的分類學(xué)習(xí)方法,通過標(biāo)注相機(jī)采集圖片中的不完整部件進(jìn)行學(xué)習(xí)訓(xùn)練,以規(guī)避傳統(tǒng)圖像檢測(cè)方法對(duì)異形物體識(shí)別困難的問題。

        4)高精度實(shí)時(shí)測(cè)量:不同于地面深度學(xué)習(xí)圖像識(shí)別測(cè)量網(wǎng)絡(luò),空間情景對(duì)于非合作目標(biāo)實(shí)時(shí)檢測(cè)的精度要求更高,目前針對(duì)非合作目標(biāo)測(cè)量研究的實(shí)時(shí)性評(píng)價(jià)數(shù)據(jù)較少。后續(xù)研究主要聚焦于實(shí)時(shí)性算法的完善與地面物理實(shí)驗(yàn)驗(yàn)證,提出通用的實(shí)時(shí)性指標(biāo)要求。

        5)輕量化網(wǎng)絡(luò)設(shè)計(jì):空間星載計(jì)算機(jī)由于算力有限,無法直接應(yīng)用地面圖像識(shí)別算法,現(xiàn)有測(cè)量算法的輕量化網(wǎng)絡(luò)設(shè)計(jì)也是實(shí)現(xiàn)在軌應(yīng)用的一個(gè)關(guān)鍵問題,目前針對(duì)空間非合作目標(biāo)的應(yīng)用研究處于初步階段。相較于Two-Stage網(wǎng)絡(luò),One-Stage網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、更具有輕量化優(yōu)勢(shì),在后續(xù)研究中可以通過融合多尺度特征、優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、減少模型參數(shù)量、減少最大池化、保留更多有用特征信息等方式對(duì)網(wǎng)絡(luò)進(jìn)行進(jìn)一步優(yōu)化。

        5 結(jié) 論

        近年來,隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展,在圖像識(shí)別領(lǐng)域取得了較大突破,這也給空間在軌測(cè)量提供了新思路。本文分析總結(jié)了近年來基于深度學(xué)習(xí)的空間非合作目標(biāo)感知技術(shù)的國內(nèi)外研究現(xiàn)狀,從基于深度學(xué)習(xí)的非合作目標(biāo)數(shù)據(jù)集、非合作目標(biāo)識(shí)別、非合作目標(biāo)位姿檢測(cè)幾個(gè)方面對(duì)國內(nèi)外學(xué)者的相關(guān)研究進(jìn)行了綜合分析。通過深度CNN進(jìn)行非合作目標(biāo)測(cè)量可以彌補(bǔ)傳統(tǒng)圖像檢測(cè)算法泛化能力差的缺點(diǎn),通過學(xué)習(xí)訓(xùn)練的方式可以一次分類多種結(jié)構(gòu)特征的非合作目標(biāo),通過端到端訓(xùn)練在輸入非合作目標(biāo)圖像后可以直接測(cè)量出非合作目標(biāo)的姿態(tài)。綜合來看,深度學(xué)習(xí)算法對(duì)光的變化魯棒性更強(qiáng),具有很高的空間應(yīng)用價(jià)值。目前,國內(nèi)外針對(duì)采用深度學(xué)習(xí)的非合作目標(biāo)智能感知技術(shù)研究均處于起步階段,有必要對(duì)基于深度學(xué)習(xí)的非合作目標(biāo)算法進(jìn)行深入研究,完善實(shí)時(shí)性、準(zhǔn)確性和輕量性這3個(gè)重要指標(biāo),進(jìn)一步建立針對(duì)空間非合作目標(biāo)的智能感知平臺(tái)。

        猜你喜歡
        位姿衛(wèi)星文獻(xiàn)
        miniSAR遙感衛(wèi)星
        Hostile takeovers in China and Japan
        速讀·下旬(2021年11期)2021-10-12 01:10:43
        Cultural and Religious Context of the Two Ancient Egyptian Stelae An Opening Paragraph
        大東方(2019年12期)2019-10-20 13:12:49
        靜止衛(wèi)星派
        科學(xué)家(2019年3期)2019-08-18 09:47:43
        The Application of the Situational Teaching Method in English Classroom Teaching at Vocational Colleges
        The Role and Significant of Professional Ethics in Accounting and Auditing
        商情(2017年1期)2017-03-22 16:56:36
        基于共面直線迭代加權(quán)最小二乘的相機(jī)位姿估計(jì)
        基于CAD模型的單目六自由度位姿測(cè)量
        Puma" suede shoes with a focus on the Product variables
        小型四旋翼飛行器位姿建模及其仿真
        午夜精品久久久| 日日躁夜夜躁狠狠躁| 欧美极品jizzhd欧美| 天天综合久久| 真人二十三式性视频(动)| 久久久精品电影| 成人全部免费的a毛片在线看| 亚洲不卡一区二区视频| 色费女人18毛片a级毛片视频| 欧美情侣性视频| 99在线视频精品费观看视| 亚洲av性色精品国产| 色中文字幕在线观看视频| 国产精品自在线拍国产| 亚洲欧洲日产国码久在线观看| 亚洲高清精品一区二区| 四虎成人精品在永久免费| 中文无码熟妇人妻av在线| 久久无码av三级| 无码国产日韩精品一区二区| 蜜乳一区二区三区亚洲国产| 国产精品久久久久免费观看| 成人激情五月天| 亚洲美女啪啪| 亚洲av色香蕉第一区二区三区| 一本色道久久婷婷日韩| 18女下面流水不遮图| 自拍亚洲一区欧美另类| 手机av在线播放网站| 国产无套粉嫩白浆在线| 国产精品99久久精品爆乳| 精品少妇人妻久久免费| 日韩精品人妻久久久一二三| 久久精品国产亚洲av蜜臀| 国产欧美日韩图片一区二区| 美女被黑人巨大入侵的的视频| 欧美日韩亚洲中文字幕二区| 在线免费日韩| 亚洲熟女一区二区三区不卡| 精品无码国产自产在线观看水浒传 | 亚洲AV永久无码制服河南实里|