曹 毅，程向紅，李丹若，劉宗明，牟金震

(1.東南大學(xué) 儀器科學(xué)與工程學(xué)院·南京·210096；2. 微慣性儀表與先進(jìn)導(dǎo)航技術(shù)教育部重點實驗室·南京·210096；3.上海航天控制技術(shù)研究所·上?！?01109；4.上海市空間智能控制技術(shù)重點實驗室·上海·201109)

0 引 言

失效衛(wèi)星由于故障或壽命終結(jié)而被丟棄在太空中，表現(xiàn)為非合作旋轉(zhuǎn)，隨時存在解體可能，威脅著太空安全且浪費軌道資源，需要對其進(jìn)行捕獲與回收。在進(jìn)行捕獲或回收等近距離作業(yè)時，準(zhǔn)確識別失效衛(wèi)星的對接環(huán)、天線、星敏感器等多部件,可以為后續(xù)的位姿解算提供有效的特征輸入。準(zhǔn)確檢測失效衛(wèi)星部件的位置與類型是目標(biāo)檢測領(lǐng)域的一個關(guān)鍵問題，可以根據(jù)目標(biāo)、形狀、顏色、邊緣等特征的差異性來解決。然而，由于曝光或低照度的空間環(huán)境導(dǎo)致的圖像分辨率不高以及部件間差異性不大，高精度的失效衛(wèi)星部件檢測仍然具有挑戰(zhàn)性。

當(dāng)前，針對失效衛(wèi)星部件的目標(biāo)檢測算法主要分為非深度學(xué)習(xí)的傳統(tǒng)算法與深度學(xué)習(xí)算法兩類。由于計算能力的限制，傳統(tǒng)算法主要從少量的先驗數(shù)據(jù)中進(jìn)行學(xué)習(xí)，再對目標(biāo)的特征部位進(jìn)行檢測，可以分為基于模塊匹配的方法和基于手工設(shè)計特征的方法。楊明冬等提出了一種改進(jìn)的加權(quán)絕對差之和(Sum of Weighted Absolute Differences，SWAD)模塊匹配算法和亞像素擬合算法檢測衛(wèi)星目標(biāo)，并通過引入變系數(shù)模板更新方法，提高了算法對衛(wèi)星姿態(tài)變化的適應(yīng)性。但當(dāng)衛(wèi)星角度、大小、灰度同時變化時，算法檢測精度不高。Peng J.等提出了一種基于最大外輪廓識別的衛(wèi)星檢測算法，通過融合運動特征與形狀特征提取衛(wèi)星底座，采用“粗+精”組合識別方法，提高了衛(wèi)星底座的檢測精度與速度。Gao X.H.等針對衛(wèi)星外形中常見的矩形特征，利用邊緣檢測與Hough變化進(jìn)行衛(wèi)星目標(biāo)檢測。傳統(tǒng)的目標(biāo)檢測算法計算簡單，效率高。但是其特征為人為設(shè)計的低級圖像特征，這導(dǎo)致傳統(tǒng)算法每次只能檢測出具有相同特征信息的單個或多個類似的目標(biāo)，算法計算效率低。此外，衛(wèi)星姿態(tài)與周圍光照條件的劇烈變化，使得傳統(tǒng)算法的召回率低，算法的泛化能力不強。

深度學(xué)習(xí)技術(shù)將多個低級圖像特征與來自目標(biāo)檢測器和場景分類器的高級上下文特征相結(jié)合，利用數(shù)據(jù)集本身的特點進(jìn)行自學(xué)習(xí)。隨著例如YOLO、Faster R-CNN、Cascade R-CNN等基于深度學(xué)習(xí)的目標(biāo)檢測理論的飛速發(fā)展，以及計算機(jī)硬件與空間成像技術(shù)的進(jìn)步，深度學(xué)習(xí)技術(shù)逐漸被應(yīng)用到空間失效衛(wèi)星目標(biāo)檢測上。Chen Y.等提出了一種基于Mask R-CNN的衛(wèi)星部件檢測算法，在Mask R-CNN的基礎(chǔ)上，為了提高小目標(biāo)的檢測率，結(jié)合密集連接結(jié)構(gòu)、殘差結(jié)構(gòu)和特征金字塔構(gòu)建新的特征提取結(jié)構(gòu)，其準(zhǔn)確率和召回率可達(dá)93%。Yan Z.等提出了一種基于YOLO V2的衛(wèi)星主體檢測算法，使用Blender軟件模擬器生成不同環(huán)境下的衛(wèi)星，并利用數(shù)據(jù)增強和微調(diào)技術(shù)增加訓(xùn)練樣本的數(shù)量，避免訓(xùn)練過程中的過擬合，其平均精度可達(dá)80.16%以上。Chen B.等提出了一種基于Faster R-CNN與高分辨率網(wǎng)絡(luò)(High Resolution Network，HRNet)的衛(wèi)星關(guān)鍵點檢測算法，關(guān)鍵點包括天線頂端、電池4個角點等。首先，利用Faster R-CNN進(jìn)行衛(wèi)星主體檢測，然后將裁減的衛(wèi)星目標(biāo)輸入到HRNet中預(yù)測出11個衛(wèi)星關(guān)鍵點，最后，將序列圖像的關(guān)鍵點輸入到位姿解算算法中進(jìn)行位姿解算，其在公開的SPEED數(shù)據(jù)集上準(zhǔn)確率可以達(dá)到95%以上。以上基于深度學(xué)習(xí)的衛(wèi)星目標(biāo)檢測算法可以改善傳統(tǒng)方法的不足，具有更好的泛化性。然而，上述算法的研究對象多是衛(wèi)星主體或個別部件，缺少對衛(wèi)星多部件檢測的深入研究；而且上述算法采用的驗證數(shù)據(jù)集多為通過模擬軟件獲取的，而在實際空間環(huán)境中，當(dāng)近距離捕獲衛(wèi)星目標(biāo)時，光照與運動的變化會對衛(wèi)星部件檢測帶來巨大影響。因此，實現(xiàn)在接近實際環(huán)境下的高精度的衛(wèi)星部件檢測是迫切需要的。

針對上述問題，本文工作貢獻(xiàn)如下：1)由于在捕獲對接平面上，失效衛(wèi)星部件多為小目標(biāo)，且由于失效衛(wèi)星部件會因為自旋產(chǎn)生成像分辨率不高的問題，將高分辨網(wǎng)絡(luò)與Faster R-CNN中的特征提取主干網(wǎng)絡(luò)融合，可提高小目標(biāo)檢測精度；2)針對失效衛(wèi)星部件數(shù)據(jù)難獲取的問題，在模擬真實空間環(huán)境的條件下，利用1∶1的嫦娥衛(wèi)星模型構(gòu)建了一個包含九類不同部件信息的失效衛(wèi)星部件數(shù)據(jù)集。

1 Faster R-CNN原理與改進(jìn)

1.1 Faster R-CNN基本原理及流程

目前，基于深度學(xué)習(xí)的目標(biāo)檢測算法主要分為兩類，即單階段和雙階段目標(biāo)檢測算法。雙階段算法的特點是識別精度較高。其第一階段利用區(qū)域建議網(wǎng)絡(luò)尋找目標(biāo)存在的區(qū)域，第二階段對建議區(qū)域進(jìn)行分類和回歸，以獲得更準(zhǔn)確的目標(biāo)位置，雙階段算法的典型代表有Faster R-CNN等。單階段目標(biāo)檢測算法比較簡單和快速。其將目標(biāo)檢測視為一個回歸或分類問題，采用統(tǒng)一的框架直接實現(xiàn)目標(biāo)的分類與定位，單階段算法的典型代表有YOLO等?？紤]到高精度識別失效衛(wèi)星部件是衛(wèi)星捕獲與相對導(dǎo)航作業(yè)的首要前提，本文選擇Faster R-CNN作為目標(biāo)檢測框架，同時利用高分辨網(wǎng)絡(luò)對特征提取主干網(wǎng)絡(luò)進(jìn)行優(yōu)化，實現(xiàn)對惡劣成像環(huán)境下失效衛(wèi)星部件的精準(zhǔn)檢測。

圖1所示為Faster R-CNN的原理圖，F(xiàn)aster R-CNN主要由特征提取主干網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)、感興趣區(qū)域池化層3個模塊組成。其具體流程如下：

圖1 Faster R-CNN原理圖Fig.1 Schematic diagram of Faster R-CNN

1)輸入待檢測的圖像。

2)使用特征提取主干網(wǎng)絡(luò)進(jìn)行圖像的初始特征提取，這些特征將在后續(xù)的區(qū)域建議網(wǎng)絡(luò)和全連接層中得到共享。原始的Faster R-CNN選取的主干特征提取網(wǎng)絡(luò)為深度殘差網(wǎng)絡(luò)(Deep Residual Network，ResNet)，ResNet利用殘差學(xué)習(xí)解決特征提取網(wǎng)絡(luò)隨著深度增加而出現(xiàn)的退化問題。但是針對低分辨率的失效衛(wèi)星目標(biāo)圖像，ResNet缺少特征融合策略。如果使用ResNet特征提取主干網(wǎng)絡(luò)，在降采樣過程中，失效衛(wèi)星部件中的小目標(biāo)會出現(xiàn)漏檢或檢測精度低的現(xiàn)象。

3)在ResNet生成的特征圖上使用區(qū)域建議網(wǎng)絡(luò)生成候選框，并將生成的候選框投影到特征圖上得到相應(yīng)的特征矩陣，即為圖1中的紫色陰影框。

4)將每個特征矩陣通過感興趣區(qū)域池化層縮放成為7×7大小的特征圖，即為圖1中的紅框。

5)通過全連接層將特征圖展平，并輸入到回歸與分類端，進(jìn)行目標(biāo)檢測框與分類數(shù)據(jù)的輸出。

1.2 針對低分辨率成像的改進(jìn)

如圖2所示，失效衛(wèi)星部件在捕獲對接平面上多為密集排列的小目標(biāo)。此外，隨著視角的變化，圖像中的小目標(biāo)更容易因光照、運動狀態(tài)的變化出現(xiàn)成像模糊或曝光的現(xiàn)象，這使得采用原有的Faster R-CNN模型會出現(xiàn)小目標(biāo)檢測精度下降的問題。原有Faster R-CNN使用ResNet特征提取主干網(wǎng)絡(luò)，該網(wǎng)絡(luò)通常是由上一層特征圖與下一層特征圖逐個串聯(lián)，其分辨率逐漸下降。已知感受野的定義為特征提取網(wǎng)絡(luò)中每一層輸出特征圖上的一個點映射到每一層特征圖上的像素數(shù)，感受野越大，目標(biāo)檢測的范圍越廣，特征越抽象。為了保證感受野，ResNet采用降采樣的方式。但是，降采樣的缺點是導(dǎo)致小目標(biāo)出現(xiàn)漏檢和檢測精度低的問題。因此，針對失效衛(wèi)星目標(biāo)檢測過程中存在小目標(biāo)及圖像分辨率不高的問題，選擇高分辨率網(wǎng)絡(luò)(HRNet)替換ResNet作為特征提取主干網(wǎng)絡(luò)進(jìn)行特征提取。HRNet是2019年Li等提出的一種新型神經(jīng)網(wǎng)絡(luò)。與ResNet相比，HRNet采用了并行多分辨率子網(wǎng)絡(luò)策略，在整個特征提取過程中始終輸出強語義表達(dá)和可靠的高分辨率特征圖。

(a) 前視角拍攝

HRNet特征提取主干網(wǎng)絡(luò)由4個階段組成,從高分辨率的子網(wǎng)作為第一階段開始，每增加一個階段便增加一個低分辨率的子網(wǎng)，依次生成多分辨率子網(wǎng)的并行連接結(jié)構(gòu)。在整個過程中，并行多分辨率卷積層中的信息被反復(fù)交換，以執(zhí)行重復(fù)的多尺度融合，使得HRNet生成可靠的高分辨率特征表征，并可以完成多尺度目標(biāo)的精確檢測。并行連接結(jié)構(gòu)與多尺度融合具體原理如下。

并行連接結(jié)構(gòu)：如圖3(a)所示，該方法將特征圖依據(jù)分辨率從高到低串聯(lián)起來，并通過下采樣將相鄰子網(wǎng)的分辨率減半。假設(shè)是第階段的子網(wǎng)，是每一階段的特征圖順序，為分辨率，為網(wǎng)絡(luò)的4個階段，其分辨率從高到低的排序可以表示為

???

(1)

分辨率可表示為

(2)

其中，-1為后一層特征圖分辨率；為前一層特征圖分辨率。

由式(1)和圖3(b)可以看出，在HRNet的4個階段中，每遞進(jìn)一個階段便增加一個低分辨率子網(wǎng)，其特征圖的尺寸就會減半，通道數(shù)加倍。假設(shè)階段得到的特征圖尺寸為256×256×64(長度×寬度×通道數(shù)，長度、寬度的單位為像素)，則、和階段得到的特征圖尺寸分別為128×128×128、64×64×256和32×32×512。

多尺度融合：如圖3(b)所示，通過并行結(jié)構(gòu)設(shè)計輸出四種不同尺度的特征圖后，首先對低分辨率特征圖進(jìn)行上采樣操作；然后，與高分辨率特征圖進(jìn)行通道數(shù)拼接，再對特征圖進(jìn)行卷積運算，特征圖分辨率依次下降至1/2、1/4、1/8，形成多尺度特征融合。

(a) 多尺度融合示意圖

2 實驗數(shù)據(jù)集

2.1 數(shù)據(jù)集獲取

文獻(xiàn)[15-16]采用仿真生成的數(shù)據(jù)作為衛(wèi)星目標(biāo)檢測系統(tǒng)的輸入，忽略了實際空間環(huán)境存在的光照、運動等對實際檢測的影響。本文設(shè)置的采集環(huán)境能較為真實地反映空間環(huán)境。實驗環(huán)境為近距離(2.5m內(nèi))，模擬“衛(wèi)星靜止，相機(jī)接近”、“衛(wèi)星自轉(zhuǎn)，相機(jī)靜止”兩種相對運動，實驗室暗室環(huán)境如圖4(a)所示，所用運動裝置為轉(zhuǎn)臺，如圖4(b)所示。當(dāng)“衛(wèi)星自轉(zhuǎn)，相機(jī)靜止”時，衛(wèi)星模型固定于轉(zhuǎn)臺上，以15(°)/s的角速度繞豎直軸勻速運動。對失效衛(wèi)星的模擬采用了1∶1的真實嫦娥衛(wèi)星模型，表面貼有熱控多層反光材料，同時，采用高亮度LED光源與交叉亮度光源，模擬復(fù)雜的太空光照環(huán)境，模擬入射的太陽光。隨著失效衛(wèi)星的轉(zhuǎn)動，其表面的光照條件不斷變化，會出現(xiàn)曝光、低照度以及運動模糊的現(xiàn)象。采集設(shè)備為奧比中光Astra S單目相機(jī)。

(a) 實驗暗室

2.2 數(shù)據(jù)集分析

為了保證失效衛(wèi)星圖像的質(zhì)量并避免數(shù)據(jù)集中的圖像重復(fù)，剔除了高度曝光與視角重復(fù)的圖像，共獲得1602張圖片組成的失效衛(wèi)星數(shù)據(jù)集。此外，為了增強模型的穩(wěn)定性并避免過度擬合，對訓(xùn)練集進(jìn)行了數(shù)據(jù)增強，以擴(kuò)展失效衛(wèi)星數(shù)據(jù)集，并盡可能保證數(shù)據(jù)的豐富性。在數(shù)據(jù)增強中，采用上下翻轉(zhuǎn)以及旋轉(zhuǎn)90°、180°、270°等幾何變換方式，將原來的訓(xùn)練集數(shù)量擴(kuò)展到2000幅圖像。數(shù)據(jù)集被按照9∶1的比例隨機(jī)劃分為訓(xùn)練集、驗證集，其數(shù)量分別為1800和200。訓(xùn)練集用于訓(xùn)練模型的參數(shù)，驗證集用于評估每批訓(xùn)練的結(jié)果和調(diào)整超參數(shù)后模型的泛化能力。在構(gòu)建數(shù)據(jù)集后，使用LabelImg軟件并參考COCO數(shù)據(jù)集格式制作樣本標(biāo)簽，表1所示為數(shù)據(jù)集標(biāo)簽對應(yīng)的失效衛(wèi)星部件名稱。其中，推進(jìn)器、太陽敏感器部件在不同視角下多為小目標(biāo)。數(shù)據(jù)集中的圖像尺寸被統(tǒng)一調(diào)整為640×480。

表1 失效衛(wèi)星部件名稱

3 仿真實驗及結(jié)果分析

本實驗的目的是驗證基于改進(jìn)Faster R-CNN的檢測方法在失效衛(wèi)星部件檢測中的有效性和優(yōu)越性。將該算法應(yīng)用于失效衛(wèi)星目標(biāo)捕獲對接工作，可減輕工作負(fù)擔(dān)，提高小目標(biāo)部件檢測的效率。

3.1 實驗平臺與參數(shù)設(shè)置

本文所有實驗的軟件環(huán)境是Ubuntu 18.04系統(tǒng)，編程語言選用Python 3.7，CUDA 11.0。深度學(xué)習(xí)框架使用了由商湯科技和香港中文大學(xué)聯(lián)合開發(fā)的開源深度學(xué)習(xí)基于Pytorch的目標(biāo)檢測工具箱MMdetection來構(gòu)建模型，該工具箱的特點之一是可以將每個組件進(jìn)行單獨的編譯打包；在使用時，只需要組裝每個部件就可以搭建一個目標(biāo)檢測任務(wù)模型。硬件包括Intel(R) Core(TM) i7-10700 CPU@2.0GHz和NVIDIA GeForce GTX 3080Ti GPU。本文所有實驗的參數(shù)設(shè)置如下：

學(xué)習(xí)率為0.001，動量為0.9，權(quán)值的衰減系數(shù)為0.0001，epoch為50，迭代次數(shù)為35000次，每迭代一個epoch保存一次模型，最終選取精度最高的模型。在訓(xùn)練過程中，驗證集用于對訓(xùn)練效果進(jìn)行評估和參數(shù)調(diào)優(yōu)。系統(tǒng)的學(xué)習(xí)率調(diào)節(jié)采用warm up策略，初始學(xué)習(xí)率0.0001并按照線性規(guī)律逐漸增大，迭代500次后，增加到0.001。這種方法既可以獲得很高的準(zhǔn)確率，又可避免模型訓(xùn)練過擬合。

3.2 實驗結(jié)果與對比

本文分別選取了改進(jìn)前的Faster R-CNN以及Cascade R-CNN進(jìn)行實驗對比，選擇Cascade R-CNN的原因為：Cascade R-CNN是由Faster R-CNN改進(jìn)而來，目前被廣泛應(yīng)用在水下、地下等成像質(zhì)量較差的環(huán)境，且其具有較好的檢測效果。通過與改進(jìn)前的Faster R-CNN對比，可以證明本文改進(jìn)策略的可行性；通過與Cascade R-CNN對比，可以證明本文改進(jìn)策略相對其他改進(jìn)策略在失效衛(wèi)星部件檢測方面的優(yōu)越性。為了公平對比實驗結(jié)果，除使用的特征網(wǎng)絡(luò)不同以外，參數(shù)設(shè)置、訓(xùn)練步驟均保持一致。本文選取的評價指標(biāo)定義如下：

：模型預(yù)測的所有目標(biāo)中，預(yù)測正確的比例，稱為準(zhǔn)確率。值越高，表示算法的檢測精度越高。

(3)

其中，為IoU>05的檢測框數(shù)量，為IoU≤0.5的檢測框數(shù)量。IoU即交并比，表示候選框與原始標(biāo)定框的重疊度。在對模型進(jìn)行測試時,先使用非極大值抑制將多余候選框移除，再計算剩余有效候選框的交并比，規(guī)定當(dāng)交并比大于設(shè)定閾值時檢測正確。當(dāng)增大交并比閾值時，提高了對預(yù)測框與實際邊界框重復(fù)度的要求，利于評價模型在進(jìn)行小目標(biāo)位置回歸時的性能。

：所有真實目標(biāo)中，模型正確預(yù)測目標(biāo)的比例，稱為召回率。值越高，表示算法錯誤預(yù)測的比例越低。

(4)

其中，為沒有檢測到目標(biāo)的數(shù)量。

具體實驗結(jié)果如下所示：

圖5所示為本文提出的改進(jìn)Faster R-CNN算法(improved Faster R-CNN)與傳統(tǒng)的Faster R-CNN和Cascade R-CNN損失函數(shù)值的對比曲線。

圖5 訓(xùn)練過程中損失函數(shù)變化Fig.5 Change of the loss function during training

從圖5可以看出，本文算法在迭代6000次后開始收斂，且收斂后的損失函數(shù)值比原來的Faster R-CNN和Cascade R-CNN要小。因此，本文利用HRNet改進(jìn)后的Faster R-CNN模型的收斂性更好。表2所示為實驗的準(zhǔn)確率、召回率與實時性的結(jié)果對比。

表2 網(wǎng)絡(luò)驗證結(jié)果

從表2可以看出，本文算法的平均精度最高，平均召回率也最高，相比Faster R-CNN和Cascade R-CNN準(zhǔn)確率和召回率分別平均提高了3.8%與6.1%。在針對失效衛(wèi)星部件中的小目標(biāo)檢測實驗中，本文算法的平均精度與召回率也最高，且分別平均提高了9.8%與5.4%。實驗表明，本文利用HRNet對Faster R-CNN的改進(jìn)對失效衛(wèi)星部件的檢測是有效的，且改進(jìn)后的網(wǎng)絡(luò)模型相比Cascade R-CNN也具有一定的優(yōu)勢。此外，本文改進(jìn)的Faster R-CNN模型每秒可以處理15張圖片，可以滿足實際工程應(yīng)用中的實時性要求。

利用改進(jìn)的Faster R-CNN對失效衛(wèi)星驗證集中的檢測結(jié)果進(jìn)行可視化，選取不同距離、不同運動狀態(tài)的部分結(jié)果如圖6所示。圖6(a)為“衛(wèi)星靜止，相機(jī)運動”狀態(tài)下的檢測結(jié)果，且為運動模糊條件下的拍攝結(jié)果；圖6(b)、(c)與(d)為“衛(wèi)星自旋，相機(jī)靜止”狀態(tài)下的檢測結(jié)果，其中圖6(b)為低照度光照條件下的拍攝結(jié)果，圖6(c)為輕微曝光條件下的拍攝結(jié)果，圖6(d)為運動模糊條件下的拍攝結(jié)果。低照度、曝光、運動模糊等成像條件都會對小目標(biāo)部件的檢測產(chǎn)生干擾，相對良好成像質(zhì)量條件，這些干擾都會增加小目標(biāo)部件的檢測難度。

(a) 運動模糊

從圖6可以看出，在兩種運動狀態(tài)下以及不同光照條件下，本文所提算法都具有良好的檢測效果。

綜上所述，本文利用HRNet改進(jìn)的Faster R-CNN模型與原始的Faster R-CNN模型以及Cascade R-CNN相比，在準(zhǔn)確率與召回率方面具有一定的優(yōu)勢，證明了本文所提改進(jìn)策略是有效的。此外，本文設(shè)計的網(wǎng)絡(luò)模型滿足實時性的需求，本文所提改進(jìn)策略在空間失效衛(wèi)星檢測領(lǐng)域具有工程應(yīng)用價值。

4 結(jié) 論

本文主要針對失效衛(wèi)星目標(biāo)檢測中存在的小目標(biāo)、光照條件變化以及運動模糊問題，提出了一種基于改進(jìn)Faster R-CNN的失效衛(wèi)星部件目標(biāo)檢測方法。該方法通過將HRNet融入Faster R-CNN中，構(gòu)建并行高分辨率特征提取結(jié)構(gòu)并進(jìn)行多尺度融合，完成了高分辨的特征表征輸出及小目標(biāo)檢測。經(jīng)過實驗對比，本文方法相對改進(jìn)前方法和Cascade R-CNN具有較高的平均準(zhǔn)確率與平均召回率。本文方法建立在接近實際環(huán)境的失效衛(wèi)星數(shù)據(jù)集上，其準(zhǔn)確率可以達(dá)到93.6%，且每秒可以檢測出15張圖片，證明了本文方法在實際工程應(yīng)用中的可行性。但是本文方法還存在不足，主要表現(xiàn)在：本文方法面對極端惡劣光照條件如強曝光或較低照度時，會出現(xiàn)檢測精度下降或誤檢的問題。因此，后續(xù)將研究圖像增強與圖像預(yù)處理算法，將圖像的干擾因素減輕后，再輸入到特征提取網(wǎng)絡(luò)中，以提高模型在極端惡劣光照條件下的魯棒性。