牟金震,劉宗明,韓飛,周彥,李爽

1.上海航天控制技術研究所,上海 201109

2.上海市空間智能控制技術重點實驗室,上海 201109

3.南京航空航天大學 航天學院,南京 211106

4.湘潭大學 信息工程學院,湘潭 411100

衛(wèi)星由于故障、完全失效或任務結束而被放棄后,停留在空間將成為太空垃圾。與三軸穩(wěn)定的合作目標不同,廢棄衛(wèi)星在空間攝動力作用下,隨著能量耗散可能繞本體最大慣量軸慢旋,此時稱為非合作慢旋目標[1-4]。完成非合作慢旋目標的空間在軌操控,空間機動平臺須通過測量敏感器實現(xiàn)相對位姿態(tài)的確定[5-9]。

單目相機是最簡單的光學傳感器,是大部分航天器上的標準裝備。相比于其他復雜的視覺傳感器,單目相機是空間探測的有效載荷。近年來,國內(nèi)外研究者將單目視覺SLAM (Simultaneous Localization and Mapping)方法[10]進行擴展,成功應用到非合作目標的位姿測量中。Schniter等[11]提出基于EKF-SLAM (Extended Kalman Filter-SLAM) 的非合作航天器位姿估計方法,并進行了目標三維重構仿真。Augenstein等[12]提出一種基于FastSLAM的非合作目標位姿跟蹤和外形重建算法。Chou等[13]將SURF (Speeded Up Robust Features)算法應用于航天器角點提取,并利用SLAM的光束平差方法優(yōu)化位姿。Dor和Tsiotras[14]利用單目SLAM實現(xiàn)空間非合作目標的交匯對接,并基于半物理仿真環(huán)境驗證算法的魯棒性。Tweddle[15]提出ISAM (Incremental Smoothing and Mapping)方法的非合作目標最大慣性主軸測量方法。Thomas等[16]研究了一種單目SLAM算法,在更新相機的位置和姿態(tài)的同時,對目標的三維特征進行跟蹤,用于軌道上衛(wèi)星的近距離自主捕獲任務。郝剛濤等[17]將單目SLAM的貝葉斯濾波軌跡方法應用到翻滾非合作目標相對位姿估計中。劉宗明等[18]利用SLAM的位姿初始化方法,有效解決小視差情況下的單目視覺姿態(tài)估計。劉宗明等[19]又提出基于SLAM構建目標特征數(shù)據(jù)庫,利用當前幀與特征數(shù)據(jù)庫的匹配解決單目位姿估計發(fā)散問題。康國華等[20]提出基于先驗子圖檢測的失效航天器SLAM方法。朱晏辰[21]在單目SLAM的礎上,引入IMU (Inertial Measurement Unit)慣性測量元件對相機的慣性屬性進行測量,通過濾波的方式將視覺與慣導進行融合,從而完成測量尺度信息的恢復,在完全沒有目標先驗信息的情況下,完成對非合作目標的位姿確定。周朋博[22]等融合視覺SLAM與LIME (Low-light Image Enhancement)的圖像增強算法,提出了一種弱光照條件下空間非合作目標的姿態(tài)估計方案。但單目SLAM只適合于20 m以內(nèi)的近距離探測。當探測距離遠超過20 m以后,非合作目標在圖像中所占像素明顯減少,特征提取算法無法有效提取特征點,易導致非合作目標測量失敗。此外,非合作目標處于慢旋的運動狀態(tài),位姿估計在長時間運行后產(chǎn)生累積誤差也不容忽視。

從工程應用角度出發(fā),將非合作慢旋目標位姿估計精度問題解耦成兩個子問題分別進行研究,即如何提升圖像質(zhì)量以獲取更多更高質(zhì)量的特征點,以及如何利用多幀圖像進行聯(lián)合位姿圖優(yōu)化得到更為精確的位姿估計結果。因此,將圖像增強算法與視覺SLAM結合,提出一種基于梯度引導生成式對抗網(wǎng)絡增強的失效衛(wèi)星相對位姿估計ORB-SLAM方法。研究內(nèi)容分為3部分：第1部分介紹梯度引導對抗網(wǎng)絡超分辨模型,并從自然進化的角度提出穩(wěn)定訓練策略；第2部分應用ORB-SLAM算法初始化非合作目標的特征數(shù)據(jù)庫,利用圖優(yōu)化理論構建李代數(shù)空間下的位姿聯(lián)合優(yōu)化方程；第3部分介紹實驗過程與結果。受真實世界圖像超分辨與小樣本學習的啟發(fā),實驗均采用半物理方式設置。

1 基于梯度引導的生成式對抗網(wǎng)絡圖像超分辨方法

1.1 超分辨網(wǎng)絡設計

為提升非合作目標圖像質(zhì)量以獲取更多更高質(zhì)量的特征點,應用圖像超分辨率增強算法是一種有效的手段。但空間目標圖像存在雜散光干擾、對比度弱和高頻信息少等特點,應用傳統(tǒng)方法具有一定的局限性。考慮到空間目標成像中的輪廓不變性,提出一種基于梯度引導生成式對抗網(wǎng)絡 (Generative Adversarial Network, GAN) 的圖像重建模型,模型主要包括：SRGAN[23](Super-resolution Generative Adversarial Network) 網(wǎng)絡分支、梯度引導分支和融合模塊。

算法的生成器網(wǎng)絡模型如圖1所示,相比于SRGAN網(wǎng)絡的生成器模型,其多了一條梯度引導分支,用來處理圖像的梯度信息。梯度引導分支作為先驗引導生成式對抗網(wǎng)絡關注圖像局部結構特征,以達到為模型提供結構特征信息的目的。融合模塊由權重調(diào)節(jié)層與重建層組成。權重調(diào)節(jié)層的作用是調(diào)節(jié)基礎層圖像和梯度圖像的權值,從而保留高頻細節(jié),使得重建結果的特征表示更加突出。重建層的作用是融合成最終的高分辨率圖像。

圖1 梯度引導超分辨率網(wǎng)絡結構

在圖1中,超分辨網(wǎng)絡分成兩個支路進行圖像處理： ① 上方為SRGAN分支，模型中使用的殘差模塊為ESRGAN (Enhanced Super-resolution Generative Adversarial Network)[24]中提出的RRDB (Residual-in-Residual Dense Block)模塊,共級聯(lián)了22個RRDB模塊，RRDB 具有殘差網(wǎng)絡和密集連接的優(yōu)勢,能夠增加網(wǎng)絡深度的同時提高對圖像特征信息的利用； ② 下方為梯度引導分支，模型中使用的殘差模塊為SRGAN中提出的RB (Residual Block) 模塊連接一個卷積層,共級聯(lián)了4個殘差模塊。融合模塊利用滾動引導濾波對兩張圖像分別進行權重圖構造。

1.2 損失函數(shù)

SRGAN分支以感知損失作為優(yōu)化目標,該損失由像素級損失、感知損失和對抗損失三部分加權組合構成。基于像素級損失函數(shù)使用L1損失函數(shù),它有利于值信噪比 (Peak Signal to Noise Ratio, PSNR)評價指標,能夠加快收斂,其表達式為

(1)

式中：LLR表示低分率圖像(LR表示Low-Resolution)；IHR表示高分辨率圖像(HR表示High-Resolution)；G(·)表示生成器。感知損失通過預訓練的VGG (Visual Geometry Group)網(wǎng)絡特征圖譜損失替代了之前基于MSE (Mean-Square Error)的內(nèi)容損失,目的在于提高圖片的視覺質(zhì)量,其表達式為

(2)

式中：φi表示從VGG隱含層提取的特征圖的第i個通道；GM(·)表示梯度運算；Lpercep下標percep表示perception縮寫。對抗損失函數(shù)的表達式為

(3)

梯度引導分支的損失函數(shù)包括像素級損失和對抗損失兩項[25]。基于像素級損失函數(shù)使用L1損失函數(shù),其表達式為

(4)

(5)

綜上所述,網(wǎng)絡最后整體的目標函數(shù)為

(6)

式中：μ、η、γ、β、ξ為平衡參數(shù)。

1.3 優(yōu)化訓練

空間目標圖像特性導致網(wǎng)絡在初始對抗訓階段,生成器的生成能力無法有效提升。本文改進了傳統(tǒng)的對抗訓練,核心思想是將生成器的圖像重建過程看成一種變異操作。變異過程中,重建的圖像當成子代。根據(jù)子代的適應度值F進行自然選擇,即子代的自適應度值F進行升序排列后,剔除“表現(xiàn)”較差的子代,保留“表現(xiàn)”較好的子代,并進化到下一個迭代。自適應度函數(shù)主要關注圖像的質(zhì)量,定義為

F=E[DSR(G(LLR))]

(7)

式(7)的物理意義是利用對抗損失函數(shù)的平均值來反映圖像的質(zhì)量。判別器的損失函數(shù)在訓練過程中不斷升級為最優(yōu),反映了每個進化步驟中生成器的性能。如果生成器得到一個相對較高的適應度值,生成的樣本可以欺騙鑒別器,超分辨結果更加逼真。

2 基于ORB-SLAM的非合作慢旋目標姿態(tài)估計

2.1 ORB-SLAM算法

非合作慢旋目標相對位姿測量中的難點為以下兩點：特征點提取與旋轉變化。因此,特征點提取的快速性、描述子的尺度不變性和旋轉不變性是實現(xiàn)非合作旋轉目標實時測量的基礎。

ORB-SLAM[26-27]中,為了保證特征的不變特性,在多個尺度空間下對圖像特征點進行提取,并且賦予旋轉不變特性的描述子。為了保證特征匹配的尺度不變性,使用尺度因子將當前幀圖像轉換到8個尺度空間上進行FAST (Features from Accelerated Segment Test) 角點提取。為了確保在圖像核心目標區(qū)域角點的均勻分布,對每個尺度的圖像進行網(wǎng)格劃分,將其等分為若干份,在每個網(wǎng)格中至少提取5個角點。

在ORB-SLAM中,KL為所有共視幀的集合；pL為共可見點的集合,通過滑動窗口處理所有共視幀l∈KL、共視地圖點m∈pL構成的最小二乘估計問題,即

subject toXm∈3

(8)

式中：KF為具有可視地圖點的關鍵幀的集合；(j,r)∈JK為匹配的關鍵點；ujk∈2為關鍵幀k中的特征點j的坐標；urk∈2為地圖點r的投影坐標；與3為位置向量3經(jīng)過投影函數(shù)π變換地圖點r的旋轉和平移矩陣；是點m在坐標系N中表示的位置向量；ρ:→為魯棒核函數(shù)；為關鍵特征點j的協(xié)方差矩陣。

2.2 慢旋目標姿態(tài)解算與優(yōu)化

圖2 服務航天器追蹤旋轉目標航天器示意圖

(9)

完成ORB-SLAM特征初始化后,首先構建目標的三維特征數(shù)據(jù)庫。所建立的目標特征庫中每個點包含了其三維坐標信息和ORB特征描述子。在實際測量時,轉為當前幀與特征數(shù)據(jù)庫的準確匹配。

(10)

式中：Tref_cur表示兩幀之間的變換矩陣。

根據(jù)當前考關鍵幀和勻速運動模型估計的當前幀位姿變換為

(11)

假設相機的內(nèi)參為K,上一幀在三維特征數(shù)據(jù)庫的點集為p,其在當前幀中的投影為

(12)

據(jù)此,可以將當前幀的ORB與特征數(shù)據(jù)庫中的公共點對應起來,完成特征接力。利用當前幀中的特征點對相機的位姿進行基于捆集調(diào)整優(yōu)化處理,即

(13)

隨著失效衛(wèi)星旋轉,采用以圖優(yōu)化為基礎的非線性優(yōu)化的方法局部優(yōu)化目標位姿,消除累計誤差。在李代數(shù)空間下建立位姿向量微分擾動方程,獲得測量值與估計值的殘差目標函數(shù),基于貝葉斯法則最大后驗概率和李群與李代數(shù)的對指變換法則,求取位姿向量最優(yōu)。圖優(yōu)化,就是把一個常規(guī)的優(yōu)化問題以圖的形式表達出來。航天器的位姿作為圖的節(jié)點,位姿之間的位姿變換矩陣作為圖的邊[19]。

構建圖優(yōu)化誤差函數(shù)：

(14)

式中：∨表示從矩陣到向量的運算。根據(jù)圖優(yōu)化,假設C為所有邊的集合,那么基于李代數(shù)空間位姿圖優(yōu)化的目標函數(shù)可記為

(15)

式中：Ωe表示關于e的信息矩陣。

當失效衛(wèi)星旋轉一周期后,利用圖像的相似性檢測閉環(huán),進一步精細化修正位姿。利用ORB-SLAM提供的視覺詞袋完成閉環(huán)檢測與相似性變換。接著對當幀進行閉環(huán)位姿優(yōu)化操作。在李代數(shù)空間下定義如下變換矩陣殘差：

(16)

式中：Sref_cur、Scur與Sref分別變換為Tref_cur、Tcur與Tref在李代數(shù)空間的相似性變換矩陣。在李代數(shù)空間下,相似性變換矩陣定義為

(17)

最終的優(yōu)化目標函數(shù)為

(18)

(19)

(20)

同理,校正后的當前幀位姿變換矩陣為

(21)

至此,位姿優(yōu)化的最后一步利用式(10)中的位姿變換關系和式(17)得到的尺度因子,最終校正當前幀與當前關鍵幀之間的變換矩陣為

(22)

3 實驗分析

3.1 實驗設置

文獻[20-22]采用仿真生成的數(shù)據(jù)作為測量系統(tǒng)的輸入,忽略了空間光照的明亮交替變化對測量結果的影響。設置的采集環(huán)境能較為真實的反映了空間環(huán)境。用于模擬失效衛(wèi)星慢旋的高精度三軸轉臺如圖3所示。用于模擬空間失效衛(wèi)星的1∶5模型如圖4所示,其表面貼有熱控多層反光材料。將衛(wèi)星模型固定于轉臺上,以一定的角速度繞豎直軸勻速運動。同時,采用交叉亮度光源,模擬復雜的太空光照環(huán)境。所用設備中,單目相機為奧比中光 Astra S 相機。

圖3 三軸轉臺

圖4 失效衛(wèi)星

應用深度學的超分辨方法進行圖像處理時,需要高/低分辨率的匹配數(shù)據(jù)對。文獻[23-25]通過下采樣將高分辨圖像轉為低分率圖像,訓練過程缺少“真實地面參考”,導致模型的泛化和魯棒性會降低。受“真實世界超分辨”思想的啟發(fā),低分率圖像的獲取直接通過物理設置獲取。由于衛(wèi)星模型已經(jīng)進行等比率縮小,相機與衛(wèi)星的真實距離調(diào)整為4 m即可等效真實環(huán)境中的20 m,相機與衛(wèi)星的真實距離調(diào)整為5 m即可等效真實環(huán)境中的25 m。距離調(diào)整過程中,始終保持相機與目標的相對位姿與光照條件不變。實驗中將4 m 與5 m處采集的旋轉衛(wèi)星序列圖像定義為低分辨圖像,將1 m處采集的旋轉衛(wèi)星序列圖像定義為真實參考高分辨率序列圖像。

實驗過程中,采集相同數(shù)量的圖像(實驗中,每個數(shù)據(jù)集為4 189張,每張圖像的分辨率為640(480)并分別命名為data4、 data5與data1,并將data4與data5作為LR數(shù)據(jù)集,將data1作為HR數(shù)據(jù)集用于訓練,LR數(shù)據(jù)集與HR數(shù)據(jù)集具有一一對應的關系。受“小樣本學習思想”的啟發(fā),隨機挑選1 000張匹配的LR與HR進行翻轉、加入隨機噪聲等操作來增加樣本的多樣性。實驗中先后進行了基于低分辨率序列圖像相對位姿測量、基于梯度引導GAN增強后的超分辨率序列圖像相對位姿測量以及基于真實參考高分辨率序列圖像的相對位姿測量。

3.2 基于梯度引導GAN的圖像超分辨效果驗證

圖5 超分辨效果對比

由于模擬空間失效衛(wèi)星的模型外形過于單一,為了說明本文所提出的利用梯度圖作為先驗引導生成式對抗網(wǎng)絡的超分辨圖方法的有效性,此部分實驗采用1:1的嫦娥衛(wèi)星模型。圖6展示了部分圖像在基準超分辨方法上的運行結果。從上到下依次為低分辨率圖像,通過Bicubic、ERGAN[24]、SPSR[25]、PPON[28]與本文算法重建的圖像。通過觀察可知Bicubic方法只是簡單進行了線性插值運算,可視化效果較差；ESRGAN、PPON與SPSR充分利用了圖像細節(jié)特征,解決了圖像銳化問題。相比之下本文算法重建圖像清晰度更高,增強了紋理細節(jié)信息,得到了最佳的視覺效果。

圖6 與基準超分辨方法的效果對比

表1客觀展示了Bicubic、ESRGAN、PPON、SPSR與本文方法重建圖像的PSNR、SSIM值。從表中可以看出,基于深度學習算法相比Bicubic,其PSNR、SSIM都有提高,這也證實了深度學習算法在圖像超分辨問題上的優(yōu)勢。本文所提方法的PSNR和SSIM較SPSR別提高了1.67 和 0.045。

表1 不同算法的定量結果比較

如圖7所示,ORB-SLAM算法在低分率圖像中初始化困難,平均耗時11 s；ORB-SLAM算法在超分辨后的圖像中初始化相對容易,平均耗時3 s。在圖8(a)中,當目標的紋理邊緣模糊時,圖像丟失細節(jié)信息。因此,ORB-SLAM算法在低分率圖像中所提取的特征點稀少,這樣導致用于相機位姿估計的關鍵幀數(shù)量明顯減少。在圖8(b) 中,經(jīng)過梯度引導GAN網(wǎng)絡增強后的圖像內(nèi)容清晰,其能提供更多的形狀、紋理等細節(jié)信息,視覺效果等同于真實參考(圖8(c))。圖9中,隨著圖像分辨率的增加,用于位姿估計的關鍵幀數(shù)量明顯增多,目標運動軌跡估計效果增強。圖10和圖11中,隨著圖像分辨率的增加,每幀的特征點數(shù)量逐漸增多,對應的重建地圖效果明顯增強,說明了基于梯度引導GAN增強的圖像可有效的實現(xiàn)空間目標較遠距離的相對位姿估計。在圖7～圖10中,為了便于對比,將目標圖像剪切并且調(diào)整為相同的尺寸。

圖7 ORB-SLAM中的初始化結果對比

圖8 ORB-SLAM中特征提取結果對比

圖9 ORB-SLAM中的相機軌跡估計

3.3 空間非合作目標相對位姿測量實驗

基于ORB-SLAM的多幀圖像信息連續(xù)測量方法嚴重依賴特征點的提取與匹配效果,當探測距離遠超過20 m后,圖像內(nèi)容模糊,無法有效提取ORB特征點,在地圖中無法投影足夠多的匹配點對,會導致非合作目標測量的失敗[29]。如前所述,圖像超分辨方法是一種有效的應對措施。將增強后的序列圖作為輸入,驗證了ORB-SLAM方法對失效衛(wèi)星的相對位姿估計準確性和魯棒性。為了便于對比,將等效距離為25 m和20 m處采集的低分辨率圖像、距離為1 m處采集的高分辨率圖像與超分辨后的圖像剪切并調(diào)整為相同的尺寸。圖12與13分別展示了在等效距離為25 m與20 m處的低分辨圖像與超分辨圖像。

圖14中,在等效距離為20 m處,失效衛(wèi)星以20 (°)/s的速度旋轉。由于目標在圖像中所占像少,目標的紋理邊緣模糊(如圖12(b) 所示),導致提取特征點數(shù)量顯著減少,使得目標的姿態(tài)角和運動軌跡的估計結果存在明顯的誤差。此外,失效衛(wèi)星以20 (°)/s的速度旋轉時,觀測面周期性進出視場的時間較快導致累積誤差增大?；谔荻葓D作為先驗引導生成式對抗網(wǎng)絡的超分辨方法增強了圖像的邊緣信息,使超分辨后的圖像內(nèi)容清晰(如圖13(b) 所示),能提供更多的形狀、紋理等細節(jié)信息。在圖14(d) 中, 將x軸與z軸的測量距離等效為[-1 cm, 1 cm],這樣真實的運動軌跡為等效的單位圓軌跡,因此目標運動軌跡估計僅對比與單位圓軌跡的差異[27]。圖15表示測量的旋轉角和擬合的旋轉角之間的擬合殘差曲線,當測量穩(wěn)定后,低分辨圖像的姿態(tài)角擬合誤差最大值為0.9°,而圖像分辨率增強的姿態(tài)角擬合誤差最大為0.1°。

圖12 低分辨圖像

圖13 超分辨圖像

圖14 估計結果對比 (等效距離=20 m,旋轉速度=20 (°)/s)

圖15 擬合殘差對比 (等效距離=20 m,旋轉速度=20 (°)/s)

在圖16中,當?shù)刃Ь嚯x為25 m并且失效衛(wèi)星以20 (°)/s的速度旋轉時,此時目標圖像模糊程度加劇,此外觀測面快速進出視場導致累積誤差加重。在圖17中,當測量穩(wěn)定后,低分辨圖像的姿態(tài)角擬合誤差最大值為1°,而圖像分辨率增強的姿態(tài)角擬合誤差最大為0.2°。圖16和圖17的對比結果表明當?shù)刃Ь嚯x為25 m并且失效衛(wèi)星以20 (°)/s的速度旋轉時,所提方法仍具有較優(yōu)的估計精度和魯棒性。

圖16 估計結果對比 (等效距離=25 m,旋轉速度=20 (°)/s)

圖17 擬合殘差對比 (等效距離=25 m,旋轉速度=20 (°)/s)

圖18和圖19分別表示在等效距離為20 m和25 m,失效衛(wèi)星以25 (°)/s的速度旋轉的姿態(tài)估計結果。隨著目標旋轉速度加快,獲取的目標圖像內(nèi)容模糊程度也隨之加劇,ORB-SLAM算法無法有效提取低分辨率圖像的特征。因此,這里僅對比超分辨與高分辨率序列圖像的姿態(tài)角和運動軌跡的估計結果。通過對比結果可知,基于梯度引導GAN超分辨后的姿態(tài)角和運動軌跡的估計結果逼近真實參考高分辨率序列圖像的相對位姿估計結果。

圖18 估計結果對比 (等效距離=20 m,旋轉速度=25 (°)/s)

圖19 估計結果對比 (等效距離=25 m,旋轉速度=25 (°)/s)

4 結 論

將ORB-SLAM與基于梯度引導GAN圖像增強算法結合,有效解決了探測距離超過20 m的空間非合作慢旋目標相對位姿測量難題。實驗結果表明,等效距離為25 m時,非合作目標的圖像經(jīng)過梯度引導生成式對抗網(wǎng)絡增強后,ORB-SLAM方法可以有效的提取特征點。主要貢獻在于：

1) 提出梯度引導GAN超分辨率網(wǎng)絡結構,改進GAN的訓練方式。

2) 分析ORB-SLAM在非合作目標位姿估計的應用價值以及如何消除ORB-SLAM初始化后的累計誤差。

3) 半物理實驗對在軌應用有重要參考價值。但未來面向在軌應用,仍需進一步考慮空間光照環(huán)境的影響與小樣本問題。因此,后續(xù)將開展針對復雜光照環(huán)境與小樣本條件下的非合作目標相對位姿估計研究。