鄧 爽, 王 波, 董秋雷,3*
在進行衛(wèi)星的對接任務時,對衛(wèi)星的位姿測量是其中非常重要的一環(huán).在對衛(wèi)星進行位姿測量后,對接目標可以依據(jù)衛(wèi)星位姿調(diào)整自己的姿態(tài)進行精準對接.針對合作型衛(wèi)星,可以在衛(wèi)星上加裝定位跟蹤裝置,讓對接目標能自動追蹤衛(wèi)星的位姿.非合作型衛(wèi)星不一定存在定位追蹤裝置,所以只能通過對接目標的攝像頭拍攝到的圖片對衛(wèi)星進行定位.由于衛(wèi)星表面一般覆蓋著聚酰亞胺的高性能聚合物材料與金屬材料復合而成的薄膜,這種薄膜是反光材質(zhì),在太空背景中對接目標打出的單一光源下會出現(xiàn)復雜的光照紋理,并且在不同角度觀測下紋理會不同.傳統(tǒng)視覺定位方法依賴SIFT特征點[1]的提取與匹配,然而在這種背景條件下會產(chǎn)生大量錯誤匹配點.衛(wèi)星作為一種特殊的設備,一般在正表面都會存在對接環(huán)和安裝部件,目前關于衛(wèi)星位姿測量的研究主要針對衛(wèi)星上的特殊裝置.
近年來,研究者開展了大量有關視覺位姿測量的研究工作[2-5].文獻[3]利用雙目相機拍攝到的衛(wèi)星圖像提取衛(wèi)星對接環(huán)和十字力架,并直接由對接環(huán)和十字力架的交點進行雙目重建計算衛(wèi)星位姿.文獻[4]利用單目攝像頭拍攝到的對接環(huán)進行重建,并依據(jù)已知的衛(wèi)星輪廓邊長篩選得到三維對接環(huán)模型,并依此得到衛(wèi)星姿態(tài).文獻[5]同樣利用單目攝像頭拍攝到的衛(wèi)星對接環(huán)進行重建,并利用已知的對接環(huán)半徑篩選得到對接環(huán)三維信息.文獻[3-5]都利用了衛(wèi)星不普遍存在的特征,比如十字力架,已知的輪廓邊長和對接環(huán)半徑.對于非合作型衛(wèi)星,這些已知信息是無法得到的.除此之外,這些方法都利用簡單的Canny邊緣檢測方法[6]提取對接環(huán)橢圓特征.由于衛(wèi)星表面是反光材質(zhì),在單一光源下會產(chǎn)生復雜的紋理,這種復雜紋理會影響Canny邊緣檢測算子,從而無法得到精確的對接環(huán)橢圓.文獻[4]利用了衛(wèi)星的輪廓信息,然而在衛(wèi)星距離目標較近時,衛(wèi)星的輪廓會無法觀測.
基于上述問題,本方法在雙目相機拍攝的圖像中利用衛(wèi)星普遍存在的特征(對接環(huán)外環(huán),衛(wèi)星面板標志點)進行位姿測量.本方法為解決衛(wèi)星表面復雜的光照紋理影響對接環(huán)識別的問題,利用了一種先進的橢圓識別方案.由于衛(wèi)星距離對接目標距離較近時,衛(wèi)星面板標志點已無法檢測,而這時衛(wèi)星表面的復雜紋理影響較小,所以利用快速的特征檢測算子ORB特征[7]進行圖像的特征點檢測和匹配,以計算衛(wèi)星的位姿.除此之外,此方法還利用光流追蹤法[8]和卡爾曼濾波器[9]優(yōu)化姿態(tài)結果,進一步提升姿態(tài)估計的精確度,讓衛(wèi)星和對接目標實現(xiàn)更精確的對接.
已知雙目相機系統(tǒng)中左、右相機的內(nèi)參數(shù)矩陣分別為Kl和Kr,雙目攝像頭的畸變參數(shù)矩陣Dl和
Dr,以及雙目相機之間的旋轉(zhuǎn)矩陣R和平移向量t,則雙目相機的攝像機矩陣Pl和Pr為:
(1)
雙目相機基礎矩陣F為:
(2)
圖1 本文方法流程圖Fig.1 The flowchart of the proposed method
的情況,則當前幀會檢測和匹配ORB特征點以備用.若當前幀不能看見面板標志點,則依據(jù)左相機當前幀圖像檢測到的ORB特征點和左相機上一幀圖像ORB特征點的匹配來進行位姿測量,并且會利用檢測到的對接環(huán)外環(huán)橢圓優(yōu)化位姿結果.對于非初始幀都會在計算完衛(wèi)星位姿后利用卡爾曼濾波器優(yōu)化位姿結果.
圖2為衛(wèi)星面板示意圖.由于衛(wèi)星面板為反光材質(zhì),對接環(huán)外環(huán)邊緣會被高光覆蓋,所以需要從高光區(qū)域中正確檢測出橢圓.本方法采用文獻[10]提出的高穩(wěn)定性橢圓檢測方法.此方法首先對圖像計算每個像素的梯度垂直方向,作為像素的邊緣方向,并將邊緣方向能形成弧線的區(qū)域記為弧線像素區(qū)域,擬合出弧線像素區(qū)域的局部直線線段,記為弧支撐線段.然后連接潛在地屬于同一橢圓的弧支撐線段并分組,得到弧支撐線段組.之后采用兩種方法擬合初始橢圓:選擇具有顯著橢圓形狀特征的弧支撐線段組擬合初始橢圓和全局搜索能匹配的多個弧支撐線段組擬合初始橢圓,通過初始橢圓在參數(shù)空間的聚類將初始橢圓合并得到橢圓候選集.最后在橢圓候選集中剔除質(zhì)量不高的橢圓并對剩下橢圓的參數(shù)進行優(yōu)化.
圖2 衛(wèi)星面板示意圖Fig.2 The diagram of the satellite panel
如圖2所示,衛(wèi)星面板普遍存在的面板標志點主要為邊緣角點和安裝部件中心點.
1)邊緣角點提?。菏紫壤没舴蛑本€法[11]檢測兩幅圖中直線參數(shù)累加器值最大的各4條直線,作為衛(wèi)星面板輪廓的4條邊.然后計算4條邊相交的4個交點.在左相機圖像中選定4個交點的其中一個點作為面板標志點pl,并利用基礎矩陣計算此點在右相機圖像中對應的對極線lr:
lr=Fpl
(3)
并在右相機圖像4個交點中選取離lr最近的點作為面板標志點pr.
2)安裝部件中心點提?。?由于安裝部件一般是較小的黑色斑點,所以利用加入顏色篩選,面積篩選和曲率篩選的斑點檢測法[12]檢測兩幅圖中的候選斑點.在左相機圖像的候選斑點中選取一個作為面板標志點pl,與上述一樣計算此點在右相機圖像中對應的對極線lr,選取右相機圖像中距離lr最近的候選斑點,作為右相機圖像面板標志點pr.
(4)
然后將ATA進行特征分解得到特征值λi(i=1,2,3,4)和對應的特征向量ξi(i=1,2,3,4).從λi中選取最小值λmin=min (λi),并得到λmin對應的特征向量ξmin,則:
(5)
為:
(6)
在左相機坐標系下,兩個橢圓錐面的圓截面單位法向量分別為:
(7)
(8)
最后得到衛(wèi)星位姿為:
(9)
(10)
為了得到此幀ORB特征點的三維坐標,首先對左相機圖像和右相機圖像分別進行ORB特征點檢測,將兩幅圖像的ORB特征點通過暴力匹配得到初始匹配特征點.然后對所有初始匹配特征點進行雙目重建得到初始匹配點三維坐標.由于ORB特征點在衛(wèi)星面板上,依此條件篩選三維點,并將三維點和與之對應的圖像ORB匹配點一并保存用于下一幀的處理.
為模擬衛(wèi)星在太空中對接場景,本實驗在一個密閉黑暗空間中進行.衛(wèi)星為模擬人造衛(wèi)星,并被固定在機械滑軌裝置的滑塊上.雙目相機被固定在滑軌一端,正向面對衛(wèi)星面板.雙目相機中間有單一光源打向衛(wèi)星面板.在實驗過程中,衛(wèi)星將從距離雙目相機中心7 m處勻速運動到距離雙目相機中心3 m處,且衛(wèi)星在移動過程中做繞衛(wèi)星中心軸勻角速度自旋轉(zhuǎn)運動.這樣能檢驗定位方法在衛(wèi)星位移和旋轉(zhuǎn)上的估計精度.雙目相機會在每隔5 s采樣一幀圖像對,每兩幀之間衛(wèi)星移動大約5 cm,旋轉(zhuǎn)10°.雙目相機會將采樣的圖像對輸入個人電腦以供計算位姿.
本實驗采用的個人電腦型號為MECHREVO NX6,處理器為Intel i7-8700,內(nèi)存為16 GB,操作系統(tǒng)為Windows10 64位.本方法采用c語言編寫,并用Visual Studio 2017執(zhí)行.
表1顯示了衛(wèi)星從距離雙目相機中心7 m處勻速運動到距離雙目相機中心3 m處所有幀的位姿(距離和旋轉(zhuǎn)角)平均誤差,以及前后幀間相對位姿的平均誤差.由于當衛(wèi)星在距離雙目相機較遠時比距離雙目相機較近時特征紋理更為模糊,所以衛(wèi)星位姿測量精度在衛(wèi)星距離雙目相機較遠時會更差.所以在實驗中,本方法不僅測量所有幀位姿的平均誤差之外,還會測量在衛(wèi)星距離雙目相機不同距離閾值內(nèi)的位姿平均誤差.圖3和圖4分別展示了衛(wèi)星在7~5 m間和在5~3 m間真實距離和計算距離的逐幀對比折線圖.圖5和圖6分別展示了衛(wèi)星在7~5 m間和在5~3 m間真實旋轉(zhuǎn)角和計算旋轉(zhuǎn)角的逐幀對比折線圖.表2展示了衛(wèi)星在7米到5米間和在5米到3米間位姿平均誤差和前后幀間相對位姿的平均誤差.從表1中可以看出本方法在估計衛(wèi)星對接過程中的位姿中能夠保證較高的精度,并且前后幀的相對位姿估計準確且穩(wěn)定.圖3~圖6和表2說明了衛(wèi)星距離雙目相機越近,位姿測量會越準確.在衛(wèi)星距離對接目標較遠時對接目標只需要了解衛(wèi)星的大致方位,所以此時對衛(wèi)星位姿的精度要求不高.
圖3 7~5 m閾值內(nèi)的真實距離和計算距離Fig.3 The real distance and the calculated distance in 7~5 m
表1 衛(wèi)星位姿測量的平均誤差Tab.1 The average errors of satellite pose measurement
圖4 5~3 m閾值內(nèi)的真實距離和計算距離Fig.4 The real distance and the calculated distance in 5~3 m
圖5 7~5 m閾值內(nèi)的真實角度和計算角度Fig.5 The real angles and the calculated angles in 7~5 m
圖6 5~3 m閾值內(nèi)的真實角度和計算角度Fig.6 The real angles and the calculated angles in 5~3 m
表2 在不同距離閾值中衛(wèi)星位姿測量的平均誤差Tab.2 The average errors of satellite pose measurement under different distance thresholds
表3顯示了衛(wèi)星從距離雙目相機中心7 m處勻速運動到距離雙目相機中心3 m處所有幀位姿測量的平均運行時間.由于當衛(wèi)星在距離雙目相機較遠時在圖像中顯示區(qū)域較小,所以位姿測量運行時間在衛(wèi)星距離雙目相機較遠時會更短.所以在實驗中,本方法不僅測量所有幀衛(wèi)星位姿測量的平均運行時間之外,還會測量在衛(wèi)星距離雙目相機不同距離閾值內(nèi)位姿測量的平均運行時間.表4展示了衛(wèi)星在7~5 m間和在5~3 m間位姿測量的平均運行時間.表3說明了本方法運行較為高效.在每一幀位姿測量的過程中,主要花費時間集中在處理圖像和檢測橢圓中,其余算法運行時間較短.表4說明了在衛(wèi)星距離雙目相機距離越近,位姿測量平均時間會越長,其中檢測衛(wèi)星對接環(huán)橢圓和標志點的運行時間顯著加長.但是這個運行時間仍大幅小于每兩幀之間的采樣間隔時間,所以本方法的運行時間不會影響對接任務的效率.
表3 衛(wèi)星位姿測量的平均運行時間Tab.3 The average running time of satellite pose estimation
表4 在不同距離閾值中衛(wèi)星位姿測量的平均運行時間Tab.4 The average running time of satellite pose estimation under different distance thresholds
由于太空環(huán)境中光源單一,且衛(wèi)星表面一般為反光材質(zhì),在對接任務中對衛(wèi)星進行準確的位姿測量是較為困難的.本文提出了一種高效且穩(wěn)定的衛(wèi)星雙目位姿測量方法.本方法利用衛(wèi)星固有的特征(對接環(huán)以及面板標志點)進行位姿測量,并且引入ORB特征點、光流追蹤法和卡爾曼濾波模型以增強算法魯棒性.仿真實驗結果驗證了本文方法的有效性.