王詩強(qiáng),張世杰
(哈爾濱工業(yè)大學(xué)衛(wèi)星技術(shù)研究所,哈爾濱150080)
由于視覺相對位姿確定系統(tǒng)具有精度高、質(zhì)量輕、功耗低等特點,目前廣泛應(yīng)用于交會對接[1]、在軌服務(wù)[2]等任務(wù)中。
為保證上述任務(wù)的成功,需要持續(xù)地確定兩航天器的相對位姿,許多學(xué)者利用目標(biāo)上安裝的特征靶標(biāo)確定目標(biāo)航天器的相對位姿[3-5]。但非合作目標(biāo)無法安裝特征靶標(biāo),因此需要利用目標(biāo)上的自然特征確定相對位姿,這種方式的前提條件是提取目標(biāo)圖像中的自然特征。非合作目標(biāo)上的自然特征主要包括直線特征和圓特征,對于大部分航天器而言,其星箭對接環(huán)和發(fā)動機(jī)噴管處包含可利用的圓特征,圓特征在圖像中的投影為橢圓。與直線特征相比,橢圓特征在相對位姿確定中可用矩陣進(jìn)行表示,便于數(shù)學(xué)處理,并且通常情況下能得到閉式解[6]。對于圖像中橢圓特征的提取,Xu等[7]在獲取圖像邊緣特征的基礎(chǔ)上,采用隨機(jī)霍夫變換方法提取圖像中航天器上的橢圓特征,雖然隨機(jī)霍夫變換與標(biāo)準(zhǔn)霍夫變換相比提高了提取速度,但是在實際應(yīng)用中,速度仍然不理想。對此,一些學(xué)者利用橢圓長度、凹凸性和曲率等幾何屬性確定屬于橢圓特征的邊緣,通過判斷這些邊緣特征的相似性,對屬于同一個橢圓特征的邊緣進(jìn)行組合[8-9],最后利用直接最小二乘法[10]擬合橢圓參數(shù)。這類方法由于排除了非橢圓邊緣特征,減小了數(shù)據(jù)量,與隨機(jī)霍夫變換相比提高了計算速度,但引入了大量的幾何約束,導(dǎo)致這類方法的輸入?yún)?shù)較多,在實際應(yīng)用中,需要不斷調(diào)整算法參數(shù)來適應(yīng)橢圓形狀的變化。基于梯度區(qū)域生長的方法是一種無參數(shù)的橢圓特征檢測方法,該方法認(rèn)為圖像中的橢圓特征由圖像中某些特殊區(qū)域組成,這些區(qū)域中像素的梯度具有相似的方向,如果若干相鄰區(qū)域合并后,形狀凹凸性保持不變,那么合并后的區(qū)域就可作為一個橢圓假設(shè)[11-12],最后根據(jù)(Number of false alarms,NFA)準(zhǔn)則[13]確定橢圓特征。
上述方法均在圖像的邊緣特征或梯度信息基礎(chǔ)上進(jìn)行橢圓特征提取,由于航天器本體表面的隔熱材料凹凸不平,在陽光照射下會在圖像中產(chǎn)生明暗交替的紋理,這些紋理會使圖像中原本連續(xù)光滑的邊緣特征或梯度方向一致的區(qū)域出現(xiàn)斷裂,導(dǎo)致上述方法難以準(zhǔn)確提取對接環(huán)處的橢圓特征。為此,有必要探索新的橢圓檢測算法。
紋理是圖像的某種局部性質(zhì),是對局部區(qū)域中像素之間關(guān)系的一種度量,其像素灰度或色彩分布一般具有統(tǒng)計意義上的規(guī)律[14]。與邊緣特征和梯度信息相比,利用紋理特征確定兩區(qū)域的邊界可避免紋理圖案對邊界的影響。目前利用紋理特征進(jìn)行區(qū)域邊界檢測已廣泛應(yīng)用到圖像分割領(lǐng)域,主要的方法包括:頻譜法、模型法和統(tǒng)計方法。頻譜法將圖像變換到頻域空間,在不同尺度和不同方向上對圖像中的紋理進(jìn)行分析,得到描述紋理的特征向量,最后將這些特征向量進(jìn)行分類,實現(xiàn)不同紋理區(qū)域的分割,得到紋理邊界[15]。這種方法需要進(jìn)行多尺度、多方向運算,計算量較大,無法滿足交會對接中橢圓特征檢測的實時性要求。模型法中各紋理區(qū)域的灰度分布可表示成一個由多參數(shù)定義的模型,通過統(tǒng)計圖像中各像素的灰度值確定各模型中的參數(shù),從而實現(xiàn)紋理區(qū)域的分割,進(jìn)而確定各區(qū)域之間的邊界[16]。模型法是從各紋理區(qū)域灰度分布的全局特性出發(fā),并不能較好地獲得局部紋理之間的邊界,因此不適用于對接環(huán)處橢圓特征的提取。統(tǒng)計法是從圖像灰度的統(tǒng)計特性和整體出發(fā),發(fā)現(xiàn)紋理存在的某種規(guī)律,其主要思想是通過圖像中灰度級分布的隨機(jī)屬性來描述紋理特征,適用于描述不規(guī)則的自然紋理[17]。統(tǒng)計方法簡單易于實現(xiàn),但復(fù)雜度較高,限制了計算速度。
綜上,本文以對接環(huán)處的圓特征為目標(biāo),利用航天器表面與對接環(huán)區(qū)域的不同紋理特性,探索新的利用紋理邊界檢測的快速橢圓特征提取算法,為驗證算法的精度與快速性,開展仿真試驗,并與典型方法進(jìn)行對比驗證。
(1)
式中:η為歸一化常數(shù)。
因此,提取圖像中紋理邊界點的問題就轉(zhuǎn)化成求式(1)為最大值時bc的坐標(biāo)的問題。
確定橢圓邊界點像素僅解決了橢圓特征提取中像素點的歸屬問題,還需確定橢圓參數(shù)。直接最小二乘法是一種非迭代橢圓參數(shù)擬合方法。
擬合橢圓的數(shù)學(xué)模型為:
Ax2+Bxy+Cy2+Dx+Ey+F=0
(2)
式中:A,B,C,D,E,F分別為與橢圓中心坐標(biāo)、長軸、短軸、長軸與圖像坐標(biāo)系橫軸的夾角5個參數(shù)相關(guān)的系數(shù)。因此,上述模型包含5個未知量,當(dāng)參與擬合的點數(shù)量不少于5時,利用帶約束的最小二乘法即可確定A,B,C,D,E,F的值,進(jìn)而求得橢圓的5個參數(shù)。
綜上所述,式(1)和式(2)構(gòu)成了橢圓特征檢測的數(shù)學(xué)模型。
如前所述,基于邊緣特征和基于梯度區(qū)域生長的橢圓特征檢測方法無法在具有紋理的圖像中檢測橢圓特征。因此,本文利用圖像中的紋理特征,結(jié)合目標(biāo)模型上的對接環(huán)尺寸r和上一時刻的相對位姿信息Rk-1和tk-1,從橢圓特征初始定位、邊界點檢測直線設(shè)置、紋理邊界點提取、粗大誤差去除四個方面,對目標(biāo)航天器圖像中的橢圓特征提取方法進(jìn)行研究。
為了保證提取橢圓特征的準(zhǔn)確性,首先在對接環(huán)所在空間圓上均勻取m個點Pi=[Pix,Piy,Piz]T,i=1,2,…,m,在已知目標(biāo)模型的條件下,很容易獲得這些點在目標(biāo)上的位置。然后,利用上一時刻的相對位姿信息Rk-1、tk-1和相機(jī)參數(shù)矩陣K將這些空間點Pi投影到圖像中。由于兩時刻的相對位姿變化較小,因此這些投影點pi=[piu,piv]T在當(dāng)前圖像中橢圓邊界的附近。至此,確定了橢圓特征的初始位置,并且建立圖像中投影點與空間圓的對應(yīng)關(guān)系。
為了檢測圖像中的橢圓邊界點,首先,在每個投影點pi處建立邊界檢測直線,該直線的方向與pi-1和pi+1連線的中垂線平行,且具有足夠的長度穿過紋理邊界,設(shè)直線的長度為γ個像素。然后,利用式(1)計算直線上各點屬于邊界的概率,以令式(1)取最大值的點作為邊界點。重復(fù)該過程,直到完成所有直線上邊界點的檢測。
為了去除粗大誤差,進(jìn)一步提高橢圓特征的精度,通過RANSAC方法去除邊界點中的粗大誤差點,以最佳一致點集為擬合數(shù)據(jù),利用直接最小二乘法求解橢圓參數(shù),算法的總體結(jié)構(gòu)如圖2所示。
對于星箭對接環(huán)上的點Pi=[Pix,Piy,Piz]T,i=1,2,…,m,利用式(3)將其變換到相機(jī)坐標(biāo)系中:
Qi=RPi+t,i=1,2,…,m
(3)
式中:R為相對姿態(tài)矩陣,t=[tx,ty,tz]T為相對位置向量。
假設(shè)相機(jī)已經(jīng)進(jìn)行標(biāo)定,內(nèi)參數(shù)矩陣為K,對于相機(jī)坐標(biāo)系中的點Qi=[xi,yi,zi]T,i=1,2,…,m,根據(jù)小孔相機(jī)模型,點Qi在圖像中的投影pi可表示為:
(4)
式中:f為相機(jī)鏡頭的焦距,u0和v0為圖像水平和垂直方向上的主點坐標(biāo),μ為像元尺寸。
根據(jù)上述投影理論,將對接環(huán)上的空間點投影到當(dāng)前圖像中,得到m個投影點。m越大,獲得的邊界點數(shù)量越多,擬合出的橢圓參數(shù)越精確,計算時間越長。為權(quán)衡精度與計算時間,令m=40。
第i條邊界點檢測直線由方向向量ki=[kiu,kiv]和投影點pi=[piu,piv]T確定,其中ki通過相鄰兩投影點連線的垂線獲得,如下所示:
(5)
由于圖像是由離散的像素點組成的,因此需要將搜索直線離散化,利用式(6),可計算出邊界點檢測直線上各點的坐標(biāo)bi,j。
(6)
式中:i,j表示第i條邊界點檢測直線上的第j個點,γ表示邊界點檢測直線的長度。
根據(jù)bi,j的坐標(biāo),利用式(7)可獲取該點處圖像的灰度值si,j,并存儲在集合Si中。
(7)
(8)
通過改變序號c的值,利用式(8)可計算出構(gòu)成式(1)的兩部分概率值,進(jìn)而得到式(1)的值。使式(1)為最大值的序號c對應(yīng)的點即為所求邊界點,重復(fù)上述過程,直到完成所有邊界點檢測直線上邊界點的提取。
采用RANSAC方法對邊界點集合中的粗大誤差點進(jìn)行去除。RANSAC方法通過隨機(jī)選擇一組紋理邊界點的方式尋找一致性最好的橢圓參數(shù)。由于直接最小二乘法擬合出的橢圓參數(shù)與數(shù)據(jù)點的坐標(biāo)有關(guān),如果這些數(shù)據(jù)點集中在一個區(qū)域,那么得到的橢圓參數(shù)將有較大的偏差。為了避免這種情況,將所有紋理變換點進(jìn)行編號,并均勻分成4部分,在各部分內(nèi)隨機(jī)選取紋理變換點,避免了數(shù)據(jù)點集中在一個區(qū)域的問題。最后,利用直接最小二乘法進(jìn)行橢圓參數(shù)擬合,得到式(2)中6個參數(shù),并以Sampson誤差作為判斷依據(jù)獲得一致性最好的橢圓參數(shù)。Sampson誤差是一種點到圓錐曲線幾何距離的近似,具有計算簡單的優(yōu)點,根據(jù)文獻(xiàn)[19],其表示形式如下:
(9)
利用合成的目標(biāo)航天器圖像和真實的目標(biāo)航天器圖像進(jìn)行試驗。本章進(jìn)行了3個試驗,分別為:1)參數(shù)分析試驗,為了分析邊界點檢測直線長度對算法性能的影響,在合成圖像中,提取對接環(huán)外環(huán)橢圓,以提取橢圓的參數(shù)精度和提取時間為評價指標(biāo),設(shè)置不同的邊界點檢測直線長度進(jìn)行試驗。2)噪聲試驗,為了驗證算法對噪聲的魯棒性,在合成圖像中,提取對接環(huán)外環(huán)橢圓,以提取橢圓的參數(shù)精度為評價指標(biāo),利用包含噪聲的合成圖像進(jìn)行試驗。3)對比試驗,以提取橢圓的正確性和提取時間為評價指標(biāo),真實圖像中,將本文算法與Velasquez等[8]和P?tr?ucean等[11]的方法進(jìn)行對比。算法由Matlab編寫,在安裝有Windows 10系統(tǒng)的PC機(jī)(I5-480M@2.66GHz,8GB RAM)上運行。
利用合成圖像進(jìn)行試驗時,設(shè)當(dāng)前時刻兩航天器的相對位置為tk=[200 mm,200 mm,5000 mm]T,相對姿態(tài)角為ak=[25°,20°,15°],計算時需將ak變換為相對姿態(tài)矩陣Rk。上一時刻兩航天器的相對位置為tk-1=[190 mm,190 mm,4900 mm]T,相對姿態(tài)角為ak-1=[24°,19°,14°],計算時需將ak-1變換為相對姿態(tài)矩陣Rk-1。目標(biāo)對接環(huán)外環(huán)尺寸為r=300 mm,相機(jī)鏡頭焦距f=25 mm,圖像主點位置u0和v0同為512 pixel,像元尺寸μ=0.012 mm/pixel。合成圖像中的目標(biāo)如圖2所示。
令邊界點檢測直線數(shù)量m=40,驗證不同邊界檢測直線長度γ對算法精度的影響,令γ依次為2,3,…,50 pixel,橢圓參數(shù)的真值由當(dāng)前時刻對接環(huán)幾何模型在圖像中的投影獲得,試驗結(jié)果如圖3~6所示。
試驗結(jié)果表明,當(dāng)γ<5 pixel時,多數(shù)邊界點檢測直線未穿過圖像中對接環(huán)外環(huán)邊界,參與橢圓擬合的數(shù)據(jù)點過少,得到的橢圓參數(shù)誤差較大。當(dāng)γ=5~40 pixel時,邊界點檢測直線全部穿過了圖像中對接環(huán)外環(huán)邊界,參與橢圓擬合的數(shù)據(jù)點數(shù)量總體穩(wěn)定,得到的橢圓參數(shù)誤差變化不大。當(dāng)γ>40 pixel時,部分直線同時穿過了對接環(huán)外環(huán)和內(nèi)環(huán)的邊界,參與橢圓擬合的數(shù)據(jù)點數(shù)量開始下降,使誤差開始增大。橢圓提取時間隨著γ值的增大有增大的趨勢。
由于空間拍攝的圖像中存在噪聲,這些噪聲可認(rèn)為是高斯噪聲。為了驗證算法對噪聲的魯棒性,分別在圖像中增加4%,12%和20%的高斯噪聲,在未對圖像進(jìn)行去噪處理的情況下,利用提出的算法提取目標(biāo)橢圓,結(jié)果如表1所示。
從表1可以看出,對于存在噪聲的圖像,本文所提算法仍能較準(zhǔn)確地提取出目標(biāo)橢圓。因此,本文提出的算法對噪聲具有一定的魯棒性。
利用真實圖像進(jìn)行對比試驗,結(jié)果如圖7~9所示,提出的方法能較準(zhǔn)確地提取出對接環(huán)外環(huán)處的橢圓特征,Velasquez等[8]和P?tr?ucean等[11]的方法提取出了較多錯誤的橢圓特征。在檢測時間上,三種算法的檢測時間分別為2290 ms,2920 ms和96 ms,因此,本文提出的方法優(yōu)于另外兩種方法。
表1 不同等級的高斯噪聲下提取的目標(biāo)橢圓誤差Table 1 Error of ellipse under different noise level
本文提出了一種非合作航天器上橢圓特征的提取方法。該方法通過檢測圖像中對接環(huán)附近的紋理邊界點,去除粗大誤差點后,采用直接最小二乘法得到橢圓的參數(shù)。利用合成圖像和真實圖像開展了仿真試驗。結(jié)果表明,過長或過短的邊界點檢測直線都會影響算法的精度。在對比試驗中,所提算法能夠快速準(zhǔn)確地提取目標(biāo)航天器上的橢圓特征,性能好于兩種對比算法。此外,本文所提算法對圖像噪聲具有一定的魯棒性。因此,本文所提算法為航天器上橢圓特征提取提供了一種新思路。
[1] 錢萍,王惠南. 基于三目視覺測量的航天器交會對接相對位姿確定算法[J]. 宇航學(xué)報, 2010, 31(6):1575-1581. [Qian Ping, Wang Hui-nan. A trinocular vision measurement based relative attitude and position determination algorithm for RVD between spacecraft [J]. Journal of Astronautics, 2010, 31(6): 1575-1581.]
[2] 谷薔薇,張世杰,曾占魁,等. 面向在軌服務(wù)的相對位姿單目視覺確定的凸松弛優(yōu)化方法[J]. 宇航學(xué)報, 2016, 37(6):744-752. [Gu Qiang-wei, Zhang Shi-jie, Zeng Zhan-kui, et al. A convex relaxation optimization method of on-orbit servicing [J]. Journal of Astronautics, 2016, 37(6): 744-752.]
[3] 徐文福,梁斌,李成,等. 基于立體視覺的航天器相對位姿測量方法與仿真研究[J]. 宇航學(xué)報, 2009, 30(4):1421-1428. [Xu Wen-fu, Liang Bin, Li cheng, et al. The approach and simulation study of the relative pose measurement between spacecrafts based on stereo vision [J]. Journal of Astronautics, 2009, 30(4): 1421-1428.]
[4] 張慶君,胡修林,葉斌,等. 基于雙目視覺的航天器間相對位置和姿態(tài)的測量方法[J]. 宇航學(xué)報, 2008, 29(1):156-161. [Zhang Qing-jun, Hu Xiu-lin, Ye Bin, et al. Binocular vision-based relative position and attitude determination between spacecrafts [J]. Journal of Astronautics, 2008, 29(1): 156-161.]
[5] 江剛武,龔輝,王凈,等. 空間飛行器交會對接相對位置和姿態(tài)的在軌自檢校光學(xué)成像測量算法[J]. 宇航學(xué)報, 2007, 28(1):15-21. [Jiang Gang-wu, Gong Hui, Wang Jing, et al. The optical measurement of self-calibration in orbit for spacecraft rendezvous and docking [J]. Journal of Astronautics, 2007, 28(1): 15-21.]
[6] Ma S D. Conics-based stereo, motion estimation, and pose determination [J]. International Journal of Computer Vision , 1993, 10 (1): 7-25.
[7] Xu W F, Xue Q, Liu H, et al. A pose measurement method of a non-cooperative GEO spacecraft based on stereo vision[C]. The 12th International Conference on Control Automation Robotics & Vision, Guangzhou, China, December 5-7, 2012.
[8] Velasquez A F, Luckett J, Napolitano M R, et al.Experimental evaluation of a machine vision based pose estimation system for autonomous capture of satellites with interface rings[C]. AIAA Guidance, Navigation, and Control Conference, Boston, USA, August 19-22, 2013.
[9] Lu C, Hu W. Effective method for ellipse extraction and integration for spacecraft images [J]. Optical Engineering , 2013, 52 (5): 1-18.
[10] Fitzgibbon A,Pilu M, Fisher R B. Direct least square fitting of ellipses [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1999, 21 (5): 476-480.
[11] P?tr?ucean V, Gurdjos P, Von G R G. A parameterless line segment and elliptical arc detector with enhanced ellipse fitting[C]. The 12th European Conference on Computer Vision, Florence, Italy, October 7-13, 2012.
[12] Cai J, Huang P, Chen L, et al. An efficient circle detector not relying on edge detection [J]. Advances in Space Research , 2016, 57 (11): 2359-2375.
[13] P?tr?ucean V. Detection and identification of elliptical structure arrangements in images: theory and algorithms[D]. Toulouse: Académie Technique Militaire,2012.
[14] 劉曉民. 紋理研究及其應(yīng)用綜述[J]. 測控技術(shù), 2008, 27(5):4-9. [Liu Xiao-min. Summary of texture reseaarch [J]. Measurement & Control Technology, 2008, 27(5): 4-9.]
[15] Kaur A, Jindal G. Texturebased image segmentation using gabor filters [J]. International Journal of Engineering Science & Advanced Technology , 2014, 2 (3): 687-689.
[16] Kumar K N, Rao K S, Srinivas Y. Texturesegmentation based on multivariate generalized gaussian mixture model [J]. CMES: Computer Modeling in Engineering & Sciences , 2015, 107 (3): 201-221.
[17] Hua B O,Ma F L, Jiao L C. Research on computation of GLCM of image texture [J]. Acta Electronica Sinica , 2006, 1 (1): 155-158.
[18] Shahrokni A, Drummond T, Fua P. Texture boundary detection for real-time tracking[C]. The 8th European Conference on Computer Vision, Prague, Czech Republic, May 11-14, 2004.
[19] 昊福朝.計算機(jī)視覺中的數(shù)學(xué)方法[M].北京:科學(xué)出版社,2008:380-382.