摘 要:由于空間中失效衛(wèi)星數(shù)量不斷增加,因此需要通過空間對接完成燃料加注以延長壽命。因為視覺測量具有實時性和經(jīng)濟(jì)性,所以廣泛應(yīng)用于對接環(huán)節(jié),但是背景干擾導(dǎo)致視覺測量精度下降。針對以上問題,本文以非合作衛(wèi)星的星箭對接環(huán)和太陽能帆板為顯著目標(biāo),基于YOLO卷積神經(jīng)網(wǎng)絡(luò)對其進(jìn)行目標(biāo)檢測,再采用圖像差分、二值化以及形態(tài)學(xué)操作等方法對2種目標(biāo)進(jìn)行準(zhǔn)確分割,最后進(jìn)行試驗,試驗結(jié)果表明目標(biāo)檢測準(zhǔn)確,圖像分割效果明顯,目標(biāo)圖像中沒有背景干擾,本文方法具有可行性。
關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò);形態(tài)學(xué)操作;圖像分割
中圖分類號:TP 181;TP 391" " " 文獻(xiàn)標(biāo)志碼:A
隨著人類探索太空的力度不斷增強(qiáng),太空中的人造衛(wèi)星數(shù)量相應(yīng)增加,因為燃料耗盡,所以失效衛(wèi)星也相應(yīng)增多。失效衛(wèi)星不僅會占用軌道資源,還會威脅其他衛(wèi)星的安全。在失效衛(wèi)星中有些是合作衛(wèi)星,其可以提供合作信息,與之相反的是非合作衛(wèi)星,難點是針對非合作衛(wèi)星的視覺測量[1]。視覺測量利用光學(xué)成像得到目標(biāo)的大量信息,例如大小、姿態(tài)等[2],但是計算機(jī)不能像人類一樣有強(qiáng)大的識別能力[3]。張澤[4]采用中值濾波、Canny邊緣檢測等方法檢測輪廓,最終的尺寸測量絕對誤差在0.26 mm以內(nèi);He[5]提出將開運(yùn)算和閉運(yùn)算的結(jié)果相減來提取特征的邊緣信息。與傳統(tǒng)方法相比,這些方法效果更加明顯[6]。隨著人工智能的發(fā)展,一些學(xué)者將機(jī)器學(xué)習(xí)引入視覺測量中,以提高自動提取目標(biāo)特征的精度,加快速度[7]。在現(xiàn)有的機(jī)器學(xué)習(xí)方法中,基于深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法應(yīng)用廣泛,提高了目標(biāo)檢測和圖像分割的效率以及精度[8]。因為光照、遮擋和背景噪聲等因素會影響視覺測量,所以精度和速度都會降低。本研究提出了一種基于YOLOv5的非合作衛(wèi)星圖像分割方法。
1 研究方法
本研究基于卷積神經(jīng)網(wǎng)絡(luò)YOLOv5對衛(wèi)星的星箭對接環(huán)和太陽能帆板進(jìn)行目標(biāo)識別,再分別針對其特征進(jìn)行圖像分割。
1.1 目標(biāo)檢測
目標(biāo)檢測是在圖像或視頻中定位和識別一個或多個目標(biāo)對象。其目標(biāo)是在圖像中檢測所有目標(biāo)的位置,并為每個目標(biāo)分配類別標(biāo)簽。目標(biāo)檢測不僅要確定在圖像中是否存在目標(biāo),而且要確定目標(biāo)在圖像中的位置。基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測是常用方法。目標(biāo)檢測的輸入是整個圖像,輸出是目標(biāo)的位置和類別標(biāo)簽。
1.1.1 數(shù)據(jù)集創(chuàng)建
本文的相機(jī)采用Lt-C4040/Lt-M4040型號的CCD灰度相機(jī);鏡頭采用Basler Lens C11-0824-12M-P型號鏡頭。根據(jù)任務(wù)要求搭建等比例縮小的衛(wèi)星模型,如圖1所示。使用相機(jī)拍攝衛(wèi)星模型,在拍攝過程中需要不斷改變衛(wèi)星與相機(jī)的距離和旋轉(zhuǎn)角度。將拍攝的非合作衛(wèi)星圖像導(dǎo)入圖片標(biāo)注工具Labelimg中,繪制外接矩形框,標(biāo)注該矩形框?qū)?yīng)的目標(biāo)名稱。本文共制作809張圖像作為數(shù)據(jù)集,用于后續(xù)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和學(xué)習(xí)。
1.1.2 模型訓(xùn)練
將數(shù)據(jù)集導(dǎo)入YOLOv5中進(jìn)行模型訓(xùn)練。本次訓(xùn)練使用英偉達(dá)RTX3090顯卡,PyTorch1.10.0GPU,CUDAv10.2。在訓(xùn)練前設(shè)置以下訓(xùn)練參數(shù):訓(xùn)練輪次(epochs)為700;訓(xùn)練集比例(train)為0.8,驗證集比例(val)為0.2;單次迭代樣本數(shù)(batch-size)為16。YOLOv5可以輸出檢測目標(biāo)方框位置大小的txt文件,即標(biāo)簽信息(如圖2所示)。在圖2中,第一列為目標(biāo)標(biāo)簽名稱,第二列、第三列分別為目標(biāo)在圖像中所在方框的橫、縱坐標(biāo),第四列、第五列分別為方框的寬度和高度。
1.2 圖像分割
在視覺領(lǐng)域中,須先得到圖像目標(biāo)的有效信息,才能對目標(biāo)進(jìn)行特征點提取、特征匹配和位姿估計等操作,由于YOLOv5檢測后并不能完全剔除目標(biāo)附近的雜亂背景,因此需要分割圖像,得到不包括背景干擾的目標(biāo)圖像,便于后續(xù)圖像處理準(zhǔn)確、高效地獲得目標(biāo)的有效信息。文獻(xiàn)[3]使用了K-Means顏色聚類的方法對非合作航天器進(jìn)行圖像分割,由于本文使用的相機(jī)為灰度相機(jī),所拍攝的圖像均為灰度圖像,因此不能使用K-Means顏色聚類方法。本文基于YOLO目標(biāo)檢測對不同目標(biāo)各提出了一種新的圖像分割方法。選取衛(wèi)星上2個常見特征進(jìn)行分割,即星箭對接環(huán)代表的圓形目標(biāo),以及太陽能帆板代表的矩形目標(biāo)。本文設(shè)計的圖像分割代碼均在Matlab2021a上運(yùn)行。
1.2.1 圓形目標(biāo)分割
因為星箭對接環(huán)總是獨立出現(xiàn),而且圓形特征與其他特征相差較大,所以比較容易識別。對圓形目標(biāo)來說,可以近似認(rèn)為方框的形心為星箭對接環(huán)的中心(圓心),操作步驟包括以下3個。1)根據(jù)標(biāo)簽信息計算方框的中心點,即形心,將該點設(shè)為圓心。2)根據(jù)標(biāo)簽信息計算方框?qū)捀咦钚≈档囊话霝閳A的半徑。3)根據(jù)前2個步驟得到的圓心和半徑畫圓,圓的內(nèi)部保留原圖,外部創(chuàng)建黑色掩膜,將所有像素點灰度值賦值為0,這樣可以免于識別圖像特征,快速得到星箭對接換的圖像。
1.2.2 矩形目標(biāo)分割
太陽能帆板在衛(wèi)星旋轉(zhuǎn)過程中會不斷改變姿態(tài),傳統(tǒng)的方法計算量較大,當(dāng)直線檢測時直線斜率不斷變化且可能存在無窮大等情況,為了解決以上問題,本文提出以下6種矩形目標(biāo)分割方法。
1.2.2.1 圖像差分
在2個衛(wèi)星靠近的過程中,灰度相機(jī)會不斷采集圖像,衛(wèi)星模型會不斷模擬失效衛(wèi)星的運(yùn)動,因此當(dāng)連續(xù)采集的圖像之間的時間間隔很短時,背景的差異也非常小,可以直接對前后2幀圖像做絕對差,得到較為粗糙的差分圖像。這樣能夠剔除圖像中不變的信息,避免對背景圖像建模。根據(jù)目標(biāo)檢測得到的標(biāo)簽信息,保留標(biāo)簽對應(yīng)的目標(biāo)方框的內(nèi)部像素點,將方框外部圖像的灰度值賦值為0,此時,圖像中的有效信息僅為保留的部分圖像。將經(jīng)過以上處理的連續(xù)2幀圖像進(jìn)行差分,得到差分圖像。
1.2.2.2 中心遮擋
星箭對接環(huán)在衛(wèi)星本體上,太陽能帆板對稱地分布在本體兩側(cè),星箭對接環(huán)和衛(wèi)星本體會對太陽能帆板的圖像分割造成強(qiáng)烈干擾。由于上個步驟的差分圖像仍然保留星箭對接環(huán)的部分信息,因此利用星箭對接環(huán)的標(biāo)簽信息將衛(wèi)星本體部分的灰度值賦值為0,創(chuàng)建全黑掩膜來遮擋星箭對接環(huán)和本體部分。
1.2.2.3 二值化
適當(dāng)選取閾值,獲得反映圖像整體和局部特征的二值圖像。所有灰度大于或等于閾值的像素屬于特定物體,設(shè)置其灰度值為255;灰度小于閾值,灰度值為0。使用大津法(OTSU)自動確認(rèn)圖像最佳閾值,對圖像進(jìn)行二值化,得到對比度明顯的二值化圖像,為后續(xù)工作做好準(zhǔn)備。如圖3(a)所示。
1.2.2.4 連通域分析
連通域(Connected Component)是圖像中由像素值相同且位置相鄰的前景像素點組成的圖像區(qū)域。連通區(qū)域分析(Connected Component Analysis,Connected Component Labeling)是找出并標(biāo)記二值圖像中的各連通域。對此時的圖像進(jìn)行連通域分析,即標(biāo)記圖像中連續(xù)區(qū)域,得到各連通域的大小等信息,刪除較小的連通域,繪制其余連通域的最小外接矩形框。
1.2.2.5 膨脹
膨脹為形態(tài)學(xué)操作,在圖像處理中的主要作用是擴(kuò)充物體邊界點。膨脹操作能夠使目標(biāo)增大,可填補(bǔ)目標(biāo)中的空洞。本文使用7 px×7 px大小的矩形結(jié)構(gòu)元素,這樣做會使圖像里的連通域輪廓擴(kuò)大得較為明顯,但是可以有效填充一些裂縫和空洞,免于孔洞填充操作。矩形結(jié)構(gòu)較大也為后續(xù)畫矩形框留有一定的容錯空間。
1.2.2.6 連通域選擇
因為衛(wèi)星旋轉(zhuǎn)導(dǎo)致背景有細(xì)微變化,所以此時在圖像中還存在2個連通域,如圖3(b)所示。其中,1個連通域為背景干擾,由于干擾面積遠(yuǎn)小于所需要的目標(biāo)面積,因此要先選中連通域面積最大的區(qū)域。再次進(jìn)行連通域分析,此時保留最大連通域,說明該連通域為太陽能帆板的外邊界。畫出該連通域的最小外接矩形框。
2 試驗與分析
2.1 目標(biāo)檢測試驗
對衛(wèi)星模型采集圖像來說,使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行目標(biāo)檢測試驗,測試目標(biāo)為星箭對接環(huán)和太陽能帆板。星箭對接環(huán)參與試驗130次,太陽能帆板參與試驗160次,目標(biāo)檢測結(jié)果如圖4所示。從圖4可以看出,目標(biāo)檢測效果非常穩(wěn)定,檢測成功率約為97%,也能確定目標(biāo)所在位置的方框。
本文置信度的計算過程如公式(1)所示。
S= Ne/N" " " " " (1)
式中:S為置信度 ;Ne為成功次數(shù);N為測試次數(shù)。
根據(jù)表1可以計算目標(biāo)檢測的置信度,計算結(jié)果如下。星箭對接環(huán)平均置信度96.92%,太陽能帆板平均置信度94.37%,兩者綜合平均置信度95.51%。從表1可以看出,由于具有旋轉(zhuǎn)不變性,因此圓形目標(biāo)的檢測置信度極高,矩形目標(biāo)檢測效果略低,但是置信度也超過94%,該試驗驗證了本文制作的數(shù)據(jù)集的完備性以及卷積神經(jīng)網(wǎng)絡(luò)模型的可靠性。成功檢測目標(biāo),YOVOv5都會輸出目標(biāo)對應(yīng)的標(biāo)簽信息。
2.2 圖像分割試驗
根據(jù)目標(biāo)檢測的標(biāo)簽信息,針對圓形目標(biāo)和矩形目標(biāo)使用對應(yīng)的方法進(jìn)行圖像分割試驗。使用本文提出的方法可以對星箭對接環(huán)和太陽能帆板進(jìn)行圖像分割,圓形目標(biāo)分割圖像前后對比如圖5所示,矩形目標(biāo)分割圖像前后對比如圖6所示。從圖5和圖6的分割對比結(jié)果來看,圖像分割的效果非常明顯,特別是太陽能帆板外側(cè)的雜亂背景完全剔除,只保留了帆板的信息,在星箭對接環(huán)的圖像分割過程中,因為速度而損失了一些精度,但是也較大程度地完成了圖像分割。該試驗驗證了本文的分割方法的可行性,在無人工介入的情況下完成了全自動的圖像分割任務(wù)。
3 結(jié)語
本研究提出了一種基于YOLO的非合作衛(wèi)星圖像分割方法,旨在減少背景對目標(biāo)的干擾,降低后續(xù)圖像處理、特征提取等步驟的操作難度,對推動非合作衛(wèi)星的視覺測量有積極意義。
參考文獻(xiàn)
[1]翟光,張景瑞,周志成.靜止軌道衛(wèi)星在軌延壽技術(shù)研究進(jìn)展[J].宇航學(xué)報,2012,33(7):849-859.
[2]原彬理.基于雙目立體視覺的普通工件圖像匹配與定位[D].哈爾濱:哈爾濱理工大學(xué),2018.
[3]黃侃.基于雙目視覺的非合作航天器結(jié)構(gòu)識別與位姿測量[D].北京:北京理工大學(xué),2021.
[4]張澤,楊澤民,徐典興,等.基于雙目視覺的化學(xué)銑削零件輪廓測量[J].組合機(jī)床與自動化加工技術(shù),2022(2):54-58.
[5]HE Y B, ZENG Y J, CHEN H X, et al.Research on improved edge"extraction algorithm of rectangular piece[J]. International Journal of modern physics C,2018,29(1):1850007.
[6]DU X, LIANG B, XU W, et al.Pose measurement of large non-cooperative satellite based on collaborative cameras[J].Acta Astronautica,2011, 68(11-12):2047-2065.
[7]DU H, HU H, WANG D, et al.Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional"neural networks[J].Journal of Ambient Intelligence and Humanized Computing,2023,14(6):6959-6973.
[8]WANG J, ALSHAHIR A, ABBAS G, et al.A deep recurrent learning-based region-focused feature detection for enhanced target"detection in multi-object media[J].Sensors,2023,23(17):7556.