袁萌萌，張澤旭

(哈爾濱工業(yè)大學(xué)航天學(xué)院，哈爾濱 150001)

0 引 言

近年來(lái),隨著人類對(duì)太空資源探索、開發(fā)及利用的需求不斷增加,發(fā)射衛(wèi)星的數(shù)量也與日俱增,因此對(duì)于故障衛(wèi)星的在軌修復(fù)、捕獲移除與功能衛(wèi)星碰撞風(fēng)險(xiǎn)高的報(bào)廢衛(wèi)星、碎片清除等自主近距離操作任務(wù)成為各航天機(jī)構(gòu)的關(guān)注熱點(diǎn)[1]。為了保障這些任務(wù)的順利實(shí)施,執(zhí)行自主近距離操作的前提是對(duì)空間目標(biāo)進(jìn)行參數(shù)識(shí)別和測(cè)量[2-3]。通常衛(wèi)星上的部件都具有一定特征且執(zhí)行不同的功能,如太陽(yáng)能帆板、主體、星箭對(duì)接環(huán)等,識(shí)別出這些部件對(duì)抓捕、對(duì)接、維修等具有非常重要的意義[4-5]。

在星載資源有限的情況下,相機(jī)是廣泛使用的敏感器,智能感知技術(shù)的快速發(fā)展使得借助深度學(xué)習(xí)方法可以從圖像中高精度地識(shí)別出空間目標(biāo)各部件[6-9]。文獻(xiàn)[10]提供了一個(gè)空間圖像數(shù)據(jù)集,對(duì)3 117張衛(wèi)星和空間站圖像進(jìn)行標(biāo)注用于空間目標(biāo)檢測(cè)、分割和部組件識(shí)別。但圖像是三維目標(biāo)在二維平面的映射,在二維圖像上識(shí)別出特征部位后無(wú)法提供準(zhǔn)確的空間位置。三維點(diǎn)云彌補(bǔ)了這一不足,在二維圖像的基礎(chǔ)上增加了深度信息,更有利于后續(xù)的位姿測(cè)量,因此,三維點(diǎn)云的分類和三維模型上的目標(biāo)部件識(shí)別具有重要的價(jià)值和意義[11]。

基于特征描述的三維點(diǎn)云識(shí)別過(guò)程中涉及的關(guān)鍵步驟就是3D特征描述符的構(gòu)建,它對(duì)于識(shí)別過(guò)程的性能和結(jié)果有顯著影響。目前三維特征描述符主要分為基于全局特征的和基于局部特征的。三維全局特征描述符依賴于整個(gè)三維點(diǎn)云,對(duì)整體的幾何信息進(jìn)行編碼,可以更好地捕獲遠(yuǎn)處點(diǎn)之間的關(guān)系;而局部特征描述符對(duì)點(diǎn)云中的關(guān)鍵點(diǎn)使用鄰域幾何信息(比如表面法線或曲率等)進(jìn)行編碼,對(duì)遮擋和噪聲比全局特征更具有魯棒性,但會(huì)帶來(lái)更高的計(jì)算成本。Ding等[12]提取目標(biāo)點(diǎn)云和模板點(diǎn)云的點(diǎn)快速特征直方圖(Fast point feature histogram, FPFH)特征,采用采樣一致性初始配準(zhǔn)算法(Sample consensus initial alignment, SAC-IA)對(duì)每個(gè)模板點(diǎn)云和目標(biāo)點(diǎn)云進(jìn)行粗匹配,選取精度最高的模板點(diǎn)云,之后使用迭代最近點(diǎn)算法(Iterative closest point, ICP)進(jìn)行精細(xì)匹配來(lái)實(shí)現(xiàn)準(zhǔn)確檢測(cè)空間目標(biāo)的AKE噴嘴部件。Huang等[13]結(jié)合了FPFH描述符和SVM學(xué)習(xí)算法來(lái)檢測(cè)場(chǎng)景點(diǎn)云中的對(duì)象,在雜亂的工業(yè)場(chǎng)景目標(biāo)識(shí)別方面取得了有效的結(jié)果。Wohlkinger等[14]針對(duì)實(shí)時(shí)三維模型類別識(shí)別問(wèn)題引入了一種新的全局描述符ESF(Ensemble of shape functions),將角度、面積和距離3種形狀函數(shù)集合到一起產(chǎn)生了一種更加高效、更具有表達(dá)性的描述符,能在快速、魯棒的情況下對(duì)深度傳感器的目標(biāo)進(jìn)行分類。為了克服局部和全局描述符的缺點(diǎn),Hadji等[15]提出了局部到全局描述符(Local-to-global descriptor, LGS),更穩(wěn)健地捕獲目標(biāo)的精確結(jié)構(gòu),同時(shí)對(duì)雜亂和遮擋保持魯棒性。Himmelsbach等[16]設(shè)計(jì)了一種利用點(diǎn)云的局部和全局特性的新的特征描述符LGPFH(Local and global point feature histog-ram),被證明非常適合于大型三維點(diǎn)云場(chǎng)景中的目標(biāo)檢測(cè)。

也有學(xué)者利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)場(chǎng)景中對(duì)目標(biāo)識(shí)別,先對(duì)場(chǎng)景點(diǎn)云進(jìn)行分割提取出單個(gè)目標(biāo),再通過(guò)支持向量機(jī)、馬爾可夫隨機(jī)場(chǎng)(Markov random field, MRF)和隨機(jī)森林等模型對(duì)樣本特征進(jìn)行學(xué)習(xí)完成點(diǎn)云多類別識(shí)別。還有學(xué)者借用深度學(xué)習(xí)實(shí)現(xiàn)點(diǎn)云識(shí)別,文獻(xiàn)[17]提出了PointNet框架,可以運(yùn)用在形狀分類、零件分割、場(chǎng)景分割等許多基準(zhǔn)數(shù)據(jù)集的場(chǎng)景下。文獻(xiàn)[18]在三維激光點(diǎn)云中使用基于殘差學(xué)習(xí)的卷積網(wǎng)絡(luò)模型對(duì)點(diǎn)云進(jìn)行分類,再利用馬爾可夫隨機(jī)場(chǎng)對(duì)分類結(jié)果進(jìn)行優(yōu)化,提高了點(diǎn)云語(yǔ)義分割的準(zhǔn)確率。將點(diǎn)云投影到二維圖像中可以借助基于視圖的成熟的網(wǎng)絡(luò)框架,這樣可以將三維點(diǎn)云識(shí)別任務(wù)簡(jiǎn)化為二維識(shí)別任務(wù)。文獻(xiàn)[19]在MVCNN中使用CNN生成每個(gè)二維視圖的描述符,將多視圖特性聚合到一個(gè)緊湊的3D全局描述符中實(shí)現(xiàn)三維點(diǎn)云分類。Wei等[20]將多視圖視為圖節(jié)點(diǎn),設(shè)計(jì)了圖卷積網(wǎng)絡(luò)View-GCN聚合多視圖特征來(lái)學(xué)習(xí)全局形狀描述符用于三維點(diǎn)云分類。

本文借助多視圖的思想,提出了一種三維點(diǎn)云與圖像雙模態(tài)融合的空間目標(biāo)部件識(shí)別方法,結(jié)構(gòu)如圖1所示。首先,采用DeepLabv3+網(wǎng)絡(luò)[21]對(duì)二維高分辨率圖像進(jìn)行分割,實(shí)現(xiàn)空間目標(biāo)部件的二維識(shí)別。其次,將三維重建點(diǎn)云投影至二維圖像中,通過(guò)最近鄰查找將像素點(diǎn)語(yǔ)義標(biāo)簽傳遞給對(duì)應(yīng)的三維點(diǎn),實(shí)現(xiàn)三維點(diǎn)云與二維圖像目標(biāo)間的語(yǔ)義關(guān)聯(lián)。最后,對(duì)具有語(yǔ)義信息的三維點(diǎn)云使用全連接條件隨機(jī)場(chǎng)進(jìn)行優(yōu)化,降低重建位姿誤差和二維目標(biāo)部件識(shí)別誤差帶來(lái)的影響,得到更加精細(xì)的點(diǎn)云語(yǔ)義標(biāo)記結(jié)果,并融合多個(gè)姿態(tài)下的三維點(diǎn)標(biāo)簽得到最終的點(diǎn)云部件識(shí)別結(jié)果。

圖1 本文方法總體流程圖Fig.1 Overall flow chart of the proposed method

1 基于Deeplabv3+的空間目標(biāo)部件二維識(shí)別

本文通過(guò)對(duì)空間目標(biāo)二維圖像進(jìn)行語(yǔ)義分割來(lái)實(shí)現(xiàn)對(duì)目標(biāo)部件的二維識(shí)別,為圖像中的每一個(gè)像素分配語(yǔ)義標(biāo)簽。Deeplabv3+是目前分割精度比較領(lǐng)先的語(yǔ)義分割算法,其在多個(gè)研究中展示出較好的圖像分割性能,本文也將基于Deeplabv3+網(wǎng)絡(luò)進(jìn)行二維圖像上的空間目標(biāo)部件識(shí)別。

Deeplabv3+網(wǎng)絡(luò)引入了編碼器-解碼器結(jié)構(gòu),整體網(wǎng)絡(luò)框架如圖2所示。編碼器階段通過(guò)骨干網(wǎng)絡(luò)來(lái)提取圖像特征信息,本文分割網(wǎng)絡(luò)的輸入是分辨率為1024×1024的空間目標(biāo)高分辨率圖像,卷積參數(shù)量會(huì)增加,考慮到模型計(jì)算效率和內(nèi)存的問(wèn)題,骨干網(wǎng)絡(luò)使用輕量級(jí)特征提取網(wǎng)絡(luò)MobileNet-v2[22]。通過(guò)空間金字塔池化模塊中并行的不同擴(kuò)張率的空洞卷積對(duì)多尺度上下文信息進(jìn)行編碼,使得卷積輸出包含的圖像特征信息范圍更大。解碼器的作用主要是為了還原特征圖的尺寸,對(duì)模型結(jié)果只起到了微調(diào)作用,應(yīng)使用較少的參數(shù)來(lái)減少計(jì)算量。在解碼器中,對(duì)拼接前的低級(jí)有效特征層使用1×1卷積減小通道數(shù),并且在對(duì)拼接結(jié)果利用3×3卷積過(guò)程中使用深度可分離卷積來(lái)減少參數(shù)量,最后進(jìn)行4倍雙線性插值上采樣來(lái)精細(xì)化分割邊界細(xì)節(jié)信息得到分割圖。

圖2 圖像語(yǔ)義分割網(wǎng)絡(luò)框架Fig.2 Image sematic segmentation framework

圖3 點(diǎn)云與圖像語(yǔ)義傳遞Fig.3 Semantic labels from image to point cloud

圖4 3D-2D投影Fig.4 3D-2D projection

在圖像語(yǔ)義分割任務(wù)中,常用到的損失函數(shù)是交叉熵?fù)p失,但是交叉熵?fù)p失函數(shù)并不能很好地解決樣本類別不均衡的問(wèn)題。在空間目標(biāo)圖像中恰恰就存在這種問(wèn)題,各個(gè)部件的大小不一,在圖像中會(huì)出現(xiàn)像素不均衡的問(wèn)題,比如目標(biāo)主體或帆板在圖像中的占比就遠(yuǎn)大于對(duì)接環(huán),如圖5所示。它們的分割難度也會(huì)有所不同。這種不均衡問(wèn)題會(huì)使得各部件分割難度有所不同,像素占比大的部件因其數(shù)量上的優(yōu)勢(shì)而主導(dǎo)模型的訓(xùn)練,使模型性能退化,訓(xùn)練效率降低。

圖5 數(shù)據(jù)集樣本Fig.5 Samples of the dataset

焦點(diǎn)損失(Focal loss)函數(shù)利用動(dòng)態(tài)加權(quán)的方式來(lái)解決同一張圖像中不同語(yǔ)義的像素個(gè)數(shù)不均衡以及學(xué)習(xí)的難易程度不同的問(wèn)題,在交叉熵?fù)p失的基礎(chǔ)上添加權(quán)重調(diào)節(jié)因子,讓模型更加關(guān)注難樣本的學(xué)習(xí),提升分割精確度。焦點(diǎn)損失函數(shù)數(shù)學(xué)表達(dá)式為

LFl(pi)=-α(1-pi)γyilgpi

(1)

式中:α為類別間的權(quán)重系數(shù),用來(lái)平衡正負(fù)樣本;yi和pi為第i個(gè)類別的標(biāo)簽和網(wǎng)絡(luò)輸出概率值;γ參數(shù)調(diào)節(jié)難易樣本的權(quán)重。設(shè)置α=0.5,γ=2。

本文采用Focal loss和Dice loss結(jié)合的損失函數(shù),除了使模型更好地學(xué)習(xí)難樣本之外,利用Dice loss學(xué)習(xí)減輕不平衡像素間的類分布。Dice loss是衡量?jī)蓚€(gè)樣本之間的重疊部分,這與評(píng)價(jià)指標(biāo)交并比(Intersection over uion,IoU)類似。數(shù)學(xué)表達(dá)式為

(2)

L=LFl+LDl

(3)

2 三維點(diǎn)云與圖像目標(biāo)間2D-3D語(yǔ)義關(guān)聯(lián)

假設(shè)三維點(diǎn)云P={Pwi,1≤i≤n}是由空間目標(biāo)單目圖像序列I={Ik,1≤k≤m}通過(guò)三維重建得到的稠密點(diǎn)云,同時(shí)獲得相機(jī)反演位姿{(lán)Rk,Tk}。通過(guò)針孔相機(jī)模型可以建立三維點(diǎn)云映射到二維圖像像素點(diǎn)的投影變換關(guān)系,三維空間點(diǎn)與對(duì)應(yīng)的二維像素點(diǎn)之間存在如下對(duì)應(yīng)關(guān)系:

(4)

式中:λ是比例因子;ui(ui,vi)為圖像中的像素坐標(biāo);K為相機(jī)內(nèi)參;Pci(Xci,Yci,Zci)為相機(jī)坐標(biāo)系下的點(diǎn);Pwi(Xwi,Ywi,Zwi)為世界坐標(biāo)下的點(diǎn)。

圖像中的目標(biāo)實(shí)際上是對(duì)應(yīng)3D點(diǎn)在2D像平面上的投影,解算出目標(biāo)和相機(jī)之間的相對(duì)位姿就可以將3D點(diǎn)和2D點(diǎn)相關(guān)聯(lián)。二維圖像語(yǔ)義分割可以得到圖像中每個(gè)像素點(diǎn)所屬的類別{ui,vi,li},通過(guò)點(diǎn)云降維圖像的方式結(jié)合投影變換關(guān)系可以將2D像素點(diǎn)的語(yǔ)義標(biāo)簽傳遞到3D點(diǎn),給三維點(diǎn)云中的每一個(gè)點(diǎn)Pwi賦予對(duì)應(yīng)的類別{Xwi,Ywi,Zwi,li}。但是重建過(guò)程中得到的相機(jī)反演位姿存在誤差,會(huì)使三維點(diǎn)云映射到二維圖像平面出現(xiàn)投影誤差,導(dǎo)致二維投影點(diǎn)與圖像目標(biāo)像素之間存在偏移。圖3(a)展示了點(diǎn)云二維投影點(diǎn)與圖像中目標(biāo)區(qū)域之間存在像素偏差,部分點(diǎn)云投影沒(méi)有與之直接關(guān)聯(lián)的mask區(qū)域像素點(diǎn),無(wú)法與三維點(diǎn)進(jìn)行語(yǔ)義關(guān)聯(lián)從而帶來(lái)三維點(diǎn)云的語(yǔ)義信息缺失。

本文要解決的問(wèn)題是在重建點(diǎn)云中識(shí)別出各個(gè)部件,需要給每一個(gè)三維點(diǎn)賦予語(yǔ)義標(biāo)簽。語(yǔ)義分割網(wǎng)絡(luò)的輸出結(jié)果mask圖保留了二維像素點(diǎn)的空間位置信息,對(duì)其構(gòu)建KDTree的空間索引結(jié)構(gòu),在目標(biāo)mask中采用最近鄰查找的方式尋找與3D投影點(diǎn)距離最近的2D像素點(diǎn),使用其語(yǔ)義標(biāo)簽對(duì)3D點(diǎn)進(jìn)行語(yǔ)義標(biāo)記,如圖3(b)所示。

3 基于DenseCRF的三維點(diǎn)云目標(biāo)識(shí)別與優(yōu)化

將點(diǎn)云按照解算位姿進(jìn)行投影后,通過(guò)最近鄰搜索的方式找到了與三維點(diǎn)對(duì)應(yīng)的二維像素點(diǎn),點(diǎn)云實(shí)現(xiàn)了語(yǔ)義分割。但是這種方式依賴圖像語(yǔ)義分割的準(zhǔn)確性,并且會(huì)受到投影誤差的影響。這樣就會(huì)導(dǎo)致在某些姿態(tài)下出現(xiàn)三維語(yǔ)義分割結(jié)果中部分組件類別識(shí)別錯(cuò)誤,而且會(huì)造成點(diǎn)云識(shí)別結(jié)果不連續(xù)的情況。通過(guò)2D-3D語(yǔ)義傳遞的方式?jīng)]有充分利用三維點(diǎn)云的數(shù)據(jù)信息以及點(diǎn)云之間的位置關(guān)系。通過(guò)圖4可以注意到,三維點(diǎn)云進(jìn)行二維投影時(shí),如果兩個(gè)3D點(diǎn)在模型中足夠接近,它們投影在圖像中的特征很可能會(huì)非常接近。同時(shí),兩個(gè)距離較遠(yuǎn)的3D點(diǎn)從特定角度投影在二維空間中也可能非常接近,這種情況下,通過(guò)投影點(diǎn)最近鄰搜索的方式進(jìn)行語(yǔ)義傳遞會(huì)造成點(diǎn)云識(shí)別錯(cuò)誤及語(yǔ)義標(biāo)簽不連續(xù)的情況出現(xiàn)。

因此,在得到點(diǎn)云初始語(yǔ)義標(biāo)記的基礎(chǔ)上,充分利用三維點(diǎn)云的特征信息和上下文信息,考慮部件間三維點(diǎn)的空間依賴性,有助于提高點(diǎn)云識(shí)別結(jié)果。無(wú)向圖模型是由點(diǎn)和邊組成的數(shù)據(jù)結(jié)構(gòu),模型中的點(diǎn)代表隨機(jī)變量,若點(diǎn)之間用一條無(wú)向邊連接代表變量間存在相關(guān)性,可以相互影響,那么利用無(wú)向圖模型便可以建立點(diǎn)云之間的空間依賴關(guān)系。條件隨機(jī)場(chǎng)(CRF)屬于無(wú)向圖模型,通常被描述為語(yǔ)義標(biāo)簽空間中的離散模型,常被用于提高圖像語(yǔ)義分割的準(zhǔn)確性,最大限度地提高相似像素之間的標(biāo)簽一致性。DenseCRF是將無(wú)向圖中的所有點(diǎn)連接成對(duì),可以有效融合遠(yuǎn)距離上下文特征信息,本文將其用于表征三維點(diǎn)間的相互關(guān)系來(lái)克服初始語(yǔ)義標(biāo)記的噪聲問(wèn)題,優(yōu)化點(diǎn)云語(yǔ)義標(biāo)記結(jié)果,提高點(diǎn)云部件識(shí)別的準(zhǔn)確度。

(5)

式中:xi∈X是點(diǎn)Pwi的標(biāo)簽;ψu(yù)(xi)是一元?jiǎng)?unary potential)函數(shù),此時(shí)點(diǎn)云的類別標(biāo)簽分布只與單個(gè)點(diǎn)自身特征有關(guān),當(dāng)每個(gè)點(diǎn)被分配一個(gè)標(biāo)簽時(shí),就會(huì)得到一個(gè)懲罰項(xiàng)。一般一元?jiǎng)菘梢院?jiǎn)單地計(jì)算為

ψu(yù)(xi)=-lg(p(xi))

(6)

式中:p(xi)為判別分類器預(yù)測(cè)的概率,本文3D點(diǎn)的預(yù)測(cè)概率值來(lái)自對(duì)應(yīng)二維像素點(diǎn)通過(guò)圖像語(yǔ)義分割網(wǎng)絡(luò)得到的預(yù)測(cè)概率向量。這種獨(dú)立輸出結(jié)果產(chǎn)生的最大后驗(yàn)概率分布(MAP)通常都是有噪聲的。

ψp(xi,xj)稱為二元?jiǎng)?pairwise potentials)函數(shù),考慮點(diǎn)云上下文之間的關(guān)系,計(jì)算所有連接點(diǎn)對(duì)間的能量特征,懲罰兩個(gè)具有不同標(biāo)簽的連接點(diǎn)對(duì)來(lái)約束每個(gè)類別的標(biāo)簽一致性,數(shù)學(xué)表示為

(7)

式中:μ(xi,xj)度量了不同類別之間的兼容性,依據(jù)Potts模型μ(xi,xj)=[xi≠xj],只有在標(biāo)簽相同時(shí),二元?jiǎng)菽懿拍軅鬟f;k(·,·)是定義在點(diǎn)云特征空間上的高斯核函數(shù);ωm為權(quán)重,采用點(diǎn)云位置和深度特征信息,可以表示為

(8)

式中:pi(ui,vi,Zci)包括三維點(diǎn)投影點(diǎn)的深度信息和二維位置信息,上式中前一項(xiàng)為外觀核,假設(shè)觀察到的相近位置的具有相近深度的點(diǎn)云很可能屬于同一類,后一項(xiàng)為平滑項(xiàng),去除小的孤立區(qū)域。使用基于CRF分布的平均場(chǎng)變分近似來(lái)聚合變量信息進(jìn)行迭代優(yōu)化,實(shí)現(xiàn)DenseCRF中所有變量的平均場(chǎng)更新,最終得到精細(xì)化的點(diǎn)云部件識(shí)別結(jié)果。

4 仿真實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集制作

使用語(yǔ)義分割網(wǎng)絡(luò)對(duì)圖像進(jìn)行分割識(shí)別二維目標(biāo)部件需要大量樣本,但是航天任務(wù)的特殊性難以獲取真實(shí)空間目標(biāo)圖像。本文使用3DSMax創(chuàng)建衛(wèi)星模型,將衛(wèi)星模型部件分為5類,分別為帆板、航天器主體、天線、星箭對(duì)接環(huán)和噴管。通過(guò)搭建虛擬環(huán)境來(lái)生成衛(wèi)星數(shù)據(jù)集,添加平行光源來(lái)模擬空間中太陽(yáng)光照數(shù)據(jù)集中包括繞飛和逼近兩種工況,繞飛工況下衛(wèi)星和相機(jī)相對(duì)距離為60 m,逼近工況相機(jī)從距衛(wèi)星100 m處開始繞行并接近。以相同的工況運(yùn)動(dòng)控制顏色模型來(lái)對(duì)各部件進(jìn)行標(biāo)注。

數(shù)據(jù)集中包含衛(wèi)星模型點(diǎn)云及部件語(yǔ)義標(biāo)簽,40個(gè)序列約8 000張圖像,每個(gè)序列中包含200幀圖像,以1 024×1 024的分辨率渲染圖像,并對(duì)部件掩碼進(jìn)行標(biāo)注,其中一些圖像如圖5所示。

4.2 部件識(shí)別

在二維圖像語(yǔ)義分割實(shí)驗(yàn)中,本文采用MobileNetv2模型作為前置網(wǎng)絡(luò)進(jìn)行參數(shù)初始化,在預(yù)訓(xùn)練的基礎(chǔ)上進(jìn)行遷移學(xué)習(xí)與微調(diào)。訓(xùn)練集包含35個(gè)序列約7 000張圖像,共訓(xùn)練200代(epoch)。使用Adam優(yōu)化器分兩個(gè)階段對(duì)圖像進(jìn)行訓(xùn)練,凍結(jié)階段訓(xùn)練50代(epoch),批樣本大小為8,初始學(xué)習(xí)率為1×10-4;解凍階段共訓(xùn)練150代(epoch),批樣本大小為4,初始學(xué)習(xí)率為1×10-5。二維識(shí)別網(wǎng)絡(luò)訓(xùn)練過(guò)程中損失函數(shù)隨訓(xùn)練次數(shù)的變化情況如圖6所示,可以看到圖像分割網(wǎng)絡(luò)的收斂情況較好。

圖6 訓(xùn)練過(guò)程中損失函數(shù)變化圖Fig.6 Changing of loss function during training

在測(cè)試集上采用類別平均像素準(zhǔn)確率(Mean pixel accuracy,MPA)作為評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行驗(yàn)證,可以得到如圖7所示的結(jié)果。從評(píng)價(jià)指標(biāo)來(lái)看,網(wǎng)絡(luò)的訓(xùn)練與圖像分割效果較好。圖8對(duì)圖像語(yǔ)義分割的結(jié)果進(jìn)行可視化,可以看出不僅大尺寸部件如主體、帆板以及天線等分割較完整且邊界清晰,對(duì)接環(huán)和噴管等小尺寸部件的分割效果也較好,實(shí)現(xiàn)了空間目標(biāo)高分辨率圖像各部件的識(shí)別與分割。

圖7 MPA隨訓(xùn)練次數(shù)的變化情況Fig.7 Changing of MPA with training times

圖8 部件二維識(shí)別結(jié)果Fig.8 2D recognition results of the satellite components

本文采用SFM&PMVS算法對(duì)序列衛(wèi)星二維圖像進(jìn)行三維重建,獲取稠密化的三維點(diǎn)云數(shù)據(jù)和重建反演位姿,將點(diǎn)云中的一些噪聲點(diǎn)和離群點(diǎn)去除掉,完整的三維重建點(diǎn)云如圖9所示。

圖9 重建點(diǎn)云Fig.9 Reconstruction point cloud

將點(diǎn)云按照反演位姿投影到像素平面,通過(guò)最近鄰搜索的方式找到與三維點(diǎn)對(duì)應(yīng)的二維點(diǎn),結(jié)合二維圖像語(yǔ)義分割結(jié)果,可以實(shí)現(xiàn)2D-3D的語(yǔ)義傳遞,對(duì)三維點(diǎn)云進(jìn)行初始語(yǔ)義標(biāo)記。圖10(a)和(b)分別展示了應(yīng)用DenseCRF對(duì)點(diǎn)云語(yǔ)義標(biāo)記結(jié)果進(jìn)行優(yōu)化前后的點(diǎn)云各部件識(shí)別結(jié)果,可以看出優(yōu)化方法的有效性。從圖10(a)可以看出點(diǎn)云部件識(shí)別受到圖像中目標(biāo)姿態(tài)的影響,若圖像中目標(biāo)部件部分被遮擋,通過(guò)投影進(jìn)行語(yǔ)義傳遞會(huì)出現(xiàn)被遮擋部分點(diǎn)云類別識(shí)別結(jié)果錯(cuò)誤的情況,圖像語(yǔ)義分割精度和反演位姿誤差對(duì)小尺寸部件的點(diǎn)云識(shí)別結(jié)果影響較大。從圖10(b)可以看出使用全連接條件隨機(jī)場(chǎng)可以優(yōu)化點(diǎn)云的部件識(shí)別結(jié)果,改善遮擋造成的點(diǎn)云識(shí)別錯(cuò)誤以及圖像語(yǔ)義分割未識(shí)別出的帆板桿部分,但是對(duì)于小尺寸部件,在某些角度會(huì)由于二維識(shí)別不夠精確以及反演位姿誤差導(dǎo)致投影像素偏移較大從而賦予三維點(diǎn)云語(yǔ)義標(biāo)簽錯(cuò)誤,進(jìn)而導(dǎo)致優(yōu)化后部件識(shí)別效果不明顯。

圖10 點(diǎn)云語(yǔ)義標(biāo)記Fig.10 Point cloud semantic labeling

通過(guò)點(diǎn)云降維圖像進(jìn)行語(yǔ)義傳遞的方式為三維點(diǎn)云賦予語(yǔ)義標(biāo)簽受到單個(gè)圖像目標(biāo)姿態(tài)的影響,本文使用多個(gè)姿態(tài)下的點(diǎn)云識(shí)別結(jié)果,選取出現(xiàn)概率最大的標(biāo)簽作為每個(gè)點(diǎn)的語(yǔ)義標(biāo)記結(jié)果。圖11分別展示了本文方法與利用K-means聚類、BIRCH聚類方法進(jìn)行點(diǎn)云部件識(shí)別的可視化結(jié)果,三種方法都識(shí)別出了大尺寸部件如帆板、主體、天線等,但是本文方法識(shí)別出的部件完整度高于其他兩種方法,而且識(shí)別出的部件間邊界更清晰。通過(guò)對(duì)比可以發(fā)現(xiàn)點(diǎn)云聚類分割方法無(wú)法滿足小尺寸部件的識(shí)別,而本文方法可以識(shí)別出噴管和對(duì)接環(huán)。

圖11 點(diǎn)云部件識(shí)別結(jié)果Fig.11 Point cloud component recognition result

本文通過(guò)計(jì)算F1分?jǐn)?shù)(F1-score)和準(zhǔn)確率(Accuracy)對(duì)目標(biāo)部件識(shí)別性能進(jìn)行定量評(píng)價(jià),其中F1分?jǐn)?shù)結(jié)合了精確率和召回率,F1分?jǐn)?shù)越高,代表識(shí)別方法越穩(wěn)健,準(zhǔn)確率是點(diǎn)云中語(yǔ)義標(biāo)記正確的點(diǎn)數(shù)占總點(diǎn)數(shù)的比例。

為了評(píng)價(jià)本文方法的有效性,不光計(jì)算了點(diǎn)云總體的平均F1值和準(zhǔn)確率,還對(duì)比了目標(biāo)不同部件的識(shí)別準(zhǔn)確率和F1值。將兩種聚類分割方法所識(shí)別出的衛(wèi)星兩側(cè)帆板劃為同一類計(jì)算這兩項(xiàng)指標(biāo)得到表1中的數(shù)據(jù)。從表1的結(jié)果可以看出來(lái)3種方法都識(shí)別出帆板、主體和天線等大尺寸部件,識(shí)別精度都超過(guò)80%,除此之外,本文點(diǎn)云部件識(shí)別方法還可以識(shí)別出對(duì)接環(huán)和噴管這類小尺寸部件,但是識(shí)別精度略低于大尺寸部件?？傮w來(lái)說(shuō),本文方法平均F1值高于90%,總體識(shí)別精度也高于95%,與K-means聚類和BRICH聚類方法相比,在目標(biāo)部件識(shí)別上更具有優(yōu)勢(shì),這也證明了本文方法的有效性。

表1 識(shí)別性能比較Table 1 Recognition performance comparison

5 結(jié) 論

為結(jié)合圖像目標(biāo)部件識(shí)別的高準(zhǔn)確率和點(diǎn)云具有的空間幾何位置信息,本文提出了一種融合圖像識(shí)別結(jié)果的空間目標(biāo)三維點(diǎn)云部件識(shí)別方法。該方法通過(guò)點(diǎn)云投影建立2D-3D對(duì)應(yīng)關(guān)系,將Deep-Labv3+網(wǎng)絡(luò)輸出的二維像素點(diǎn)的語(yǔ)義標(biāo)簽傳遞給三維點(diǎn)云,使用二維點(diǎn)最近鄰搜索來(lái)應(yīng)對(duì)由于重建位姿誤差導(dǎo)致的語(yǔ)義傳遞過(guò)程中部分三維點(diǎn)語(yǔ)義信息缺失。同時(shí)使用全連接條件隨機(jī)場(chǎng)對(duì)點(diǎn)云識(shí)別結(jié)果進(jìn)行優(yōu)化,提高各部件的識(shí)別精度,最后融合多視角三維點(diǎn)語(yǔ)義標(biāo)簽得到點(diǎn)云部件識(shí)別結(jié)果。文中給出的仿真實(shí)例說(shuō)明了該方法的有效性,各個(gè)部件的識(shí)別精度也優(yōu)于對(duì)比方法,總體識(shí)別精度優(yōu)于95%。