朱雨萌,丁剛毅,關(guān) 正

(北京理工大學(xué) 計(jì)算機(jī)學(xué)院,北京 100081)

0 引言

近年來,隨著航天技術(shù)不斷發(fā)展,大量航天器被發(fā)送至太空近地軌道。在完成任務(wù)后因失去與地面的聯(lián)系后損壞、相撞,從而逐漸積累成空間碎片等空間實(shí)體,既占用軌道資源,又對現(xiàn)役航天器構(gòu)成威脅[1]。將計(jì)算機(jī)虛擬仿真技術(shù)用于空間仿真,對空間實(shí)體根據(jù)物理規(guī)律進(jìn)行數(shù)據(jù)建模和計(jì)算,并建立仿真系統(tǒng),提供一種大尺度、逼真度高的虛擬運(yùn)動(dòng)場景[2],可對其軌道進(jìn)行仿真推演并直觀展示。為保證推演仿真數(shù)據(jù)的可靠性,需要將其和真實(shí)數(shù)據(jù)進(jìn)行比較,采用主動(dòng)航天器對空間實(shí)體實(shí)時(shí)拍攝成像視頻,運(yùn)用視頻和圖像處理算法對運(yùn)動(dòng)場景視頻進(jìn)行目標(biāo)跟蹤獲取軌道數(shù)據(jù)。該方法基于計(jì)算機(jī)視覺,此外在現(xiàn)有的目標(biāo)跟蹤技術(shù)中,還有基于外部設(shè)備定位[3-4]的方法。近年來深度學(xué)習(xí)方法發(fā)展迅猛,如R-CNN(regions with convolutional neural networks,基于候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò))系列等算法可完成圖像形狀、顏色精準(zhǔn)分割及標(biāo)注[5];YOLOv3(you only look once,基于回歸方法的端到端目標(biāo)檢測)系列等算法可實(shí)時(shí)目標(biāo)跟蹤,為監(jiān)測視頻中空間實(shí)體軌道數(shù)據(jù)帶來了新思路[6]。

針對空間實(shí)體軌道運(yùn)動(dòng)的復(fù)雜性和仿真推演的準(zhǔn)確性,首先建立仿真系統(tǒng)對空間實(shí)體軌道進(jìn)行仿真推演。處理實(shí)時(shí)監(jiān)測拍攝的視頻獲取空間實(shí)體軌道數(shù)據(jù),與推演仿真數(shù)據(jù)比較并評估推演仿真數(shù)據(jù)的逼真度。

1 空間仿真工作流程

本文提出一種仿真數(shù)據(jù)和空間實(shí)體數(shù)據(jù)混合驅(qū)動(dòng)的空間仿真工作流程,分為推演仿真階段和空間實(shí)體數(shù)據(jù)獲取階段,如圖1所示。

圖1 仿真數(shù)據(jù)和空間實(shí)體數(shù)據(jù)混合驅(qū)動(dòng)的空間仿真Fig.1 Space simulation of hybrid driven simulation data and spatial entity data

1.1 推演仿真階段工作流程和仿真數(shù)據(jù)建模

在推演仿真階段,根據(jù)航天器軌道運(yùn)動(dòng)學(xué)等物理規(guī)律對空間實(shí)體軌道建立仿真系統(tǒng),系統(tǒng)架構(gòu)和數(shù)據(jù)建模種類如圖2所示。

圖2 仿真系統(tǒng)主要架構(gòu)和數(shù)據(jù)建模類型Fig.2 Main architecture and data modeling types of simulation system

三維仿真引擎可渲染構(gòu)建虛擬三維環(huán)境,可對空間環(huán)境中地球、太空、軌道平面、空間實(shí)體運(yùn)行方向、軌道傾角、近地點(diǎn)等進(jìn)行數(shù)據(jù)建模,通過時(shí)間系統(tǒng)控制仿真推演。

運(yùn)用三維建模軟件建立空間實(shí)體三維模型,通過關(guān)鍵幀動(dòng)畫模擬其沿軌道運(yùn)行的運(yùn)動(dòng)軌跡。根據(jù)航天器軌道運(yùn)動(dòng)學(xué)定義仿真系統(tǒng)中單個(gè)空間實(shí)體i在時(shí)刻t在空間環(huán)境中的三維空間坐標(biāo)和旋轉(zhuǎn)量數(shù)據(jù)表示為,其中i∈[1,n],t∈[t1,t m],得到軌道運(yùn)行時(shí)間區(qū)間[t1,t m]內(nèi)所有空間實(shí)體的運(yùn)動(dòng)軌跡仿真數(shù)據(jù)S。將三維模型和提取的數(shù)據(jù)S輸入到仿真系統(tǒng),通過時(shí)空同步控制模塊和幀動(dòng)畫進(jìn)行軌道仿真推演。若在空間實(shí)體數(shù)據(jù)獲取階段與空間實(shí)體數(shù)據(jù)比較后不符合物理規(guī)律,則調(diào)整仿真數(shù)據(jù)。

1.2 空間實(shí)體數(shù)據(jù)獲取階段工作流程和數(shù)據(jù)建模

在空間實(shí)體數(shù)據(jù)獲取階段,為判斷仿真推演的可靠性和逼真度,對應(yīng)仿真數(shù)據(jù)進(jìn)行成像視頻中真實(shí)空間實(shí)體軌道數(shù)據(jù)建模。

定義單個(gè)空間實(shí)體i在時(shí)刻t在成像視頻關(guān)鍵幀中的二維位置坐標(biāo)數(shù)據(jù)為,其中i∈[1,n],t∈[t1,t m],得到軌道運(yùn)行時(shí)間區(qū)間[t1,t m]內(nèi)所有空間實(shí)體的真實(shí)運(yùn)動(dòng)軌跡數(shù)據(jù)R。主動(dòng)航天器實(shí)時(shí)監(jiān)測拍攝得到一個(gè)空間實(shí)體的多觀測視角成像視頻。對成像視頻進(jìn)行鏡頭分割,獲取一段軌道運(yùn)行視頻片段并逐幀提取得到關(guān)鍵幀序列,通過基于深度學(xué)習(xí)的目標(biāo)檢測得到關(guān)鍵幀中空間實(shí)體二維位置坐標(biāo)數(shù)據(jù)R。將空間環(huán)境中的靜態(tài)物體作為特征點(diǎn),通過圖像角點(diǎn)提取和匹配獲取關(guān)鍵幀中共同的兩個(gè)靜態(tài)物體二維位置坐標(biāo)并計(jì)算與空間實(shí)體之間的像素距離輔助定位空間實(shí)體。仿真系統(tǒng)中空間環(huán)境建模數(shù)據(jù)與真實(shí)空間環(huán)境數(shù)據(jù)一致,在仿真系統(tǒng)中獲取上述靜態(tài)物體及與視頻片段同步的軌道運(yùn)行時(shí)間區(qū)間內(nèi)空間實(shí)體三維空間坐標(biāo),并計(jì)算和靜態(tài)物體之間的空間距離。根據(jù)若空間實(shí)體運(yùn)動(dòng)軌跡無誤差距離之比成等比例的條件,比較每個(gè)關(guān)鍵幀中像素距離和仿真系統(tǒng)中空間距離的差別,完整流程如圖3所示。

圖3 空間實(shí)體運(yùn)動(dòng)軌跡數(shù)據(jù)與仿真數(shù)據(jù)的處理和比較流程Fig.3 Processing and comparison process of spatial entity motion trajectory data and simulation data

2 空間實(shí)體軌道數(shù)據(jù)處理

2.1 成像視頻鏡頭分割和關(guān)鍵幀提取

通過鏡頭分割截取成像視頻中一段軌道運(yùn)行時(shí)間區(qū)間全景視頻片段。本文采用基于直方圖的方法,將成像視頻連續(xù)幀中像素的灰度值、顏色值分為N個(gè)等級,統(tǒng)計(jì)每個(gè)等級中的像素?cái)?shù)形成直方圖比較幀間差值檢測鏡頭切換時(shí)鏡頭邊界。定義成像視頻幀序列中第i幀和第(i+j)幀之間直方圖幀間差值d(i,i+j)為

式中：N為灰度級數(shù)或顏色數(shù);P為一幀的像素?cái)?shù);H i(k)為第i幀中在第k個(gè)等級中的像素?cái)?shù)。

給定判斷閾值T,若d＞T,則檢測到鏡頭邊界,得到鏡頭起始幀和結(jié)束幀。鏡頭切換的兩幀之間d＞T,鏡頭內(nèi)其他幀之間的d＜T且相差不大。鏡頭分割過程如圖4所示。

圖4 鏡頭邊界檢測的鏡頭分割過程Fig.4 Shot segmentation process in shot boundary detection

定義V i為成像視頻鏡頭分割后得到的一段軌道運(yùn)行時(shí)間區(qū)間內(nèi)單鏡頭視角不變?nèi)耙曨l片段。對V i進(jìn)行逐幀提取得到V i的關(guān)鍵幀序列。

2.2 靜態(tài)物體角點(diǎn)提取匹配獲取二維位置坐標(biāo)

V i的關(guān)鍵幀序列中空間實(shí)體沿軌道運(yùn)行過程時(shí)空連續(xù),靜態(tài)物體在空間環(huán)境中保持不動(dòng),角點(diǎn)特征明顯。

本文基于Harris算子[7]對V i的每個(gè)關(guān)鍵幀圖像進(jìn)行角點(diǎn)提取和匹配,獲得空間環(huán)境中共同的兩個(gè)靜態(tài)物體二維位置坐標(biāo)。對于V i的一個(gè)關(guān)鍵幀f,以某像素點(diǎn)(x,y)為中心的小窗口在x,y方向上分別移動(dòng)u,v,則圖像灰度變化值E(x,y)為

式中：e(x,y)為點(diǎn)(x,y)的灰度值;w(x,y)為以點(diǎn)(x,y)為中心的小窗口。

式(2)可轉(zhuǎn)化為二維矩陣M,即

式中：f x,f y分別為x和y方向上的梯度;?表示卷積。M的特征值λ1,λ2為x,y方向的表面曲率,若均較大,則點(diǎn)(x,y)為中心的小窗口沿任何方向移動(dòng)會(huì)導(dǎo)致圖像灰度值劇烈變化,對應(yīng)的響應(yīng)函數(shù)為

式中：det(M)=λ1λ2;trace(M)=λ1+λ2;μ通常取0.04。

當(dāng)點(diǎn)(x,y) 的CRF值大于給定閾值時(shí)為靜態(tài)物體角點(diǎn),得到V i的關(guān)鍵幀圖像中所有靜態(tài)物體角點(diǎn)。從第一幀起,以幀中每個(gè)靜態(tài)物體角點(diǎn)為中心取周圍8個(gè)像素灰度值,依次與后一幀所有角點(diǎn)周圍8個(gè)像素對應(yīng)相減,灰度差值平均值最小為匹配角點(diǎn)。依次去除匹配角點(diǎn)間灰度平均差值最大的,直到兩幀間只有2個(gè)匹配角點(diǎn)即為V i每個(gè)關(guān)鍵幀中共同的兩個(gè)靜態(tài)物體。

2.3 基于深度學(xué)習(xí)的目標(biāo)檢測獲取空間實(shí)體二維位置坐標(biāo)

采用YOLOv3將V i的每個(gè)關(guān)鍵幀圖像縮放至416×416大小并劃分為S×S個(gè)大小相同的網(wǎng)格,輸入單個(gè)預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行目標(biāo)檢測?？臻g實(shí)體有效可見時(shí),將其視為非質(zhì)點(diǎn)。每個(gè)網(wǎng)格預(yù)測中心位于該網(wǎng)格中的目標(biāo)并預(yù)測3個(gè)邊界框,分別預(yù)測5個(gè)參數(shù)(t x,t y,tw,th,t o),t x和t y為預(yù)測目標(biāo)中心相對于所在網(wǎng)格左上角坐標(biāo)偏移量,tw和th為預(yù)測目標(biāo)的寬和高。預(yù)測邊界框的大小由K-means聚類得到,寬度為pw,高度為ph。以輸入圖像左上角頂點(diǎn)為原點(diǎn),預(yù)測目標(biāo)中心所在的網(wǎng)格左上角坐標(biāo)為(c x,c y),得到標(biāo)記邊界框?yàn)?/p>

式中：(b x,b y)為標(biāo)記邊界框中心坐標(biāo);bw,bh分別為標(biāo)記邊界框?qū)捄透?σ(t o)為標(biāo)記邊界框置信度;當(dāng)網(wǎng)格中無目標(biāo)時(shí),Pr(object)為0,否則為1,此時(shí)σ(t o)等于標(biāo)記邊界框和目標(biāo)真實(shí)邊界框的重疊度IoU,并將小于YOLOv3設(shè)定的閾值0.5的值歸零。預(yù)測邊界框、標(biāo)記邊界框的關(guān)系如圖5所示。

圖5 YOLOv3預(yù)測邊界框和標(biāo)記邊界框關(guān)系Fig.5 Relationships between bounding box and marking box in YOLOv3

σ(t o)與標(biāo)記邊界框目標(biāo)分類的條件概率相乘得到標(biāo)記邊界框目標(biāo)分類置信度。對于V i的每個(gè)關(guān)鍵幀圖像,空間實(shí)體置信度最高的目標(biāo)分類為spacecraft。通過NMS非極大值抑制算法對每個(gè)標(biāo)記邊界框按所有目標(biāo)分類的不同置信度迭代遍歷,與當(dāng)前標(biāo)記邊界框Io U高于閾值的目標(biāo)分類置信度歸0,輸出不為0的標(biāo)記邊界框?yàn)榭臻g實(shí)體標(biāo)記邊界框。取標(biāo)記邊界框中心(b x,b y)為空間實(shí)體二維位置坐標(biāo),形成V i關(guān)鍵幀序列的R。

3 基于事件幀偏移量的仿真推演時(shí)間同步

仿真系統(tǒng)通過時(shí)空同步控制模塊控制幀動(dòng)畫播放進(jìn)行空間實(shí)體軌道仿真推演,確定仿真系統(tǒng)與V i同步的軌道運(yùn)行時(shí)間區(qū)間t即確定V i的關(guān)鍵幀序列和仿真推演動(dòng)畫幀序列中同一時(shí)刻的幀偏移量。已知V i的關(guān)鍵幀序列中軌道運(yùn)行開始時(shí)刻為t1,V i幀率為fFPS;仿真推演動(dòng)畫幀序列中軌道運(yùn)行對應(yīng)開始時(shí)刻為,仿真系統(tǒng)幀率通常和成像視頻一致設(shè)為fFPS,定義V i的一個(gè)關(guān)鍵幀f和動(dòng)畫幀序列中對應(yīng)幀f'的幀偏移量f o為

令空間實(shí)體形成同一段運(yùn)動(dòng)軌跡為事件E,為匹配2個(gè)幀序列事件E的開始幀和結(jié)束幀,定義V i的關(guān)鍵幀事件函數(shù)E(f)為

同理可得E(f'),滿足E(f)=1和E(f')=1的所有f和f'組成事件幀集合F和F'。F和F'的事件函數(shù)E(f)和E(f')完全相關(guān),可求f o的匹配度O為

遍歷2個(gè)幀序列中包含事件E的幀分別加入F和F',使O最大的f o為最優(yōu)解,即

通過f o對齊F和F'得到仿真系統(tǒng)中同步時(shí)間區(qū)間t。

4 仿真數(shù)據(jù)和空間實(shí)體數(shù)據(jù)比較及仿真數(shù)據(jù)逼真度評估

獲取仿真系統(tǒng)中t時(shí)間區(qū)間內(nèi)空間實(shí)體運(yùn)動(dòng)軌跡推演仿真數(shù)據(jù)S及對應(yīng)V i每個(gè)關(guān)鍵幀中的兩個(gè)靜態(tài)物體三維空間坐標(biāo),計(jì)算空間實(shí)體和靜態(tài)物體在V i每個(gè)關(guān)鍵幀中的像素距離P1,P2和仿真系統(tǒng)中t時(shí)間區(qū)間內(nèi)的空間距離D1,D2,根據(jù)驗(yàn)證條件對應(yīng)比較兩種距離評估推演仿真數(shù)據(jù)逼真度。

4.1 像素距離和空間距離的比較關(guān)系

定義P1∶D1為a1,P2∶D2為a2,在軌道運(yùn)行同步時(shí)間區(qū)間t∈[t1,t m]內(nèi)有,分別為

若V i幀中R和仿真系統(tǒng)中S效果一致,則軌道運(yùn)行時(shí)間區(qū)間t∈[t1,t m]內(nèi)中各自的比值相等,如圖6所示。若成像視頻中空間實(shí)體沿軌道運(yùn)行運(yùn)動(dòng)軌跡與仿真系統(tǒng)中完全一致,則

圖6 像素距離和空間距離之比驗(yàn)證條件Fig.6 Verification conditions for the ratio of pixel distance to spatial distance

4.2 仿真系統(tǒng)空間實(shí)體軌道推演逼真度評估

定義Q為仿真系統(tǒng)中同步時(shí)間區(qū)間t內(nèi)某時(shí)刻空間實(shí)體運(yùn)動(dòng)軌跡仿真推演的逼真度。理想情況下若空間實(shí)體運(yùn)動(dòng)軌跡仿真推演沒有誤差,即R和S效果一致,各自的比值相等,將和}各自的比值之比r1和r2作為評估Q的參考值,此時(shí)r1=r2=1,Q=1。若某時(shí)刻的比值與其他時(shí)刻不等,定義中該時(shí)刻比值和其他時(shí)刻比值之比為之比r t為該時(shí)刻的Q。

5 編排工作流程應(yīng)用實(shí)驗(yàn)研究

為了驗(yàn)證仿真環(huán)境中空間實(shí)體軌道運(yùn)行效果和逼真度,利用超圖系統(tǒng)中間件構(gòu)建了24個(gè)空間碎片實(shí)體的仿真環(huán)境和33個(gè)觀測窗口以獲得基于觀測窗口視角的視景數(shù)據(jù),代替成像視頻。

其中,1個(gè)空間實(shí)體的多觀測視角如圖7所示。對成像信息和空間碎片運(yùn)動(dòng)軌跡推演仿真數(shù)據(jù)按前文工作流程進(jìn)行數(shù)據(jù)處理、比較和仿真數(shù)據(jù)逼真度評估。

5.1 多觀測窗口視角視景數(shù)據(jù)和仿真數(shù)據(jù)處理

獲取多觀測窗口視景視頻,軌道運(yùn)行時(shí)長為412 s,采集幀率為25 frame/s,共10 300幀,分辨率為1 280×720。

1)基于OpenCV 3.4.0運(yùn)用直方圖方法完成視景視頻分割得到33 個(gè)觀測窗口視角,選擇其中170～204 s視角不變的全景視頻片段,逐幀提取得到關(guān)鍵幀序列,共850幀。

2)基于OpenCV 3.4.0,運(yùn)用Harris角點(diǎn)檢測提取和匹配該關(guān)鍵幀序列中匹配共同的兩個(gè)標(biāo)志物二維位置坐標(biāo),分別為(715,27)和(1 053,74)。

3)基于YOLOv3的目標(biāo)檢測方法,對該段關(guān)鍵幀序列圖像中空間實(shí)體進(jìn)行檢測,獲得每一幀中空間實(shí)體二維位置坐標(biāo)并計(jì)算像素距離。

4)基于事件幀偏移量匹配該關(guān)鍵幀序列與仿真系統(tǒng)中幀動(dòng)畫序列的最優(yōu)幀偏移量得到對應(yīng)同步幀動(dòng)畫序列,為162～196 s,與關(guān)鍵幀序列時(shí)長一致。獲取該幀動(dòng)畫序列每幀中空間實(shí)體和標(biāo)志物的三維空間坐標(biāo)并計(jì)算空間距離。2 個(gè)幀序列的第100,200,250,275 幀的3 個(gè)空間實(shí)體數(shù)據(jù)見表1～3。

表2 全景視頻片段空間實(shí)體和標(biāo)志物像素距離Tab.2 Pixel distances between spatial entities and markers in the panoramic video clip

表3 仿真系統(tǒng)空間實(shí)體和標(biāo)志物空間距離Tab.3 Spatial distances between spatial entities and markers in the simulation system

5.2 仿真和空間實(shí)體軌道數(shù)據(jù)比較及推演逼真度評估

比較空間實(shí)體和標(biāo)志物在關(guān)鍵幀序列中的像素距離和對應(yīng)同步幀動(dòng)畫序列中的空間距離之比。其中第100,200,250,275幀的距離之比見表4。

表4 空間實(shí)體和標(biāo)志物像素空間距離之比Tab.4 Ratios of pixel distances to spatial distances between spatial entities and markers

由表4可知,在該段沿軌道運(yùn)行的4,8,10,11 s時(shí),2個(gè)比值都與其他時(shí)刻不等,則4個(gè)時(shí)刻空間實(shí)體仿真數(shù)據(jù)有一定誤差且有一定增大趨勢,但10 s和11 s差異不大。但每個(gè)時(shí)刻空間實(shí)體2個(gè)比值差異很小,整體軌道與仿真數(shù)據(jù)較為整齊。若符合物理規(guī)律,則誤差可忽略不計(jì)。由于4個(gè)時(shí)刻兩組比值互不相等,取每組后3個(gè)時(shí)刻與前一時(shí)刻的比值之比,再和另一組對應(yīng)時(shí)刻的比值之比得到兩者比例為后3個(gè)時(shí)刻的Q值,見表5。由表5可知,推演仿真數(shù)據(jù)逼真度保持在0.98～1.00,總體誤差較小。

表5 空間實(shí)體軌道推演仿真數(shù)據(jù)逼真度QTab.5 Fidelity Q of deduction simulation data of spatial entity orbits

6 結(jié)論

本文針對多空間實(shí)體軌道建模的復(fù)雜性和推演仿真的難度和高準(zhǔn)確性,提出推演仿真數(shù)據(jù)和空間實(shí)體數(shù)據(jù)混合驅(qū)動(dòng)的空間仿真,分析了成像視頻鏡頭分割和關(guān)鍵幀提取、角點(diǎn)提取與匹配、基于深度學(xué)習(xí)的目標(biāo)檢測從成像視頻中獲取空間實(shí)體數(shù)據(jù)的過程,提出了推演仿真數(shù)據(jù)和空間實(shí)體軌道數(shù)據(jù)的比較方法和推演仿真數(shù)據(jù)逼真度評估方法,在空間仿真環(huán)境中進(jìn)行了驗(yàn)證,提升了基于成像信息的空間實(shí)體定位能力及仿真推演效果。