晁建剛, 許振瑛, 何 寧, 孫慶偉, 魏源宏, 胡帥星

(1.中國航天員科研訓(xùn)練中心人因工程重點實驗室, 北京 100094;2.航天工程大學(xué)宇航科學(xué)與技術(shù)系, 北京 101416)

1 引言

空間站任務(wù)中,航天員面臨更加復(fù)雜的在軌維護(hù)維修、科學(xué)實驗以及應(yīng)急模式預(yù)案外的緊急排故等技能操作,不但對航天員的操作技能、協(xié)作技能提出了新的要求,更對復(fù)雜任務(wù)模式下的航天員支持保障手段提出了新的挑戰(zhàn)。傳統(tǒng)模式下航天員通過地面實物、半實物和數(shù)字仿真綜合構(gòu)建的模擬器進(jìn)行技能訓(xùn)練,存在以下不足: ①空間失重模式下交互操作以及復(fù)雜典型故障等模擬程度有限或者難以在地面模擬; ②復(fù)雜任務(wù)的操作通常通過手動查看文字圖片手冊來進(jìn)行,理解容易有歧義且無法高效工作; ③遠(yuǎn)程天地支持通常通過語音和有限實時視頻圖像進(jìn)行,支持中的語義理解受到限制。

混合現(xiàn)實(Mixed Reality,MR)技術(shù)是通過在現(xiàn)實環(huán)境中引入虛擬對象/場景信息,在現(xiàn)實世界、虛擬世界和用戶之間建起一個交互反饋的信息回路,以擴(kuò)展增強(qiáng)用戶體驗信息范圍,具有真實性、實時互動性以及構(gòu)想性等特點[1]。其物理實體和虛擬數(shù)字對象滿足真實的三維幾何投影關(guān)系,用戶視覺感知的混合場景空間結(jié)構(gòu)、色彩紋理、亮度等虛實保持一致。根據(jù)真實場景視覺圖像特征,借助IMU(Inertial Measurement Unit)等多傳感器融合手段,能夠?qū)崟r高速地進(jìn)行位姿估計與建 圖(Simultaneous Localization and Mapping,SLAM);能夠智能感知記憶物理場景,并輸出運動估計位姿,用于真實場景中虛擬對象的實時融合渲染;能夠根據(jù)掃描物理世界場景的Mesh 地圖進(jìn)行空間檢測、多人協(xié)同共享定位或遠(yuǎn)程支持的虛擬場景匹配[2-3]?；贛R 技術(shù)的上述特點,在航天員訓(xùn)練和支持中,借助目前已有的實物、半實物模擬器環(huán)境,可以實現(xiàn)工程半實物難以模擬的典型設(shè)備操作和故障排除,實現(xiàn)地面難以模擬的失重運動操作,實現(xiàn)復(fù)雜設(shè)備智能虛擬輔助指導(dǎo)或智能定點定位引導(dǎo)操作,實現(xiàn)天地遠(yuǎn)程支持模式下三維沉浸式指導(dǎo)標(biāo)注。

近年來,NASA 一直致力于MR 技術(shù)在太空探索中的應(yīng)用。2015 年,NASA 實施了OnSight 項目,利用微軟HoloLens MR 頭盔將火星的地表在操作臺附近地面虛擬渲染三維投射出來,佩戴MR 眼鏡的多名工程師協(xié)同進(jìn)行火星車任務(wù)的驗證和規(guī)劃討論,多人協(xié)同定位基于頭盔視覺生成Mesh 空間匹配[4]。針對國際空間站航天員復(fù)雜操作輔助誘導(dǎo)支持以及與地面支持人員遠(yuǎn)程協(xié)同,NASA 陸續(xù)在國際空間站測試Sidekick 項目,用于航天員執(zhí)行復(fù)雜任務(wù)的輔助信息自主導(dǎo)引,同時通過Skyper 軟件于地面指導(dǎo)航天員在軌工作。針對空間失重特因環(huán)境下的空間定位,NASA對HoloLens 頭盔采用的VIO(Visual SLAM+IMU Odometry)6 自由度位姿估計模式進(jìn)行了在軌適應(yīng)性改造,并在失重飛機(jī)上進(jìn)行了試驗[5]。

中國空間技術(shù)研究院采用成熟的商業(yè)MR 設(shè)備在地面實現(xiàn)了嫦娥任務(wù)的月表場景投影,用于模擬沙盤的重建。中科院采用MR 實現(xiàn)了空間載荷設(shè)備操作的虛擬導(dǎo)引,其在軌位姿估計采用了三維對象目標(biāo)匹配方法等。李暢等[6]、孫慶偉等[7]在MR 訓(xùn)練支持、場景理解、空間重建、位姿估計以及場景匹配上做了工程試驗積累,但未形成應(yīng)用實例。

為適應(yīng)空間站航天員典型訓(xùn)練和支持任務(wù)動態(tài)變化需求,本文設(shè)計并實現(xiàn)了便于快速配置和擴(kuò)展研發(fā)的航天員混合現(xiàn)實訓(xùn)練與支持系統(tǒng)的技術(shù)框架,針對訓(xùn)練和支持的特因環(huán)境,研究實現(xiàn)空間弱紋理以及失重模式下的純視覺位姿估計算法;針對訓(xùn)練中的多人協(xié)同以及天地遠(yuǎn)程支持,解決對象操作同步、Mesh Anchor 虛實空間匹配、天地虛擬場景虛虛匹配等關(guān)鍵技術(shù),為當(dāng)前工程任務(wù)完成提供支持途徑。

2 方法

2.1 設(shè)計目標(biāo)

航天員混合現(xiàn)實訓(xùn)練聚焦地面訓(xùn)練和在軌支持2 種模式。地面訓(xùn)練模式主要在目前已有實物、半實物模擬器基礎(chǔ)上,通過MR 頭盔實時渲染生成的三維標(biāo)注信息對復(fù)雜設(shè)備操作進(jìn)行虛擬導(dǎo)引,提高航天員操作效率與準(zhǔn)確性;模擬損傷性火災(zāi)場景等典型性故障,用于航天員應(yīng)急處置;模擬失重模式下設(shè)備操作狀態(tài),用于航天員熟悉在軌作業(yè)狀態(tài);用虛擬模式補充模擬艙內(nèi)工程實物、半實物實現(xiàn)難度大的設(shè)備,構(gòu)建真實的在軌空間環(huán)境。在軌支持模式除復(fù)雜設(shè)備操作自主導(dǎo)引外,重點實現(xiàn)天地協(xié)同定點定位的三維協(xié)同支持。航天員佩戴MR 頭盔,實時下傳操作場景,地面根據(jù)下傳圖像建立Mesh 空間與預(yù)先虛擬場景進(jìn)行虛虛匹配,在與空間一致的相對坐標(biāo)位置進(jìn)行虛擬信息的實時設(shè)置,上傳虛實疊加導(dǎo)引,指導(dǎo)航天員定點定位操作。

2.2 設(shè)計約束

面向建立長期支持航天員地面訓(xùn)練與在軌支持的混合現(xiàn)實系統(tǒng),要考慮混合現(xiàn)實使用物理場景的特殊性。設(shè)計約束有4 方面: ①建立的工程實施體系架構(gòu)要同時滿足地面和在軌支持需要,且根據(jù)任務(wù)快速開發(fā)與更動; ②無論地面訓(xùn)練用航天器模擬座艙還是真實的在軌航天器,視覺定位的場景紋理特征相對比較單一,屬于弱紋理,選取健壯的特征點以及建立描述子滿足精準(zhǔn)位姿估計需要; ③在軌失重模式下,基于比力傳感模式的MEMS(Micro-Electro-Mechanical System) IMU的加速度計無法正常工作,VIO 緊耦合模式定位紊亂,需要采用純視覺模式進(jìn)行位姿高速估計,同時兼顧頭盔有限算力支持; ④多人協(xié)同及遠(yuǎn)程支持模式下,基準(zhǔn)錨點(Ancho)如何精準(zhǔn)匹配保證虛擬對象定位多人視覺感知位姿一致,遠(yuǎn)程支持模式下上傳虛擬信息三維投射需要與在軌空間擬定疊加對象幾何匹配一致[8]。其中,第一個約束屬于體系架構(gòu)設(shè)計問題,后3 個約束屬于算法解決的關(guān)鍵技術(shù)。

2.3 體系框架

目前通用的混合現(xiàn)實開發(fā)體系架構(gòu)通常面向單項任務(wù),依據(jù)航天員地面和在軌訓(xùn)練需求,本文設(shè)計了面向多人協(xié)同以及遠(yuǎn)程支持的混合現(xiàn)實訓(xùn)練與支持技術(shù)框架,如圖1 所示。

圖1 體系框架設(shè)計Fig.1 Framework of the system

在基于MRTK(Mixed Reality Toolkit)開發(fā)體系架構(gòu)基礎(chǔ)上,采用MVC(Model-View-Controller)模式實現(xiàn)了航天員混合現(xiàn)實虛實融合交互操作中的數(shù)據(jù)、邏輯與顯示界面分離,通過配置實現(xiàn)交互驅(qū)動、仿真及邏輯計算、對象空間顯示等解析處理,在減少代碼開發(fā)的同時,提高訓(xùn)練和支持科目的快速定制;系統(tǒng)基于OpenXR 接口機(jī)制,適應(yīng)Windows、Android 等操作系統(tǒng)交互開發(fā)包的定制;基于NetCode for GameObject 對象狀態(tài)網(wǎng)絡(luò)分發(fā)機(jī)制實現(xiàn)多個訓(xùn)練終端之間的協(xié)同操作,剔除需要中間服務(wù)器中轉(zhuǎn)信息的傳統(tǒng)冗余模式;系統(tǒng)在統(tǒng)一Anchor 共享機(jī)制基礎(chǔ)上,實現(xiàn)了航天員單人/多人協(xié)同操作、專家與航天員遠(yuǎn)程MR 三維標(biāo)注支持。架構(gòu)模式編譯的應(yīng)用軟件可以按需進(jìn)行筆記本的Windows 操作系統(tǒng)、平板電腦和手機(jī)的Android 操作系統(tǒng)、以及其他VR(Virtual Reality)頭顯等設(shè)備的部署生成,適應(yīng)未來多終端模式便攜使用以及與MR 終端協(xié)同使用。

MR 終端開發(fā)應(yīng)用場景一般是在模擬器座艙內(nèi),首先,通過頭盔魚眼相機(jī)捕獲周圍視覺環(huán)境計算位姿,同步進(jìn)行座艙環(huán)境的三維立體地圖稀疏重建,用于虛實融合定位、虛擬碰撞檢測、虛擬運動渲染和協(xié)同定位;其次,根據(jù)訓(xùn)練操作程序、預(yù)定腳本以及實體對象仿真,實時渲染生成三維虛擬對象或者引導(dǎo)標(biāo)注信息,通過光波導(dǎo)系統(tǒng)三維立體投射疊加到實體場景中的操作實物對象上;最后,通過TOF 相機(jī)識別用戶交互手勢、通過頭盔內(nèi)嵌語音系統(tǒng)識別用戶語音指令等,從而實現(xiàn)場景中的自然人機(jī)虛擬交互操作,形成人在MR回路中的按照虛擬引導(dǎo)的信息在實體環(huán)境中進(jìn)行虛實融合操作,完成預(yù)定的模擬訓(xùn)練任務(wù)或者操作支持任務(wù)。協(xié)同或者遠(yuǎn)程支持在此基礎(chǔ)上構(gòu)建同一虛擬匹配空間場景,在MR 空間協(xié)同虛擬信息交互。

2.4 關(guān)鍵技術(shù)

2.4.1 位姿估計優(yōu)化

位姿估計是航天員端單人/多人協(xié)同操作的基礎(chǔ),常規(guī)便攜模式下,地面MR 采用Inside-out由里向外內(nèi)置的視覺傳感和IMU 融合模式進(jìn)行位姿估計。其核心為視覺前端VO(Visual Odometry)視覺里程計,即提取每幀圖像間接特征點,利用相鄰幀圖像進(jìn)行特征點匹配(Frame to Frame),或者利用當(dāng)前幀與當(dāng)前地圖保存地圖進(jìn)行位姿匹配(Frame to Map),計算得到位姿信息。由于視覺特征點位姿計算受頭盔算力限制,輸出位姿速率為30 Hz 難以滿足實時渲染驅(qū)動90 Hz 的需要,因此采用高頻IMU 預(yù)積分互補濾波激勵低頻視覺位姿估計,從而輸出高頻精準(zhǔn)的位姿估計值,本文研制的頭盔IMU 插值可以達(dá)到500 Hz,遠(yuǎn)遠(yuǎn)大于最低頻率限制。

位姿估計多傳感器融合根據(jù)使用環(huán)境、功耗和實時性要求,一般分為緊耦合和松耦合。緊耦合將視覺傳感器和IMU 的狀態(tài)通過一個優(yōu)化濾波器合并在一起,需要把圖像特征點信息加入到狀態(tài)向量中,共同構(gòu)建運動方程和觀測方程,然后進(jìn)行狀態(tài)估計,最終得到需要位姿信息和優(yōu)化的特征點信息,其融合過程本身會優(yōu)化更新視覺和IMU 中的參數(shù)。松耦合將視覺傳感器和IMU 分別計算得到的位姿直接進(jìn)行融合,融合過程對二者本身不產(chǎn)生影響,一般通過EKF(Extended Kalman Filter)濾波進(jìn)行融合作為后處理方式[9]。通過理論分析和試驗證明,在緊耦合中,無論任何一個傳感器失效,最終位姿均失效;松耦合模式,二者可失效互補[10]。本文地面模式下采用VIO 融合松耦合模式,在軌失重采用VSLAM 建立VO 里程計。考慮姿態(tài)陀螺儀姿態(tài)角速度只與初始坐標(biāo)相關(guān),在軌必要時可采用VSLAM 與MEMS 陀螺儀姿態(tài)角速度驅(qū)動的松耦合模式。

松耦合以IMU 測量的加速度和角速度為激勵,進(jìn)行本體預(yù)積分狀態(tài)估計,以視覺里程計預(yù)估的位置和姿態(tài)為測量值,與IMU 狀態(tài)的估計值建立殘差狀態(tài)矩陣如式(1)所示:

在軌空間環(huán)境下,IMU 感知的重力形成了圍繞地球運動的向心加速度,基于比力模型的IMU加速度計無法正常工作,加速度計借助重力分解的俯仰角和滾動角無法對漂移較大的陀螺儀實施姿態(tài)互補濾波,同時IMU 和相機(jī)也無法借助重力矢量進(jìn)行初始坐標(biāo)系統(tǒng)一,因此常規(guī)的頭盔位姿估計算法在軌無法正常使用。

基于上述分析,本文在軌采用純視覺VSLAM模式。缺少了IMU 瞬時加速度、角速度激勵和互補濾波,單純的VSLAM 法相比常規(guī)對視覺感知的特征點選取要求更高。依據(jù)航天器艙內(nèi)實際,針對設(shè)備結(jié)構(gòu)復(fù)雜、角點以及輪廓幾何等信息比較豐富,在算法的選擇上可以采用Harris 角點、FAST(Features from Accelerated Segment Test)、BRIEF(Binary Robust Independent Elementary Features)、ORB(Oriented FAST and Rotated BRIEF)、BRISK ( Binary Robust Invariant Scalable Keypoints)等對幾何信息比較敏感的特征點描述子,以有效避免艙內(nèi)弱紋理信息特征提取的不足[11]。也有研究利用直線、面信息進(jìn)行特征捕獲,但計算比較復(fù)雜。通常情況下視覺位姿估計的頻率大于60 Hz 才可滿足人的虛實感知一致性需求。為解決高速姿態(tài)預(yù)估,VSLAM 前端采用計算負(fù)荷小、速度快的直接特征光流法(艙內(nèi)幾何角點信息豐富)進(jìn)行特征點識別圖像對齊,采用描述子進(jìn)行關(guān)鍵特征點建立、位姿優(yōu)化和適合MR 虛實融合三維Mesh 地圖重建(原始為點云三維重建)?？紤]到位姿預(yù)估的健壯性,本文研制的頭盔純SLAM 算法中采用特殊特征點描述子,經(jīng)測量匹配速度為前最快的ORB 描述子1/3～1/4 倍。

純VSLAM 模式位姿優(yōu)化同樣建立狀態(tài)方程,通過式(3)建立滑動窗口進(jìn)行姿態(tài)估計優(yōu)化。

為保證姿態(tài)預(yù)估值更好地驅(qū)動渲染圖像,提高純視覺位姿估計不低于60 Hz 的速率,提高視覺圖像處理VPU(Visual Process Unit)算力的同時,采用頭盔CPU 芯片與VPU 混合模式雙算力進(jìn)行位姿估計解算。實際受艙內(nèi)弱紋理圖像位姿估計特征點需要,可對低頻姿態(tài)預(yù)估值進(jìn)行平滑高速插值計算,與VIO 優(yōu)化恒速預(yù)估方法一致,采用前幀或者前幾幀運動速度進(jìn)行預(yù)估插值,從而提供更高速的位姿輸出?？紤]到頭盔相機(jī)運動中光心一致性,建立如式(4)所示插值方程,基于李群李代數(shù)[12]擾動法進(jìn)行解算。

2.4.2 多人協(xié)同操作

在航天員單人操作的基礎(chǔ)上增加數(shù)據(jù)協(xié)同功能則可實現(xiàn)多人協(xié)同操作。為保證協(xié)同信息在物理空間中位置的一致性,在多名航天員可以各自進(jìn)行位姿估計的基礎(chǔ)上,采用空間錨點(Space Anchor)作為物理空間的共同參考?？臻g錨點提供了一種能夠?qū)f(xié)同信息保留在物理空間特定位置和旋轉(zhuǎn)狀態(tài)上的方法,并且保存了該點周圍的空間信息,作為虛實融合信息交互的參考基準(zhǔn)空間。錨點的建立是視覺掃描的物理空間,通過三維掃描建立場景點云空間,然后轉(zhuǎn)換成可以表達(dá)空間場景的幾何結(jié)構(gòu)特征稀疏連接Mesh 地圖。多人協(xié)同時,多個MR 終端通過實時掃描建立空間Mesh 地圖,與已知共享的Mesh 地圖匹配,當(dāng)匹配置信度大于90%以上,可以認(rèn)為此時空間為基準(zhǔn)建立共享坐標(biāo)系。多人在基于同一物理空間建立的虛擬空間場景進(jìn)行虛擬協(xié)同交互,三維虛擬視覺感知場景位姿一致。

圖2 為多人協(xié)同操作的流程控制圖。MR 頭盔之間建立連接,其中一臺作為主機(jī)(服務(wù)端+客戶端),采用應(yīng)用程序中的NetCode 機(jī)制進(jìn)行虛擬對象(GameObject)信息共享與分發(fā),包含了沖突競爭處理,不再單獨設(shè)置信息中轉(zhuǎn)服務(wù)器;所有MR 頭盔各自進(jìn)行位姿估計與建圖,并在穩(wěn)定感知的物理空間位置創(chuàng)建空間錨點;主機(jī)將空間錨點通過網(wǎng)絡(luò)發(fā)送到其他客戶端,當(dāng)各客戶端接收到錨點信息時與自身創(chuàng)建的錨點信息進(jìn)行比對,比對成功則將虛擬世界坐標(biāo)進(jìn)行校準(zhǔn),比對失敗則繼續(xù)空間感知捕獲完善錨點信息,直到與主錨點相匹配;錨點與坐標(biāo)校準(zhǔn)后MR 頭盔之間可以進(jìn)行同步操作;不需要協(xié)同工作時客戶端與主機(jī)斷開連接,協(xié)同結(jié)束。由于協(xié)同操作時的物理基準(zhǔn)空間匹配物是一致的,因此只要位姿估計準(zhǔn)確和地圖構(gòu)建完備,即可實現(xiàn)空間錨點成功匹配和虛實融合信息的同一場景感知。

圖2 協(xié)同流程控制Fig.2 Collaborative process control

如圖3 所示,多人協(xié)同操作數(shù)據(jù)通過數(shù)據(jù)同步模塊實現(xiàn)同步,數(shù)據(jù)是以GameObject 對象通過網(wǎng)絡(luò)同步機(jī)制進(jìn)行分發(fā)與訂閱,同步內(nèi)容包含所有航天員端各自的位姿、操作數(shù)據(jù)等。終端航天員對虛擬對象的操作如移動、旋轉(zhuǎn)、縮放、顯隱、生成與銷毀等實時同步到其他航天員端和專家端,保持MR 混合場景虛擬對象動態(tài)變化一致性。

圖3 數(shù)據(jù)同步操作Fig.3 Data synchronization

數(shù)據(jù)同步模塊可以同步的數(shù)據(jù)類型包括Int、Bool、Vector3、String 以及Byte。同步命令列表如表1 所示,其中操作類別(Type)為觸發(fā)的操作的類別名稱;命令頭(Head)具體區(qū)分每一條命令,不同的命令對應(yīng)不同的協(xié)同操作。命令體(Body)根據(jù)Head 做對應(yīng)操作:Vector3 為含有3個浮點數(shù)的結(jié)構(gòu)體;Guid 為唯一識別碼,每一個被操作的物體都有一個Guid,用來區(qū)分所要操作的物體;String 為特定的命令字符串;Int 為協(xié)同信息索引值;Bool 為協(xié)同信息的顯隱值;Byte 則用來傳輸圖像、音頻、視頻等。

表1 操作類別表示Table 1 Operation list representation

在數(shù)據(jù)同步時,根據(jù)操作內(nèi)容構(gòu)建不同的指令。例如,航天員端01 對協(xié)同信息進(jìn)行移動操作,則根據(jù)類別表創(chuàng)建一條命令頭為Move,命令體為協(xié)同信息當(dāng)前的空間坐標(biāo),以及協(xié)同信息的Guid。然后發(fā)送命令到數(shù)據(jù)同步模塊,數(shù)據(jù)同步模塊接收到命令后將命令發(fā)送給其他客戶端(航天員端或?qū)＜叶?,其他客戶端對命令進(jìn)行解析,解析依據(jù)接收到的命令頭做相對應(yīng)的響應(yīng)。

2.4.3 遠(yuǎn)程支持

專家端對航天員端進(jìn)行遠(yuǎn)程支持時,由于專家端運行于PC 端而沒有空間位姿估計,因此專家端僅需與航天員端在空間匹配的基礎(chǔ)上保持虛擬內(nèi)容的同步即可。專家端與航天員端的協(xié)同控制流程如圖4 所示,首先專家端與航天員端進(jìn)行連接,進(jìn)行天地2 個虛擬空間的虛虛匹配,然后進(jìn)行支持操作的同步。與多人協(xié)同不同,首先需要將航天員操作的Mesh 空間與地面預(yù)知的支持場景的數(shù)字孿生三維模型粗匹配,通常采用全局或者局部輪廓匹配法;其次精準(zhǔn)匹配到數(shù)字孿生虛擬空間場景中的對應(yīng)局部空間位置,保證地面三維的標(biāo)注對象及位姿能夠準(zhǔn)確映射到遠(yuǎn)程航天員MR 頭盔視覺感知的真實場景中,且與擬標(biāo)注實物對象精準(zhǔn)虛實融合疊加。由于遠(yuǎn)程支持系統(tǒng)是多人系統(tǒng)操作的特例,因此其同步操作過程與多人協(xié)同操作相同。

圖4 專家端與航天員端協(xié)同控制流程Fig.4 Collaborative process between expert and astronaut

專家端用于對航天員端進(jìn)行遠(yuǎn)程支持,因此專家端通常設(shè)置為航天員端第一視角,保持與航天員視覺感知內(nèi)容一致,便于實時支持;航天員端與專家端建立聯(lián)系后,航天員端會將操作場景、設(shè)備狀態(tài)、姿態(tài)等通過數(shù)據(jù)同步模塊傳輸?shù)綄＜叶酥?專家根據(jù)航天員所需可以在虛擬空間中編輯虛擬支持模型,包括模型選擇、移動、旋轉(zhuǎn)、縮放、添加指示箭頭和特征符號等,專家操作通過數(shù)據(jù)同步模塊同步到航天員端,形成航天員MR 視野中的三維虛擬標(biāo)注支持信息。

3 試驗結(jié)果

3.1 航天員體驗訓(xùn)練主訴

基于設(shè)計的體系框架,針對典型任務(wù)訓(xùn)練,實現(xiàn)了出艙活動程序、應(yīng)急火災(zāi)、環(huán)控生保ORU(Orbital Replacement Unit)、科學(xué)機(jī)柜ORU 以及CMG(Control Moment Gyro)維修等任務(wù)的混合現(xiàn)實訓(xùn)練支持單機(jī)誘導(dǎo)程序。13 名航天員地面體驗和訓(xùn)練調(diào)查問卷統(tǒng)計表明:使用過程中均無不適感覺,相比全沉浸式VR,透射式MR 體驗感好;移動定位精準(zhǔn)、虛實融合一致、協(xié)同一致,渲染虛擬對象操作過程無漂移抖動,均認(rèn)為可以有效用于實物半實物難以模擬的設(shè)備操作訓(xùn)練、典型復(fù)雜流程設(shè)備訓(xùn)練,可以彌補目前實物訓(xùn)練器難以工程實施的訓(xùn)練項目;77%航天員認(rèn)為目前的電子手冊可以混合現(xiàn)實模式在軌使用,直觀視野顯示,解放雙手,提高操作效率;92%認(rèn)為可用于自主預(yù)先訓(xùn)練以及過程訓(xùn)練。執(zhí)行過在軌任務(wù)的航天員均表示作為一種新穎訓(xùn)練手段,MR 操作使用便捷方便,對手冊操作解放雙手和復(fù)雜程序引導(dǎo)有直觀的輔助支持作用,提高了訓(xùn)練質(zhì)量和效率,可以作為在軌自主訓(xùn)練和應(yīng)急支持手段。

3.2 位姿試驗

地面模式下采用渲染虛擬對象與實體融合方法,通過受試者位姿實時變化測量虛擬對象空間定位精準(zhǔn)度和穩(wěn)定性。在模擬器現(xiàn)場,錨點原點設(shè)置為桌角圖標(biāo)中心處,通過在空間錨點疊加渲染的15 cm×15 cm×15 cm 的半透明立方體(圖5),經(jīng)多次測試統(tǒng)計表明:地面VIO 模式下,受試者任意位置和姿態(tài)變換運動,渲染對象在實體空間中無大于1 cm 的位置偏差、姿態(tài)保持穩(wěn)定、無抖動閃爍現(xiàn)象;多名受試終端同時協(xié)同任意位姿運動,渲染對象位姿保持穩(wěn)定、視覺姿態(tài)變化與預(yù)想實際一致,虛擬對象抖動不明顯。在純視覺的VO 模式下,精度偏差保持在1 cm 內(nèi),虛擬渲染對象有輕微抖動現(xiàn)象,位姿輸出平滑性有改善空間。

圖5 位姿優(yōu)化估計測試Fig.5 Pose optim ization test

通過專用位姿測試數(shù)據(jù)集(行程長度18.67 m)對自研MR 頭盔2 種位姿預(yù)估算法進(jìn)行了試驗,位置和姿態(tài)估計誤差結(jié)果如表2、表3 所示?？梢钥闯?無論位置還是姿態(tài)估計,VIO 模式優(yōu)于VSLAM 的VO 模式。經(jīng)分析,VO 模式是視覺特征點基于前幀間的勻速運動預(yù)估后重投影位姿優(yōu)化解算,而VIO 是視覺特征點基于IMU 本體瞬時中值積分的速度、角速度激勵預(yù)估重投影位姿優(yōu)化解算,因此VIO 重投影預(yù)估更精確和平滑一些。在軌VSLAM 的VO 定位方法還應(yīng)該從算法和插值上再做優(yōu)化。通過標(biāo)準(zhǔn)數(shù)據(jù)集V201 的VO 插值試驗驗證,如表4 所示,結(jié)果表明:運動預(yù)估采用前3 幀速度、角速度平滑預(yù)估后的均方根誤差(RMSE)和平均誤差(MEAN)更為精準(zhǔn)一些,接近原始的GroundTruth 預(yù)估。

表2 位置估計誤差Tab le 2 Position estim ation error

表3 姿態(tài)估計誤差Table 3 Attitude estimation error (°)

表4 插值位姿誤差Table 4 Interpolation pose error m

3.3 多人協(xié)同操作測試

采用5 臺MR 設(shè)備多人協(xié)同操作測試,其中4臺作為被測對象,1 臺用于拍攝測試過程,如圖6所示,模擬航天員在模擬器現(xiàn)場頭戴MR 設(shè)備,頭頂出現(xiàn)代表航天員頭部位姿的替身模型,且跟隨模擬航天員頭部位姿;混合現(xiàn)實場景中正確疊加了提示協(xié)同信息。結(jié)果表明:多人協(xié)同操作模塊支持多人同時進(jìn)入相同場景,支持其他用戶隨時加入;支持實時同步更新場景中的位置信息及操作控制信息。虛擬對象場景虛實融合位姿穩(wěn)定,多用戶操作體驗感較好,滿足航天員訓(xùn)練需求。

圖6 多人協(xié)同信息測試Fig.6 M ulti-person collaborative information test

3.4 遠(yuǎn)程支持系統(tǒng)

在模擬器現(xiàn)場對遠(yuǎn)程支持系統(tǒng)進(jìn)行測試,采用1 臺PC 機(jī)作為專家端,1 臺MR 設(shè)備作為航天員端。如圖7 所示,專家端收到航天員端數(shù)據(jù)后,2 個場景Mesh 經(jīng)過粗匹配和精匹配后基本吻合,還原了第一視角視頻流的同時,恢復(fù)了航天員在混合現(xiàn)實場景中的位姿,并用替身模型加以標(biāo)識,專家端可以在虛擬空間進(jìn)行遠(yuǎn)程三維引導(dǎo)標(biāo)注,航天員端可以實時根據(jù)虛擬對象空間標(biāo)注指引進(jìn)行操作。由于無需理解手冊等輔助工具,直接按照虛實融合的標(biāo)注引導(dǎo)進(jìn)行操作,試驗表明混合現(xiàn)實遠(yuǎn)程支持減少了腦力負(fù)荷,提高了操作的準(zhǔn)確性和效率,適合應(yīng)急模式下的操作支持。

圖7 專家端還原航天員端第一視角Fig.7 Expert-end reconstruction of first view of astronaut

4 結(jié)論

本文從航天員在軌和地面訓(xùn)練實際需求出發(fā),設(shè)計并實現(xiàn)了航天員混合現(xiàn)實訓(xùn)練系統(tǒng),解決相關(guān)關(guān)鍵技術(shù),并試驗驗證了其有效性,主訴訓(xùn)練體驗和試驗結(jié)果表明:

1) MR 作為一種虛實融合的便攜訓(xùn)練手段,可以有效結(jié)合實物半實物訓(xùn)練器進(jìn)行典型復(fù)雜設(shè)備操作引導(dǎo)、應(yīng)急等實物難以模擬的訓(xùn)練。

2)在軌MR 可以通過預(yù)估速度的插值法實現(xiàn)VSLAM 位姿高速估計,解決了在軌失重模式下高速MEMS 加速度計無法支持難題。

3)航天員可以通過MR 協(xié)同模式進(jìn)行多人訓(xùn)練與操作,地面專家可以通過MR 遠(yuǎn)程支持模式對在軌航天員進(jìn)行三維標(biāo)注沉浸支持,提高支持效率和精準(zhǔn)性。

4)文中提出的VSLAM 姿態(tài)估計算法較好解決了在軌失重應(yīng)用難題,但在算法速度、位姿誤差度仍需優(yōu)化,以提高位姿預(yù)估的平滑度。