李林瞳，王有春，謝 曄，陳 卓

(上海航天電子技術研究所，上海 201109)

適用宇航智能交互場景的混合現(xiàn)實技術研究

李林瞳，王有春，謝 曄，陳 卓

(上海航天電子技術研究所，上海 201109)

隨著中國空間站的逐步建成，航天員會面臨執(zhí)行諸如設備更換、空間實驗和太空行走等在軌任務的挑戰(zhàn);但由于通訊延遲等影響，地面指揮中心難以對航天員提供全天候的技術支持，要求航天員具備獨立獲取信息支持的能力，混合現(xiàn)實技術可以較好地解決這一問題;首先介紹了混合現(xiàn)實技術的概念，并對該技術進行了宇航應用特點分析;利用Unity創(chuàng)建虛擬模型，在VS2015的開發(fā)平臺下編寫語音指令、手勢操作及凝視等控制程序，基于HoloLens的混合現(xiàn)實頭盔實現(xiàn)應用;重點對空間掃描構圖進行了研究，通過HoloLens的深度攝像頭掃描室內環(huán)境，對空間構圖數(shù)據(jù)進行分析與處理，實現(xiàn)了將全息影像投影于真實世界的表面，并與全息影像開展多種形式的物理交互;證明了混合現(xiàn)實技術在航天員在軌輔助支持上實現(xiàn)的可行性。

HoloLens；空間構圖；混合現(xiàn)實；增強現(xiàn)實

0 引言

航天技術的不斷發(fā)展使航天員在未來會挑戰(zhàn)星際航行和較長時間的在軌任務。執(zhí)行任務的過程中，會不可避免地遇到設備意外故障等情況。但由于通訊延遲，地面指揮中心已不能保證為航天員提供全天候的技術支持，例如，在火星探測中，通訊延遲造成極端信息反饋時間將高達45 min[1]。因此，航天員必須具備自主獲取信息、自行決策的能力。

隨著中國空間站的逐步建成，未來20年里，航天員會在空間站中做很多工作。但考慮到緊張的太空環(huán)境和較長的在軌時間，航天員存在遺忘訓練內容的可能。目前的解決方法是攜帶紙質的技術手冊，供航天員隨時查詢。但是，技術手冊較為繁重，而且在執(zhí)行設備維修等任務時，手持技術手冊的航天員難以解放雙手，航天員也需要將視線在技術手冊與設備之間反復移動，增加了出錯概率[2]。

混合現(xiàn)實(mixed reality, MR)技術提供了一種極具潛力的航天任務支持手段。通過佩戴頭盔式增強現(xiàn)實設備，航天員可以透過透明的顯示器看到包含技術輔助信息的全息影像，在移動過程中解放雙手，并與全息影像實現(xiàn)語音、手勢和凝視等形式的交互，航天員可以通過這些輔助信息的指導完成在軌任務。

1 混合現(xiàn)實與宇航應用特點分析

1.1 混合現(xiàn)實和增強現(xiàn)實

混合現(xiàn)實是將真實世界和虛擬世界混合在一起，產(chǎn)生一個全新的可視化環(huán)境，環(huán)境中同時包含了物理實體和虛擬信息，并滿足實時性的要求[3]。

HoloLens和Magic Leap是兩款有代表性的MR設備?；旌犀F(xiàn)實設備與以Google Glass為代表的增強現(xiàn)實(augmented reality, AR)設備主要有兩點不同。

其一，虛擬物體的相對位置是否隨設備的移動而移動。對于AR設備，例如Google Glass,它在用戶左前方投射的“天氣面板”會在用戶移動過程中(或轉動頭部)保持與用戶的相對位置不變，如圖1所示。而對于HoloLens等MR設備，也會在屋子里的墻壁上投射天氣面板，但不論用戶怎樣走動或轉動頭部，天氣面板始終都在那面墻上。其原理為空間感知定位技術，只要當設備精確地獲取周圍的環(huán)境信息，才能精確地將虛擬物體放在正確的位置，而不會隨用戶的位置移動而移動。

其二，AR設備創(chuàng)造的虛擬物體，可以明顯看出其虛擬屬性。但對于HoloLens和Magic Leap等混合現(xiàn)實設備，用戶看到的虛擬物體和真實物體幾乎是無法區(qū)分的。因為MR設備直接向視網(wǎng)膜投射4維光場，所以用戶看到的虛擬物體在數(shù)學上沒有信息損失，與看真實的物體一樣，如圖2中Magic Leap看到的“鯨魚顯示”。

圖1 Google Glass天氣面板的用戶效果

圖2 Magic Leap“鯨魚顯示”效果圖

1.2 MR宇航應用特點分析

在前期的可行性分析中，考慮過采取基于手持監(jiān)視器的增強現(xiàn)實方式輔助航天員完成在軌任務。但是，從宇航員使用的角度來講，采用光學透視式頭盔的混合現(xiàn)實設備更具優(yōu)勢,研究中選用的HoloLen混合現(xiàn)實頭戴式顯示器代表了這一領域最先進的技術實現(xiàn)。選用HoloLens的理由如下：

首先，HoloLens佩戴在航天員的頭部，隨著頭部的運動而運動，有助于航天員在移動過程中解放雙手，航天員無需將視線在手冊與維修設備之間切換，從而將注意力集中于操作任務。HoloLens同時支持用戶與全息影像開展多種形式的全息交互。

其次，HoloLens在人體光學方面的用戶體驗很好，瞳距可自動調節(jié)，直接向用戶的視網(wǎng)膜中投射4維光場而非傳統(tǒng)的2維光場，用戶可以自主選擇性聚焦。相較于其他的眩暈感較強的混合現(xiàn)實設備，HoloLens帶給用戶的眩暈感很低。

最后，由于HoloLens是光學投射式頭盔，不同于視頻投射式頭盔完全封閉了用戶的視野，即使出現(xiàn)電源失效等極端情況，用戶仍可以透過透鏡看到全部的真實場景，由此避免了因為用戶視野封閉導致的安全隱患。

2 軟硬件開發(fā)環(huán)境

2.1 關于HoloLens

HoloLens作為混合現(xiàn)實科技的尖端應用，將計算機生成的虛擬效果疊加于現(xiàn)實世界之上。用戶佩戴HoloLens的視線不受阻隔，仍然可以在室內空間行走自如。HoloLens可以跟蹤用戶的移動和視線變化，以光線投射的方式將虛擬的全息影像投射到用戶眼中，HoloLens同時支持用戶與虛擬對象完成手勢、語音和凝視等多種形式的實時交互。

使用者通過移動一個標準的HoloLens設備，可以快速地對一個室內場景進行細致的三維重建[4]。使用從HoloLens中提取的深度數(shù)據(jù)，可以追蹤傳感器的三維姿態(tài)并重建，同時保證幾何上的精度和物理場景三維模型的實時性。

HoloLens擁有14納米的英特爾Cherry Trail SoC CPU，主邏輯板配備64 GB閃存和2 GB RAM。此外HoloLens獨立定制的HPU(全息處理單元)擁有6 500萬個邏輯閘和8 MB SRAM。HoloLens配有一個定制的3D景深攝像頭和4個環(huán)境感知攝像頭，用于掃描周圍環(huán)境。此外，慣性測量單元用于快速更新頭部追蹤信息，成像光學系統(tǒng)用于將現(xiàn)實世界與虛擬圖像融為一體。

2.2 軟件開發(fā)環(huán)境

采用Unity+VS2015聯(lián)合開發(fā)平臺在Windows10環(huán)境下為HoloLens開發(fā)應用。利用Unity繪制或導入圖片文字及三維動畫等虛擬信息，設置影像坐標等相關配置，開發(fā)者可以在Unity的視圖中看到初步處理后的混合現(xiàn)實效果。相關的數(shù)據(jù)處理程序可以經(jīng)由Unity的菜單欄在VS2015中打開，利用C#編寫空間掃描數(shù)據(jù)處理及人機交互方式等控制程序，并通過有線或遠程控制將應用加載到HoloLens中，實現(xiàn)混合現(xiàn)實的效果。

2.3 實驗步驟及方法分析

為了達到混合現(xiàn)實的目的，首先要認識現(xiàn)實，利用HoloLens自帶的4個深度攝像頭對室內環(huán)境掃描以獲取室內空間的數(shù)據(jù)信息，進一步對得到的較粗糙數(shù)據(jù)信息進行處理，進行平面劃分，將室內空間的數(shù)據(jù)依據(jù)點云的法線方向不同劃分為地面點云、墻面點云和頂棚點云。

其次，在Unity中設計虛擬的場景，也就是希望與真實環(huán)境相融合的虛擬動畫或圖片，并將虛擬場景導入工程中，并借助HoloLens的偏振片將4維光場信息投射到用戶的視網(wǎng)膜中，使得在Unity中設計的虛擬動畫和圖片信息以混合現(xiàn)實的方式出現(xiàn)在用戶的視野里，實現(xiàn)虛實結合的效果。

為了實現(xiàn)用戶與虛擬場景的交互，在VS2015中編寫手勢控制程序，使虛擬的圖片信息可以在用戶手勢的操控下在墻面上自由移動。并設置語音控制、手勢操作和凝視指令，進一步完善多種形式的人機交互手段，使用戶體驗真實的混合現(xiàn)實效果，提升用戶的認知和自主學習能力。

3 空間掃描與數(shù)據(jù)分析

3.1 對室內空間的深度掃描

HoloLens支持對室內空間進行深度掃描，由于研究的目的是在艙內空間為航天員提供混合現(xiàn)實的技術支持，在此不妨用任意的室內空間模擬太空艙內的空間。

HoloLens高質量的幾何重建，其核心目標是通過SLAM技術(simultaneous localization and mappinp，即時定位與構圖)獲取真實場景的詳細三維模型。SLAM技術的解決過程就是認知環(huán)境的過程，相機在移動過程中根據(jù)位置估計和地圖進行自身定位，同時在自身定位的基礎上建造增量式地圖。很多SLAM系統(tǒng)關注于實時的跟蹤，使用稀疏圖片定位而不是重建。還有的SLAM系統(tǒng)使用基于點的樣本表現(xiàn)(例如基于面元或者排成一條線的點云)進行重建[5]。HoloLens基于表面重建的方法超過了之前基于點的表現(xiàn)，更加精確的表現(xiàn)了真實世界的幾何關系。

用戶佩戴HoloLens可以在房間內快速地移動完成對場景三維模型的高質量、幾何精度較高的重建。系統(tǒng)連續(xù)地跟蹤HoloLens前置相機的姿態(tài)，并且實時地將由相機獲取的深度數(shù)據(jù)融合進世界的三維模型。當用戶搜索空間時，物理場景的新視圖被顯示，這些新的視圖被融合進統(tǒng)一模型中，因此伴隨著新的深度測量值被逐漸獲取，重建在細節(jié)上逐漸完善，空洞逐漸被填滿，模型變得更加完整，隨著時間的過去逐步精確[6]。

只要HoloLens開啟，它就會不間斷地掃描周圍的環(huán)境，但是開發(fā)者可以決定其開發(fā)的應用何時或者多久獲取一次數(shù)據(jù)。為了實現(xiàn)混合現(xiàn)實，首先要認識現(xiàn)實，而認識現(xiàn)實的方法正是通過HoloLens對室內空間進行深度掃描，并保存深度掃描的空間數(shù)據(jù)，將其下載到計算機中，從而可以在Unity中對深度數(shù)據(jù)進行處理和使用。

通過在VS2015中編寫空間觀測程序控制HoloLens對室內空間的掃描，利用Device Portal(設備門戶)工具實現(xiàn)計算機對HoloLens的觀測。使用HoloLens掃描室內環(huán)境時，會看到疏密度一定的三角形覆蓋室內環(huán)境，可以在Device Portal 中的3D view界面觀測到HoloLens對室內空間掃描的實時進度(如圖3所示),用戶需要利用HoloLens的深度相機掃描覆蓋室內空間的每個角落，以確保獲取環(huán)境信息的完整性，佩戴HoloLens的用戶凝視某一角落，對應的數(shù)據(jù)信息就會在實時掃描進度中被填滿。

圖3 3D view中顯示的實時掃描進度

掃描完成后，可以將室內空間的深度信息導入到Unity中，在Unity中點擊播放，便可以在Scene窗口中看到完成的室內空間深度信息(如圖4所示)[7]。值得注意的是，Unity支持在編譯器中實時觀測HoloLens的GPU使用情況，也可以修改HoloLens對室內空間的掃描精度，圖4中采用每立方米500個三角單元的測量精度，如果空間信息相對復雜，可以修改程序提高測量精度，例如可以將測量精度提升為每立方米1200個三角單元，部分控制程序如下：

Private void Awake( )

{

Observer=new SurfaceObserver();

ObserverState=ObserverStates.Stopped;

TrianglesPerCubicMeter=1200;

}

將深度數(shù)據(jù)導入Unity后，不再需要在Unity與HoloLens之間反復交換數(shù)據(jù)，對于空間數(shù)據(jù)的處理工作只需在Unity中進行。

圖4 向Unity中導入的掃描信息

3.2 空間數(shù)據(jù)的初步處理

通過HoloLens初步導入到Unity的數(shù)據(jù)是粗糙的，需要利用數(shù)學手段進行初步處理。通過存儲頂點的位置，可以精確的計算出像素點在空間中的位置。處理空間數(shù)據(jù)的思路是通過計算頂點的法向量判斷像素點的位置是在墻面、頂棚還是地面。

計算頂點在視野空間中所處的位置，同時得到頂點的法向量，將法向量轉化為世界空間的坐標，進一步得到真實空間中法向量的類型。通過著色器將墻面的像素點渲染為藍黑相間的條紋，其余區(qū)域，也就是頂棚點云與地面點云默認為黑色。初步處理后的空間數(shù)據(jù)如圖5所示，空間的墻面被著色器渲染為藍黑相間的條紋，并可以通過修改相應的參數(shù)改變藍色條紋的線寬。

圖5 初步處理后的空間數(shù)據(jù)

3.3 平面劃分與場景導入

初步處理后，找尋地面點云與頂棚點云，可以將法線方向均向上的一類點的集合定義為地面點云，將法線方向均向下的一類點的集合定義為頂棚點云，這樣就可以將空間數(shù)據(jù)劃分為三類，直觀地呈現(xiàn)為地面、墻面和頂棚。平面劃分處理后的結果如圖6所示，藍黑相間的部分為墻面，其與上下的頂棚與地面均清晰區(qū)別。

圖6 平面劃分后的處理結果

圖6中可以看出，數(shù)據(jù)的處理結果較為粗糙，尤其是面與面之間仍存在較多三角單元，需要做進一步的平滑處理。進一步將虛擬的交互場景導入室內空間模型，為交互做準備[8]，虛擬場景導入完成如圖7所示，虛擬的圖片信息被疊加到符合墻面要素的點云上，虛擬動畫場景被疊加到法線方向向上的地面點云，佩戴HoloLens的用戶就可以在室內空間看到混合現(xiàn)實的實現(xiàn)效果。

圖7 虛擬場景導入Unity后的結果

4 混合現(xiàn)實的實現(xiàn)

實現(xiàn)混合現(xiàn)實的交互方式主要有3種：語音控制、凝視和手勢控制[9]。語音控制幫助用戶通過語音對全息影像或圖片發(fā)送基本控制命令;凝視用于選擇，相當于鼠標指針的功能，通過頭部的運動指向一個位置;手勢控制主要分為輕點和拖拽，通過識別用戶手指的運動軌跡實現(xiàn)類似于鼠標確認等操作。

在此設計案例中，實現(xiàn)的具體交互方式為，墻面上的圖片文字信息可以根據(jù)用戶的凝視指令在墻面上的任意位置自由移動，并通過用戶的手勢確認指令固定放置在墻面上的任意位置。設計案例同樣支持語音控制，用戶可以通過語音指令固定圖片在墻面上的位置。但是，值得注意的是，圖片文字信息只能出現(xiàn)在墻面上。用戶也可以將虛擬的三維立體模型在地面上通過凝視指令移動并通過手勢或語音確認指令任意放置。同時，虛擬的太陽系環(huán)境置于室內空間中，佩戴HoloLens的用戶可以在室內空間看到動態(tài)運動的太陽系場景，包括行星、隕石的運動。

由此，置身于室內空間并佩戴HoloLens的用戶，不僅可以透過HoloLens的透光屏幕看到室內的真實場景，也可以看到通過Unity導入的虛擬的文字、圖片和三維動畫信息，并與虛擬信息開展語音控制、凝視和手勢控制等交互方式，實現(xiàn)了混合現(xiàn)實的效果。

5 結束語

隨著混合現(xiàn)實技術的發(fā)展和相關應用的研究，其在航天員輔助操作和獨立獲取信息等方面的巨大優(yōu)勢已經(jīng)顯現(xiàn)出來。本文的設計研究利用室內環(huán)境模擬太空艙內環(huán)境，首先對室內空間進行深度掃描，然后對數(shù)據(jù)進行處理，將虛擬場景導入，并實現(xiàn)多種形式的人機交互。用戶佩戴HoloLens混合現(xiàn)實頭盔，既能夠看到真實完整的室內空間，又可以獲取虛擬場景提供的圖片文字等信息，同時解放了用戶的雙手，方便用戶在獲取信息的同時開展相關操作。本設計對研究長期航天員在軌任務輔助支持與訓練方法具有重要的研究意義。

[1] Tamas H,Zoltan B.Surgical robotic support for long duration space missions[J].Acta Astronautica,2008,63(7):996-1005.

[2] 朱秀慶，劉玉慶，周伯河.載人航天領域增強現(xiàn)實技術應用研究進展[J].航天醫(yī)學與醫(yī)學工程,2014,27(5):374-378.

[3] 羅 斌，王涌天，沈 浩.增強現(xiàn)實混合跟蹤技術綜述[J].自動化學報，2013,39(8):1185-1201.

[4] 張 洋.混合現(xiàn)實的人機交互軟硬件系統(tǒng)的研究與設計[D].上海:華東師范大學,2014.

[5] Henry P,et al.RGB-D mapping:Using depth cameras for dense 3D modeling of indoor environments[A]. Proc.of the Int.Symposium on Experimental Robotics(ISER)[C].2010.

[6] Izadi S, Kim D, Hilliges O,et al.Real-time 3D reconstruction and interaction using a moving depth camera[A].UIST’II[C]. Santa Barbara,CA,USA,2011.

[7] Newcombe R A, Izadi S, Hilliges O.Real-time dense surface mapping and tracking[A].In ISMAR[C].2011.

[8] 李 國.基于立體視覺的同時定位與地圖創(chuàng)建研究[D].哈爾濱：哈爾濱工業(yè)大學,2014.

[9] 康 波.增強現(xiàn)實中的跟蹤技術[J].計算機測量與控制,2006,14(11):1431-1434.

A Study of Mixed Reality Applied to Aerospace Intelligent Interaction

Li Lintong, Wang Youchun,Xie Ye,Chen Zhuo

(Shanghai Aerospace Electronic Technology Institute, Shanghai 201109, China)

As Chinese space station is being established,the astronaut will face a challenge of a long-term on-orbit task, such as the equipment replacement, the space test and the space walk. But for the communication delay,the mission control center can hardly offer all-weather technical supports for astronauts,so the astronauts must poccess the capability of getting information supports independently.The technology of mixed reality can solve this problem. At first, the concept of the mixed reality is introduced, the space application characteristics of this technique is also analyzed. The voice command, the gesture control and the gaze are accomplished under the development platform of the VS2015,the app is operated on HoloLens. Our study focuses on the spatial mapping, the paper take an analysis of the spatial mapping data by scanning the indoor environment. The application can project holograms on the surface of the real world.Users can also take some physics interactions with the holograms.The study demonstrates the feasibility of the mixed reality for the on-orbit support of the astronauts.

HoloLens；spatial mapping；mixed reality；augmented reality

2017-06-19；

2017-07-11。

李林瞳(1992-)，男，吉林長春人，碩士研究生，主要從事增強現(xiàn)實方向的研究。

王有春(1974-)，女，安徽蚌埠人，碩士研究生導師，主要從事測試與發(fā)控方向的研究。

1671-4598(2017)12-0255-04

10.16526/j.cnki.11-4762/tp.2017.12.066

TP391

A