陳亞青,王盛杰,曹瑋琦,楊 實(shí),趙辰旭,黃智豪

(1.中國(guó)民用航空飛行學(xué)院民航飛行技術(shù)與飛行安全重點(diǎn)實(shí)驗(yàn)室,四川 廣漢 618307;2.珠海翔翼航空技術(shù)有限公司,廣東 珠海 519015)

0 引言

混合現(xiàn)實(shí)(Mixed Reality,MR)是虛擬現(xiàn)實(shí)科技的發(fā)展,其結(jié)合了虛擬現(xiàn)實(shí)(Virtual Reality,VR)與增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)的優(yōu)點(diǎn),通過在真實(shí)環(huán)境中構(gòu)建虛擬的三維場(chǎng)景數(shù)據(jù),在真實(shí)世界、虛擬世界與使用者間,搭建人機(jī)實(shí)時(shí)互動(dòng)反饋的數(shù)據(jù)信息回路,從而提高使用者感受的真實(shí)性。 用戶在開放的空間環(huán)境中,可以看到真實(shí)物體與虛擬建模物體在現(xiàn)實(shí)空間中疊加的狀態(tài)。 這些虛擬對(duì)象既可以是圖形、文字、符號(hào),也可以是具有逼真細(xì)節(jié)的3 D 模型。 通常情況下,用戶可以通過凝視、手部動(dòng)作(手勢(shì)/觸摸虛擬對(duì)象)和聲音命令與虛擬對(duì)象進(jìn)行交互。 混合現(xiàn)實(shí)設(shè)備融合了當(dāng)前計(jì)算設(shè)備、可視化技術(shù)、人體工程學(xué)研究和人工智能的頂尖技術(shù)。 在飛行訓(xùn)練中,使用具有反饋特性的混合現(xiàn)實(shí)技術(shù)產(chǎn)生的虛實(shí)結(jié)合三維畫面,能夠創(chuàng)造出更為真實(shí)的飛行訓(xùn)練場(chǎng)景。

1 飛行模擬訓(xùn)練現(xiàn)狀

飛行模擬器用于訓(xùn)練飛行員已有80 多年的歷史。 在這段時(shí)間里,航空技術(shù)有突飛猛進(jìn)的發(fā)展。 通常情況下,飛行模擬器將飛機(jī)的真實(shí)駕駛艙部分安裝在六自由度運(yùn)動(dòng)平臺(tái)上,允許飛機(jī)駕駛艙部分在飛行員的操縱下實(shí)現(xiàn)6 個(gè)維度的運(yùn)動(dòng)狀態(tài)[1]。 安裝視頻顯示器,可實(shí)現(xiàn)對(duì)外界環(huán)境的視景可視化。 在飛行訓(xùn)練中,飛行模擬器允許學(xué)員在飛機(jī)駕駛艙內(nèi)通過操控系統(tǒng)完成與模擬機(jī)的交互。 利用模擬機(jī)訓(xùn)練的方式既能節(jié)省燃料,又能減少飛機(jī)和發(fā)動(dòng)機(jī)的損耗,還可以通過模擬危險(xiǎn)的飛行環(huán)境和系統(tǒng)故障,鍛煉學(xué)員在復(fù)雜危險(xiǎn)情況下的應(yīng)急操作能力,不會(huì)將飛行員置于危險(xiǎn)之中[2]。 同時(shí),傳統(tǒng)的飛行模擬器體積重量巨大且造價(jià)高昂,一臺(tái)全動(dòng)飛行模擬器的售價(jià)超過1 200萬(wàn)美元[3]。 隨著更多新型號(hào)飛機(jī)的推出和量產(chǎn),老款型號(hào)的飛行模擬器將被批量淘汰,其結(jié)果是飛行員培訓(xùn)成本變得極高。

全動(dòng)飛行模擬器(Full Flight Simulator,FFS)是一種技術(shù)先進(jìn)的模擬器,它在運(yùn)動(dòng)、視覺、通信和空中交通等領(lǐng)域使用了當(dāng)今先進(jìn)技術(shù)[4]。 例如:FFS 可以模擬沿機(jī)身的空氣摩擦狀態(tài),讓飛行員進(jìn)行飛行環(huán)境定向訓(xùn)練,并可以提供特定機(jī)場(chǎng)周邊環(huán)境的超180 度衛(wèi)星高清質(zhì)量視圖。 飛行員可以在模擬器中精確地計(jì)算出機(jī)場(chǎng)的進(jìn)離場(chǎng)飛行程序[5]。 飛行訓(xùn)練器(Flight Training Device,FTD)沒有全動(dòng)模擬機(jī)的虛像視景系統(tǒng),所以視景效果不盡人意,大多數(shù)情況下用于飛行程序的訓(xùn)練。 VR 設(shè)備帶來的沉浸式體驗(yàn)則是無與倫比的,其在環(huán)境和視覺體驗(yàn)上甚至優(yōu)于全動(dòng)模擬機(jī)的視景系統(tǒng),但VR 飛行訓(xùn)練設(shè)備存在很大的弊端,在飛行程序中,飛行員對(duì)儀器儀表的操縱動(dòng)作,很難與虛擬的座艙操縱儀表盤進(jìn)行高精度的匹配交互,即便是戴上VR 手套觸摸虛擬座艙,也會(huì)影響飛行學(xué)員對(duì)操縱桿的握感體驗(yàn)[6]。 基于以上特點(diǎn),利用MR 設(shè)備可以把虛擬場(chǎng)景與現(xiàn)實(shí)硬件設(shè)備結(jié)合起來,飛行訓(xùn)練人員通過操縱真實(shí)設(shè)備,來觀察虛擬飛行視景。 這種混合現(xiàn)實(shí)的訓(xùn)練設(shè)備將是未來發(fā)展的重要方向。

飛行學(xué)員使用虛擬現(xiàn)實(shí)培訓(xùn)系統(tǒng)的訓(xùn)練效果,在航空業(yè)中仍存在一定分歧。 一些觀點(diǎn)認(rèn)為,市場(chǎng)上的新型飛行模擬器無法完全取代經(jīng)過試驗(yàn)和測(cè)試的傳統(tǒng)飛行模擬器。 飛行員在真實(shí)駕駛艙中的訓(xùn)練是至關(guān)重要的。 當(dāng)模擬機(jī)艙失火時(shí),駕駛艙內(nèi)開始被煙霧覆蓋,飛行學(xué)員可以訓(xùn)練佩戴氧氣面罩,并通過駕駛艙座位的抖動(dòng)感受飛機(jī)振動(dòng)變化[7]。 目前,虛擬現(xiàn)實(shí)技術(shù)已經(jīng)越來越多地被空軍和私立飛行培訓(xùn)學(xué)校用作視頻教程的替代品。

如今,虛擬現(xiàn)實(shí)(Virtual Reality,VR)技術(shù)即將迎來全新的專業(yè)飛行員培訓(xùn)時(shí)代,這將對(duì)航空業(yè)產(chǎn)生深遠(yuǎn)的影響。 雖然一直以來,所有的飛行學(xué)員都是利用傳統(tǒng)的飛行模擬器接受訓(xùn)練[8],但隨著基于混合現(xiàn)實(shí)技術(shù)的飛行訓(xùn)練模擬器即將改變?cè)圏c(diǎn)培訓(xùn)學(xué)校的教學(xué)方式,這將不僅是技術(shù)上的一次突破,更是飛行訓(xùn)練行業(yè)內(nèi)的一次技術(shù)變革。 基于混合現(xiàn)實(shí)的飛行員訓(xùn)練系統(tǒng)將顯著降低飛行訓(xùn)練成本,有效提高訓(xùn)練效率。

2019 年4 月,美國(guó)空軍推出了一門有30 名學(xué)生參加的“下一代飛行員培訓(xùn)”課程。 使用虛擬現(xiàn)實(shí)頭盔和先進(jìn)的人工智能生物識(shí)別技術(shù),13 名飛行員在短短4 個(gè)月內(nèi)便獲得了飛行資格認(rèn)證,而使用傳統(tǒng)的飛行員模擬培訓(xùn)系統(tǒng)則需要大約一年的時(shí)間。 虛擬現(xiàn)實(shí)飛行訓(xùn)練成本僅為每臺(tái)1 000 美元,而傳統(tǒng)模擬器的成本通常需要約450 萬(wàn)美元。 學(xué)生們?cè)谑褂肏TC 的Vive 虛擬現(xiàn)實(shí)頭盔時(shí)完全沉浸在駕駛艙中,同時(shí)生物識(shí)別技術(shù)監(jiān)測(cè)心率和瞳孔變化信息,讓飛行教練準(zhǔn)確地了解學(xué)生在學(xué)習(xí)體驗(yàn)中的沉浸程度,這是傳統(tǒng)飛行模擬器無法做到的[9]。 混合現(xiàn)實(shí)飛行訓(xùn)練的另一項(xiàng)突破性技術(shù),是可以基于一套混合現(xiàn)實(shí)設(shè)備,開發(fā)多種不同機(jī)型模擬仿真環(huán)境的能力,一名學(xué)生從駕駛T-6 教練機(jī)型切換到駕駛F-22 戰(zhàn)斗機(jī)機(jī)型只需要10 s[10]。 2021 年4 月歐盟航空安全局(European Aviation Safety Agency,EASA)首次正式對(duì)基于虛擬現(xiàn)實(shí)的航空訓(xùn)練解決方案進(jìn)行認(rèn)證[11]。 這要求飛行培訓(xùn)學(xué)校和企業(yè)對(duì)飛行學(xué)員的培訓(xùn)必須利用更科學(xué)的技術(shù)方案,以提高飛行訓(xùn)練的可靠性、安全性,并在提高訓(xùn)練效率的前提下,降低投入成本。

目前,國(guó)內(nèi)飛行訓(xùn)練使用虛擬仿真技術(shù)應(yīng)用方面大多數(shù)都停留在界面圖像級(jí)別,沒有引入MR 技術(shù)實(shí)現(xiàn)沉浸式混合現(xiàn)實(shí)仿真,普通虛擬現(xiàn)實(shí)仿真不能體現(xiàn)訓(xùn)練環(huán)境的沉浸感。 因此,本項(xiàng)目研究基于微軟公司HOLOLENS 2 設(shè)備的混合現(xiàn)實(shí)訓(xùn)練方案(和獲得歐盟航空安全局認(rèn)證的VR 訓(xùn)練器方案相同),掌握國(guó)外先進(jìn)技術(shù)的同時(shí),研究國(guó)產(chǎn)替代解決方案[12]。

2 飛行模擬訓(xùn)練難點(diǎn)

飛行學(xué)校教師任職培訓(xùn)的本質(zhì)屬性,就是要求培養(yǎng)的人才在進(jìn)入工作崗位后必須會(huì)干、能干、有用,這意味著飛行學(xué)校的教師培訓(xùn)工作需要在“訓(xùn)”字上下功夫,并強(qiáng)調(diào)通過實(shí)踐培養(yǎng)學(xué)員的飛行能力。 目前,飛機(jī)學(xué)校的教學(xué)方式仍然以經(jīng)驗(yàn)知識(shí)傳授為主,學(xué)員飛行技能的虛擬訓(xùn)練存在欠缺,學(xué)生獨(dú)立訓(xùn)練的時(shí)間較少,導(dǎo)致在實(shí)際飛行過程中容易發(fā)生多種多樣的問題。

2.1 理論教員缺乏飛行經(jīng)驗(yàn)

在培養(yǎng)飛行員的過程中,學(xué)校的理論基礎(chǔ)教師沒有實(shí)際飛行經(jīng)驗(yàn),只能從教學(xué)理論角度講解飛行教學(xué)知識(shí)。 目前,學(xué)校的理論基礎(chǔ)教師大多是剛畢業(yè)的研究生,大多數(shù)教師缺乏系統(tǒng)的高教基本理論訓(xùn)練,包括高教基本理論、教育心理學(xué)、課程教學(xué)法和教育經(jīng)濟(jì)學(xué)等教育理論知識(shí),同時(shí)還缺乏實(shí)際飛行經(jīng)驗(yàn),也沒有與飛行工作有關(guān)的職業(yè)教育基礎(chǔ)理論訓(xùn)練,因此很難滿足將飛機(jī)任職培訓(xùn)理論和實(shí)際教學(xué)一體化的需要。 學(xué)校還缺少培訓(xùn)教師實(shí)際技能的平臺(tái)和體系,安排教師在飛行相關(guān)基層工作的舉措雖然具有一定效果,但涉及面較小,實(shí)操時(shí)間也比較短,這不利于提高教師的教學(xué)水平。

2.2 訓(xùn)練階段缺乏模擬設(shè)施

由于市場(chǎng)對(duì)飛行員數(shù)量的需求越來越多,學(xué)校針對(duì)飛行學(xué)員的飛行教育缺少充分有效的模擬訓(xùn)練系統(tǒng)。 學(xué)生沒有自由實(shí)踐的平臺(tái),飛行技能課程和崗位對(duì)飛行員的要求均規(guī)定學(xué)生應(yīng)當(dāng)具備扎實(shí)的實(shí)踐能力。 飛行員基本技能素質(zhì)的養(yǎng)成僅通過理論知識(shí)的傳授是無法實(shí)現(xiàn)的,即使在飛機(jī)培訓(xùn)中可以通過實(shí)際飛行訓(xùn)練來提高學(xué)生的實(shí)際操作技能和素質(zhì),但由于訓(xùn)練飛機(jī)的架次和飛機(jī)教員的數(shù)量不足,學(xué)生在真機(jī)上獨(dú)立駕駛的時(shí)間非常少。 盡管許多學(xué)校配備了飛行仿真設(shè)備,但其規(guī)模還比較有限,擴(kuò)展性和可調(diào)性也不夠,大大影響了學(xué)生自由練習(xí)的時(shí)間,不利于提高學(xué)生的獨(dú)立試飛水平。

2.3 模擬機(jī)成本高昂

模擬機(jī)培訓(xùn)價(jià)格昂貴。 在培養(yǎng)民航駕駛員的過程中,飛機(jī)訓(xùn)練模擬器是至關(guān)重要的組成部分。 傳統(tǒng)模擬機(jī)的弊端顯而易見,體型笨重,結(jié)構(gòu)煩瑣,驅(qū)動(dòng)復(fù)雜,采購(gòu)、安裝、維護(hù)等費(fèi)用昂貴。 各種型號(hào)飛行器需要配置相應(yīng)型號(hào)的模擬機(jī)。 鑒于當(dāng)前國(guó)產(chǎn)化模擬機(jī)技術(shù)起步較晚,理論基礎(chǔ)薄弱,硬件設(shè)施技術(shù)滯后,大部分國(guó)內(nèi)飛機(jī)公司和院校所用的飛機(jī)模擬機(jī)優(yōu)先購(gòu)置于海外,成本巨大。 許多飛行學(xué)校缺少必要的模擬機(jī)設(shè)備,這也是造成飛行培訓(xùn)質(zhì)量較低的關(guān)鍵因素。

2.4 缺乏多機(jī)型模擬器

特別是在通用航空飛機(jī)市場(chǎng)上,民用飛機(jī)由于固定翼航空器和直升機(jī)數(shù)量都很多,且為其配套的真實(shí)感和沉浸性俱佳的D 類飛行模擬器也遠(yuǎn)超過普通航空器的價(jià)值,故在通用飛機(jī)市場(chǎng)上C 類或D 類飛行模擬器的數(shù)量十分稀缺。 通航運(yùn)營(yíng)企業(yè)推出低端的飛機(jī)訓(xùn)練器。 這類訓(xùn)練器不具備運(yùn)動(dòng)平臺(tái),且視景技術(shù)采用實(shí)像設(shè)計(jì),展示效果不好。 這些問題都降低了飛行培訓(xùn)的效率和效果。 在飛機(jī)訓(xùn)練器中,結(jié)合混合現(xiàn)實(shí)功能,配合相應(yīng)的移動(dòng)平臺(tái)設(shè)計(jì),將在大幅減少飛機(jī)訓(xùn)練器費(fèi)用的同時(shí),明顯地提高飛行的沉浸性,這提升了飛行培訓(xùn)質(zhì)量。

專業(yè)飛行培訓(xùn)學(xué)校開展以教育為基本、以能力教學(xué)為中心、以崗位服務(wù)為主要目的、以訓(xùn)練學(xué)生崗位工作能力為基本價(jià)值方向的教學(xué)與實(shí)踐活動(dòng),其最明顯的特征是以能為本。 飛行專業(yè)的教學(xué)工作應(yīng)當(dāng)突出基礎(chǔ)能力訓(xùn)練,并優(yōu)先適應(yīng)崗位的工作要求,這一屬性決定了飛行教學(xué)應(yīng)當(dāng)以傳授基本理論知識(shí)為基礎(chǔ)、以提高學(xué)生素質(zhì)為核心、以訓(xùn)練創(chuàng)新能力為重點(diǎn),利用有限的飛行時(shí)間集中強(qiáng)化訓(xùn)練,從而使培養(yǎng)對(duì)象具有勝任飛行職業(yè)要求的綜合實(shí)力。

3 混合現(xiàn)實(shí)飛行訓(xùn)練優(yōu)勢(shì)

基于混合現(xiàn)實(shí)技術(shù)的飛行訓(xùn)練模式創(chuàng)造了飛行學(xué)員與虛擬飛行場(chǎng)景的交互界面,并將真實(shí)場(chǎng)景和數(shù)字元素融合在一起,促進(jìn)了現(xiàn)實(shí)和虛擬世界的互動(dòng)。它同時(shí)具備了虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的特性,但又提供了物理操作平臺(tái)。 因此,它在飛行訓(xùn)練中具備極強(qiáng)的應(yīng)用價(jià)值。

3.1 適應(yīng)實(shí)戰(zhàn)化訓(xùn)練需要

通過混合虛擬現(xiàn)實(shí)技術(shù),在虛擬空間中模擬出真實(shí)的飛行場(chǎng)景,教員們即可將訓(xùn)練場(chǎng)由機(jī)場(chǎng)停機(jī)坪移至實(shí)驗(yàn)室內(nèi)。 同時(shí),也可以根據(jù)需要,將虛擬的訓(xùn)練場(chǎng)地疊加不同的地理環(huán)境、氣候條件等,并能夠根據(jù)不同學(xué)員的不同能力做出針對(duì)性的訓(xùn)練設(shè)置。 在訓(xùn)練方面,基于混合現(xiàn)實(shí)的訓(xùn)練設(shè)備能夠重復(fù)且連續(xù)使用,從而持續(xù)不間斷地開展既定課程的培訓(xùn),極大提升了學(xué)生的實(shí)戰(zhàn)化技能。

3.2 提供能力提升平臺(tái)

混合現(xiàn)實(shí)飛行訓(xùn)練系統(tǒng)可以為老師和學(xué)生創(chuàng)造飛行教學(xué)和飛行學(xué)習(xí)能力提高的平臺(tái)。 通過創(chuàng)建虛擬仿真的飛行培訓(xùn)平臺(tái),突破培訓(xùn)空域、時(shí)間的局限,能夠在極大程度上降低培訓(xùn)成本,同時(shí)能夠重復(fù)使用,也避免了實(shí)際飛行的危險(xiǎn)性。 這種功能特性可以根據(jù)學(xué)員按照自身的能力要求完成所有必要的模擬訓(xùn)練,同時(shí)也能夠通過虛擬實(shí)訓(xùn)找到實(shí)際飛行中存在的問題,并從虛擬實(shí)訓(xùn)中尋求解決問題的辦法,從而充分調(diào)動(dòng)學(xué)生的主觀能動(dòng)性,提高學(xué)生自主發(fā)現(xiàn)問題、處理問題的綜合能力。

3.3 提供實(shí)踐性教學(xué)設(shè)施保障

使用模擬設(shè)備進(jìn)行教學(xué),對(duì)教學(xué)條件、教師教學(xué)資源的依賴性較大。 目前,飛行專業(yè)教師配套的教學(xué)設(shè)備比較落后,新技術(shù)裝備嚴(yán)重不足,教學(xué)模擬器材建設(shè)也未能形成一定的系統(tǒng),嚴(yán)重制約著實(shí)驗(yàn)式教學(xué)法的發(fā)展。 采用虛擬現(xiàn)實(shí)技術(shù)的飛機(jī)訓(xùn)練平臺(tái)具備高度真實(shí)、低功耗、高擴(kuò)展的特點(diǎn),且創(chuàng)新與迭代過程相對(duì)簡(jiǎn)單,更容易建立大規(guī)模體系。 特別是針對(duì)當(dāng)前飛機(jī)信息化裝備的虛擬仿真,虛擬現(xiàn)實(shí)技術(shù)具備優(yōu)越性,已成為當(dāng)前飛機(jī)訓(xùn)練專業(yè)的理想選擇。

3.4 單機(jī)功能擴(kuò)展性強(qiáng)

在性能上,與傳統(tǒng)的飛機(jī)模擬器相比,采用混合現(xiàn)實(shí)的飛機(jī)模擬技術(shù)器具有無可比擬的優(yōu)越性。 采用了混合現(xiàn)實(shí)技術(shù)的飛機(jī)模擬器,配備了駕駛艙等硬件設(shè)施,結(jié)合虛擬現(xiàn)實(shí)的仿真飛行環(huán)境建模,提供了一種全新的飛機(jī)訓(xùn)練環(huán)境。 能夠很簡(jiǎn)便地做到單機(jī)多能,即可以使用同一種訓(xùn)練平臺(tái)同時(shí)進(jìn)行多個(gè)機(jī)型飛行任務(wù)的演練。 目前,飛行模擬器的視景控制系統(tǒng)通過使用混合現(xiàn)實(shí)硬件設(shè)備的攝像頭,將座艙實(shí)景畫面嵌入虛擬環(huán)境中,實(shí)現(xiàn)硬件操控平臺(tái)與虛擬飛行環(huán)境相融合。

中國(guó)民航圍繞“持續(xù)安全理念”,穩(wěn)步推進(jìn)“民航強(qiáng)國(guó)”戰(zhàn)略建設(shè),需要培養(yǎng)應(yīng)用型、復(fù)合型、創(chuàng)新型的新時(shí)代民航專業(yè)技術(shù)人才。 國(guó)家民用航空飛行學(xué)校,作為中國(guó)民航人才培養(yǎng)的主力學(xué)校之一,將主動(dòng)變革人才培養(yǎng)模式和教學(xué)內(nèi)容,以提升教育質(zhì)量與培養(yǎng)品質(zhì),適應(yīng)“民航強(qiáng)國(guó)”人才建設(shè)。 基于混合現(xiàn)實(shí)技術(shù)以其高度逼真性、交互性,為提高飛行學(xué)校任職培訓(xùn)能力開辟了一條可行途徑。 運(yùn)用虛擬現(xiàn)實(shí)技術(shù)開展實(shí)踐性教育,遵循了“以模代實(shí)、以軟代硬”的教育培訓(xùn)開發(fā)理念,能夠?yàn)轱w機(jī)學(xué)院的任職培訓(xùn)人員提供一個(gè)教學(xué)環(huán)境現(xiàn)實(shí)、教學(xué)內(nèi)容真實(shí)、練習(xí)形式新穎、學(xué)習(xí)方法完善、內(nèi)容資料豐富的復(fù)合型實(shí)踐教學(xué)培訓(xùn)模式,從而打破了傳統(tǒng)飛機(jī)培訓(xùn)資金、時(shí)間、空間上的束縛,大大減少了實(shí)踐飛行培訓(xùn)的難度與風(fēng)險(xiǎn),從而大幅度降低了飛機(jī)院校的教育培訓(xùn)成本,在飛機(jī)任職培訓(xùn)領(lǐng)域有著更廣泛的發(fā)展前景。

目前,混合現(xiàn)實(shí)已經(jīng)成為一項(xiàng)世界領(lǐng)先的培訓(xùn)技術(shù)手段,通過這種技術(shù)的有效運(yùn)用,可以進(jìn)一步指導(dǎo)新培訓(xùn)模式的形成,進(jìn)一步明確了飛機(jī)教師和測(cè)試人員對(duì)培訓(xùn)要求的正確把握標(biāo)準(zhǔn),而培訓(xùn)結(jié)果可成為飛行員技術(shù)安全生命周期管理系統(tǒng)的關(guān)鍵部分,為“大數(shù)據(jù)+空中培訓(xùn)”戰(zhàn)略服務(wù),引領(lǐng)全球航空運(yùn)輸培訓(xùn)的創(chuàng)新發(fā)展,向全球民用提供空中培訓(xùn)管理工作的“國(guó)家智力”和“中國(guó)標(biāo)準(zhǔn)”,有力支持建設(shè)協(xié)調(diào)高效、開放發(fā)展的新時(shí)期具有中國(guó)特色的飛行訓(xùn)練培訓(xùn)體系。

4 混合現(xiàn)實(shí)飛行訓(xùn)練設(shè)計(jì)與實(shí)現(xiàn)

基于微軟HoloLens 設(shè)備的混合現(xiàn)實(shí)飛行訓(xùn)練系統(tǒng)技術(shù)框架如圖1 所示,其中混合現(xiàn)實(shí)平臺(tái)是系統(tǒng)的核心。 系統(tǒng)通過HoloLens 采集真實(shí)環(huán)境中的信息和用戶交互信息后,進(jìn)行同步空間掃描定位,將交互信息與數(shù)據(jù)庫(kù)信息進(jìn)行匹配,然后在HoloLens 設(shè)備上進(jìn)行混合現(xiàn)實(shí)顯示。

圖1 混合現(xiàn)實(shí)飛行訓(xùn)練系統(tǒng)技術(shù)框架

頭顯設(shè)備采用微軟的HoloLens 全息眼鏡,不僅能將虛擬影像與現(xiàn)實(shí)環(huán)境很好地結(jié)合,其除了是頭顯設(shè)備外還是一臺(tái)獨(dú)立的運(yùn)算設(shè)備,能流暢運(yùn)行Windows 10 系統(tǒng),不需要借助外接設(shè)備便能實(shí)現(xiàn)空間定位,同時(shí)還支持手勢(shì)識(shí)別、語(yǔ)音識(shí)別、無線互聯(lián)等。 圖形工作站主要運(yùn)行多機(jī)型模型以及復(fù)雜的培訓(xùn)系統(tǒng)流程模型,實(shí)時(shí)存儲(chǔ)采集的數(shù)據(jù),提供列表、曲線、圖形等多種方式顯示監(jiān)控?cái)?shù)據(jù)。

基于HoloLens 的混合現(xiàn)實(shí)技術(shù),在使用系統(tǒng)過程中,用戶不需要電腦、冗雜的數(shù)據(jù)線、手柄和鼠標(biāo)等外圍設(shè)備,只需佩戴HoloLens 眼鏡結(jié)合手勢(shì)就可實(shí)現(xiàn)所有的操作。 用戶進(jìn)入系統(tǒng)后,可選擇學(xué)習(xí)模式和訓(xùn)練模式進(jìn)行試驗(yàn)學(xué)習(xí)。

培訓(xùn)人員可以通過手勢(shì)與HoloLens 互動(dòng),實(shí)現(xiàn)觀察視角的變換,借助MR 演示技術(shù),創(chuàng)造沉浸式的體驗(yàn)。 綜合管理系統(tǒng)軟件開發(fā)數(shù)據(jù)存儲(chǔ)功能模塊,可將網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行綜合存儲(chǔ),以方便后期數(shù)據(jù)回放、數(shù)據(jù)處理和訓(xùn)練效果評(píng)估,數(shù)據(jù)存儲(chǔ)和采集采用無損旁路采集模式。 原有的通信鏈路為透明傳輸,對(duì)仿真平臺(tái)不產(chǎn)生延時(shí),以免影響仿真效果。 開發(fā)流程示意如圖2 所示。

圖2 開發(fā)流程

此案例為中國(guó)民用航空飛行學(xué)院設(shè)計(jì)的一種基于MR 的繞機(jī)檢查訓(xùn)練方法及裝置,流程包括以下步驟。

步驟1:建立飛機(jī)結(jié)構(gòu)模型,得到飛機(jī)結(jié)構(gòu)模型檢查訓(xùn)練文件。

步驟2:基于UNITY 引擎開發(fā),在項(xiàng)目中設(shè)置符合AR 設(shè)備的開發(fā)環(huán)境。

步驟3:搭建繞機(jī)器檢查的周邊環(huán)境背景模型,得到背景模型檢查訓(xùn)練文件。

步驟4:模擬缺陷案例,體驗(yàn)時(shí)間及檢查訓(xùn)練模式得到綜合配置文件。

步驟5:將1 至4 相關(guān)文件傳輸至MR 訓(xùn)練裝置中,進(jìn)行模擬測(cè)試。

基于混合現(xiàn)實(shí)技術(shù)的虛擬仿真飛行訓(xùn)練系統(tǒng)設(shè)計(jì)研究是以虛擬仿真技術(shù)為依托、計(jì)算機(jī)仿真為支撐,借助MR 設(shè)備硬件平臺(tái),通過三維建模以搭建仿真模型,構(gòu)建虛擬現(xiàn)實(shí)的沉浸式虛擬維修訓(xùn)練的培訓(xùn)方法。 虛擬維修培訓(xùn)是一種新型的培訓(xùn)方式,虛擬維修培訓(xùn)和真實(shí)維修培訓(xùn)相結(jié)合,兩者互相配合,互相補(bǔ)足短板。 虛擬仿真培訓(xùn)具有突破真實(shí)培訓(xùn)條件局限的優(yōu)勢(shì),具有更好的通用性、靈活性、層次性和資源共享性,可根據(jù)培訓(xùn)需要以構(gòu)建故障類型和故障內(nèi)容,在虛擬環(huán)境系統(tǒng)中進(jìn)行飛行訓(xùn)練模擬仿真操作,有效提高培訓(xùn)效率、降低培訓(xùn)成本。

5 地面繞機(jī)檢查訓(xùn)練科目案例

基于HoloLens 研發(fā)的混合現(xiàn)實(shí)設(shè)備,根據(jù)飛行員地面繞機(jī)檢查科目,筆者運(yùn)用此設(shè)備設(shè)計(jì)了一款混合現(xiàn)實(shí)地面繞機(jī)檢查案例。 繞機(jī)檢查主要檢查部位包括機(jī)頭、前后機(jī)身、起落架、機(jī)翼、發(fā)動(dòng)機(jī)、機(jī)尾等部分,規(guī)范化檢查路線如圖3 所示。

圖3 繞機(jī)檢查規(guī)范路徑

圖4 案例的模塊連接流程

使用者佩戴并啟動(dòng)HoloLens2 混合現(xiàn)實(shí)眼鏡,通過接收軟件設(shè)計(jì)的固定繞機(jī)檢查路線,根據(jù)語(yǔ)音提示移動(dòng)到航空器三維模型中的各個(gè)待檢查部位,采集待檢查部位的圖像數(shù)據(jù)和使用者對(duì)該位置的操作手勢(shì),并上傳至服務(wù)器。 服務(wù)器接收?qǐng)D像數(shù)據(jù)和手勢(shì)數(shù)據(jù),將接收的數(shù)據(jù)與預(yù)設(shè)數(shù)據(jù)庫(kù)進(jìn)行特征點(diǎn)比對(duì),得到當(dāng)前檢查部位的檢查規(guī)范和檢查結(jié)果,并將當(dāng)前交互的飛機(jī)部位檢查結(jié)果傳輸至HoloLens2 混合現(xiàn)實(shí)眼鏡。HoloLens2 混合現(xiàn)實(shí)眼鏡接收到使用者交互飛機(jī)部位的檢查結(jié)果,彈出提示,引導(dǎo)使用者沿著預(yù)定的繞機(jī)檢查路線前往下一個(gè)檢查部位繼續(xù)檢查;直到完成飛機(jī)所有待測(cè)部位的檢查,將智能眼鏡采集到的所有數(shù)據(jù)上傳至服務(wù)器進(jìn)行存儲(chǔ)。

在進(jìn)行學(xué)員地面繞機(jī)檢查時(shí),HoloLens2 設(shè)備的微型攝像頭可作為數(shù)據(jù)讀取模塊,通過獲取待檢查機(jī)型的各位置信息,根據(jù)該機(jī)型信息從服務(wù)器中調(diào)取相應(yīng)機(jī)型的數(shù)據(jù)庫(kù)與預(yù)定檢查路線;在服務(wù)器的數(shù)據(jù)分析模塊中,數(shù)據(jù)處理系統(tǒng)會(huì)預(yù)先對(duì)各種不同機(jī)型的基礎(chǔ)數(shù)據(jù)信息建立仿真數(shù)據(jù)庫(kù),其包含機(jī)型各待檢位置對(duì)應(yīng)的異常圖像、正常圖像特征檢測(cè)數(shù)據(jù)庫(kù),以用于進(jìn)行后續(xù)的特征對(duì)比;通過HoloLens2 頭部顯示模塊反饋給使用者,得到檢查結(jié)果。

特征檢測(cè)數(shù)據(jù)庫(kù)的圖像數(shù)據(jù)來源包括:通過拍攝獲取大量航空器地面繞機(jī)檢查正常(無損傷)圖像數(shù)據(jù),用于異常(有損傷)圖像的對(duì)比分析參考;對(duì)于航空器上一些常見的損傷或外觀異常類型通過實(shí)驗(yàn)加工的方式建立仿真物理上的模型或模仿故障或異?，F(xiàn)象﹐獲取圖像數(shù)據(jù)(如模擬機(jī)翼滲漏滴油、地面油痕跡、模擬機(jī)體表面撞擊凹痕等圖像);在航空公司、機(jī)場(chǎng)或飛機(jī)修理廠采集不同機(jī)型航空器的地面繞機(jī)檢查異常圖像數(shù)據(jù)。 通過大量航空器正常圖像和異常圖像建立特征圖像數(shù)據(jù)庫(kù)。 服務(wù)器還存儲(chǔ)了針對(duì)不同機(jī)型、不同部位的歷史檢查數(shù)據(jù),方便工作人員根據(jù)歷史數(shù)據(jù)設(shè)計(jì)相應(yīng)的繞機(jī)檢查路線并發(fā)送至混合現(xiàn)實(shí)眼鏡。 部分案例實(shí)現(xiàn)效果如圖5 所示。

圖5 部分繞機(jī)檢查案例效果

確認(rèn)牽引桿固定好后,駕駛員應(yīng)移除或者固定行李箱內(nèi)任何未固定的物品,每次飛行前應(yīng)檢查行李箱門是否關(guān)好。

工作人員應(yīng)定期檢查前緣、上部、下部和外緣表面有無損壞;檢查移動(dòng)升降舵以確認(rèn)其活動(dòng)靈活無卡阻,連接正常;向上扳動(dòng)升降舵時(shí)檢查駕駛桿向后移動(dòng),注意避免觸碰升降舵的塑料邊緣;檢查兩個(gè)靜電刷連接正常;檢查調(diào)整片連接是否緊固,升降舵配平處于起飛時(shí)會(huì)扳動(dòng)升降舵至水平安定面角度;檢查調(diào)整片與升降舵角度。

檢查郵箱的步驟是打開燃油箱蓋,目視檢查油量,確認(rèn)油箱口蓋正確蓋好。

地面繞機(jī)檢查虛擬仿真系統(tǒng)設(shè)計(jì)研究是以虛擬仿真技術(shù)為依托、計(jì)算機(jī)仿真為支撐,借助MR 平臺(tái),通過三維建模以搭建仿真模型,構(gòu)建虛擬現(xiàn)實(shí)的沉浸式虛擬訓(xùn)練的培訓(xùn)方法。 基于混合現(xiàn)實(shí)技術(shù)的培訓(xùn)是一種新型的培訓(xùn)及訓(xùn)練方式,其可以與真實(shí)維修培訓(xùn)相結(jié)合,兩者互相配合,互相補(bǔ)足短板。 基于混合現(xiàn)實(shí)的虛擬仿真繞機(jī)檢查訓(xùn)練具有突破真實(shí)培訓(xùn)條件局限的優(yōu)勢(shì),具備更好的通用性、靈活性、層次性和資源共享性,可根據(jù)訓(xùn)練需要以構(gòu)建故障類型和故障內(nèi)容,在虛擬環(huán)境系統(tǒng)中進(jìn)行地面繞機(jī)檢查操作,這有效地提高培訓(xùn)效率、降低培訓(xùn)成本。

6 結(jié)語(yǔ)

混合現(xiàn)實(shí)技術(shù)有很大潛力。 無論是使用混合現(xiàn)實(shí)技術(shù)在飛行訓(xùn)練中進(jìn)行人機(jī)交互,還是增強(qiáng)訓(xùn)練過程的效果,都表明其應(yīng)用前景廣闊。

5G 是增強(qiáng)移動(dòng)連接的網(wǎng)絡(luò)工具,有助于提升混合現(xiàn)實(shí)技術(shù)應(yīng)用的效果。 隨著網(wǎng)絡(luò)連接速度的提高和延遲的減少,當(dāng)飛行學(xué)員在場(chǎng)景中走動(dòng)時(shí),他們能夠方便地使用混合現(xiàn)實(shí)眼鏡,而不會(huì)因?yàn)閭鬏斔俣嚷e(cuò)過信息。 混合現(xiàn)實(shí)技術(shù)將數(shù)字世界和物理世界結(jié)合起來,為飛行模擬訓(xùn)練帶來前所未有的機(jī)遇。