仲小慧 劉義明 高培軼

（ 航空工業(yè)西安飛機(jī)工業(yè)（ 集團(tuán)）有限責(zé)任公司，陜西 西安710089）

1 虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)概述

隨著計(jì)算機(jī)及通信技術(shù)的高速發(fā)展， 虛擬現(xiàn)實(shí)技術(shù)（ Virtual Reality，VR）和增強(qiáng)現(xiàn)實(shí)技術(shù)（ AugmentReality，AR）已經(jīng)開(kāi)始應(yīng)用于飛機(jī)裝配。 使用VR 技術(shù)，能夠建立一個(gè)全三維的虛擬環(huán)境，使用AR 技術(shù)可以將虛擬信息疊加到現(xiàn)實(shí)場(chǎng)景中， 綜合運(yùn)用了AR 和VR 的混合現(xiàn)實(shí)技術(shù)（ Mixed Reality，MR）所建立的虛擬環(huán)境可以提供更集中、更全面的裝配信息，同時(shí)建模量也大大減少。基于MR 技術(shù)的虛擬裝配系統(tǒng)可以對(duì)裝配所需的大量信息進(jìn)行統(tǒng)一、 集中的管理，可以大大縮短飛機(jī)裝配前置時(shí)間，減少資源浪費(fèi)并能夠降低成本。 將虛擬環(huán)境和真實(shí)環(huán)境相匹配并融合，對(duì)工作人員而言，拓展了信息獲取的渠道和范圍，加強(qiáng)了對(duì)重要信息的感知能力，同時(shí)也降低了對(duì)工作人員視覺(jué)空間能力的要求；對(duì)裝配工作而言，可以有效的減少人為因素造成故障拒收，大大縮短飛機(jī)裝配時(shí)間，極大的提高裝配效率和質(zhì)量。

1.1 虛擬現(xiàn)實(shí)技術(shù)

虛擬現(xiàn)實(shí)（ Virtual Reality，簡(jiǎn)稱VR）技術(shù)，虛擬現(xiàn)實(shí)是利用高性能計(jì)算機(jī)系統(tǒng)通過(guò)虛擬現(xiàn)實(shí)產(chǎn)生器(VR Engine)重構(gòu)一個(gè)3D 虛擬的數(shù)字化世界，借助近眼顯示、感知交互、渲染處理、網(wǎng)絡(luò)傳輸和內(nèi)容制造等新一代信息通信技術(shù)， 通過(guò)多種傳感和體感終端控制設(shè)備，如頭戴式顯示器、運(yùn)動(dòng)追蹤器等與3D 虛擬世界中的虛擬人和事物進(jìn)行交互。 立足身臨其境的沉浸體驗(yàn)，為用戶提供了一種全新人機(jī)交互方式。 通俗點(diǎn)說(shuō)，就是可以讓人身臨其境，仿佛進(jìn)入一個(gè)真實(shí)的夢(mèng)境。 由于當(dāng)前技術(shù)限制，VR 還處于部分沉浸階段，現(xiàn)在戴上VR 設(shè)備去體驗(yàn)，你是清晰的知道身體處于現(xiàn)實(shí)世界，感受都是模擬出來(lái)的。 理想的VR，進(jìn)入之后，你是分不清虛擬和現(xiàn)實(shí)的。 隨著5G 技術(shù)的到來(lái)， 更高容量帶寬和更高速的傳輸效率，使得大數(shù)據(jù)量的云計(jì)算數(shù)據(jù)可以和VR 設(shè)備進(jìn)行實(shí)時(shí)的數(shù)據(jù)交互，目前可以預(yù)見(jiàn)在不久的將來(lái)在VR、AR 游戲、視頻/影片觀看、商業(yè)培訓(xùn)、在線設(shè)計(jì)和在線展示、工業(yè)制造、醫(yī)療教學(xué)、教育培訓(xùn)等領(lǐng)域等一系列細(xì)分行業(yè)的發(fā)展讓VR/AR 行業(yè)進(jìn)入落地階段。

1.2 增強(qiáng)現(xiàn)實(shí)技術(shù)

增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)技術(shù)，是在虛擬現(xiàn)實(shí)技術(shù)基礎(chǔ)上發(fā)展而來(lái)， 是一種計(jì)算機(jī)生成的數(shù)字內(nèi)容與現(xiàn)實(shí)世界實(shí)時(shí)融合結(jié)合的技術(shù)。其與虛擬現(xiàn)實(shí)（ VR）技術(shù)有著明顯的不同，將用戶完全沉浸在合成環(huán)境中， 使用戶可以看到疊加在現(xiàn)實(shí)真實(shí)空間上的增強(qiáng)了的三維虛擬對(duì)象世界。

AR 系統(tǒng)必須滿足以下三個(gè)特征：

它結(jié)合了真實(shí)和虛擬內(nèi)容

該系統(tǒng)是交互式的，可以實(shí)時(shí)執(zhí)行

虛擬內(nèi)容已在現(xiàn)實(shí)世界中注冊(cè)

先前的研究表明，AR 技術(shù)可以應(yīng)用于廣泛的領(lǐng)域包括教育，醫(yī)學(xué)，工程，軍事和娛樂(lè)。 例如虛擬可以將地圖覆蓋在現(xiàn)實(shí)世界上，以幫助人們?cè)诂F(xiàn)實(shí)世界中導(dǎo)航， 醫(yī)學(xué)圖像可以出現(xiàn)在真實(shí)的患者身上，建筑師可以看到虛擬建筑物在建造之前就位。

1.3 混合現(xiàn)實(shí)技術(shù)

混合現(xiàn)實(shí)(Mixed Reality，簡(jiǎn)稱MR)包括增強(qiáng)現(xiàn)實(shí)和增強(qiáng)虛擬，AR 和VR 都是更廣泛的現(xiàn)實(shí)- 虛擬連續(xù)性的一部分，稱為“ 混合現(xiàn)實(shí)”（ MR），20 世紀(jì)90 年代初， 米爾格拉姆和基希諾提出Mixed Reality，簡(jiǎn)稱MR 一詞，他們認(rèn)為，混合現(xiàn)實(shí)環(huán)境是“ 將現(xiàn)實(shí)世界和虛擬世界的對(duì)象， 在虛擬連續(xù)體極值之間的任何位置的環(huán)境一起呈現(xiàn)在一個(gè)顯示器中。 ”混合現(xiàn)實(shí)技術(shù)可以增強(qiáng)用戶對(duì)現(xiàn)實(shí)世界的感知和互動(dòng)。

1.4 相關(guān)硬件和軟件系統(tǒng)關(guān)鍵技術(shù)

混合現(xiàn)實(shí)應(yīng)用需要準(zhǔn)確了解相機(jī)的相對(duì)位置和場(chǎng)景。 當(dāng)它們中的任何一個(gè)移動(dòng)時(shí)， 這意味著實(shí)時(shí)跟蹤所有定義攝像機(jī)相對(duì)于場(chǎng)景的位置和方向的六個(gè)自由度， 或等效地對(duì)象相對(duì)于相機(jī)的3D 位移。 許多技術(shù)試圖實(shí)現(xiàn)這一目標(biāo)：跟蹤技術(shù)：如何實(shí)現(xiàn)虛擬圖像的穩(wěn)健而準(zhǔn)確的覆蓋在現(xiàn)實(shí)世界中；顯示技術(shù)：用于AR 的頭戴式，手持式和投影顯示器，增強(qiáng)現(xiàn)實(shí)頭戴式顯示器、基于投影儀的增強(qiáng)、基于手機(jī)的增強(qiáng)現(xiàn)實(shí)；移動(dòng)增強(qiáng)現(xiàn)實(shí)：使用移動(dòng)計(jì)算機(jī)開(kāi)發(fā)AR 應(yīng)用程序可以在戶外使用；交互技術(shù)：與AR 內(nèi)容交互的方法新穎的增強(qiáng)現(xiàn)實(shí)應(yīng)用。

2 VR/AR/MR 技術(shù)在飛機(jī)裝配制造領(lǐng)域應(yīng)用發(fā)展

VR/AR/MR 飛機(jī)裝配制造領(lǐng)域，都有三種驅(qū)動(dòng)力,分別為降低成本，加快流程和提高質(zhì)量，這將導(dǎo)致引入新技術(shù)。 如果一個(gè)可以在正確的時(shí)間將適當(dāng)?shù)男畔У秸_的位置， 所有三個(gè)力量得以解決。 在幾乎所有情況下，VR/AR/MR 技術(shù)似乎都是理想的選擇。其可以為飛機(jī)裝配制造脈動(dòng)生產(chǎn)線提供準(zhǔn)確有用和最新的制造信息，可以顯著縮短生產(chǎn)節(jié)拍時(shí)間，減少培訓(xùn)工作，減少故障，降低制造成本。

2.1 VR/AR/MR 相關(guān)技術(shù)在飛機(jī)裝配制造業(yè)的應(yīng)用主要包括虛擬研發(fā)設(shè)計(jì)調(diào)試、虛擬制造裝配、設(shè)備維護(hù)檢修質(zhì)量控制、飛機(jī)裝配制造模擬考核驗(yàn)證培訓(xùn)等， 相關(guān)技術(shù)已經(jīng)在大型裝備的制造中實(shí)現(xiàn)初步應(yīng)用。 中國(guó)商飛在大客（ C919）模擬測(cè)試飛行控制中心，運(yùn)用虛擬現(xiàn)實(shí)技術(shù)能大幅提升產(chǎn)品性能的精準(zhǔn)性， 使用機(jī)載測(cè)試系統(tǒng)的地面驗(yàn)證平臺(tái)來(lái)監(jiān)控和分析飛行參數(shù)， 以確保飛行前和實(shí)際飛行中飛機(jī)相關(guān)參數(shù)的準(zhǔn)確性和正確性； 空中客車公司將Microsoft MR 設(shè)備導(dǎo)入飛行員程序后，設(shè)計(jì)項(xiàng)目在虛擬空間中實(shí)驗(yàn)的運(yùn)行時(shí)間至少節(jié)約了80%， 在德國(guó)STADE 的空客工廠里生產(chǎn)A350XWB 機(jī)身總裝，已經(jīng)成功應(yīng)用一種“ MR”投影技術(shù)，有效的提高機(jī)身隔框、長(zhǎng)桁、剪切角片及系統(tǒng)支架的精確定位；波音運(yùn)用三維模型仿真技術(shù)進(jìn)行波音777 外形和結(jié)構(gòu)設(shè)計(jì)等等； 接線圖附圖對(duì)于每架要建造的飛機(jī)來(lái)說(shuō)都是獨(dú)一無(wú)二的。 因此，線束需要根據(jù)車間中大型面板上顯示，預(yù)先在車間中配置數(shù)量龐大的計(jì)劃。 使用光學(xué)透視頭戴式顯示器，顯示接線路徑，以完成成捆的手動(dòng)操作，可將計(jì)劃直接添加到面板上。 對(duì)線束作業(yè)流程進(jìn)行提示及裝配正確性進(jìn)行核驗(yàn)(見(jiàn)圖1)。

圖1 管線輔助安裝

羅爾斯- 羅伊斯通過(guò)虛擬現(xiàn)實(shí)技術(shù)在線進(jìn)行實(shí)時(shí)數(shù)據(jù)傳輸與分析，采用虛擬現(xiàn)實(shí)投影技術(shù)和運(yùn)動(dòng)捕捉系統(tǒng)，查看發(fā)動(dòng)機(jī)細(xì)節(jié)，突破時(shí)間、空間的限制，實(shí)現(xiàn)虛擬指導(dǎo)和現(xiàn)實(shí)操作相結(jié)合全流程檢測(cè)； 空客公司為A350XWB 開(kāi)發(fā)了世界第一個(gè)混合現(xiàn)實(shí)實(shí)訓(xùn)平臺(tái)進(jìn)行飛機(jī)裝配制造模擬考核驗(yàn)證等教學(xué)工作， 利用增強(qiáng)現(xiàn)實(shí)的交互性及可實(shí)時(shí)執(zhí)行性，避免實(shí)操驗(yàn)證風(fēng)險(xiǎn)、降低培訓(xùn)模擬成本。 以上所有實(shí)例可以統(tǒng)一稱為航空工業(yè)VR/AR/MR 應(yīng)用， 可以預(yù)見(jiàn)在不久的將來(lái)，隨著航空產(chǎn)業(yè)制造技術(shù)能力提升，VR/AR/MR 應(yīng)用是一種理所當(dāng)然的選擇。

2.2 近年來(lái)，手機(jī)已發(fā)展成為增強(qiáng)現(xiàn)實(shí)的理想平臺(tái)（ AR）。 當(dāng)前一代的智能手機(jī)具有視網(wǎng)膜顯示屏，集成4K 攝像頭，高性能移動(dòng)處理器，甚至已經(jīng)集成專用的移動(dòng)3D 圖形芯片，其已經(jīng)具備強(qiáng)大運(yùn)算顯示平臺(tái)。 重要的是要進(jìn)行研究最適合手機(jī)和用戶界面的AR應(yīng)用程序類型開(kāi)發(fā)這些應(yīng)用程序的準(zhǔn)則，目前手機(jī)已經(jīng)成為AR 應(yīng)用程序的主要平臺(tái)之一， 各種APP 應(yīng)用已經(jīng)廣泛的出現(xiàn)在我們的日常生活，特別是5G 技術(shù)的發(fā)展和普及，移動(dòng)大數(shù)據(jù)和云計(jì)算中心可以實(shí)時(shí)進(jìn)行交互數(shù)據(jù)交互反饋，在不久未來(lái)，用于飛機(jī)裝配輔助的智能手機(jī)專用VR/AR/MR 程序一定能夠普及。

3 結(jié)論（ 結(jié)束語(yǔ)）和建議

我國(guó)的飛機(jī)裝配制造行業(yè)中， 相關(guān)VR/AR/MR 技術(shù)應(yīng)用與國(guó)外其他飛機(jī)制造商相比， 在應(yīng)用的場(chǎng)景及相關(guān)技術(shù)采用方面存在較大差距，VR/AR/MR 技術(shù)領(lǐng)域的創(chuàng)新很少，但是該技術(shù)在廣泛的工業(yè)應(yīng)用中具有巨大的潛力，對(duì)用戶來(lái)說(shuō)，使用VR 可以有效的降低運(yùn)營(yíng)成本，提高生產(chǎn)效率，具有實(shí)實(shí)在在的利益。 隨著各項(xiàng)技術(shù)研發(fā)及算法優(yōu)化迭代日益成熟，在未來(lái)的十年中，飛機(jī)裝配制造行業(yè)VR/AR/MR 技術(shù)必將取得長(zhǎng)足的發(fā)展。