李浩銘，付戰(zhàn)平，胡文婷，蘇 鋒，邢 祎

(海軍航空大學(xué)青島校區(qū)， 山東 青島 266041)

1 引言

隨著虛擬現(xiàn)實(shí)技術(shù)日新月異的發(fā)展，Virtual Reality (VR)由于視場(chǎng)角有限、易暈眩、安全性不高等限制難以滿足越來(lái)越嚴(yán)格的仿真應(yīng)用要求，擴(kuò)展現(xiàn)實(shí)(extended reality，XR)技術(shù)應(yīng)運(yùn)而起。其中，增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)、混合現(xiàn)實(shí)(mixed reality，MR)技術(shù)都能夠通過(guò)實(shí)現(xiàn)虛實(shí)融合達(dá)到更好的仿真效果。VR沉浸性、逼真度較強(qiáng)，適合應(yīng)用于游戲，但由于VR看不到現(xiàn)實(shí)場(chǎng)景，如果應(yīng)用于航空航天模擬器或者工業(yè)裝配，佩戴者的感知與視覺(jué)系統(tǒng)不同步易產(chǎn)生眩暈感；AR都是在現(xiàn)實(shí)可見(jiàn)的基礎(chǔ)上，增加虛擬物體或者虛擬提示，應(yīng)用于工業(yè)裝配等操作時(shí)，避免了看不見(jiàn)現(xiàn)實(shí)場(chǎng)景時(shí)危險(xiǎn)設(shè)備可能造成的傷害，但虛擬物體與現(xiàn)實(shí)之間的遮擋和光照一致性很難處理好，適用于對(duì)虛擬顯示要求相對(duì)不是很高，但對(duì)安全性要求較高的應(yīng)用；MR巧妙將現(xiàn)實(shí)和虛擬場(chǎng)景融合在一起，能夠滿足對(duì)逼真度、真實(shí)性、實(shí)時(shí)度同時(shí)要求較高的應(yīng)用，特別是應(yīng)用于模擬系統(tǒng)仿真時(shí)，提高了模擬系統(tǒng)的實(shí)用性，同時(shí)避免了眩暈和光照不一致的問(wèn)題。

MR技術(shù)近些年在教育培訓(xùn)、娛樂(lè)傳媒、軍事、航天航空、醫(yī)療健康等方面都取得了重大的突破，特別在軍用模擬訓(xùn)練方面。據(jù)中國(guó)航空工業(yè)發(fā)展研究中心何曉驍在《空天防務(wù)觀察》發(fā)文稱美軍于2020年1月開(kāi)啟了視頻透視技術(shù)在模擬訓(xùn)練中的探索研究。國(guó)內(nèi)在這個(gè)方向上的探索也早已開(kāi)始。經(jīng)過(guò)調(diào)研交流，在工業(yè)制造方面，601所、615所和118廠都在大力研究視頻透視式虛實(shí)融合系統(tǒng)在虛擬仿真領(lǐng)域的應(yīng)用。

MR技術(shù)研究重點(diǎn)包括虛擬環(huán)境的實(shí)景高清視頻流的顯示、定位處理、自然交互及虛實(shí)融合技術(shù)等。通過(guò)研究解決視覺(jué)傳感器標(biāo)定校準(zhǔn)技術(shù)、頭顯式高清視頻流透視的位姿追蹤及虛實(shí)配準(zhǔn)技術(shù)、視口同步技術(shù)、高精度人工標(biāo)識(shí)定位技術(shù)、視頻流綠幕摳像技術(shù)及全景拼接算法，能夠構(gòu)建高精度、高沉浸感、低成本的MR應(yīng)用系統(tǒng)，實(shí)現(xiàn)虛實(shí)融合的人機(jī)自然交互。其中視頻透視技術(shù)(video see through，VST) 以及光學(xué)透視技術(shù)(optical see through，OST)能夠?qū)崿F(xiàn)虛擬場(chǎng)景與實(shí)物的無(wú)縫融合交互。

2 VST與OST對(duì)比

2.1 原理

VST是指頭戴顯示器通過(guò)安裝在眼鏡/頭盔上的微型攝像頭采集真實(shí)場(chǎng)景的圖像，如圖1所示，計(jì)算機(jī)通過(guò)場(chǎng)景理解和分析將所要添加的信息和圖像信號(hào)疊加在攝像機(jī)的視頻信號(hào)上，同時(shí)將計(jì)算機(jī)生成的虛擬場(chǎng)景與真實(shí)場(chǎng)景進(jìn)行融合，最后通過(guò)頭戴式頭盔/大顯示器等顯示載體呈現(xiàn)給用戶。

圖1 視頻透視原理框圖

OST的特點(diǎn)是讓用戶能夠直接看到真實(shí)的環(huán)境，如圖2所示，在用戶眼睛前面放置部分透明的光學(xué)合成器，用戶透過(guò)它可以直接看到真實(shí)世界。合成器又是部分反射的，用戶同時(shí)可以看到從頭戴顯示器反射到合成器上產(chǎn)生的虛擬圖像。

圖2 光學(xué)透視原理框圖

VST相較于傳統(tǒng)OST的半透明顯示效果更加逼真，對(duì)混合現(xiàn)實(shí)的實(shí)時(shí)響應(yīng)性要求不高，計(jì)算機(jī)算法實(shí)時(shí)渲染的影像呈現(xiàn)視角更大，且疊加的圖像與現(xiàn)實(shí)場(chǎng)景融合得更好。

2.2 應(yīng)用

VST頭盔顯示器應(yīng)用時(shí)，由于人眼的視點(diǎn)與攝像機(jī)在物理上不可能完全一致，因而可能導(dǎo)致用戶看到的景象與實(shí)際的真實(shí)景象之間存在誤差；但視頻透視式頭盔顯示器沉浸性好、實(shí)時(shí)響應(yīng)速度高以及虛實(shí)光照較為一致，在模擬仿真和交互式游戲應(yīng)用較多。

OST頭盔顯示器應(yīng)用的一個(gè)主要問(wèn)題就是由于前方的光學(xué)融合器既允許真實(shí)環(huán)境中的光線通過(guò)，又允許虛擬環(huán)境中的光線通過(guò)，因此由計(jì)算機(jī)生成的虛擬物體不能夠完全遮擋住真實(shí)場(chǎng)景中的物體，使得虛實(shí)融合的真實(shí)感較差，但OST頭盔顯示器具有結(jié)構(gòu)簡(jiǎn)單、價(jià)格低廉、安全性好、分辨率高以及不需要視覺(jué)偏差補(bǔ)償?shù)葍?yōu)點(diǎn)，在機(jī)械裝配和維修系統(tǒng)應(yīng)用較多。

3 關(guān)鍵技術(shù)

視頻透視技術(shù)屬于頭戴式MR技術(shù)，從頭盔制備到交互應(yīng)用，可以將VST涉及的關(guān)鍵技術(shù)分為：VST頭盔的制備、跟蹤注冊(cè)算法、虛實(shí)遮擋的優(yōu)化以及人機(jī)交互的方法。

3.1 VST頭盔顯示器制備

針對(duì)VST的應(yīng)用，VST顯示器分為自制和商用2種。早期VST顯示器根據(jù)不同的應(yīng)用需要，由實(shí)驗(yàn)室根據(jù)VST顯示原理制備，效果主要根據(jù)應(yīng)用需要判定；后期由于MR游戲的興起，商用VST顯示器不斷絡(luò)繹不絕，并不斷更新?lián)Q代中。

..自制VST顯示器

2011年，任超宏基于虛擬相機(jī)位置的立體圖像生成方法得到虛擬模型的立體顯示，采用了一種新型頭盔顯示器顯示虛實(shí)融合圖像，如圖3，頭盔顯示裝置可對(duì)兩個(gè)攝像頭之間的距離進(jìn)行調(diào)整，緩解了現(xiàn)有的雙目VST頭盔容易讓佩戴者感到頭暈等不良癥狀；2012年，徐剛強(qiáng)對(duì)可控畸變魚眼鏡頭相機(jī)的建模、標(biāo)定和成像校正進(jìn)行了研究，針對(duì)可控畸變魚眼鏡頭的實(shí)例—橢圓全景鏡頭在視頻監(jiān)控中的應(yīng)用，研究了鏡頭成像畸變的多視角漫游校正，通過(guò)并行處理提高了畸變校正算法的效率；2017年，張漢軍針對(duì)雙目頭盔顯示器關(guān)鍵技術(shù)進(jìn)行了研究：結(jié)合雙目視場(chǎng)匹配特性，通過(guò)研究得到雙目鏡片安裝的相對(duì)位置要求，并通過(guò)對(duì)頭盔顯示系統(tǒng)的設(shè)計(jì)，實(shí)現(xiàn)了一個(gè)初步的雙目頭盔信息顯示系統(tǒng)；2018年，吳智敏采用雙目校正以及攝像機(jī)參數(shù)調(diào)整的方法對(duì)VST頭戴顯示器視覺(jué)效果進(jìn)行了優(yōu)化，建立了由圖4所示的VST頭戴顯示器、混合跟蹤模塊、三維注冊(cè)算法、虛實(shí)遮擋處理等軟硬件構(gòu)成的裝配訓(xùn)練系統(tǒng)操作平臺(tái)。

圖3 任超宏自制VST顯示器

圖4 吳智敏自制VST顯示器

自制VST頭盔相較于商用頭盔，能更好得符合實(shí)際應(yīng)用要求，但分辨率、視場(chǎng)角(field of view，F(xiàn)OV)、實(shí)時(shí)性等仍有待于從硬件上進(jìn)行優(yōu)化。目前自制VST顯示器的研究主要在提高顯示分辨率、還原大視角、增強(qiáng)跟蹤實(shí)時(shí)性和改善光照一致性等方向。

..商用VST顯示器

2015年，在巴塞羅拉世界移動(dòng)通信大會(huì)上，HTC和VALVE合作推出了一款虛擬現(xiàn)實(shí)頭戴式顯示器——HTC Vive系列，具備手勢(shì)追蹤功能，如圖5所示為HTC Vive Pro。圖6中的Hololens是微軟公司2015年發(fā)布的一種MR頭顯，通過(guò)追蹤佩戴者的移動(dòng)和視線，生成適當(dāng)?shù)奶摂M對(duì)象，并支持手勢(shì)交互；2016年11月，亮風(fēng)臺(tái)發(fā)布第二代AR眼鏡HiAR Glasses，如圖7所示。這款眼鏡采用驍龍820處理器，支持手勢(shì)識(shí)別，可實(shí)現(xiàn)視覺(jué)交互、空間感知較好的AR體驗(yàn)。Magic Leap One于2018年開(kāi)始在美國(guó)售賣，如圖8，ML One外形奇特，視覺(jué)效果清晰生動(dòng)，但其視場(chǎng)角讓人不夠滿意，無(wú)法滿足大視角沉浸。

圖5 HTC Vive Pro

圖6 微軟Hololens

圖7 HiAR Glasses

圖8 Magic Leap One

表1統(tǒng)計(jì)了市場(chǎng)上主流VST顯示器的相關(guān)參數(shù)，可見(jiàn)商用VST顯示器視場(chǎng)角和分辨率差強(qiáng)人意，多應(yīng)用于進(jìn)一步工業(yè)開(kāi)發(fā)或者VR游戲中，外觀精致，佩戴較自制顯示器舒適，功能多樣化，普遍帶有多傳感器，便于人機(jī)交互。

表1 商用VST顯示器參數(shù)Table 1 Commercial VST display parameters comparison

3.2 跟蹤注冊(cè)算法

跟蹤注冊(cè)是實(shí)現(xiàn)虛擬環(huán)境與現(xiàn)實(shí)環(huán)境空間位置映射轉(zhuǎn)換的算法，是實(shí)現(xiàn)VST最為重要的一部分。目前視覺(jué)跟蹤領(lǐng)域中主要算法有TLD(tracking-learning-detection，跟蹤-學(xué)習(xí)-檢測(cè)算法)、Struck(structured output tracking with kernel，核結(jié)構(gòu)化輸出跟蹤算法)、CT(compressive tracking，壓縮跟蹤算法)以及KCF(kernel correlation filter，核相關(guān)濾波算法)等，但是跟蹤速度和跟蹤效果都存在很大的改進(jìn)空間。

2010年，陳靖等根據(jù)圓明園大水法景觀的特點(diǎn)，提出基于關(guān)鍵幀匹配的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)算法，采用隨機(jī)樹(shù)的特征識(shí)別分類方法實(shí)現(xiàn)圖像間的特征匹配，據(jù)此構(gòu)建了基于VST頭盔顯示器的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)。2014年，孫洪興針對(duì)目標(biāo)的跟蹤精度和實(shí)時(shí)性要求不能同時(shí)滿足的情況下，設(shè)計(jì)了一種基于自然特征實(shí)時(shí)跟蹤的新方法，由基于人臉識(shí)別和自然特征的跟蹤技術(shù)實(shí)現(xiàn)，構(gòu)建了一種虛擬眼鏡試戴系統(tǒng)的原型。2015年，嚴(yán)玉若對(duì)基于自然特征的三維注冊(cè)進(jìn)行了深入研究，提出了一種基于非線性尺度空間的無(wú)標(biāo)記注冊(cè)方法。2018年，Yu-Kai Chen等利用商用相機(jī)和無(wú)邊框LED面板實(shí)現(xiàn)了一個(gè)色彩調(diào)節(jié)系統(tǒng)，通過(guò)提出的HDR和顏色映射技術(shù)，有效地獲取了真實(shí)場(chǎng)景的三維信息。2019年，林思源等針對(duì)人工標(biāo)識(shí)注冊(cè)的局限性與自然特征注冊(cè)的速度限制，通過(guò)引入黑色邊框，結(jié)合自然特征設(shè)計(jì)了一種新的標(biāo)識(shí)物注冊(cè)方法，利用視頻幀中標(biāo)識(shí)物的邊緣特征完成了標(biāo)識(shí)的初定位與快速跟蹤。同年，Peng-Xia Cao等提出了一種結(jié)合檢測(cè)器和跟蹤器的有效的無(wú)標(biāo)記跟蹤配準(zhǔn)算法，采用LK(Lucas-Kanade)光流跟蹤器實(shí)時(shí)跟蹤被檢測(cè)目標(biāo)，提高了跟蹤精度和速度。2020年，楊靖帆等針對(duì)KLT(kanade-lucas-tomasi)跟蹤穩(wěn)定性較低、抗遮擋性較差以及直接使用特征點(diǎn)注冊(cè)精度較低等問(wèn)題，提出一種使用局部特征描述改進(jìn)的LK跟蹤注冊(cè)方法(DF-LK)，提高了光照變化、輕微運(yùn)動(dòng)模糊和較大透視變化等情況下的跟蹤穩(wěn)定性和精度。

跟蹤注冊(cè)算法作為實(shí)現(xiàn)VST虛實(shí)融合技術(shù)的最關(guān)鍵算法，主要技術(shù)體現(xiàn)在對(duì)圖像處理的標(biāo)識(shí)交互。比較常用的3種注冊(cè)手段有：基于人工標(biāo)識(shí)、基于自然特征，和基于無(wú)標(biāo)識(shí)?；谌斯?biāo)識(shí)的方法計(jì)算量小，算法相對(duì)成熟，在惡劣光照下魯棒性高，但存在視覺(jué)污染和操作復(fù)雜等問(wèn)題?；谧匀惶卣鞯姆椒▽?duì)無(wú)紋理目標(biāo)魯棒性較好，但點(diǎn)云數(shù)據(jù)量龐大，對(duì)硬件運(yùn)算能力要求較高?；跓o(wú)標(biāo)識(shí)的方法不需要手動(dòng)初始化位姿，具有良好的實(shí)時(shí)性和魯棒性，避免了因特征點(diǎn)少引起的位姿抖動(dòng)，但跟蹤精度低、算法相對(duì)復(fù)雜。目前較為主流的研究方向是結(jié)合人工標(biāo)識(shí)的優(yōu)點(diǎn)，將人工標(biāo)識(shí)融匯于自然標(biāo)識(shí)或無(wú)標(biāo)識(shí)算法中，跟蹤注冊(cè)效果得到了顯著提高。

3.3 虛實(shí)遮擋

在XR系統(tǒng)中，當(dāng)虛擬場(chǎng)景被真實(shí)場(chǎng)景錯(cuò)誤遮擋時(shí)，容易產(chǎn)生空間位置錯(cuò)亂和用戶感官迷失的問(wèn)題，如圖9所示。所以利用計(jì)算機(jī)視覺(jué)和圖像處理等原理，處理好虛實(shí)遮擋問(wèn)題，尤為關(guān)鍵。

圖9 虛實(shí)遮擋圖

2010年，Amir H.Behzadan等提出了一種基于深度感知算法和幀緩沖處理算法的AR遮擋處理系統(tǒng)，能夠在實(shí)時(shí)動(dòng)態(tài)增強(qiáng)現(xiàn)實(shí)環(huán)境中解決堵塞錯(cuò)誤的發(fā)生。2010年，田元以基于輪廓跟蹤的虛實(shí)遮擋處理方法為出發(fā)點(diǎn)，引入計(jì)算機(jī)視覺(jué)、數(shù)字圖像處理、算法的復(fù)雜性分析和非線性優(yōu)化等相關(guān)理論，圍繞半自動(dòng)實(shí)時(shí)虛實(shí)遮擋處理方法、自動(dòng)實(shí)時(shí)虛實(shí)遮擋處理方法和非剛性物體虛實(shí)遮擋處理方法等技術(shù)內(nèi)容展開(kāi)了深入的研究與實(shí)踐。2015年，嚴(yán)玉若對(duì)AR系統(tǒng)虛實(shí)融合一致性方面進(jìn)行深入的研究，提出了一種基于視頻透視AR系統(tǒng)的虛實(shí)融合運(yùn)動(dòng)一致性模擬方法。2018年，鈴木伸介等針對(duì)雙目頭盔顯示器的遮擋矛盾問(wèn)題，結(jié)合計(jì)算機(jī)圖形學(xué)進(jìn)行了心理物理實(shí)驗(yàn)，發(fā)現(xiàn)在重疊區(qū)域垂直邊緣深度不能絕對(duì)確定的情況下，會(huì)產(chǎn)生感知不穩(wěn)定，導(dǎo)致雙目對(duì)抗的問(wèn)題。

國(guó)內(nèi)外對(duì)于虛實(shí)遮擋方面的研究不夠系統(tǒng)，相關(guān)理論有待于根據(jù)實(shí)際實(shí)驗(yàn)需求進(jìn)一步探索。

3.4 人機(jī)交互

2011年，Gun A.Lee和Mark Billinghurst提出了一種Snap-To-Feature的交互方法，通過(guò)吸引用戶輸入點(diǎn)到AR場(chǎng)景中的圖像特征幫助用戶進(jìn)行更精確的觸摸屏交互。2014年，劉鐵良著重研究了手勢(shì)圖像分割、指尖定位檢測(cè)等關(guān)鍵技術(shù)，通過(guò)人手與虛擬模型進(jìn)行交互的手指檢測(cè)識(shí)別等算法，實(shí)現(xiàn)了一種更加自然和智能的人機(jī)交互方式。2015年，何貞毅針對(duì)三維交互界面、以手勢(shì)為主的交互手段以及應(yīng)用性廣泛的徒手三維建模場(chǎng)景進(jìn)行了研究與評(píng)估，設(shè)計(jì)并實(shí)現(xiàn)了徒手三維建模的應(yīng)用場(chǎng)景。2016年，李玄基開(kāi)發(fā)并實(shí)現(xiàn)了一種基于HoloLens增強(qiáng)現(xiàn)實(shí)的檢測(cè)定位交互系統(tǒng)，可檢測(cè)識(shí)別設(shè)備并定位其物理位置，并能通過(guò)Gaze、Gesture、Voice等方式，與疊加的3D模型進(jìn)行移動(dòng)、旋轉(zhuǎn)、分解等多種交互動(dòng)作。2017年，李佳寧研究了基于RGB-D攝像機(jī)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的關(guān)鍵技術(shù)，提出了一種新的基于Frame-to-Model的SLAM系統(tǒng)框架，設(shè)計(jì)了一套用戶能夠直接用手觸控的增強(qiáng)現(xiàn)實(shí)人機(jī)交互系統(tǒng)。

現(xiàn)在的人機(jī)交互主要體現(xiàn)在手勢(shì)交互、手持標(biāo)識(shí)交互、聲音交互等方式，在增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)方面都大大增加了系統(tǒng)的虛實(shí)融合效果。

4 結(jié)論

1) 分析了頭盔顯示器、跟蹤注冊(cè)、虛實(shí)遮擋、人機(jī)交互的國(guó)內(nèi)外發(fā)展現(xiàn)狀和技術(shù)難點(diǎn)，提出了這四項(xiàng)技術(shù)目前的發(fā)展瓶頸和應(yīng)用優(yōu)勢(shì)，可為VST在虛擬仿真領(lǐng)域的應(yīng)用提供參考。

2) 針對(duì)VST視場(chǎng)角小的問(wèn)題，一方面可以對(duì)魚眼鏡頭和360°鏡頭的拉伸還原進(jìn)行研究，另一方面可以對(duì)攝像頭與頭盔視場(chǎng)角不相等產(chǎn)生的黑色縫隙進(jìn)行虛擬填充；

3) 針對(duì)VST分辨率不高的問(wèn)題，可以在高分辨率攝像頭與頭盔實(shí)時(shí)響應(yīng)能力之間進(jìn)行調(diào)節(jié)；

4) 針對(duì)跟蹤注冊(cè)效果不穩(wěn)定，可以結(jié)合綠幕算法、人工標(biāo)識(shí)、無(wú)標(biāo)識(shí)、自然標(biāo)識(shí)算法的原理和優(yōu)勢(shì)，對(duì)跟蹤注冊(cè)算法進(jìn)行優(yōu)化；

5) 針對(duì)虛實(shí)融合和虛實(shí)遮擋問(wèn)題，可以嘗試結(jié)合機(jī)器學(xué)習(xí)算法進(jìn)行優(yōu)化。

6) 視頻透視技術(shù)在駕駛、飛行、航空、軍事訓(xùn)練模擬系統(tǒng)中都可以發(fā)揮其優(yōu)勢(shì)，但在交互游戲的制作上造價(jià)高于VR游戲，在旅游業(yè)、博物館展覽時(shí)可以充分發(fā)揮其優(yōu)勢(shì)，在成本可以接受的范圍內(nèi)充分應(yīng)用視頻透視技術(shù)，增加應(yīng)用的安全性和逼真度。