（西安音樂(lè)學(xué)院，陜西西安市，710000）石茜睿 任思錦 趙璇 王延松

1 虛擬現(xiàn)實(shí)劇場(chǎng)

1.1 虛擬現(xiàn)實(shí)劇場(chǎng)的結(jié)構(gòu)

虛擬現(xiàn)實(shí)劇場(chǎng)通常支持用戶(hù)在身臨其境的虛擬環(huán)境中進(jìn)行交互?，F(xiàn)在提出了一個(gè)支持多設(shè)備交互和多用戶(hù)協(xié)作的虛擬劇場(chǎng)系統(tǒng)的體系結(jié)構(gòu)和實(shí)現(xiàn)方法。在這項(xiàng)研究中，系統(tǒng)配備了一個(gè)大的環(huán)形屏幕來(lái)顯示身臨其境的立體虛擬場(chǎng)景，以及多自由度平臺(tái)、仿真槍和智能手機(jī)等多種交互設(shè)備來(lái)支持用戶(hù)交互。這里介紹了一個(gè)身臨其境的虛擬現(xiàn)實(shí)劇場(chǎng)系統(tǒng)，它配備了6-自由度平臺(tái)、3-自由度座椅、模擬槍和智能手機(jī)等多種交互設(shè)備。為了實(shí)現(xiàn)用戶(hù)協(xié)作，根據(jù)不同的交互任務(wù)將用戶(hù)分成兩組。在應(yīng)用中，一組采用6-自由度平臺(tái)控制視點(diǎn)，另一組通過(guò)仿真槍和智能手機(jī)與目標(biāo)物體進(jìn)行交互。漫游時(shí)，用戶(hù)通過(guò)6-自由度平臺(tái)或3-自由度座椅產(chǎn)生的模擬運(yùn)動(dòng)獲得逼真的飛行體驗(yàn)。

1.2 虛擬現(xiàn)實(shí)劇場(chǎng)的多設(shè)備交互和多用戶(hù)協(xié)作

1.2.1 多設(shè)備交互

這種交互設(shè)備不僅獲得用戶(hù)的輸入，而且提供觸覺(jué)反饋。由于本系統(tǒng)交互的特點(diǎn)是多用戶(hù)協(xié)同工作的同時(shí)性和同位性，本系統(tǒng)由四種不同類(lèi)型的交互設(shè)備組成：6-自由度平臺(tái)、3-自由度座椅、仿真槍和智能手機(jī)。根據(jù)交互設(shè)備的性能，可以將其分為兩類(lèi)：輸入設(shè)備和輸出設(shè)備。對(duì)于輸入設(shè)備，6-自由度平臺(tái)獲取用戶(hù)的駕駛輸入，模擬槍和智能手機(jī)為其他用戶(hù)采集射擊信息。所有輸入將被發(fā)送到核心模塊。核心模塊完成數(shù)據(jù)處理后，輸出設(shè)備，包括6-自由度平臺(tái)和3自由度座椅，接收輸出數(shù)據(jù)，改變機(jī)械結(jié)構(gòu)，為用戶(hù)提供觸覺(jué)反饋。核心模塊作為一個(gè)軟件控制器來(lái)管理交互式設(shè)備和系統(tǒng)顯示。一般來(lái)說(shuō)，核心模塊處理輸入數(shù)據(jù)并生成輸出數(shù)據(jù)，包括用戶(hù)反饋和渲染結(jié)果。硬件支持核心模塊的平臺(tái)由高性能工作站和一系列服務(wù)客戶(hù)端計(jì)算機(jī)組成。對(duì)于軟件，核心模塊被實(shí)現(xiàn)為兩種相互通信的組件類(lèi)型，交互管理器的主要功能是實(shí)現(xiàn)交互式設(shè)備的輸入輸出處理。交互管理器不斷地從輸入設(shè)備接收數(shù)據(jù)，分析和處理輸入數(shù)據(jù)，并通過(guò)網(wǎng)絡(luò)將結(jié)果數(shù)據(jù)發(fā)送到系統(tǒng)引擎。一旦系統(tǒng)引擎響應(yīng)交互管理器，管理器立即將數(shù)據(jù)傳輸?shù)捷敵鲈O(shè)備。

系統(tǒng)引擎包含系統(tǒng)的邏輯。引擎接收規(guī)范化的輸入數(shù)據(jù)，更新渲染，并與交互管理器通信。在渲染方面，系統(tǒng)引擎采用Unity游戲引擎生成并渲染虛擬場(chǎng)景，提供逼真的圖形。

為了實(shí)現(xiàn)多用戶(hù)協(xié)同交互，實(shí)驗(yàn)環(huán)境中提出了一種新穎的設(shè)計(jì)方案。設(shè)計(jì)了一個(gè)基于第一人稱(chēng)射擊游戲的飛行模擬場(chǎng)景，在這個(gè)場(chǎng)景中，用戶(hù)可以探索虛擬環(huán)境，沉浸在飛行體驗(yàn)中。在探索過(guò)程中，用戶(hù)需要拍攝視角中顯示的目標(biāo)。因此，可以歸納為三個(gè)基本的交互任務(wù)：旅行任務(wù)、射擊任務(wù)和飛行模擬。旅行任務(wù)的目的是允許用戶(hù)在虛擬環(huán)境中自由地移動(dòng)自己的觀點(diǎn)；射擊任務(wù)是指射擊虛擬目標(biāo)的行為，由仿真槍和智能手機(jī)完成；飛行模擬為用戶(hù)提供漫游時(shí)的運(yùn)動(dòng)感。

1.2.2 多用戶(hù)協(xié)作

實(shí)驗(yàn)者緊接著建立了一個(gè)由基本交互任務(wù)組成的協(xié)同任務(wù)，并將不同的基本任務(wù)合理分配給用戶(hù)，實(shí)現(xiàn)用戶(hù)的協(xié)同。用戶(hù)分為兩組，分別有相應(yīng)的任務(wù)，即G1和G2。G1的交互任務(wù)是射擊任務(wù)和飛行模擬。在這個(gè)小組中，每個(gè)用戶(hù)都配備了一把模擬槍或一部智能手機(jī)，坐在一個(gè)3-自由度的座位上。用戶(hù)被安排在一個(gè)區(qū)域內(nèi)，面向投影屏幕。當(dāng)目標(biāo)出現(xiàn)在屏幕上時(shí)，用戶(hù)通過(guò)控制相應(yīng)的十字準(zhǔn)線來(lái)射擊目標(biāo)。隨著用戶(hù)視角的移動(dòng)，所有3-自由度座椅都會(huì)根據(jù)速度和方向定期模擬動(dòng)作。G2的任務(wù)是旅行任務(wù)和飛行模擬。由于多用戶(hù)控制可能會(huì)引起混淆，G2中只有一個(gè)用戶(hù)。G2采用6-自由度平臺(tái)，幫助用戶(hù)完成任務(wù)。詳見(jiàn)表1。

表1 多用戶(hù)協(xié)作任務(wù)

通過(guò)這種方式，用戶(hù)可以自由地探索沉浸式虛擬環(huán)境，并與虛擬目標(biāo)進(jìn)行聯(lián)合交互。在評(píng)估中，探討了將不同種類(lèi)的交互設(shè)備組合在一起以提高系統(tǒng)的協(xié)作能力的優(yōu)勢(shì)。結(jié)果表明，適當(dāng)?shù)娜蝿?wù)劃分有助于提高用戶(hù)體驗(yàn)。

2 多設(shè)備交互和多用戶(hù)協(xié)作的虛擬現(xiàn)實(shí)劇場(chǎng)

虛擬和增強(qiáng)現(xiàn)實(shí)技術(shù)有望通過(guò)提供歷史上精確的重建和相關(guān)的信息來(lái)緩解這些困難，從而提供更豐富的游客體驗(yàn)。在這個(gè)身臨其境的世界里，他們可以在一個(gè)歷史遺址中導(dǎo)航或被引導(dǎo)，這個(gè)歷史遺址通過(guò)虛擬再現(xiàn)缺失的特征，并通過(guò)講述其元素的意義和作用來(lái)增強(qiáng)。這樣可以豐富現(xiàn)場(chǎng)和非現(xiàn)場(chǎng)的經(jīng)驗(yàn)。在網(wǎng)站上，一個(gè)視頻流的實(shí)際（往往是部分破壞）網(wǎng)站可以覆蓋一個(gè)虛擬模型，擴(kuò)大遺產(chǎn)地，以揭示缺失的歷史元素。在場(chǎng)外，可以用虛擬模型覆蓋實(shí)際站點(diǎn)的三維副本來(lái)重新創(chuàng)建歷史站點(diǎn)。比布洛斯羅馬劇院創(chuàng)造這種沉浸式增強(qiáng)體驗(yàn)而開(kāi)發(fā)的系統(tǒng)。

2.1 比布洛斯羅馬虛擬劇院

三維模型是使用Rhinoceros3D軟件建立的?！霸瓨印蹦Ｐ蜑閯?chuàng)建最合適的假設(shè)模型提供了必要的證據(jù)。與理論上的維特魯維經(jīng)典模型相比，網(wǎng)格的結(jié)合顯示了置換的Byblos劇院的多重變化和不精確性。5對(duì)于確定比布洛斯劇院的幾何結(jié)構(gòu)和比例，殘存遺跡的精確復(fù)制至關(guān)重要。例如，由于“原樣”模型，人們注意到的第一個(gè)區(qū)域變化是管弦樂(lè)隊(duì)偏離中心，與羅馬的維特魯維亞模式不太一樣。管弦樂(lè)隊(duì)的中心從舞臺(tái)移到禮堂大約一米遠(yuǎn)，這樣直徑就變小了，劇場(chǎng)的尺寸也相應(yīng)地改變了。增強(qiáng)現(xiàn)實(shí)應(yīng)用擴(kuò)展并豐富了游客在場(chǎng)景中觀察到的實(shí)時(shí)信息；它們通過(guò)在現(xiàn)有廢墟上增強(qiáng)虛擬模型，提供了一種信息豐富的體驗(yàn)。

在虛擬環(huán)境中與增強(qiáng)模型交互。虛擬現(xiàn)實(shí)世界是使用Unityengine開(kāi)發(fā)的，這是一個(gè)跨平臺(tái)的游戲引擎，用于開(kāi)發(fā)PC、控制臺(tái)、移動(dòng)設(shè)備和網(wǎng)站上的視頻游戲。開(kāi)發(fā)的應(yīng)用程序允許用戶(hù)在三維真實(shí)網(wǎng)站的演練中可視化和交互。此外，為了使應(yīng)用程序更具交互性，在場(chǎng)景中添加了一個(gè)向?qū)?，以吸引用?hù)的注意力并讓他們對(duì)網(wǎng)站進(jìn)行虛擬游覽。

二維虛擬應(yīng)用程序的開(kāi)發(fā)首先是在一個(gè)統(tǒng)一場(chǎng)景中添加一個(gè)玩家預(yù)置；統(tǒng)一場(chǎng)景是一個(gè)包含所有“游戲”對(duì)象的虛擬空間，而玩家預(yù)置則是一個(gè)跟蹤“玩家”所有信息的游戲?qū)ο?；它通過(guò)跟蹤來(lái)定義要在播放器屏幕上呈現(xiàn)的內(nèi)容。

2.1.1 多設(shè)備交互

玩家的虛擬姿勢(shì)是通過(guò)用戶(hù)在鍵盤(pán)（改變位置）和鼠標(biāo)（改變方向）或游戲控制器（x-box控制器）上的輸入來(lái)更新的。一旦播放器在場(chǎng)景中設(shè)置好，就將實(shí)際站點(diǎn)生成的紋理網(wǎng)格移植到場(chǎng)景中。用戶(hù)可以手動(dòng)與模型碰撞交互。然后將虛擬模型添加到場(chǎng)景中，并與實(shí)際站點(diǎn)仔細(xì)合并。

為了使應(yīng)用程序更具交互性，在場(chǎng)景中添加了一個(gè)虛擬向?qū)?。特定的poi（Point of Information縮寫(xiě)，信息點(diǎn)）被選在歷史文物附近，比如劇院的祭壇。指南在預(yù)定義的檢查點(diǎn)周?chē)?dòng)，并等待用戶(hù)在離它很近的距離內(nèi)到達(dá)，然后解釋感興趣的對(duì)象是什么。一旦用戶(hù)在對(duì)象附近，它就會(huì)發(fā)光，在指南開(kāi)始講述關(guān)于該對(duì)象的信息音頻之前捕獲用戶(hù)的注意力。完成后，向?qū)⒁苿?dòng)到下一個(gè)檢查點(diǎn)并等待用戶(hù)再次靠近。為了幫助用戶(hù)知道要去哪里，使用了一個(gè)A*（通用的路徑查找和圖遍歷算法）路徑規(guī)劃算法，它確定了用戶(hù)和指南之間的路徑,并將其呈現(xiàn)在屏幕上供用戶(hù)遵循。

2.1.2 用戶(hù)協(xié)作

虛擬應(yīng)用程序的開(kāi)發(fā)首先是在一個(gè)統(tǒng)一的場(chǎng)景中添加一個(gè)用戶(hù)預(yù)設(shè)；一個(gè)統(tǒng)一的場(chǎng)景是一個(gè)包含所有“游戲”對(duì)象的虛擬空間,而用戶(hù)預(yù)置則是一個(gè)跟蹤“玩家”所有信息的游戲?qū)ο?；它通過(guò)跟蹤來(lái)定義要在播放器屏幕上呈現(xiàn)的內(nèi)容。提出了一個(gè)關(guān)于可能重建拜布洛斯羅馬劇院的區(qū)域指導(dǎo)假設(shè)，重建模型用于設(shè)計(jì)考古遺址中用于旅游目的的最終用戶(hù)虛擬和增強(qiáng)現(xiàn)實(shí)應(yīng)用程序。對(duì)所采用的虛擬方法和增強(qiáng)方法的技術(shù)挑戰(zhàn)和局限性進(jìn)行了詳細(xì)和系統(tǒng)的解決，產(chǎn)生了一種可擴(kuò)展到其他站點(diǎn)的可擴(kuò)展方法。

2.2 浙江省科技館臺(tái)風(fēng)體驗(yàn)劇場(chǎng)

2.2.1 設(shè)備交互

項(xiàng)目系統(tǒng)組成:（1）視頻影片。本項(xiàng)目分為兩個(gè)部分，360°環(huán)幕影片和虛擬現(xiàn)實(shí)視頻。環(huán)幕視頻，通過(guò)建立三維模型，動(dòng)畫(huà)制作，實(shí)時(shí)重建臺(tái)風(fēng)場(chǎng)景、各種氣象現(xiàn)象的模擬等。虛擬現(xiàn)實(shí)視頻通過(guò)虛擬現(xiàn)實(shí)技術(shù)提供與環(huán)幕視頻內(nèi)容不同的內(nèi)容。（2）動(dòng)感模擬座椅。由電力驅(qū)動(dòng)，座椅可以實(shí)時(shí)響應(yīng)運(yùn)動(dòng)的視頻內(nèi)容，并可以做三自由度的運(yùn)動(dòng)。它能真實(shí)地模擬臺(tái)風(fēng)引起的船舶搖晃和車(chē)輛晃動(dòng)的影響，從而擴(kuò)展了經(jīng)驗(yàn)者的模擬場(chǎng)景，彌補(bǔ)了單一經(jīng)驗(yàn)?zāi)Ｊ降牟蛔?。?）風(fēng)力模擬系統(tǒng)。風(fēng)扇產(chǎn)生的風(fēng)速可以無(wú)限調(diào)節(jié)，提供類(lèi)似于真實(shí)臺(tái)風(fēng)的風(fēng)體驗(yàn)。（4）廣播系統(tǒng)。該系統(tǒng)由兩部分組成，分別是環(huán)幕投影系統(tǒng)和虛擬現(xiàn)實(shí)顯示系統(tǒng)，通過(guò)播放系統(tǒng)控制的子播放系統(tǒng)，用于虛擬現(xiàn)實(shí)體驗(yàn)座椅的視頻播放。根據(jù)體驗(yàn)的形式，展覽將體驗(yàn)區(qū)分為兩個(gè)區(qū)域：一個(gè)是會(huì)場(chǎng)中心的環(huán)形屏幕體驗(yàn)區(qū)，觀眾可以站在360°的環(huán)形屏幕上體驗(yàn)，將觀眾置于風(fēng)暴眼中。另一個(gè)是外環(huán)的虛擬現(xiàn)實(shí)體驗(yàn)區(qū)。該設(shè)計(jì)充分利用了人體坐姿和站姿的高度差異，在不影響中央環(huán)屏體驗(yàn)區(qū)效果的情況下，彌補(bǔ)了由前后蓋形成的上線觀看和站立的人數(shù)單一體驗(yàn)，提高了場(chǎng)地承載體驗(yàn)的能力，豐富體驗(yàn)的形式，實(shí)現(xiàn)一個(gè)項(xiàng)目多種體驗(yàn)?zāi)Ｊ健?/p>

2.2.2 多用戶(hù)協(xié)作

臺(tái)風(fēng)體驗(yàn)項(xiàng)目屬于情景式展示形式。該系統(tǒng)在保證虛擬現(xiàn)實(shí)體驗(yàn)和環(huán)屏體驗(yàn)的同時(shí)，還能保證展品的體驗(yàn)。同時(shí)，解決了單一使用虛擬現(xiàn)實(shí)技術(shù)的弊端。（1）解決展品數(shù)量少的問(wèn)題。通過(guò)環(huán)幕體驗(yàn)區(qū)和6個(gè)動(dòng)態(tài)座位，可以保證20多人同時(shí)體驗(yàn)。（2）解決了傳統(tǒng)虛擬現(xiàn)實(shí)體驗(yàn)操作不便的問(wèn)題。在大多數(shù)情況下，展覽可以通過(guò)360°環(huán)屏體驗(yàn)區(qū)進(jìn)行。虛擬眼鏡作為環(huán)形體驗(yàn)的補(bǔ)充，可為參觀者提供一個(gè)選擇，豐富展覽的呈現(xiàn)手法。

3 結(jié)語(yǔ)

在藝術(shù)教育中，通過(guò)使用VR技術(shù)渲染教室環(huán)境可以幫助學(xué)生提高對(duì)藝術(shù)的理解，激發(fā)他們的興趣，專(zhuān)注于教學(xué)內(nèi)容，有效地增強(qiáng)他們的存在感并更好地實(shí)現(xiàn)教育目標(biāo)，感受到豐富多彩的藝術(shù)知識(shí)，并不斷提高審美能力。