楊文陽(yáng),孟青青

(西安石油大學(xué) 計(jì)算機(jī)學(xué)院,西安 710065)

虛擬現(xiàn)實(shí)技術(shù)能夠?qū)崿F(xiàn)人與自然之間和諧交互,可以擴(kuò)大對(duì)信息空間的感知通道[1].虛擬漫游涵蓋的范圍較大,它作為一種新的信息交互方式,不會(huì)局限于傳統(tǒng)的鍵盤和鼠標(biāo),其接口可為用戶提供更豐富的控制和內(nèi)容,可交互的實(shí)時(shí)瀏覽和信息查詢是虛擬漫游系統(tǒng)的基本功能[2].目前有幾種比較流行的輸入和輸出設(shè)備可用于虛擬漫游系統(tǒng),也有幾種流行的交互技術(shù)用來(lái)連接設(shè)備和表征信息.每一種設(shè)備和交互技術(shù)的結(jié)合都具有不同的特征和局限性,這主要是因?yàn)橄到y(tǒng)設(shè)計(jì)者無(wú)論是在硬件設(shè)備的選擇上,還是在硬件和軟件的搭配上需要不斷完善以求體現(xiàn)最佳效果[3].德國(guó)斯圖加特大學(xué)很早就開(kāi)始籌劃設(shè)計(jì)與開(kāi)發(fā)自己的虛擬校園,并利用相關(guān)技術(shù)對(duì)真實(shí)的校園進(jìn)行模擬.浙江大學(xué)、清華大學(xué)、山東大學(xué)等也都開(kāi)展了數(shù)字化校園建設(shè)[4].吉林大學(xué)基于3DS Max 創(chuàng)建數(shù)字校園場(chǎng)景,然后在DirectX 中選擇專業(yè)組件進(jìn)行圖形再生和顯示,從而達(dá)到校園虛擬漫游的效果[5].傳統(tǒng)虛擬校園在開(kāi)發(fā)技術(shù)上大多采用Quick Time VR,雖然其精確性比較高,但交互性不太令人滿意,沉浸感較差[6].校園虛擬漫游仿真采用Virtools 技術(shù)進(jìn)行開(kāi)發(fā),側(cè)重于虛擬場(chǎng)景的虛擬現(xiàn)實(shí)技術(shù),設(shè)計(jì)實(shí)現(xiàn)了虛擬場(chǎng)景的視景仿真系統(tǒng)[7].一般的軟件平臺(tái)不具備充分利用設(shè)備的能力,因此,在各種應(yīng)用環(huán)境下往往以犧牲系統(tǒng)某些功能為代價(jià)換取系統(tǒng)的可移植性.

本研究通過(guò)比較硬件平臺(tái)來(lái)對(duì)設(shè)備性能進(jìn)行分析,使用InTml (Interaction Techniques markup language,即交互技術(shù)標(biāo)記語(yǔ)言)可以把虛擬漫游應(yīng)用平臺(tái)描述為一系列相互關(guān)聯(lián)的組件,而這些組件可以完成不同的功能設(shè)置[8].本研究主要探究交互式校園虛擬漫游系統(tǒng)的設(shè)計(jì),在借鑒以往的設(shè)計(jì)經(jīng)驗(yàn)的基礎(chǔ)上比較其性能,使用不同的硬件和軟件逐步建立一個(gè)應(yīng)用模型.該系統(tǒng)為學(xué)校在計(jì)算機(jī)及網(wǎng)絡(luò)平臺(tái)上建立數(shù)字化校園是普通平臺(tái)所無(wú)法比擬的,用戶可以體驗(yàn)到與真實(shí)校園相近的虛擬環(huán)境,并且可以與虛擬環(huán)境進(jìn)行交互.

1 虛擬漫游系統(tǒng)交互式應(yīng)用程序語(yǔ)言開(kāi)發(fā)工具及作用

InTml在交互式虛擬漫游系統(tǒng)中的應(yīng)用可以看作是相互關(guān)聯(lián)數(shù)據(jù)流的過(guò)濾器.該過(guò)濾器可以連接下列任何實(shí)體:輸入或輸出設(shè)備、交互技術(shù)、對(duì)象行為、動(dòng)畫、幾何對(duì)象、或其他媒體對(duì)象等,也可以連接設(shè)備收集的信息或編程語(yǔ)言描述的對(duì)象行為代碼.為了實(shí)現(xiàn)連接可以利用與內(nèi)容相關(guān)的多媒體開(kāi)發(fā)工具,例如Maya、3DMAX、Blender 等.InTml在虛擬現(xiàn)實(shí)應(yīng)用中是一種集成所有組成要素的語(yǔ)言工具,而不是具體內(nèi)容,這可以讓設(shè)計(jì)人員專注于解決應(yīng)用程序的體系結(jié)構(gòu)和交互問(wèn)題,而不用處理過(guò)于復(fù)雜的對(duì)象.以數(shù)據(jù)流為基礎(chǔ)的語(yǔ)言,如以VRML為核心,結(jié)合ASP 技術(shù),JavaScript 腳本語(yǔ)言和Java 語(yǔ)言,開(kāi)發(fā)的虛擬校園漫游系統(tǒng)是以幾何和動(dòng)畫的描述為重點(diǎn)[9],InTml 主要側(cè)重于特定行為和對(duì)象行為的應(yīng)用、輸入設(shè)備信息的收集、系統(tǒng)整合等.InTml的作用使得在Internet 上通過(guò)傳輸很少的數(shù)據(jù)就可瀏覽三維虛擬場(chǎng)景成為可能[10].

交互式虛擬漫游系統(tǒng)應(yīng)用程序是由一系列相互關(guān)聯(lián)的過(guò)濾器組成,以滿足特定用戶的需求.圖1顯示了一個(gè)簡(jiǎn)單的InTml 應(yīng)用程序,它允許用戶用跟蹤器移動(dòng)虛擬手去觸摸虛擬物體,虛擬手跟蹤設(shè)備把位置和方向信息輸送到觸摸選擇技術(shù)和對(duì)象擁有者(手動(dòng)識(shí)別),過(guò)濾器把多個(gè)對(duì)象和一系列期望的變化結(jié)合在一起,從而實(shí)現(xiàn)運(yùn)動(dòng)和旋轉(zhuǎn).對(duì)象擁有者在輸入端口通過(guò)特殊裝飾圖形識(shí)別,輸入端口接收新的持有對(duì)象(即手動(dòng)識(shí)別).

圖1 虛擬手觸摸選擇對(duì)象應(yīng)用InTml 圖示

2 交互式虛擬漫游系統(tǒng)開(kāi)發(fā)環(huán)境設(shè)計(jì)

2.1 虛擬漫游系統(tǒng)交互式應(yīng)用程序開(kāi)發(fā)流程

為了保證測(cè)量的一致性,我們采用了以下流程圖介紹虛擬漫游系統(tǒng)交互式應(yīng)用程序設(shè)計(jì)開(kāi)發(fā)流程(如圖2所示),該流程主要用InTml 來(lái)識(shí)別硬件和系統(tǒng)平臺(tái)的變化.在確定該流程設(shè)計(jì)方案時(shí)要同時(shí)考慮系統(tǒng)的設(shè)計(jì)者和開(kāi)發(fā)者,設(shè)計(jì)者主要負(fù)責(zé)整體應(yīng)用程序的體系架構(gòu),而開(kāi)發(fā)者負(fù)責(zé)詳細(xì)實(shí)施設(shè)計(jì)者明確的任務(wù).從虛擬漫游系統(tǒng)設(shè)計(jì)者的角度來(lái)看,InTml 應(yīng)用包含了一系列的模塊,這些模塊必須在基礎(chǔ)框架上實(shí)施,并且需要考慮一定的執(zhí)行規(guī)則.設(shè)計(jì)者與開(kāi)發(fā)者需要合作,他們的主要工作是在基于InTml的環(huán)境下完成開(kāi)發(fā)工作,InTml在PC 環(huán)境下被編譯成Java和Unity3D 開(kāi)發(fā)工具.

圖2 虛擬漫游系統(tǒng)交互式應(yīng)用程序設(shè)計(jì)開(kāi)發(fā)一般流程

2.2 交互式虛擬漫游系統(tǒng)開(kāi)發(fā)平臺(tái)的移植方案設(shè)計(jì)

設(shè)計(jì)人員根據(jù)用戶需求確定應(yīng)用目標(biāo),用InTml應(yīng)用程序來(lái)滿足用戶需求,這可用來(lái)檢驗(yàn)此設(shè)計(jì)是否違背通用語(yǔ)義規(guī)則和基本使用原則[11].在這一點(diǎn)上,開(kāi)發(fā)人員可以檢查應(yīng)用程序是否支持當(dāng)前的開(kāi)發(fā)工具,如果當(dāng)前的開(kāi)發(fā)工具無(wú)法涵蓋新應(yīng)用程序的所有需求,設(shè)計(jì)和開(kāi)發(fā)任務(wù)可以繼續(xù)進(jìn)行.因此,開(kāi)發(fā)人員為了適應(yīng)應(yīng)用程序可能會(huì)改變InTml,設(shè)計(jì)者為了適應(yīng)平臺(tái)可能會(huì)改變應(yīng)用程序,執(zhí)行應(yīng)用程序用來(lái)檢驗(yàn)是否滿足用戶需求,這就必須考慮軟件平臺(tái)的可移植性.設(shè)計(jì)和開(kāi)發(fā)的內(nèi)容,如以設(shè)計(jì)模型中的主體對(duì)象、特殊的圖形效果、聲音以及用3D 工具設(shè)計(jì)的觸覺(jué)等,這些內(nèi)容可在基礎(chǔ)框架上通過(guò)運(yùn)行InTml 應(yīng)用程序來(lái)開(kāi)發(fā)各種類型的媒體.圖3中協(xié)作指的是設(shè)計(jì)者和開(kāi)發(fā)者之間的協(xié)作,該設(shè)計(jì)方案可以提供更有效的互動(dòng)技術(shù)、使用不同的硬件、改變內(nèi)容以及集中處理問(wèn)題.

圖3中平臺(tái)A 開(kāi)發(fā)后,設(shè)計(jì)人員要進(jìn)行修改完善是為了把這個(gè)平臺(tái)順利移植到一個(gè)新的平臺(tái)上.開(kāi)發(fā)者重復(fù)平臺(tái)B的開(kāi)發(fā)流程,如果可能重復(fù)利用平臺(tái)A的部件或設(shè)計(jì),與設(shè)計(jì)者互動(dòng)直到滿足用戶需求,以這種方式使兩個(gè)平臺(tái)的應(yīng)用程序保持相同功能,同時(shí)也考慮了各自的獨(dú)特優(yōu)勢(shì).不斷重復(fù)整個(gè)流程可以在提升每個(gè)平臺(tái)的功能基礎(chǔ)上更新其應(yīng)用程序.這種方法可允許設(shè)計(jì)者與開(kāi)發(fā)者在創(chuàng)建虛擬漫游系統(tǒng)應(yīng)用程序中進(jìn)行合作,設(shè)計(jì)者不用深入了解框架如何實(shí)現(xiàn)或編程語(yǔ)言,如C++或Java 等,可用InTml 實(shí)現(xiàn)交互式虛擬漫游應(yīng)用程序,運(yùn)用3DMAX、ArcMap 等軟件輔助平臺(tái)環(huán)境建設(shè).以往的虛擬漫游系統(tǒng)開(kāi)發(fā)者沒(méi)有考慮到這種工作的多學(xué)科性質(zhì),也沒(méi)有認(rèn)識(shí)到高級(jí)虛擬漫游系統(tǒng)語(yǔ)言的必要性[12],這可以讓非專業(yè)程序人員在開(kāi)發(fā)應(yīng)用程序過(guò)程中和專業(yè)程序人員有效交流意見(jiàn).該平臺(tái)支持多用戶同時(shí)在不同地點(diǎn)與同一場(chǎng)景實(shí)時(shí)進(jìn)行交互,并強(qiáng)調(diào)場(chǎng)景的真實(shí)度和渲染的實(shí)時(shí)性及連續(xù)性[13].

圖3 交互式虛擬漫游系統(tǒng)軟件開(kāi)發(fā)平臺(tái)移植方案

2.3 交互式虛擬漫游系統(tǒng)硬件環(huán)境的構(gòu)建

建立虛擬漫游系統(tǒng)的目的是使用戶能夠在虛擬三維環(huán)境中以全沉浸式和360 度全視角的方式漫游當(dāng)前或未來(lái)的建筑或環(huán)境區(qū)域,這是傳統(tǒng)設(shè)計(jì)渲染、預(yù)渲染和回放三維動(dòng)畫所難以實(shí)現(xiàn)的功能.用戶對(duì)場(chǎng)景的交互控制通過(guò)改變視點(diǎn)的位置或視線的方向來(lái)實(shí)現(xiàn),從而獲得三維虛擬場(chǎng)景空間的相關(guān)數(shù)據(jù)信息,實(shí)現(xiàn)虛擬場(chǎng)景中的漫游功能[14].該系統(tǒng)對(duì)校園主干道、教學(xué)樓、生活區(qū)和標(biāo)志景觀等進(jìn)行建模,然后通過(guò)應(yīng)用程序?qū)崿F(xiàn)虛擬場(chǎng)景中的行走、轉(zhuǎn)彎、仰視、俯視等視圖效果,尤其是與其場(chǎng)景中的物體進(jìn)行實(shí)時(shí)交互后,形成一個(gè)逼真的、具有視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)的感官世界,使人產(chǎn)生與計(jì)算機(jī)融為一體的真實(shí)感;虛擬空間控制也可以通過(guò)用戶的感覺(jué)、語(yǔ)言、手勢(shì)等進(jìn)行交互操作.用戶不僅可以全身心沉浸在虛擬校園中,還可以進(jìn)行信息查詢、數(shù)據(jù)分析、教學(xué)評(píng)估、發(fā)展規(guī)劃和管理決策.校園虛擬漫游系統(tǒng)在高校優(yōu)化管理、校園規(guī)劃、輔助決策和學(xué)校發(fā)展等各方面發(fā)揮著不可替代的作用[15].

3 交互式數(shù)字校園視景漫游模型的建立與優(yōu)化

本研究在設(shè)計(jì)InTml 應(yīng)用程序的基礎(chǔ)上以大學(xué)校園作為虛擬環(huán)境設(shè)計(jì)出可行的交互式校園虛擬漫游系統(tǒng)整體開(kāi)發(fā)方案(如圖4所示).交互式數(shù)字校園視景漫游模型的建立主要包括平面圖像設(shè)計(jì)、三維模型設(shè)計(jì)、模型優(yōu)化與顯示以及基本交互任務(wù)實(shí)現(xiàn)4 個(gè)部分.本研究主要利用Unity 3D 工具中的可視化界面設(shè)置場(chǎng)景和Unity 3D 代碼驅(qū)動(dòng)程序,生成應(yīng)用定義文件,最后根據(jù)用戶個(gè)性化需求設(shè)置場(chǎng)景虛擬漫游模式,實(shí)現(xiàn)虛擬校園的全景漫游功能.這也是當(dāng)前智慧校園建設(shè)的重要組成部分,為全體師生提供全面信息化和移動(dòng)化的綜合服務(wù)平臺(tái)[16].

圖4 交互式校園虛擬漫游系統(tǒng)開(kāi)發(fā)方案

3.1 對(duì)校園場(chǎng)景進(jìn)行三維建模

校園場(chǎng)景建模主要包括建模和圖片映射兩個(gè)步驟:第一,使用3DMAX 軟件或Creator 建立模型,創(chuàng)建者模型可通過(guò)向模型添加紋理映射功能來(lái)直接使用;如果該模型是三維模型,就需要通過(guò)面片映射或模型映射功能來(lái)獲得場(chǎng)景的原始模型.第二,轉(zhuǎn)換原始模型,這個(gè)過(guò)程需要將3DMAX 格式轉(zhuǎn)換為Creator 文件格式,并將其導(dǎo)入到Unity 3D 中以顯示處理模型.校園場(chǎng)景模型主要包括主干道和代表建筑群(如教學(xué)樓、生活區(qū)建筑、樹(shù)木、花草、操場(chǎng)等).

3.2 對(duì)模型進(jìn)行優(yōu)化和顯示

校園漫游場(chǎng)景模型建立后,由于游戲系統(tǒng)需要具備較強(qiáng)實(shí)時(shí)性,場(chǎng)景模型難以快速發(fā)送到Unity 3D 進(jìn)行識(shí)別,這就有必要對(duì)場(chǎng)景模型進(jìn)行優(yōu)化[11].在本研究中,主要采用了一下優(yōu)化方法:① 紋理技術(shù)代替法:在漫游場(chǎng)景中,如果模型細(xì)節(jié)較多、精度要求低的模型可以通過(guò)紋理來(lái)模擬.② 自動(dòng)覆蓋法:當(dāng)顯示的多邊形數(shù)量增加時(shí),一些多邊形被自動(dòng)覆蓋,這樣多邊形數(shù)量顯示的數(shù)量會(huì)減少;當(dāng)顯示的多邊形數(shù)量減少時(shí),顯示的多邊形數(shù)量也會(huì)增加.當(dāng)需要在顯示一個(gè)模型時(shí),并且在調(diào)用此函數(shù)之前,還需進(jìn)行以下操作:創(chuàng)建或設(shè)置OpenGL 繪制環(huán)境、繪制場(chǎng)景、設(shè)置攝像機(jī)位置和方向和刷新窗口.該操作應(yīng)該在調(diào)用函數(shù)的相應(yīng)環(huán)境里實(shí)現(xiàn),在此只需要對(duì)模型本身理.該函數(shù)的基本算法是:

3.3 關(guān)鍵交互功能的實(shí)現(xiàn)

交互性是虛擬現(xiàn)實(shí)技術(shù)最重要的特征之一,也是數(shù)字校園的核心功能.在數(shù)字校園中,虛擬校園場(chǎng)景的基本交互功能主要有動(dòng)作捕獲、行走控制和選擇操作.

(1)動(dòng)作捕獲

為了捕捉用戶在虛擬漫游中的動(dòng)作,系統(tǒng)需要相應(yīng)的硬件輸入設(shè)備[13].桌面計(jì)算機(jī)上最常見(jiàn)的輸入設(shè)備是鍵盤、鼠標(biāo)或體感設(shè)備(如頭盔、手套等).漫游系統(tǒng)軟件程序可以通過(guò)捕捉用戶的相應(yīng)動(dòng)作并將其轉(zhuǎn)換成相應(yīng)的控制命令來(lái)控制場(chǎng)景轉(zhuǎn)換.如果要查詢漫游場(chǎng)景中某個(gè)物體的信息,系統(tǒng)需要具備相應(yīng)的定位和選擇設(shè)備.這種定位不能用鍵盤來(lái)完成,但可以借助鼠標(biāo)的定點(diǎn)功能.在VC++和C++編程工具中有一種特殊的信息控制機(jī)制,可以方便地捕獲漫游用戶的基本動(dòng)作.此外,在Unity 3D 函數(shù)庫(kù)中的捕獲函數(shù)也可以處理用戶的動(dòng)作信息.

(2)行走控制

在該系統(tǒng)中,用戶在漫游系統(tǒng)中通過(guò)鍵盤的上、下、左、右鍵控制與場(chǎng)景的前、后、左、右交互,最終重繪場(chǎng)景畫面[14].有兩種方法可以根據(jù)用戶的動(dòng)作重繪場(chǎng)景畫面:第一,直接改變物體的三維坐標(biāo)參數(shù);第二,通過(guò)用戶視點(diǎn)變換來(lái)實(shí)現(xiàn)交互場(chǎng)景的轉(zhuǎn)變.直接改變?nèi)S坐標(biāo)參數(shù)會(huì)重新變換虛擬場(chǎng)景中所有目標(biāo)對(duì)象的坐標(biāo)參數(shù),并且多次變換將導(dǎo)致誤差累積,這將會(huì)導(dǎo)致虛擬場(chǎng)景失真.因此,通過(guò)改變用戶視點(diǎn)來(lái)控制行走場(chǎng)景變換是目前交互式虛擬場(chǎng)景構(gòu)建的主要方法.

(3)選擇操作

因?yàn)樵谟?jì)算機(jī)顯示器上繪制的目標(biāo)對(duì)象通常需要多次旋轉(zhuǎn)、平移和透視變換,所以在多次變換之后進(jìn)行選擇操作時(shí),很難確定選擇了虛擬場(chǎng)景中的某一對(duì)象[15].此外,由于計(jì)算機(jī)的顯示屏的畫面是一個(gè)二維坐標(biāo)系,虛擬漫游系統(tǒng)中所表示的三維物體需要將二維坐標(biāo)轉(zhuǎn)換成三維坐標(biāo)的運(yùn)算,GLU 實(shí)用庫(kù)中的GLUUnproject()函數(shù)可以實(shí)現(xiàn)這種轉(zhuǎn)換.虛擬漫游系統(tǒng)通過(guò)不斷改變用戶視點(diǎn)和觀察點(diǎn)位置來(lái)實(shí)現(xiàn)多次旋轉(zhuǎn)、平移和透視變換效果,例如向前、向后、多方位旋轉(zhuǎn)、仰視和俯視等.圖5是在大學(xué)圖書(shū)館視景漫游中實(shí)現(xiàn)正向、反向和全方位旋轉(zhuǎn)的演示效果圖.

圖5 大學(xué)圖書(shū)館視景漫游效果圖

4 結(jié)論與展望

雖然目前虛擬現(xiàn)實(shí)交互技術(shù)和硬件設(shè)備不斷更新?lián)Q代,但是該研究的設(shè)計(jì)流程和方案具有普遍的適用性和推廣價(jià)值.本研究的特色在于能結(jié)合虛擬現(xiàn)實(shí)領(lǐng)域和學(xué)校資源進(jìn)行應(yīng)用研究,通過(guò)該方案開(kāi)發(fā)的系統(tǒng)可以將校園的各種場(chǎng)景、細(xì)節(jié)和體驗(yàn)完全復(fù)制到計(jì)算機(jī)或者互聯(lián)網(wǎng)上,讓學(xué)生、教師以及社會(huì)公眾不受時(shí)間和空間的限制,只需要通過(guò)計(jì)算機(jī)和網(wǎng)絡(luò)環(huán)境就能夠全方位地感受校園景色、學(xué)習(xí)環(huán)境和學(xué)習(xí)資源,使用戶產(chǎn)生身臨其境的沉浸效果.隨著虛擬現(xiàn)實(shí)技術(shù)和移動(dòng)智能設(shè)備的快速發(fā)展,還需要增加更多的虛擬漫游系統(tǒng)應(yīng)用程序和硬件設(shè)備,也為精確高效的交互式校園漫游提供了成熟的技術(shù)支持和用戶基礎(chǔ)[17].數(shù)字校園漫游系統(tǒng)在開(kāi)發(fā)設(shè)計(jì)方案也需要進(jìn)一步優(yōu)化和創(chuàng)新,以便支持應(yīng)用平臺(tái)建設(shè).