樊 梅，蔣寶晴

（四川大學(xué) 華西基礎(chǔ)醫(yī)學(xué)與法醫(yī)學(xué)院，四川 成都610041）

四川是紅軍長(zhǎng)征歷時(shí)最久、行程最長(zhǎng)、活動(dòng)區(qū)域最廣、發(fā)生重要事件最多的省份。爬雪山、過(guò)草地、強(qiáng)渡大渡河、飛奪瀘定橋、巧渡金沙江、彝海結(jié)盟、四渡赤水等經(jīng)典戰(zhàn)例和革命奇跡至今聞名遐邇。由于地域限制，且在當(dāng)今疫情常態(tài)化防控背景下，其他地區(qū)的黨員很難有機(jī)會(huì)親身體驗(yàn)到四川的紅色文化精神。利用虛擬現(xiàn)實(shí)（Virtual Reality，VR）技術(shù)實(shí)現(xiàn)對(duì)四川紅色文化的虛擬漫游，打破地域限制，大大降低以往教育形式的枯燥感，提高廣大黨員學(xué)習(xí)的熱情。通過(guò)構(gòu)建虛擬場(chǎng)景，帶給用戶生動(dòng)逼真的沉浸式體驗(yàn)，讓一個(gè)個(gè)歷史人物和故事都更加立體生動(dòng)。讓用戶置身于虛擬現(xiàn)實(shí)的情境中，作用于用戶的視、聽(tīng)、觸等各感官系統(tǒng)，使其身臨其境般地體驗(yàn)歷史事件，體會(huì)老一輩共產(chǎn)黨人的革命斗爭(zhēng)精神。

1 平臺(tái)設(shè)計(jì)思路

紅色文化教育云平臺(tái)立足于四川豐富的紅色文化資源，以推廣紅色革命精神為先導(dǎo)、新時(shí)代黨的精神為導(dǎo)向、創(chuàng)新為引領(lǐng)、學(xué)習(xí)教育為中心，依托虛擬現(xiàn)實(shí)、云計(jì)算、人工智能和大數(shù)據(jù)等前沿技術(shù)，與紅色文化資源管理部門共同打造集“展示、教育、文化宣傳”為一體的紅色文化教育云平臺(tái)。按照面向黨政機(jī)關(guān)、面向?qū)W校、面向群眾的定位，全面拓展紅色文化教育領(lǐng)域，營(yíng)造共建、共享、共贏的紅色文化教育生態(tài)圈。紅色文化教育云平臺(tái)以歷史事件為核心素材，以云計(jì)算和實(shí)時(shí)渲染引擎等為技術(shù)支撐，結(jié)合多種硬件終端為用戶提供高質(zhì)量服務(wù)，具體架構(gòu)如圖1所示。

圖1 平臺(tái)總體架構(gòu)

1.1 平臺(tái)架構(gòu)設(shè)計(jì)與應(yīng)用規(guī)劃

基于云端的系統(tǒng)架構(gòu)對(duì)海量數(shù)據(jù)存儲(chǔ)與管理、并發(fā)任務(wù)渲染、復(fù)雜場(chǎng)景渲染等具有較好的支撐作用[1]。如圖2所示，為提高紅色文化教育云平臺(tái)的靈活性，降低平臺(tái)對(duì)應(yīng)用終端的性能要求，平臺(tái)將采用云端部署多端使用的應(yīng)用模式。

圖2 系統(tǒng)應(yīng)用模式

1.1.1 云端部署

平臺(tái)包含多個(gè)紅色革命舊址的數(shù)據(jù)資源，后續(xù)可擴(kuò)展覆蓋四川四十余個(gè)紅色革命舊址。采用云端部署的方式存儲(chǔ)在云服務(wù)器中?？筛鶕?jù)用戶使用情況完成資源數(shù)據(jù)下載、場(chǎng)景渲染、視頻流分發(fā)等任務(wù)，以滿足不同的應(yīng)用場(chǎng)景。

1.1.2 大屏展示

大屏展示系統(tǒng)具有分辨率高、畫質(zhì)細(xì)膩、應(yīng)用模式單一等特征，對(duì)計(jì)算機(jī)的渲染能力要求很高，一般是部署在展廳等固定場(chǎng)所。該模式下將采用本地部署高性能服務(wù)器，從云端下載數(shù)據(jù)資源到本地渲染的方式進(jìn)行紅色文化教育場(chǎng)景可視化呈現(xiàn)，達(dá)到震撼的視覺(jué)效果。

1.1.3 VR體驗(yàn)

根據(jù)應(yīng)用模式，VR眼鏡主要分為三類，分別是：手機(jī)盒子、頭戴式顯示器和VR一體機(jī)。手機(jī)盒子是通過(guò)手機(jī)作為虛擬場(chǎng)景的渲染終端進(jìn)行VR呈現(xiàn)，其渲染能力和顯示精度受手機(jī)硬件性能限制。頭戴式顯示器本身只作為顯示終端，需要通過(guò)外置計(jì)算機(jī)進(jìn)行圖像計(jì)算和渲染。VR一體機(jī)內(nèi)置顯示屏、陀螺儀、計(jì)算等模塊，具有較強(qiáng)的計(jì)算能力且攜帶和部署便捷。因此，紅色文化教育云平臺(tái)采用VR一體機(jī)作為沉浸式體驗(yàn)終端。

VR一體機(jī)通過(guò)互聯(lián)網(wǎng)連接平臺(tái)進(jìn)行資源下載和更新，使用者通過(guò)交互手柄選擇不同的場(chǎng)景進(jìn)行游覽體驗(yàn)。VR一體機(jī)根據(jù)視野方向?qū)崟r(shí)渲染具有視差的左右眼圖像并投射到VR一體機(jī)屏幕上，構(gòu)建出具有高度沉浸感的立體影像[2]，效果如圖3所示。

圖3 VR體驗(yàn)效果圖

1.1.4 移動(dòng)端體驗(yàn)

移動(dòng)端主要是作為臨時(shí)的體驗(yàn)終端，使用者通過(guò)平臺(tái)接口登錄，選擇需要體驗(yàn)的場(chǎng)景后由云端進(jìn)行場(chǎng)景渲染，通過(guò)視頻流的方式傳輸?shù)揭苿?dòng)端進(jìn)行呈現(xiàn)。體驗(yàn)設(shè)備本身無(wú)需進(jìn)行資源下載和渲染計(jì)算，極大地降低了對(duì)硬件性能的依賴。

2 關(guān)鍵技術(shù)

2.1 大地形仿真技術(shù)

虛擬環(huán)境中的場(chǎng)景實(shí)時(shí)程度、場(chǎng)景可視范圍、場(chǎng)景細(xì)節(jié)等對(duì)最終呈現(xiàn)的可視化效果有直接影響[3]。目前制做大型地景的主要方式是采用數(shù)字高程模型（Digital Elevation Model，DEM）生成具有高度信息的基礎(chǔ)模型，采用數(shù)字正射影像圖（Digital Orthophoto Map，DOM）貼圖的方式構(gòu)建超大范圍地理環(huán)境[4]。為了達(dá)到更好的體驗(yàn)效果，紅色文化教育云平臺(tái)根據(jù)紅色舊址真實(shí)地理數(shù)據(jù)信息生成地形場(chǎng)景，在傳統(tǒng)DEM+DOM技術(shù)方法基礎(chǔ)上，根據(jù)地表紋理信息，采用虛幻引擎4（Unreal Engine 4，UE4）提供的植被系統(tǒng)生成較為真實(shí)的地表覆蓋物，使得場(chǎng)景效果更加真實(shí)細(xì)膩。具體效果如圖4所示。

圖4 大地形仿真

2.2 高精度建模技術(shù)

為了達(dá)到良好的畫面效果，需要對(duì)紅色舊址及歷史事件場(chǎng)景進(jìn)行高精度地還原。但是紅色文化教育云平臺(tái)的畫面呈現(xiàn)是基于UE4引擎的實(shí)時(shí)渲染，模型數(shù)據(jù)量越大對(duì)系統(tǒng)資源的消耗就越嚴(yán)重，系統(tǒng)運(yùn)行效率就越低。為了獲得良好的體驗(yàn)感，在非沉浸式體驗(yàn)時(shí)系統(tǒng)刷新率一般要大于30Hz，在沉浸式體驗(yàn)時(shí)系統(tǒng)刷新率一般要大于60Hz。在滿足功能和渲染質(zhì)量要求的前提下需要對(duì)虛擬場(chǎng)景資源進(jìn)行深度優(yōu)化，以降低平臺(tái)硬件的負(fù)載壓力。次時(shí)代建模技術(shù)采用法線烘焙以貼圖的形式保留高精度模型的細(xì)節(jié)，將貼圖賦予到低模上即可獲得和高精度模型一致的外觀效果[5]。采用次時(shí)代建模的方式可獲得良好的視覺(jué)效果，也不會(huì)因?yàn)槟Ｐ兔鏀?shù)過(guò)多而導(dǎo)致系統(tǒng)資源浪費(fèi)。

2.3 多細(xì)節(jié)層次（Levels of Detail，LOD）技術(shù)

在不影響畫面質(zhì)量的前提下，LOD技術(shù)通過(guò)逐次簡(jiǎn)化物體的表面細(xì)節(jié)來(lái)降低場(chǎng)景的復(fù)雜性。在渲染時(shí)，依據(jù)模型與虛擬攝像機(jī)的位置關(guān)系以及占用屏幕比例，決定渲染對(duì)應(yīng)層次的模型，可以通過(guò)降低在渲染屏幕中所占比重較小的物體的面數(shù)，以提高渲染效率[6]。

平臺(tái)使用UE4提供的LOD系統(tǒng)進(jìn)行模型各層級(jí)LOD制作，對(duì)于單個(gè)模型而言，其優(yōu)化效果十分出色，極大地降低了渲染壓力。其各層級(jí)LOD效果如圖5所示。

圖5 LOD效果示意

2.4 實(shí)時(shí)通信技術(shù)

在移動(dòng)端體驗(yàn)過(guò)程中，為降低終端的渲染壓力，平臺(tái)通過(guò)云服務(wù)器對(duì)虛擬場(chǎng)景進(jìn)行渲染并將視頻流實(shí)時(shí)傳輸?shù)浇K端。網(wǎng)頁(yè)實(shí)時(shí)通信（Web Real-Time Communication，WeBRTC）技術(shù)的特點(diǎn)是在不安裝軟件和插件的情況下，通過(guò)瀏覽器即可實(shí)現(xiàn)端對(duì)端的雙向數(shù)據(jù)傳輸[7]。WeBRTC支持Windows，Linux，Mac，Android等系統(tǒng)，具有良好的跨平臺(tái)能力。在紅色文化教育云平臺(tái)中采用該項(xiàng)技術(shù)，實(shí)現(xiàn)移動(dòng)端與云端的渲染數(shù)據(jù)流、控制指令的傳輸，達(dá)到交互式體驗(yàn)的目的。

3 平臺(tái)實(shí)現(xiàn)

3.1 技術(shù)路線

四川紅色文化教育云平臺(tái)是將VR技術(shù)與紅色文化教育資源相結(jié)合開(kāi)發(fā)的，首先是收集整理素材，比如照片、視頻、文字資料等。接下來(lái)根據(jù)素材，采用Maya建模軟件對(duì)關(guān)鍵場(chǎng)景和人物進(jìn)行精細(xì)化建模和動(dòng)畫制作，基于真實(shí)地理信息數(shù)據(jù)對(duì)周邊地形進(jìn)行還原。采用UE4引擎作為紅色文化教育虛擬場(chǎng)景可視化的關(guān)鍵平臺(tái)，使用藍(lán)圖編程的方式構(gòu)建人機(jī)交互界面和交互邏輯。采用云端存儲(chǔ)和部署的方式為多種類型終端用戶提供資源下載、在線渲染等服務(wù)。

3.2 功能設(shè)計(jì)與實(shí)現(xiàn)

3.2.1 場(chǎng)景可視化

本系統(tǒng)采用UE4作為虛擬場(chǎng)景可視化引擎，UE4可以得到逼真、實(shí)時(shí)的渲染效果，該引擎支持不同的天氣環(huán)境、道路環(huán)境、自然光、環(huán)境光以及反光等效果的實(shí)時(shí)渲染。UE4兼顧系統(tǒng)運(yùn)行效率與渲染質(zhì)量的平衡，提供了強(qiáng)大的光源、材質(zhì)、陰影及反射等效果，高質(zhì)量、高速度地處理復(fù)雜場(chǎng)景的可視化，環(huán)境、光照、材質(zhì)可實(shí)時(shí)改變，具備對(duì)環(huán)境、光照、材質(zhì)等進(jìn)行實(shí)時(shí)的真實(shí)渲染能力。UE4出色的實(shí)時(shí)渲染能力為紅色文化教育場(chǎng)景可視化提供了有力的保障。

在四川紅色文化教育云平臺(tái)實(shí)現(xiàn)過(guò)程中，最重要的是場(chǎng)景和人物設(shè)計(jì)。歷史事件的高度還原與場(chǎng)景設(shè)計(jì)密切相關(guān)，為了讓參觀者能夠沉浸其中，需要根據(jù)歷史影像高度還原歷史場(chǎng)景。利用軟件，合理開(kāi)發(fā)貼圖材質(zhì)、燈光等場(chǎng)景要素，以保證場(chǎng)景更形象。除了逼真的場(chǎng)景，人物設(shè)計(jì)也至關(guān)重要。為了讓歷史人物形象更加真實(shí)、生動(dòng)，需全面了解每個(gè)歷史人物的特征，包括容貌、姿態(tài)、服飾等。場(chǎng)景效果如圖6所示。擬場(chǎng)景事件、交互指令觸發(fā)相應(yīng)的聲音內(nèi)容，達(dá)到視聽(tīng)一體化的展示效果。

圖6 飛奪瀘定橋場(chǎng)景還原

（3）3D菜單設(shè)計(jì)

在沉浸式體驗(yàn)環(huán)境中，為了快速便捷地進(jìn)行操作和功能選擇，平臺(tái)為參觀者提供了3D菜單，通過(guò)VR手柄預(yù)設(shè)的按鈕呼出菜單后進(jìn)行相應(yīng)的操作，具體設(shè)計(jì)如圖8所示。

圖8 3D菜單設(shè)計(jì)

3.2.2 天氣系統(tǒng)設(shè)計(jì)

為了呈現(xiàn)多樣化、真實(shí)化的視覺(jué)效果，平臺(tái)提供了完善的氣候條件供參觀者自主選擇或隨機(jī)分配，如春夏秋冬四季場(chǎng)景的變化以及晴雨雪霧不同天氣場(chǎng)景的變化，效果如圖7所示。

圖7 季節(jié)和天氣模擬

3.2.3 聲音仿真設(shè)計(jì)

聽(tīng)覺(jué)是人類在視覺(jué)之外獲得信息的主要途徑。在聽(tīng)覺(jué)與視覺(jué)的關(guān)聯(lián)作用下可以提高大腦信息加工的精確性，而且可以避免單一信息通道的過(guò)載。虛擬現(xiàn)實(shí)不只是視覺(jué)上的模擬，對(duì)場(chǎng)景中各類聲音進(jìn)行立體化模擬也尤為重要。在該培訓(xùn)系統(tǒng)中主要聲音包括：

（1）背景音

通過(guò)場(chǎng)景環(huán)境進(jìn)行分析，整理出主要的背景音類型、位置和大致的音量。通過(guò)在虛擬環(huán)境中對(duì)應(yīng)的位置設(shè)置發(fā)音虛擬體并設(shè)置一定的隨機(jī)變化值進(jìn)行模擬，達(dá)到較為真實(shí)的效果。

（2）事件聲音

歷史事件虛擬化還原主要涉及槍炮、爆炸、沖鋒號(hào)、人物對(duì)話、旁白介紹等聲音。通過(guò)程序控制，根據(jù)虛

（4）虛擬漫游

參觀者可以在紅色文化教育線路中選定的紅色舊址虛擬場(chǎng)景中任意游走，瀏覽舊址中的畫面、文字和雕像等。

為了提高虛擬場(chǎng)景的漫游靈活性，平臺(tái)提供了多種漫游模式。參觀者可以在虛擬場(chǎng)景的三維菜單中進(jìn)行自由選擇。

a.飛行模式：用戶可以通過(guò)VR手柄按鍵、虛擬圖標(biāo)等方式控制方向，實(shí)現(xiàn)在虛擬環(huán)境中沿任意方向進(jìn)行漫游。

b.行走模式：通過(guò)在虛擬場(chǎng)景中構(gòu)建碰撞物體對(duì)可移動(dòng)區(qū)域進(jìn)行設(shè)定，用戶可以在實(shí)際空間站走動(dòng)、轉(zhuǎn)身或通過(guò)VR手柄搖桿控制方向，達(dá)到在虛擬場(chǎng)景中行走、奔跑的效果。

c.跳轉(zhuǎn)模式：針對(duì)區(qū)域范圍較大的紅色舊址，行走模式不能完全滿足游覽要求時(shí)，觀看者可通過(guò)虛擬指針指向目標(biāo)點(diǎn)，系統(tǒng)通過(guò)坐標(biāo)擬合計(jì)算將虛擬人直接跳轉(zhuǎn)到目標(biāo)點(diǎn)上，實(shí)現(xiàn)快速移動(dòng)的效果，提高整個(gè)虛擬場(chǎng)景游覽效率。

（5）交互設(shè)計(jì)

在軟件使用過(guò)程中的感覺(jué)就是一種交互體驗(yàn)。隨著技術(shù)的發(fā)展，人們也越來(lái)越重視對(duì)交互的體驗(yàn)。設(shè)計(jì)的主要目的是如何使用戶更好地與系統(tǒng)交互操作。人機(jī)交互設(shè)計(jì)應(yīng)注重的是系統(tǒng)易用性、流程簡(jiǎn)便、盲點(diǎn)測(cè)試、出錯(cuò)及異常提示、用戶環(huán)境測(cè)試等[8]。紅色文化教育系統(tǒng)采用UE4特有的藍(lán)圖編程實(shí)現(xiàn)人機(jī)交互設(shè)計(jì)與開(kāi)發(fā)?？梢暬_本類非常適合于制作交互式的資源，比如開(kāi)關(guān)門、物體拾取、動(dòng)畫觸發(fā)、聲音觸發(fā)、材質(zhì)變換等?？筛鶕?jù)用戶的操作、位置、語(yǔ)音識(shí)別進(jìn)行響應(yīng)，達(dá)到自主化、自動(dòng)化、智能化的人機(jī)交互效果。

（6）劇情設(shè)計(jì)

在展示過(guò)程中，以空間為導(dǎo)向，采用講故事的方式，以開(kāi)合、急緩、松緊等節(jié)奏的配置形成事件序列，可以讓參觀者更好地融入到空間環(huán)境中[9]。紅色文化教育系統(tǒng)以歷史事件為原型，采用藝術(shù)化的設(shè)計(jì)手段，以語(yǔ)音講解的方式介紹事件背景，以交互式三維動(dòng)畫呈現(xiàn)事件過(guò)程，以圖文素材展示事件結(jié)果，構(gòu)建完整的歷史事件演繹過(guò)程，形成符合史實(shí)的完整劇本。讓用戶以第一人稱視角參與到整個(gè)事件過(guò)程中，獲得更加真實(shí)、震撼、感同身受的體驗(yàn)效果，進(jìn)一步提升對(duì)紅色精神的學(xué)習(xí)深度。

（7）導(dǎo)航與講解

為了提高游覽效率，開(kāi)發(fā)平臺(tái)提供了具備一定智能化的導(dǎo)航虛擬機(jī)器人，參觀人員通過(guò)語(yǔ)音指令即可調(diào)出。虛擬機(jī)器人根據(jù)用戶所處的游覽位置進(jìn)行語(yǔ)音播放或者圖文視頻的投射顯示，如圖9所示。這種導(dǎo)航方式采用了現(xiàn)代科技感和歷史事件相結(jié)合的設(shè)計(jì)方式，使得整個(gè)系統(tǒng)更具交互性和趣味性。

圖9 導(dǎo)航提示

（8）交互式問(wèn)答

為了對(duì)游覽效果進(jìn)行數(shù)據(jù)化地呈現(xiàn)，在游覽結(jié)束后平臺(tái)根據(jù)游覽內(nèi)容提供了相應(yīng)的問(wèn)答作業(yè)，后臺(tái)程序?qū)τ脩舻拇痤}內(nèi)容進(jìn)行統(tǒng)計(jì)分析，形成成績(jī)單和圖形化統(tǒng)計(jì)報(bào)表，為平臺(tái)的升級(jí)優(yōu)化提供數(shù)據(jù)支撐。

（9）系統(tǒng)管理功能

a.用戶管理：實(shí)現(xiàn)用戶的注冊(cè)、登錄、權(quán)限配置等功能。

b.訪問(wèn)管理：在移動(dòng)端使用模式下根據(jù)訪問(wèn)人數(shù)與平臺(tái)支持的最大并發(fā)量，實(shí)現(xiàn)參觀預(yù)約、排隊(duì)的管理功能。

c.資源管理：實(shí)現(xiàn)數(shù)據(jù)資源的下架、上傳、部署、權(quán)限設(shè)定等管理功能。

d.數(shù)據(jù)統(tǒng)計(jì)分析：對(duì)紅色文化教育資源使用情況進(jìn)行實(shí)時(shí)監(jiān)測(cè)、分析和統(tǒng)計(jì)。

4 結(jié)束語(yǔ)

隨著虛擬現(xiàn)實(shí)技術(shù)的不斷發(fā)展以及硬件成本的逐步下降，紅色虛擬文化教育將成為未來(lái)的發(fā)展趨勢(shì)?；谌S可視化的紅色文化教育云平臺(tái)具有仿真度高、交互良好、使用便捷、數(shù)字資源豐富和可擴(kuò)展性強(qiáng)等特點(diǎn)，可打破時(shí)間和空間的限制，讓參觀者足不出戶即可在沉浸式的環(huán)境中感受到革命先烈浴血奮戰(zhàn)的場(chǎng)景。其可以為四川紅色文化教育的發(fā)展、紅色革命精神的普及和推廣發(fā)揮巨大作用。