張暉?王婷婷

中國古代兵器文化經(jīng)歷了漫長而悠久的發(fā)展過程，留下了極為豐富的文化遺產(chǎn)，可以說都是中國古代勞動(dòng)人民智慧的結(jié)晶。本文通過對山東孔子文化公園兵器博物館展示多媒體項(xiàng)目的設(shè)計(jì)和實(shí)施，探討在虛實(shí)融合環(huán)境下運(yùn)用新興的體感交互技術(shù)構(gòu)建一種高度逼真的展示體驗(yàn)環(huán)境和人性化操作方式。

概述

一直以來國內(nèi)歷史類文化展覽館的展示交互設(shè)計(jì)多采用二維人機(jī)交互方式，但隨著數(shù)字技術(shù)的不斷發(fā)展，信息傳播方式的不斷變革，這樣的形式已經(jīng)不能夠滿足人們獵奇逐新的需求，人們嘗試運(yùn)用更多的媒介和技術(shù)手段來提高觀眾和展示環(huán)境的互動(dòng)。本文希望通過對山東孔子文化公園兵器博物館展示多媒體項(xiàng)目的設(shè)計(jì)和實(shí)施，探討在虛實(shí)融合環(huán)境下運(yùn)用新興的體感交互技術(shù)構(gòu)建一種高度逼真的展示體驗(yàn)環(huán)境，讓人們身歷其境地與內(nèi)容做互動(dòng)，詮釋中國古代兵器從啟蒙到發(fā)展再到興盛的整個(gè)過程。

虛實(shí)融合環(huán)境下的體感交互技術(shù)

虛實(shí)融合是現(xiàn)代展示環(huán)境設(shè)計(jì)中一種常用的設(shè)計(jì)手法，它通過虛擬顯示技術(shù)，結(jié)合計(jì)算機(jī)圖形學(xué)、數(shù)字圖像處理、環(huán)境場景搭建、物理學(xué)、心理學(xué)等相關(guān)學(xué)科交和領(lǐng)域，營造出一個(gè)虛實(shí)結(jié)合并符合特定展示情景的展示環(huán)境，讓觀眾更加流暢的和計(jì)算機(jī)等設(shè)備進(jìn)行人機(jī)交互，增加參與度和體驗(yàn)感。

體感交互是展示空間中營造虛實(shí)融合環(huán)境最為重要的技術(shù)手段之一，也是目前展示環(huán)境設(shè)計(jì)的主要趨勢。體感交互起源于游戲，特指用戶通過身體運(yùn)動(dòng)和身體感受等方式完成人機(jī)交互，它通過人的肢體動(dòng)作變化進(jìn)行操作。體感交互技術(shù)運(yùn)用在展示環(huán)境設(shè)計(jì)還是近些年的事情，這種技術(shù)操作簡單，是直接通過觀眾的肢體動(dòng)作自然得與周邊的裝置或環(huán)境互動(dòng)，而無需使用任何復(fù)雜的控制設(shè)備。有著其他展示技術(shù)無法比擬的優(yōu)勢。

目前體感交互的研究內(nèi)容主要是集中在語音識別、手勢輸入及感覺反饋等方面。作為新的體感技術(shù)，kinect 的出現(xiàn)促進(jìn)人機(jī)交互的發(fā)展，它可以依靠捕捉使用者的動(dòng)作、面部和語音的識別，來進(jìn)行輸入填補(bǔ)了傳統(tǒng)人機(jī)交互的技術(shù)缺陷，kinect體感交互技術(shù)主要由感應(yīng)攝像機(jī)，動(dòng)作識別系統(tǒng)組成。

1.深度感應(yīng)攝像機(jī)技術(shù)

早期，由于用于體感交互技術(shù)硬件和軟件的研發(fā)成本比較高，體感交互技術(shù)一直缺乏實(shí)用性，直到一項(xiàng)基于結(jié)構(gòu)光技術(shù)的新專利Freedman 的出現(xiàn)，通過對空間物體投射特定的紅外線結(jié)構(gòu)光斑，重構(gòu)空間的三維圖像深度，達(dá)到較高的幀速率采集數(shù)據(jù)，這項(xiàng)就是Kinect 的核心技術(shù)，使低廉但高效的體感交互設(shè)備成為可能。

2.動(dòng)作識別算法

依靠實(shí)時(shí)深度攝像機(jī)技術(shù)，人體動(dòng)作識別算法得到了提高，可以根據(jù)需要，區(qū)分人體軀干的各個(gè)部分的運(yùn)動(dòng)，再通過反向動(dòng)力學(xué)將這些數(shù)據(jù)連接到人體運(yùn)動(dòng)，當(dāng)然，這樣需要計(jì)算機(jī)系統(tǒng)需要大量的計(jì)算，同時(shí)用戶需要把動(dòng)作進(jìn)行初始化，后來Ganapathi的方法結(jié)合了人體結(jié)構(gòu)分析與爬山算法，通過GPU加速技術(shù)提高了算法的效率。

3.主要的設(shè)備

（1）RGB 攝像頭

用來獲取 640X480 的彩色圖像，每秒鐘最多獲取 30 幀圖像，根據(jù)在Kinect 設(shè)備視野范圍內(nèi)移動(dòng)的一個(gè)或兩個(gè)人的圖像進(jìn)行骨骼追蹤，可以追蹤到人體上的 20 個(gè)節(jié)點(diǎn)。

（2）3D深度傳感器

分別為紅外發(fā)射器和紅外線 COMS 攝像機(jī)，用來偵測 3D 影像。

（3）數(shù)組式麥克風(fēng)

數(shù)組式麥克風(fēng)的 Microsoft.Speech 與語音識別 API 集成，使用四元麥克風(fēng)組的麥克風(fēng)，可以消除噪音和回波進(jìn)行語音識別，把聲源附近有效范圍之內(nèi)的各種信息捕捉到。基于以上功能，Kinect 設(shè)備不需要使用任何控制器，只需依靠實(shí)時(shí)捕捉使用者的 3D 動(dòng)作、面部識別和語音識別即可達(dá)到輸入的功能。

兵器博物館體感交互技術(shù)如何營造虛實(shí)融合的空間

山東孔子文化公園兵器博物館，是孔子文化園（國家AAA級景區(qū)）新開發(fā)的一個(gè)旅游景點(diǎn)。主要展示中國傳統(tǒng)的古代軍事裝備。由于中國古代兵器文化經(jīng)歷了漫長而悠久的發(fā)展過程，留下的文化遺產(chǎn)極為豐富，如果采用傳統(tǒng)的展示方式，使用大量的圖版、展柜和展示道具，觀眾可能只是走走看看，很難有切身的感受。為了增加展示的效果，筆者的設(shè)計(jì)團(tuán)隊(duì)決定采用虛實(shí)融合設(shè)計(jì)手法，運(yùn)用體感交互技術(shù)，讓觀眾能夠?qū)崿F(xiàn)“身臨其境”。

1.設(shè)計(jì)思路

通過對孔子文化公園兵器博物館的調(diào)研，包括對傳統(tǒng)兵器背景、觀眾和展示交互技術(shù)等方面的調(diào)研，我們確定了具體的方案，首先，在明確了以虛實(shí)融合作為交互設(shè)計(jì)的主軸后，建立起一套完整的展示交互架構(gòu)，構(gòu)架基于虛擬現(xiàn)實(shí)系統(tǒng)和具體的場景，構(gòu)筑觀眾與兵器博物館的互動(dòng)平臺，配合情境，多媒體交互，視覺等設(shè)計(jì)的內(nèi)容，然后，根據(jù)前期制定的設(shè)計(jì)路線，結(jié)合兵器博物館空間區(qū)域的劃分和實(shí)際的展示內(nèi)容，把需要設(shè)計(jì)的每個(gè)空間逐個(gè)進(jìn)行分析，并制定具體的多媒體展示交互方案。最后進(jìn)行實(shí)施和調(diào)試。

2.交互系統(tǒng)設(shè)計(jì)

（1）體感交互層面

在體感交互方面，目前大部分主要使用手勢交互，不過這樣的選擇不僅影響到用戶體驗(yàn)，還影響到識別準(zhǔn)確率，而且復(fù)雜的手勢，還需要觀眾者去了解并且記住所對應(yīng)的關(guān)系。所以在具體的設(shè)計(jì)中，采取了綜合的交互方式，包括利用移動(dòng)設(shè)備內(nèi)置的三軸陀螺儀來捕獲數(shù)據(jù)，并通過旋轉(zhuǎn)來設(shè)置，能夠精確地確定運(yùn)動(dòng) 物體的方位，并按照指令執(zhí)行。通過虛擬的方式來實(shí)現(xiàn)觀眾在虛實(shí)融合的場景中體驗(yàn)各個(gè)不同仿真的歷史時(shí)代和與之相配的兵器。

（2）識別層面

在進(jìn)行識別之前，首先要?jiǎng)?chuàng)建人體動(dòng)態(tài)模板。模板庫的建立主要步驟如下 ：

①投影，由于觀眾操作的差異性，不同使用者做同一個(gè)動(dòng)作的角速度有所差別，即使是同一個(gè)觀眾，不同時(shí)間重復(fù)同一個(gè)動(dòng)作的角速度也有差異，這就需要針對基準(zhǔn)平面對 X、Y、Z 三軸方向的加速度進(jìn)行投影操作。

②濾波，過濾掉樣本中可能存在的噪聲信號，來增加信號的識別效果，本次設(shè)計(jì)主要使用低通濾波。

③主元分析求取閾值。為了捕獲到空間中翻轉(zhuǎn)肢體運(yùn)動(dòng)的發(fā)生，識別層持續(xù)捕獲三軸陀螺儀傳感器傳來的數(shù)據(jù)。傳遞到識別層的數(shù)據(jù)是一個(gè)三維數(shù)組，分別對應(yīng)于陀螺儀 X、Y、Z 軸的加速度改變。并進(jìn)行識別記錄運(yùn)動(dòng)對應(yīng)的命令，實(shí)驗(yàn)交互。

（3） 通信傳輸層面

目前，設(shè)備的操作系統(tǒng)中主要ios 、android和windows系統(tǒng)。通過wifi接入計(jì)算機(jī)所在局域網(wǎng)，通過Socket與計(jì)算機(jī)進(jìn)行通信。系統(tǒng)使用UDP協(xié)議作為傳輸層協(xié)議進(jìn)行Socket通信。系統(tǒng)的應(yīng)用分為，應(yīng)用標(biāo)識符，命令和標(biāo)示三個(gè)部分。通過這樣的傳輸可以減少大量管線的安裝和調(diào)試，還可以拓展信息傳遞的效率，為觀眾提供虛擬而又真實(shí)的情景體驗(yàn)感受。

3.虛實(shí)融合空間的體感交互技術(shù)運(yùn)用

從兵器博物館空間實(shí)際出發(fā)，集合展覽的內(nèi)容，虛實(shí)融合空間營造以體感交互為主，經(jīng)過多輪的概念設(shè)計(jì)，總體從以下幾個(gè)方面，

（1）虛擬角色模型

為了反映特定時(shí)代與兵器文化相關(guān)的內(nèi)容，并能讓觀眾有更加直觀的認(rèn)知，我們通過虛擬一個(gè)特定時(shí)期人物，讓觀眾進(jìn)行角色扮演（我們叫這個(gè)為“人物建模”），結(jié)合虛實(shí)融合的空間效果，使觀眾融入特定的情景中，來感受不同時(shí)期不同背景下的中國古代兵器文化。

這樣的設(shè)定一系列人物角色，同時(shí)從自己的素材庫中繪制或者選取人物畫像，結(jié)合虛擬和現(xiàn)實(shí)的場景技術(shù)，才能達(dá)到滿意的效果。在兵器館互動(dòng)大堂（見圖1），游客站在體感設(shè)備指定區(qū)域（腳貼區(qū)域），伸出右手進(jìn)行感應(yīng)觸發(fā)，體感設(shè)備感應(yīng)到人體后開始游戲，系統(tǒng)設(shè)備對互動(dòng)游戲者人臉進(jìn)行采集，然后有多套相應(yīng)主題服飾、武器（原始人、三國時(shí)期、秦漢時(shí)期、唐宋時(shí)期、明清時(shí)期）進(jìn)行互動(dòng)模擬換裝，讓互動(dòng)游戲者參與進(jìn)來游戲。

（2）情境再現(xiàn)

為了更好的觀眾融入展示的環(huán)境中，我們營造了許多場景，這些場景通過搭建一個(gè)符合展示內(nèi)容要求的環(huán)境，讓觀眾置身其中，給觀眾一個(gè)角色，并布置給觀眾一個(gè)特定任務(wù)，再創(chuàng)造有情節(jié)的角色，用故事的情節(jié)和虛實(shí)融合的環(huán)境給觀眾一種身臨其境的感受。

如圖2所示，在大堂入口墻面的交互設(shè)計(jì)，整個(gè)展項(xiàng)位于大堂入口處，地面設(shè)有紅外感應(yīng)裝置區(qū)域，游客進(jìn)入紅外感應(yīng)區(qū)時(shí)，裝置識別后觸發(fā)，前側(cè)和右側(cè)的墻體面就會(huì)有由兩臺投影機(jī)投射的影像畫面，畫面內(nèi)容展示藍(lán)天白云或風(fēng)雨飄搖等背景下，一群白鴿撲打翅膀飛過，伴隨著清脆的鳥叫聲和鍛造敲打兵器聲效，配合大堂周圍大型雕塑及古典建筑，營造一種神秘而莊重的現(xiàn)場氛圍。

（3）展示場景效果的評估與反饋

在具體的設(shè)計(jì)中實(shí)施后，為了評估實(shí)際使用的效果，我們制作了一份指南，自行記錄所需調(diào)查的相關(guān)設(shè)計(jì)問題。針對于體感交互產(chǎn)品的用戶體驗(yàn)設(shè)計(jì)創(chuàng)新方法的研究，包括用戶與虛擬場景的交互設(shè)計(jì)，用戶界面設(shè)計(jì)，虛擬場景設(shè)計(jì)，虛擬角色設(shè)計(jì)等；然后再根據(jù)觀眾的反饋，針對體感交互自身的特點(diǎn)，進(jìn)行調(diào)整。

在兵器館中的漠南之戰(zhàn)行場景中，重點(diǎn)兵種解析演示，開始設(shè)計(jì)時(shí)只是使用了沙盤和投影進(jìn)行軍路線的演示，該部分場景總體完成后，觀眾的反映并不理想，人們有辦法融入其中，所以大多看看就離開了，后來得到反饋后，我們調(diào)整了設(shè)計(jì)的內(nèi)容，在沙盤設(shè)置了漠南之戰(zhàn)時(shí)的戰(zhàn)爭地圖，在沙盤中用一個(gè)流動(dòng)的箭頭，表現(xiàn)出漠南之戰(zhàn)的行軍路線，配以文字介紹重點(diǎn)兵種的特點(diǎn)及優(yōu)勢，之后根據(jù)作戰(zhàn)順序會(huì)在底圖上的相應(yīng)位置播放殘酷的戰(zhàn)爭場景的資料視頻，配上戰(zhàn)爭廝殺中的音效。功能與應(yīng)用：讓游客體驗(yàn)到兵器的功能的同時(shí)兵器也給人類社會(huì)帶來了強(qiáng)大的破壞沖擊，讓游客真實(shí)感受到戰(zhàn)爭的殘酷。

結(jié)語

本次課題的研究是一項(xiàng)從理論研究到實(shí)踐再到實(shí)踐總結(jié)的過程。在整個(gè)課題的研究中，我們探討了運(yùn)用體感交互技術(shù)結(jié)合到傳統(tǒng)的中國古代兵器博物館的展示環(huán)境當(dāng)中，并營造一個(gè)虛擬與現(xiàn)實(shí)融合展示環(huán)境中，通過捕捉肢體的動(dòng)作，構(gòu)建一種虛擬的場景和人物，讓人與環(huán)境更自然地融合“交流”，從而增加了兵器博物館的可玩性和互動(dòng)性，提高了整體展示效果。在此基礎(chǔ)上進(jìn)行總結(jié)。

虛實(shí)融合環(huán)境下體感交互技術(shù)強(qiáng)調(diào)的可用性及觀眾體驗(yàn)的設(shè)計(jì)思想，比傳統(tǒng)的墻上展示或板上展示更有優(yōu)勢，無論是基于網(wǎng)絡(luò)的虛擬現(xiàn)實(shí)系統(tǒng)模擬互動(dòng)平臺的構(gòu)筑，還是現(xiàn)實(shí)的環(huán)境設(shè)計(jì)系統(tǒng)，更注重人的感受和體驗(yàn)，可以更好的傳達(dá)中國古代傳統(tǒng)兵器文化信息。這或?qū)⒊蔀槲磥淼难芯繜狳c(diǎn)，也將在一定程度上促進(jìn)我國展示環(huán)境設(shè)計(jì)的發(fā)展。

（作者單位：南京藝術(shù)學(xué)院工業(yè)設(shè)計(jì)學(xué)院）