汪 萍，胡學(xué)鋼，王榮榮，王 樂(lè)

（1.安徽新聞出版職業(yè)技術(shù)學(xué)院 新聞傳播系，安徽合肥230601；2.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽合肥230601；3.羋煬科技研發(fā)部，上海201203；4.中央廣播電視總臺(tái)播出與傳送中心，北京100859）

博物館基于保護(hù)目的，其展覽基本以靜物形式陳列在櫥窗中，輔以簡(jiǎn)單的文字簡(jiǎn)介，隨著科技的不斷發(fā)展，特別是5G（第五代移動(dòng)通信技術(shù)）的到來(lái)，媒體的傳播方式已經(jīng)開(kāi)始由2D（2 Dimension）交互向3D（3 Dimension）交互轉(zhuǎn)變，傳統(tǒng)的展覽形式已無(wú)法滿足觀眾的需求，針對(duì)此問(wèn)題國(guó)內(nèi)外學(xué)者做了一些研究[1-3]，但大部分都集中在VR（virtual reality）的應(yīng)用上，部分涉及AR（augment reality）和VR 的同步應(yīng)用。從應(yīng)用研究中發(fā)現(xiàn)，將VR、AR或MR（mixed reality）某項(xiàng)單一的技術(shù)應(yīng)用于博物館展覽存在形式單一和內(nèi)容局限的問(wèn)題，長(zhǎng)時(shí)間或全程只用一種視角或模式去觀看會(huì)讓觀眾產(chǎn)生視覺(jué)疲勞或興趣漸減。為解決這一問(wèn)題，本文基于最新提出的XR（extended reality）技術(shù)，給出一種面向博物館的新型展覽交互方案，其融合了VR、AR和MR這3種技術(shù)的優(yōu)點(diǎn)[4]，觀眾在參觀過(guò)程中可通過(guò)應(yīng)用終端自主選擇或切換觀賞模式，提升了參觀的交互性、趣味性和多感知性。

1 開(kāi)發(fā)工具與框架設(shè)計(jì)

1.1 開(kāi)發(fā)工具

本系統(tǒng)基于IOS操作系統(tǒng)，用Objective-C語(yǔ)言基于蘋(píng)果公司的ios sdk（蘋(píng)果系統(tǒng)軟件開(kāi)發(fā)工具包）開(kāi)發(fā)“博物館XR+展覽交互”App（移動(dòng)端應(yīng)用軟件），其演示內(nèi)容通過(guò)“三維建?！薄皥D像標(biāo)識(shí)”和“交互實(shí)現(xiàn)”這3大流程來(lái)實(shí)現(xiàn)[5]。

本系統(tǒng)以Unity3D 為主要開(kāi)發(fā)引擎，通過(guò)3D Max或Maya軟件完成三維模型和動(dòng)畫(huà)創(chuàng)作，輸出.fbx格式文件導(dǎo)入到虛擬引擎中，利用圖片標(biāo)識(shí)技術(shù)、數(shù)據(jù)庫(kù)調(diào)用技術(shù)和網(wǎng)絡(luò)傳輸技術(shù)實(shí)現(xiàn)觀眾與文物之間的交互，通過(guò)C#程序編譯語(yǔ)言加入計(jì)算機(jī)指令實(shí)現(xiàn)VR、AR與MR這3個(gè)模塊內(nèi)容之間的切換，最終觀眾可通過(guò)顯示終端實(shí)現(xiàn)展覽交互系統(tǒng)的虛擬漫游與實(shí)時(shí)交互，開(kāi)發(fā)實(shí)現(xiàn)流程如圖1所示。

圖1 XR+展覽交互系統(tǒng)的開(kāi)發(fā)實(shí)現(xiàn)流程圖

1.2 系統(tǒng)框架設(shè)計(jì)

XR+展覽交互系統(tǒng)分為3個(gè)模塊：虛擬交互模塊、增強(qiáng)交互模塊和混合交互模塊，分別實(shí)現(xiàn)“基于VR技術(shù)的虛擬漫游”“基于AR技術(shù)的增強(qiáng)交互”和“基于MR技術(shù)的混合交互”這3個(gè)功能。在手持終端上安裝“博物館展覽交互系統(tǒng)”APP 后，觀眾可根據(jù)自己的喜好任意選擇一種觀賞模式，也可以綜合VR、AR混合成MR形式輸出，可隨意切換觀賞模式，系統(tǒng)框架設(shè)計(jì)如圖2所示。

2 系統(tǒng)開(kāi)發(fā)實(shí)現(xiàn)

2.1 VR漫游模塊開(kāi)發(fā)

VR漫游模塊的實(shí)現(xiàn)是利用寬視野立體顯示技術(shù)，借助實(shí)時(shí)動(dòng)作捕捉、跟蹤定向技術(shù)、觸覺(jué)、力覺(jué)、嗅覺(jué)等反饋技術(shù)，通過(guò)手柄、語(yǔ)音或動(dòng)作等傳達(dá)指令來(lái)實(shí)現(xiàn)虛擬漫游。該模塊的核心技術(shù)為虛擬場(chǎng)景搭建和漫游交互功能開(kāi)發(fā)。其中，虛擬場(chǎng)景搭建是虛擬漫游模塊開(kāi)發(fā)中非常重要的部分，模型的質(zhì)量決定了博物館VR漫游體驗(yàn)的真實(shí)感。本系統(tǒng)所有歷史古跡場(chǎng)景模型均在3D Max里搭建，文物三維模型和動(dòng)畫(huà)在Maya 中創(chuàng)建，因這兩個(gè)軟件存在坐標(biāo)系方位和單位比例不同問(wèn)題，且最后都要在Unity 平臺(tái)里開(kāi)發(fā)，故在3D Max里搭建的模型在導(dǎo)出時(shí)應(yīng)選擇Export Selected模式導(dǎo)出，并修改單位為Metres（米）以匹配Unity里的單位，最終導(dǎo)出.fbx格式文件至Unity項(xiàng)目中的Assets文件夾下，通過(guò)Unity自帶Shader（著色器）與Material（材質(zhì)球）對(duì)三維模型進(jìn)行顏色和材質(zhì)的設(shè)置。本文以故宮博物院為例搭建模型與布局，如圖3所示。

圖2 XR+展覽交互系統(tǒng)框圖

圖3 在Unity引擎中重貼材質(zhì)后的故宮博物院三維場(chǎng)景鳥(niǎo)瞰圖

虛擬場(chǎng)景搭建完成后，首先應(yīng)為所有的墻體和地面添加碰撞屬性（Mesh Collider組件），防止出現(xiàn)人物角色穿透建筑物的不真實(shí)感；其次添加第一人稱視角，加入漫游交互功能；最后連上頭盔測(cè)試以第一人稱在故宮場(chǎng)景中虛擬漫游的情況。其中，通過(guò)計(jì)算機(jī)命令控制手柄的上下左右鍵以實(shí)現(xiàn)觀眾在場(chǎng)景中的自由漫游（見(jiàn)圖4）。

2.2 AR交互模塊開(kāi)發(fā)

AR增強(qiáng)交互模塊相比VR漫游模塊而言，可以使博物館展覽交互系統(tǒng)實(shí)現(xiàn)更豐富的互動(dòng)方式，可以在真實(shí)環(huán)境中疊加虛擬內(nèi)容，賦予藏品“生命力”，構(gòu)建出一系列觀眾無(wú)法在現(xiàn)實(shí)中見(jiàn)到的“鮮活”歷史和場(chǎng)景，其交互實(shí)現(xiàn)愿望：首先需要用到AR的核心技術(shù)三維注冊(cè)，即事先將現(xiàn)實(shí)世界中的二維或三維物體設(shè)定為標(biāo)識(shí)物（Marker，即圖像標(biāo)識(shí)），其次通過(guò)移動(dòng)終端（智能手機(jī)或AR眼鏡）的攝像頭對(duì)Marker進(jìn)行識(shí)別和姿態(tài)評(píng)估（Pose Estimation），確定其位置，然后將其采集到的信息發(fā)送給增強(qiáng)工作站進(jìn)行信息分析和處理，以Marker在現(xiàn)實(shí)場(chǎng)景中的中心為原點(diǎn)坐標(biāo)系，即模板坐標(biāo)系（Marker Coordinates），建立模板坐標(biāo)系和屏幕坐標(biāo)系的映射關(guān)系，并將虛擬信息與現(xiàn)實(shí)場(chǎng)景信息進(jìn)行對(duì)位匹配，即虛擬物體的位置、大小、運(yùn)動(dòng)路徑等與現(xiàn)實(shí)環(huán)境進(jìn)行完美匹配，最終實(shí)現(xiàn)三維虛擬模型與真實(shí)世界疊加呈現(xiàn)在現(xiàn)實(shí)終端。

圖4 基于腳本設(shè)置左手柄的漫游功能屬性

實(shí)現(xiàn)以上交互技術(shù)的基礎(chǔ)是圖像標(biāo)識(shí)技術(shù)和圖像識(shí)別技術(shù)。本系統(tǒng)首先運(yùn)用AKAZE 算法，基于Unity平臺(tái)開(kāi)發(fā)整合一套Vuforia SDK（對(duì)圖片、物體、文本和標(biāo)記進(jìn)行識(shí)別和追蹤的軟件開(kāi)發(fā)工具包）導(dǎo)入至已開(kāi)發(fā)完成的Unity項(xiàng)目中；其次，創(chuàng)建AR Camera（AR采集攝像頭）對(duì)平面圖像或展品進(jìn)行采集，在Vuforia（讓?xiě)?yīng)用擁有視覺(jué)的軟件平臺(tái)）中新建并上傳關(guān)于博物館項(xiàng)目的圖片至網(wǎng)絡(luò)端Database（數(shù)據(jù)庫(kù)）；再次，為圖片添加ImageTarget 標(biāo)識(shí)，在Unity 引擎的Inspector 窗口選項(xiàng)中粘貼License Key（許可證密鑰），設(shè)置與Database中上傳圖片的關(guān)聯(lián)，將其鏈接到網(wǎng)絡(luò)數(shù)據(jù)庫(kù)端（見(jiàn)圖5）；最后，把第一步中已建好的Prefabs（預(yù)制模型）導(dǎo)入至Hierachy窗口中的ImageTarget下面，調(diào)整模型位置、角度和大小，用C#程序語(yǔ)言設(shè)置交互預(yù)設(shè)，調(diào)試并發(fā)布.exe格式的程序至移動(dòng)終端，即完成了圖像的標(biāo)識(shí)。當(dāng)觀眾選擇AR交互模塊時(shí)，攝像頭會(huì)將采集到的信息與網(wǎng)絡(luò)Database中的圖片進(jìn)行匹配，若匹配就會(huì)立刻調(diào)用系統(tǒng)中對(duì)應(yīng)的三維模型通過(guò)顯示終端呈現(xiàn)。

圖5 在Unity中設(shè)置采集信息與網(wǎng)絡(luò)Database的鏈接匹配關(guān)系

2.3 MR交互模塊開(kāi)發(fā)

混合交互模塊融合了VR技術(shù)的沉浸性和AR技術(shù)的交互性，由VR和AR兩個(gè)輸出模塊疊加而成。利用三維建模技術(shù)可以將古建筑從整體架構(gòu)到內(nèi)部裝飾以虛擬數(shù)字化的形式與現(xiàn)實(shí)世界融合，通過(guò)多傳感器融合技術(shù)可放大、縮小展品細(xì)節(jié)，還可以通過(guò)實(shí)時(shí)跟蹤及三維定向技術(shù)圍繞展品360°觀看，它不會(huì)因觀眾位置和角度的變化而發(fā)生位置的變化或形態(tài)的扭曲，可拓展現(xiàn)有博物館的展出空間和文化內(nèi)涵。通過(guò)三維動(dòng)畫(huà)和交互控制技術(shù)可以讓文物在真實(shí)世界里“活”起來(lái)、古跡場(chǎng)景“動(dòng)”起來(lái)、字畫(huà)人物“走”出來(lái)，重現(xiàn)歷史情節(jié)、拓展文化內(nèi)涵。當(dāng)觀眾選擇MR模式輸出時(shí)，系統(tǒng)會(huì)將VR和AR兩個(gè)模塊的內(nèi)容進(jìn)行優(yōu)化運(yùn)算和輸出，通過(guò)更精細(xì)的三維注冊(cè)算法合并現(xiàn)實(shí)場(chǎng)景和虛擬世界，從而生成新的可視化環(huán)境，實(shí)現(xiàn)物理環(huán)境和數(shù)字對(duì)象更真實(shí)的共存。

3 交互實(shí)現(xiàn)

3.1 人與設(shè)備交互

本系統(tǒng)通過(guò)“XR+展覽交互APP”來(lái)控制整個(gè)操作，本文以故宮博物館為例，啟動(dòng)XR+展覽交互系統(tǒng)，程序首先進(jìn)入歡迎界面，界面上有3個(gè)觀賞模式供觀眾自主選擇，分別為VR虛擬漫游、AR增強(qiáng)交互和MR混合交互，觀眾可自由選擇任意一種觀賞模式[6]。若觀眾選擇VR虛擬漫游模塊，系統(tǒng)會(huì)調(diào)用預(yù)先制作好的三維場(chǎng)景開(kāi)啟虛擬漫游模式，通過(guò)佩戴HTC VIVE頭顯、操控手柄，觀眾可在虛擬博物館視景中進(jìn)行前、后、左、右的漫游。

當(dāng)觀眾想從一種觀賞模式切換至另一種模式時(shí)，點(diǎn)擊顯示屏左側(cè)的“VR”、“AR”或“MR”按鈕即可完成觀賞模式的互換（如圖6所示）。AR增強(qiáng)交互或MR混合交互模塊都需通過(guò)調(diào)用終端設(shè)備的攝像頭來(lái)捕獲真實(shí)環(huán)境或進(jìn)行圖像識(shí)別。采用計(jì)算機(jī)視覺(jué)跟蹤注冊(cè)技術(shù)可算出攝像頭采集到的位置數(shù)據(jù)，將位置數(shù)據(jù)持續(xù)的傳遞給渲染處理器即可實(shí)現(xiàn)將虛擬展品疊加到真實(shí)場(chǎng)景中的效果。

圖6 可隨意切換的交互界面

AR 或MR 部分可直接在Pad 上觀看，也可以通過(guò)HoloLens 眼鏡來(lái)呈現(xiàn)。其原理是將HoloLens 和arkit（蘋(píng)果的AR開(kāi)發(fā)平臺(tái)）同時(shí)連接上局域網(wǎng)，HoloLens把虛擬空間的信息也實(shí)時(shí)傳給arkit一份，保證HoloLens 和arkit 在虛擬空間上同步，即眼鏡端和手持終端設(shè)備的數(shù)據(jù)實(shí)時(shí)同步，這樣觀眾既可以通過(guò)MR眼鏡觀看，又可以同步使用手機(jī)觀看，從而實(shí)現(xiàn)了觀賞模式的無(wú)縫切換以及設(shè)備的自由交互[7]。

3.2 人與空間環(huán)境交互

人與空間環(huán)境的交互主要通過(guò)VR漫游模塊來(lái)實(shí)現(xiàn)，效果如圖7、8所示。該模塊觀眾通過(guò)佩戴頭顯可以自由漫游在整個(gè)場(chǎng)景中，通過(guò)手柄操控可以抓取數(shù)字展品觀看細(xì)節(jié)，轉(zhuǎn)動(dòng)頭顯還可以以720°的視角上下左右觀看場(chǎng)景內(nèi)的各個(gè)角落。

圖7 仰視室外建筑效果

圖8 俯視室內(nèi)陳設(shè)效果

3.3 人與展品交互

XR+展覽交互系統(tǒng)中的AR交互和MR交互模塊均可通過(guò)手機(jī)、平板或頭顯的攝像頭來(lái)識(shí)別圖像標(biāo)識(shí)，調(diào)用系統(tǒng)數(shù)據(jù)庫(kù)中鏈接的三維模型，通過(guò)三維注冊(cè)定向技術(shù)可實(shí)時(shí)的將其定位在真實(shí)的三維世界中，在手機(jī)、平板電腦或頭顯眼鏡上生成三維“數(shù)字展品”，從而實(shí)現(xiàn)交互體驗(yàn)。

本功能通過(guò)AKAZE算法基于opencv（跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)）技術(shù)進(jìn)行圖片識(shí)別與追蹤，用slam（即時(shí)定位與地圖構(gòu)建）技術(shù)和opengl（開(kāi)放圖形庫(kù)）實(shí)現(xiàn)三維實(shí)時(shí)渲染和顯示[8]。

觀眾可用顯示終端掃描提前做好標(biāo)識(shí)的AR卡片，調(diào)出系統(tǒng)中事先鏈接的三維文物模型進(jìn)行近距離地觀摩與研究（見(jiàn)圖9）。

圖9 通過(guò)圖像識(shí)別觸發(fā)生成數(shù)字展品

4 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)基于Unity3D引擎，在處理器為2.9 GHz Intel Core i5，內(nèi)存為8 GB 1 867 MHz DDR3，圖形卡為Intel Iris Graphics 6100 1 536 MB 的MAC 電腦上，連接視場(chǎng)角為110°、刷新率為90 Hz 的HTC VIVE上，劃定5 m×5 m的跟蹤區(qū)對(duì)VR漫游模塊進(jìn)行仿真測(cè)試。

系統(tǒng)啟動(dòng)后選擇VR漫游模塊，觀眾可從端門往里自由行走參觀，既可欣賞故宮博物院的外景，又可進(jìn)入宮殿內(nèi)部觀賞室內(nèi)陳設(shè)，它解決了故宮博物院由于歷史地位特殊性所導(dǎo)致的只能遠(yuǎn)觀的問(wèn)題，漫游效果如圖10所示。

圖10 故宮內(nèi)景漫游效果

為驗(yàn)證系統(tǒng)性能，保證漫游體驗(yàn)的真實(shí)感，本文做了3方面的實(shí)驗(yàn)對(duì)比：建好的Unity場(chǎng)景添加碰撞性能前后漫游效果；場(chǎng)景設(shè)置限行區(qū)域前后漫游效果；人物模型比例調(diào)整前后漫游效果。進(jìn)行分別測(cè)試后發(fā)現(xiàn)，在Unity建好的場(chǎng)景中未加碰撞組件時(shí)，人物角色會(huì)墜落和穿墻，上不了臺(tái)階，不受任何建筑或墻體的阻礙；當(dāng)給所有的建筑包括地面加上Collider（碰撞）組件后，人物角色可以正常走上臺(tái)階，不會(huì)再掉入模型內(nèi)部，且墻體和建筑不會(huì)再被穿破。在場(chǎng)景中未添加限行區(qū)域前，人物比例也沒(méi)有調(diào)小前，人物可直接跨過(guò)屋頂或踩在建筑物上行走，其視角高于建筑，無(wú)法從門洞下通過(guò)，不符合自然規(guī)律；當(dāng)將人物角色的Scale數(shù)值全部調(diào)成0.2，且給場(chǎng)景設(shè)置Nabigation限行區(qū)域后，人物只能在地面上漫游，也只能從門洞下通過(guò)，實(shí)現(xiàn)了與現(xiàn)實(shí)世界一樣的交互體驗(yàn)。測(cè)試對(duì)比結(jié)果如圖11～14所示。

圖11 未加碰撞性能漫游效果

圖12 加碰撞性能后的漫游效果

圖13 未設(shè)定限行區(qū)域和未調(diào)角色比例前視角

圖14 設(shè)置限行區(qū)域和調(diào)小角色比例后視角

當(dāng)觀眾切換到AR或MR模式后，系統(tǒng)需要調(diào)用顯示終端的攝像頭，本實(shí)驗(yàn)通過(guò)攝像頭采集標(biāo)識(shí)物的不同角度測(cè)試其對(duì)生成的數(shù)字三維圖形是否有影響，取極端的0°和90°進(jìn)行注冊(cè)性能驗(yàn)證。故宮博物院歷史地位特殊，受保護(hù)程度較高，不方便去現(xiàn)場(chǎng)進(jìn)行AR和MR模塊的測(cè)試，故采用小象圖片進(jìn)行性能測(cè)試。經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)采集角度為90°時(shí)，系統(tǒng)可以采集到標(biāo)識(shí)圖像中所包含的特征信息；當(dāng)跟蹤角度調(diào)整為0°時(shí)，系統(tǒng)也可采集到標(biāo)識(shí)圖像中的特征信息，可即時(shí)實(shí)現(xiàn)實(shí)時(shí)跟蹤功能。測(cè)試結(jié)果如圖15、16所示。

圖15 采集角度為90°時(shí)渲染呈現(xiàn)的數(shù)字三維模型

圖16 采集角度為0°時(shí)渲染呈現(xiàn)的數(shù)字三維模型

通過(guò)上述實(shí)驗(yàn)得出，基于擴(kuò)展現(xiàn)實(shí)技術(shù)的博物館展覽交互系統(tǒng)具有真實(shí)的漫游體驗(yàn)和交互功能，觀眾可以根據(jù)自己的需求自由切換視角或觀賞模式。對(duì)標(biāo)識(shí)物采用特征檢測(cè)及繪制的方法來(lái)進(jìn)行跟蹤注冊(cè)，其不受采集角度和復(fù)雜環(huán)境影響，當(dāng)觀眾需要觀看展品承載的歷史背景和文化時(shí)可切換至AR 或MR模式，它會(huì)生成數(shù)字化的三維內(nèi)容疊加在真實(shí)環(huán)境之中，讓場(chǎng)景動(dòng)起來(lái)、展品“活“起來(lái)，與真實(shí)世界無(wú)縫融合。

5 結(jié)束語(yǔ)

本文基于擴(kuò)展現(xiàn)實(shí)技術(shù)，綜合虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)這3大技術(shù)的優(yōu)點(diǎn)，提出了一種基于擴(kuò)展現(xiàn)實(shí)技術(shù)的展覽交互系統(tǒng)，經(jīng)反復(fù)測(cè)試表明，該方法能夠在顯示終端連續(xù)移動(dòng)，且角度發(fā)生變化時(shí)它能自適應(yīng)顯示虛實(shí)疊加的效果。XR技術(shù)是虛擬現(xiàn)實(shí)技術(shù)發(fā)展的未來(lái)，將其應(yīng)用到博物館展覽交互系統(tǒng)可讓觀眾自由選擇和切換觀賞模式，增加參觀的交互性和趣味性，也延伸和豐富了展覽內(nèi)容，解決了博物館展品的“三高四難”問(wèn)題，即高成本、高難度、高風(fēng)險(xiǎn)，難還原、難再現(xiàn)、難拆解、難描述的展品展覽問(wèn)題，為參觀者帶來(lái)了強(qiáng)烈的現(xiàn)場(chǎng)感和參與感，讓傳統(tǒng)展覽形式中“沉睡的”文物古跡重獲新生，為博物館的發(fā)展注入新活力，其作為傳統(tǒng)展覽的補(bǔ)充能更好地發(fā)揮博物館的社會(huì)教育和文化傳播職能。