蔡子麗

(武漢博物館，武漢 430021)

0 引 言

隨著信息技術(shù)的發(fā)展，越來越多的軍事訓(xùn)練、教育、博物館等行業(yè)開始嘗試應(yīng)用數(shù)字技術(shù)為用戶提供更優(yōu)質(zhì)的服務(wù)，其中，上下文感知音頻引導(dǎo)、虛擬現(xiàn)實(shí)(Virtual Reality，VR)、增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)等交互式數(shù)字技術(shù)是目前用于提升用戶體驗的研究熱點(diǎn)[1-2]。音頻增強(qiáng)現(xiàn)實(shí)(Audio Augmented Reality，AAR)技術(shù)[3-4]作為增強(qiáng)現(xiàn)實(shí)技術(shù)的組成和延伸，通過給現(xiàn)場受訓(xùn)和用戶人員耳邊合成出帶有距離、方位和高度感的音源，能明顯增強(qiáng)沉浸感，也能最大限度地減少用戶與環(huán)境交互所需的注意力，為用戶提供隱式信息服務(wù)[5-6]。目前，這一技術(shù)正受到越來越多的關(guān)注，已逐步應(yīng)用于電話會議、遠(yuǎn)程控制和視頻游戲等領(lǐng)域[7-8]，并開始推廣至實(shí)景訓(xùn)練、路線引導(dǎo)類應(yīng)用[9-11]。

在軍事訓(xùn)練中，音頻增強(qiáng)現(xiàn)實(shí)技術(shù)的使用主要體現(xiàn)支持真實(shí)場景下單人專項訓(xùn)練和多人協(xié)同訓(xùn)練。如街頭巷戰(zhàn)訓(xùn)練，音頻增強(qiáng)現(xiàn)實(shí)系統(tǒng)會根據(jù)某一受訓(xùn)人員在復(fù)雜環(huán)境下猶豫不決、選擇狙擊位置能力弱的特征，在其四周不同巷子中分波次產(chǎn)生不同威脅等級的槍械聲音或其他聲響，促使受訓(xùn)人員迅速判斷主要威脅，并通過聲音位置的引導(dǎo)，循聲前往正確的狙擊位置。完整的音頻增強(qiáng)現(xiàn)實(shí)技術(shù)必須包括三個方面：一是真實(shí)場景精確建模和人員實(shí)時定位；二是場景內(nèi)人員特征描述；三是音源模擬和引導(dǎo)。以上三項內(nèi)容對應(yīng)了音頻增強(qiáng)現(xiàn)實(shí)交互式引導(dǎo)模型的三個組成部分，即場景模型、訪客模型和導(dǎo)航模型。博物館導(dǎo)覽場景具有明確的引導(dǎo)目標(biāo)，同時具備參觀人數(shù)多、人物行為特征數(shù)據(jù)易采集、導(dǎo)覽模型驗?zāi)＝Y(jié)果易比較的特點(diǎn)，便于開展音頻增強(qiáng)現(xiàn)實(shí)交互式導(dǎo)覽模型的建模和驗證。相關(guān)研究結(jié)果中物理環(huán)境建模方法可直接用于軍事訓(xùn)練增強(qiáng)現(xiàn)實(shí)場景構(gòu)建，基于語義的音頻引導(dǎo)模型能較好地適配基于科目目標(biāo)的訓(xùn)練引導(dǎo)任務(wù)，因此，博物館實(shí)驗背景下音頻增強(qiáng)現(xiàn)實(shí)交互式引導(dǎo)模型研究對虛擬軍事訓(xùn)練系統(tǒng)具有一定的普適性。

國外已有的博物館音頻導(dǎo)覽系統(tǒng)主要利用射頻識別(Radio Frequency Identification，RFID)、紅外、攝像頭等多種手段檢測游客在博物館建筑內(nèi)的位置，進(jìn)而根據(jù)游客位置信息提供增強(qiáng)現(xiàn)實(shí)音頻服務(wù)[12-14]。該類應(yīng)用系統(tǒng)在交互模式上比較單一，只能在固定位置播放預(yù)先設(shè)置的音頻內(nèi)容，無法根據(jù)用戶的交互行為動態(tài)調(diào)整音頻引導(dǎo)內(nèi)容，難以滿足大規(guī)模人群多樣化應(yīng)用需求。針對此問題，本文提出一種可用于博物館導(dǎo)覽的音頻增強(qiáng)現(xiàn)實(shí)交互式引導(dǎo)模型，通過對場景、用戶、導(dǎo)航過程三方面的定義實(shí)現(xiàn)音頻信息的自適應(yīng)推送，能夠結(jié)合用戶個人資料、行為特征、歷史參觀等信息匹配發(fā)現(xiàn)個人興趣偏好，進(jìn)而利用音頻增強(qiáng)現(xiàn)實(shí)設(shè)備引導(dǎo)用戶在參觀博物館展覽時靠近其感興趣的展品，同時支持跟蹤用戶行為，動態(tài)調(diào)整興趣特征參數(shù)，達(dá)到提供個性化的音頻信息服務(wù)的目標(biāo)。

1 博物館交互式引導(dǎo)模型

博物館音頻增強(qiáng)現(xiàn)實(shí)交互式引導(dǎo)模型由場景模型、訪客模型和導(dǎo)航模型三部分組成。其中，場景模型主要描述了博物館內(nèi)環(huán)境信息，包含物理層、虛擬層和語義層，分別描述空間位置、區(qū)域劃分和交互內(nèi)容等要素；訪客模型主要描述反映游客參觀興趣偏好的相關(guān)信息，包含靜態(tài)先驗?zāi)Ｐ秃蛣討B(tài)行為模型；導(dǎo)航模型通過建立訪客興趣特征來描述展品與訪問者興趣的匹配程度，并定義了自適應(yīng)算法支持根據(jù)訪客在參觀過程中的行為軌跡動態(tài)調(diào)整訪客興趣特征，以便向用戶推薦更符合其需求的音頻內(nèi)容。

1.1 場景模型

場景模型通過物理層、虛擬層和語義層三個層次來描述博物館場景信息，如圖1所示。

圖1 場景模型層次圖

物理層主要用于描述博物館的物理環(huán)境，它包含了場館和展品基于物理空間的所有位置信息，是后續(xù)進(jìn)行虛擬層區(qū)域劃分的基礎(chǔ)。

虛擬層是基于物理層的擴(kuò)展，將博物館展覽空間劃分為多個基本區(qū)域的集合，一個基本區(qū)域與一個展品對應(yīng)，每個基本區(qū)域在位置信息的基礎(chǔ)上增加音頻內(nèi)容和交互規(guī)則信息。其中，交互規(guī)則主要規(guī)定了物理空間中交叉覆蓋位置上各基本區(qū)域的層次關(guān)系，作為共享位置上音頻導(dǎo)航的基本參數(shù)。實(shí)際應(yīng)用中可根據(jù)博物館展覽需求對基本區(qū)域的基本屬性進(jìn)行配置，進(jìn)而組合成不同類型的應(yīng)用場景。

語義層通過一組語義標(biāo)簽來描述各基本區(qū)域內(nèi)展品信息，每個展品對應(yīng)的語義標(biāo)簽集合是后續(xù)進(jìn)行用戶興趣匹配計算的基礎(chǔ)。語義標(biāo)簽可基于展品相關(guān)文檔資料，通過文檔主題生成模型(Latent Dirichlet Allocation，LDA)[15]進(jìn)行自動抽取。

1.2 訪客模型

訪客模型用于記錄游客參觀興趣偏好的相關(guān)信息，作為導(dǎo)航模型中興趣匹配計算的基礎(chǔ)數(shù)據(jù)，包含基于其個人資料的靜態(tài)先驗?zāi)Ｐ秃突谠L客關(guān)于展品(移動、停止、聚焦)及音頻內(nèi)容(播放、停止、循環(huán))等動作的動態(tài)行為模型。其中，先驗?zāi)Ｐ椭饕糜谠O(shè)置訪客初始興趣偏好，行為模型主要用于推斷訪客動作所表達(dá)的意圖，進(jìn)而發(fā)現(xiàn)用戶興趣變化。

1.2.1 先驗?zāi)Ｐ?/p>

訪客的先驗?zāi)Ｐ桶ㄔL客年齡、語言、對博物館感興趣的領(lǐng)域(包含博物館類型、展品類型)等特征信息。當(dāng)訪客到達(dá)博物館時，通過證件信息或面部識別信息確認(rèn)用戶身份，提取用戶數(shù)據(jù)庫中的模型數(shù)據(jù)即可用于設(shè)置訪客初始興趣偏好。

對于多次參觀博物館的訪客，先驗?zāi)Ｐ椭械牟┪镳^興趣特征可基于觀眾之前參觀博物館過程中記錄關(guān)注的展品及收聽的音頻內(nèi)容等歷史軌跡信息自動提?。粚τ谑状螀⒂^博物館或歷史數(shù)據(jù)缺失的訪客，也可以通過紙質(zhì)或語音問卷的形式獲取用戶興趣數(shù)據(jù)，進(jìn)而建立先驗特征。

1.2.2 行為模型

訪客的行為模型首先定義姿勢來推斷訪客在參觀過程中所做動作表達(dá)的意圖，部分姿勢數(shù)據(jù)還可以用于推斷訪問者所在的區(qū)域，以及訪問者所看到的展品。姿勢是一種基于規(guī)則的動作序列描述模型，一組特定的動作序列表示訪客一種意圖。以否定姿勢(表示不)為例，該姿勢被描述為伸出食指從左到右的快速運(yùn)動，為與普通擺動作區(qū)別以防止誤識別，其識別規(guī)則為食指在單位時間段內(nèi)擺動次數(shù)超過閾值，因此，在識別該姿勢時，需要通過食指運(yùn)動的偏航角顯著程度辨別擺動動作，并計算次數(shù)以確定是否識別為否定姿勢。計算過程如圖2所示，其中I、t分別是初始偏航角(歐拉角)和時間；x是一個計數(shù)器，用于計算用戶從一側(cè)到另一側(cè)改變食指方向的次數(shù)。

圖2 否定響應(yīng)動作捕捉計算流程

基于基本姿勢模型，可以定義應(yīng)用場景上下文，同一上下文中的姿勢模型默認(rèn)會成組出現(xiàn)，因此在規(guī)則設(shè)計時需要便于傳感器區(qū)分，進(jìn)而根據(jù)姿勢對音頻內(nèi)容進(jìn)行調(diào)整。對于博物館導(dǎo)覽應(yīng)用場景我們定義了兩種典型的上下文，即正常訪問上下文和控制音量上下文。

(1)正常訪問上下文

在這種上下文中，定義了三種姿勢來控制音頻內(nèi)容?？隙ㄗ藙輹シ排c訪客面前展品相關(guān)的基本區(qū)域音頻內(nèi)容；否定姿勢會停止基本區(qū)域音頻內(nèi)容；循環(huán)姿勢會將當(dāng)前音頻內(nèi)容存放在播放列表中，在沒有新指示的條件下反復(fù)播放。

(2)控制音量上下文

在這種上下文中，定義了兩個姿勢用于控制音量：手掌掌心向上抬升后靜止1 s表示增大音量；手掌掌心向下滑靜止1 s表示減小音量。

1.3 導(dǎo)航模型

導(dǎo)航模型首先根據(jù)訪客先驗?zāi)Ｐ蛯φ蛊废嚓P(guān)音頻內(nèi)容的語義標(biāo)簽進(jìn)行打分(0～1的數(shù)字)，反映其與訪問者興趣的匹配程度，據(jù)此為每位觀眾建立個性化的興趣模型，然后在參觀過程中根據(jù)觀眾的行為，動態(tài)計算展品及相關(guān)音頻內(nèi)容與觀眾興趣的匹配程度，進(jìn)而動態(tài)規(guī)劃觀眾行程，通過音頻導(dǎo)航引導(dǎo)觀眾，并確定推送展品相關(guān)音頻的優(yōu)先級。導(dǎo)航模型中最重要的是自適應(yīng)過程，該過程通過不斷計算每個展品音頻內(nèi)容與訪問者興趣相對應(yīng)的分?jǐn)?shù)來更新用戶興趣特征，計算過程如下：

任何得分超過給定閾值的音頻內(nèi)容都將被添加到對應(yīng)用戶的引導(dǎo)列表中；相對地，任何分?jǐn)?shù)低于該閾值的音頻內(nèi)容都將從列表中刪除。

設(shè)V作為訪客，給定一個展品O，AZ表示O所在的基本區(qū)域，S表示AZ基本區(qū)域內(nèi)的一個音頻內(nèi)容，Tags(O)=to1,to2,…,ton是描述展品O的語義標(biāo)簽，Tags(S)=ts1,ts2,…,tsn描述音頻內(nèi)容S的語義標(biāo)簽，Nto是展品語義標(biāo)簽的數(shù)量,Nts是音頻內(nèi)容語義標(biāo)簽的數(shù)量，則Score_interest(V,AZ)表示用戶V對基本區(qū)域AZ的興趣分?jǐn)?shù)，Score_interest(V,O)表示用戶V對展品O的興趣分?jǐn)?shù)，Score_interest(V,S)表示用戶V對音頻內(nèi)容S的興趣分?jǐn)?shù)，Score_interest(V,t)表示用戶V對標(biāo)簽t的興趣分?jǐn)?shù)，Score_interest0(V,t)表示用戶V對標(biāo)簽t的初始興趣分?jǐn)?shù)。

通過分析用戶填寫的先驗特征(第1.2節(jié))，可以自動確定初始標(biāo)簽興趣評分Score_interest0(V,t)。假設(shè)展品和音頻內(nèi)容各占觀眾對基本區(qū)域AZ興趣分?jǐn)?shù)的50%，且分?jǐn)?shù)的最小值和最大值分別設(shè)置為0和1，則Score_interest(V,AZ)可表示為

通過對生產(chǎn)、消費(fèi)和進(jìn)出口所需資本和勞動的分析，說明2007年我國的經(jīng)濟(jì)的比較優(yōu)勢是勞動力，我國出口了勞動密集型產(chǎn)品，而進(jìn)口了資本密集型產(chǎn)品。

Score_interest(V,AZ)=

(1)

式中：用戶V對一個展品的的興趣得分Score_interest(V,O)定義為該展品所有相關(guān)語義標(biāo)簽興趣分?jǐn)?shù)的均值，音頻內(nèi)容興趣分?jǐn)?shù)Score_interest(V,S)定義為該音頻內(nèi)容相關(guān)語義標(biāo)簽興趣分?jǐn)?shù)的均值:

(2)

(3)

訪客V對于某個展品興趣分?jǐn)?shù)的增加或減少是通過計算其在該展品前逗留的時間平均值和標(biāo)準(zhǔn)差來決定。假設(shè)訪客在展品前逗留的時間符合正態(tài)分布，如果訪客在某展品前逗留時間長度大于平均時長且距離超過一個標(biāo)準(zhǔn)差以上則增加訪客對該展品的興趣分?jǐn)?shù)；反之，如果訪客在某展品前逗留的時間小于平均時長且距離超過一個標(biāo)準(zhǔn)差以上則降低訪客對該展品的興趣分?jǐn)?shù)。同時，定義絕對逗留時間閾值k,如果訪客逗留時間超過給定閾值k，即使逗留的時間小于平均時長且距離超過一個標(biāo)準(zhǔn)差以上也不降低興趣分?jǐn)?shù)。

在用戶參觀期間，如當(dāng)前基本區(qū)域內(nèi)任意展品或音頻內(nèi)容興趣分?jǐn)?shù)增加，該展品或音頻內(nèi)容所對應(yīng)語義標(biāo)簽的興趣分?jǐn)?shù)也增加，計算方法如下：

(4)

同樣，如果當(dāng)前基本區(qū)域內(nèi)任意展品或音頻內(nèi)容興趣分?jǐn)?shù)減少，則對應(yīng)標(biāo)簽的興趣分?jǐn)?shù)也相應(yīng)減少：

(5)

[0,μ-f×σ]：興趣分?jǐn)?shù)低于閾值且在原有導(dǎo)航路線中的基本區(qū)域?qū)膶?dǎo)航路線中移除。

[μ-f×σ,μ+f×σ]：興趣分?jǐn)?shù)在平均值附近的基本區(qū)域狀態(tài)不變。

[μ+f×σ,1]：興趣分?jǐn)?shù)高于閾值且不在原有導(dǎo)航路線中的基本區(qū)域?qū)⑻砑拥綄?dǎo)航路線中。

2 實(shí)驗評估

2.1 實(shí)驗設(shè)計

為驗證博物館交互式引導(dǎo)模型的可用性，筆者基于武漢博物館真實(shí)環(huán)境進(jìn)行了實(shí)驗測試。本次實(shí)驗將武漢博物館官方音頻解說內(nèi)容作為對比對象，實(shí)驗參與者被分為兩個不同的組，一組體驗官方音頻解說設(shè)備，一組體驗基于博物館交互式引導(dǎo)模型原型系統(tǒng)設(shè)備，采用了主客觀結(jié)合的評價方法對系統(tǒng)效能進(jìn)行分析。其中，客觀評價通過設(shè)備日志采集數(shù)據(jù)，基于實(shí)驗參與者在參觀過程中穿過的基本區(qū)域數(shù)量，以及在每個基本區(qū)域上花費(fèi)的時間進(jìn)行分析；主觀評價通過調(diào)查問卷分析參與者的主觀感受。

2.1.1 實(shí)驗場景模型設(shè)置

實(shí)驗在《歷代文物珍藏》廳內(nèi)進(jìn)行，在該展廳中挑選10件展品作為測試對象。對于每件展品設(shè)置兩個圓形基本區(qū)域與之關(guān)聯(lián)：外層基本區(qū)域稱為擴(kuò)展區(qū)域，在該類區(qū)域中播放展品相關(guān)引導(dǎo)音頻內(nèi)容；內(nèi)層基本區(qū)域稱為獨(dú)占區(qū)域，在該類區(qū)域中播放展品相關(guān)描述音頻內(nèi)容。展廳基本區(qū)域布局如圖3所示，其中紅圈表示獨(dú)占區(qū)域，藍(lán)圈表示共享區(qū)域。

圖3 展廳基本區(qū)域布局示意圖

與展品相關(guān)引導(dǎo)音頻內(nèi)容是該展品內(nèi)容背景音(如鎏金佛坐像的背景音為佛教音樂、玉臥牛的背景為田園自然聲音等)，展廳中擴(kuò)展區(qū)域相交的共享區(qū)域中，參觀者可以聽到多個展品的引導(dǎo)音頻，用于引導(dǎo)參與者發(fā)現(xiàn)其感興趣的展品。展品相關(guān)描述音頻內(nèi)容與博物館官方語音導(dǎo)覽內(nèi)容對應(yīng)。基于各展品的介紹文檔采用文檔主題生成算法，對每個展品生成不少于5個語義標(biāo)簽，用于興趣匹配計算。

2.1.2 實(shí)驗訪客模型設(shè)置

在開始之前，游客被要求填寫一份初始問卷，需要填寫性別、年齡、聯(lián)系人、是否具有自助語音導(dǎo)覽經(jīng)驗和武漢博物館參觀經(jīng)歷等基本信息，同時需要在所有語義標(biāo)簽中選擇不少于10個感興趣的標(biāo)簽，基于問卷反饋數(shù)據(jù)創(chuàng)建訪客先驗興趣特征。

在博物館天花板上設(shè)置多個深度攝像頭，用于持續(xù)捕捉跟蹤訪客動作。原型系統(tǒng)根據(jù)姿勢識別結(jié)果動態(tài)調(diào)整用戶興趣特征，向訪客推送適當(dāng)?shù)囊纛l內(nèi)容。每個訪客參觀時間限定為10 min，然后由參觀者填寫一份包含25個問題的書面問卷。

本次實(shí)驗共有18人參與體驗，分別為9名女性和9名男性，年齡在25～63歲之間，平均年齡41歲。

2.2 實(shí)驗結(jié)果與討論

基于原型系統(tǒng)設(shè)備日志數(shù)據(jù)，筆者對每個參與者三項指標(biāo)進(jìn)行評估：在獨(dú)占區(qū)域花費(fèi)的總時間、在共享區(qū)域花費(fèi)的總時間和訪問的展品數(shù)量。為了比較官方語音導(dǎo)覽和引導(dǎo)模型原型系統(tǒng)兩者實(shí)驗結(jié)果的差異性，對兩組數(shù)據(jù)進(jìn)行了方差分析。通過比較，體驗兩個系統(tǒng)的參與者在獨(dú)占區(qū)花費(fèi)的總時間存在顯著差異(方差分析結(jié)果F=5 090，P=0.041)。同樣,在共享區(qū)域花費(fèi)的總時間也存在顯著的差異(方差分析結(jié)果F=4.762，P=0.048)，但訪問的展品數(shù)量之間的差異并不顯著(方差分析結(jié)果F=1.475，P=0.246)。

圖4展示了訪客平均耗時的實(shí)驗結(jié)果，可以看到體驗博物館交互式引導(dǎo)模型設(shè)備的參與者在獨(dú)占區(qū)域花費(fèi)的平均持續(xù)時間約為7 min 15 s，而對于體驗官方語音導(dǎo)覽設(shè)備的參與者，這個時間不超過5 min 32 s。該結(jié)果說明博物館交互式引導(dǎo)模型設(shè)備能吸引觀眾花更多的時間收聽文物音頻內(nèi)容。同時，體驗博物館交互式引導(dǎo)模型設(shè)備的參與者在共享區(qū)域花費(fèi)的平均時間為2 min 15 s。對比官方語音導(dǎo)覽設(shè)備組該平均持續(xù)時間約為4 min 8 s。該結(jié)果可以解釋為博物館交互式引導(dǎo)模型設(shè)備能更方便地引導(dǎo)游客參觀感興趣的展品，減少無目的駐足時間。

圖4 基本區(qū)域內(nèi)用戶平均耗時

問卷共有25個問題，主要對易用性、展品定位準(zhǔn)確性及趣味性等三個方面來比較，其中易用性比較結(jié)果如表1所示。

表1 易用性評分結(jié)果

從反應(yīng)性、滿意度、理解性和易學(xué)性四個方面對兩者的可用性進(jìn)行了評價。通過總結(jié)這四個易用性標(biāo)準(zhǔn)可知，博物館交互式引導(dǎo)模型在四個方面都占有優(yōu)勢。

其他相關(guān)結(jié)果如圖5所示，可見所有體驗博物館交互式引導(dǎo)模型的參與者都能很容易地定位展品(甚至有66%的人感覺非常容易)。參與者發(fā)現(xiàn)，內(nèi)容聲音空間化對他們定位展品有很大幫助。同時，100%的測試者發(fā)現(xiàn)博物館交互式引導(dǎo)模型設(shè)備很有趣，其中40%的人覺得非常有趣，只有50%的自助語音導(dǎo)覽設(shè)備用戶覺得它很有趣。

圖5 主觀評價實(shí)驗結(jié)果

3 結(jié) 論

本文提出了一種用于博物館參觀的音頻增強(qiáng)現(xiàn)實(shí)交互式引導(dǎo)模型，其目的是通過空間化音頻內(nèi)容和自適應(yīng)機(jī)制，引導(dǎo)用戶在參觀博物館展覽時靠近其感興趣的展品，并提供個性化的音頻信息服務(wù)。該模型由場景模型、訪客模型和導(dǎo)航模型三部分組成。以武漢博物館為例研究，對原型系統(tǒng)及其特性進(jìn)行了實(shí)驗評估。評價結(jié)果表明，該系統(tǒng)具有良好的實(shí)用性，能更容易地定位展品，并增加觀眾對展品的興趣，為博物館導(dǎo)覽提供了一種更為個性化、信息量大、趣味性強(qiáng)的方式。