吳元培 黃 晨

1(上海星河灣雙語學(xué)校 上海 201108) 2(上海大學(xué)計算機工程與科學(xué)學(xué)院 上海 200444)

基于認知負荷理論的移動增強現(xiàn)實系統(tǒng)設(shè)計與應(yīng)用

吳元培1黃 晨2

1(上海星河灣雙語學(xué)校 上海 201108)2(上海大學(xué)計算機工程與科學(xué)學(xué)院 上海 200444)

針對在移動增強現(xiàn)實系統(tǒng)中如何有效顯示增強信息的問題，以提高用戶書籍選購效率為應(yīng)用背景，設(shè)計并實現(xiàn)一套移動增強現(xiàn)實系統(tǒng)?；谡J知負荷理論對增強現(xiàn)實場景中疊加顯示的多媒體信息的數(shù)量與類型進行了篩選，并根據(jù)書籍具體內(nèi)容選擇高相關(guān)性的多媒體信息。使用Unity 3D與Vuforia實現(xiàn)了移動增強現(xiàn)實系統(tǒng)的開發(fā)。實驗結(jié)果與用戶滿意度調(diào)查驗證了系統(tǒng)的有效性。

移動增強現(xiàn)實 Unity3D Vuforia 認知負荷

0 引 言

伴隨虛擬現(xiàn)實技術(shù)與增強現(xiàn)實技術(shù)在民用領(lǐng)域的快速發(fā)展，人們對這種全新信息顯示技術(shù)的熟悉與接受程度越來越高。得益于近年來智能手機產(chǎn)業(yè)的飛速發(fā)展，使得智能手機在計算能力、屏幕成像質(zhì)量、相機像素等方面都取得了長足進步。同時由于還搭載了加速度計、光線傳感器等多種傳感器，智能手機成為實現(xiàn)增強現(xiàn)實技術(shù)的理想平臺[1]。在移動增強現(xiàn)實領(lǐng)域已有多項成功應(yīng)用案例，例如Pokemon等，而且淘寶、京東等也對移動增強現(xiàn)實技術(shù)在電商領(lǐng)域的應(yīng)用進行了探索。

在知識獲取方面，移動增強現(xiàn)實的應(yīng)用大多集中于圖書館管理[2-3]、博物館的展品介紹[4]，以及面向幼兒教育的增強現(xiàn)實繪本[5-6]等方面。作為傳統(tǒng)的知識傳播途徑，紙質(zhì)書籍在人們的生活、學(xué)習(xí)過程中依然具有重要地位。利用移動增強現(xiàn)實技術(shù)幫助人們快速挑選適合自己的書籍有助于提高學(xué)習(xí)效率，并降低知識獲取成本。

雖然移動增強現(xiàn)實技術(shù)具有強大的多媒體信息展示能力，但冗余或不恰當(dāng)?shù)妮o助信息反而會干擾用戶的判斷。因此本文以圖書選購為應(yīng)用背景，在移動增強現(xiàn)實系統(tǒng)中結(jié)合認知負荷理論，根據(jù)書籍的類別有選擇性地顯示多媒體輔助信息，從而提高用戶的圖書選購效率。

1 基礎(chǔ)理論與系統(tǒng)架構(gòu)

1.1 認知負荷理論

長久以來，人類對自身認知機理的研究與探索從未停止。無論是抽象的基于邏輯推演的形式化方法，還是具體的基于現(xiàn)代神經(jīng)科學(xué)的研究，人們始終在探求與理解自身與所處世界的認知聯(lián)系。相關(guān)認知理論的研究與發(fā)展，在心理疏導(dǎo)、產(chǎn)品設(shè)計、教育等領(lǐng)域得到了廣泛應(yīng)用[7-8]。

認知負荷理論最早是由澳大利亞心理學(xué)家斯維勒提出，通常與美國教育心理學(xué)家梅耶提出的多媒體學(xué)習(xí)的認知理論一起使用[9]。認知負荷理論認為人類在知識學(xué)習(xí)與信息處理過程中可以分為短時記憶與長時記憶兩種機制。其中，短時記憶的信息來源可以是視覺或者聽覺，并且在進行信息處理時，短時記憶能同時處理的信息數(shù)量只有2～3條；長時記憶所能存儲信息的種類、規(guī)模和數(shù)量幾乎可以認為是無限的，因而長時記憶是知識學(xué)習(xí)的中心。在本文應(yīng)用場景中，依據(jù)短時記憶的特點，向用戶快速傳遞有效信息是本文系統(tǒng)的主要功能。

1.2 系統(tǒng)架構(gòu)

本文設(shè)計并實現(xiàn)了一個移動增強現(xiàn)實系統(tǒng)，用于幫助用戶快速獲取書籍信息，提高選購書籍的效率，系統(tǒng)結(jié)構(gòu)如圖1所示。用戶使用智能手機的攝像頭捕獲目標(biāo)書籍的封面信息，在系統(tǒng)后臺對書籍的封面圖像進行特征識別，進而識別書籍類型，并依據(jù)書籍類型的不同選擇合適的多媒體信息疊加到真實場景中，通過手機屏幕呈現(xiàn)給用戶。根據(jù)認知負荷理論為特定類型的書籍匹配合適種類的多媒體信息，是本文的研究重點。

圖1 系統(tǒng)結(jié)構(gòu)圖

2 關(guān)鍵技術(shù)與系統(tǒng)實現(xiàn)

2.1 多媒體信息管理

增強現(xiàn)實技術(shù)為人們提供了全新的信息顯示方式與人機交互界面，所能承載的媒體類型十分豐富，包括文字、圖形圖像、三維模型、視頻、音頻等。但如果在同一個場景中同時疊加過多的信息，會分散用戶對主要目標(biāo)的注意力，因此需要對所要疊加媒體的類型和數(shù)量進行挑選。本文系統(tǒng)對輔助信息的類型、數(shù)量、布局進行了研究。

根據(jù)認知負荷理論，人們獲取信息的主要來源是視覺與聽覺，據(jù)此對媒體類型進行分類。結(jié)合本文應(yīng)用場景，與書籍介紹相關(guān)的多媒體信息分類如表1所示。本文認為書籍的封面是能表征書籍內(nèi)容的典型二維圖像信息，為避免信息冗余，本文系統(tǒng)不采用額外的二維圖像信息。在真實場景中疊加三維模型是增強現(xiàn)實技術(shù)的一項優(yōu)勢，在很多場景下，三維模型能更直觀地傳遞內(nèi)容，因此本文系統(tǒng)優(yōu)先考慮疊加三維媒體信息。此外，雖然人們能同時接受視覺與聽覺信息，但同時處理多種視覺信息的能力要明顯高于同時處理多種聽覺信息，因此本文系統(tǒng)在同一場景中音頻信息與視頻信息僅采用其中一項。

表1 多媒體信息分類

由于人們能同時處理的媒體信息數(shù)量有限，在本文系統(tǒng)中定義輔助媒體信息的數(shù)量為3種。同時，有別與在傳統(tǒng)二維平面中采用平鋪方式對內(nèi)容進行布局，在增強現(xiàn)實系統(tǒng)中可以采取更為靈活的三維立體布局方式，如圖2所示。

圖2 輔助信息位置布局

2.2 多媒體信息與書籍關(guān)聯(lián)

多媒體信息類型與書籍種類都具有多樣性，兩者之間是多對多的映射關(guān)系。根據(jù)認知負荷理論，與特定種類書籍關(guān)聯(lián)的多媒體信息類型應(yīng)當(dāng)在數(shù)量上進行限制，因此需要針對特定種類的書籍挑選出最具有代表性或者最能使得用戶快速理解該書籍內(nèi)容的多媒體類型。

按照中國圖書館圖書分類法，可以將書籍分為22個基本大類。為了簡單起見，本文僅挑選其中部分類型，并將書籍分為藝術(shù)、文化教育、工業(yè)技術(shù)三種基本類型。然后設(shè)計調(diào)查問卷，讓用戶根據(jù)書籍種類的不同，從所有本文系統(tǒng)所支持的多媒體信息類型中挑選出三項最能有效幫助用戶了解書籍內(nèi)容的多媒體信息。25位志愿者的調(diào)查問卷統(tǒng)計結(jié)果，如表2所示。

表2 多媒體信息選擇統(tǒng)計

從表2中可以看出，用戶對文字型多媒體信息中的“主要內(nèi)容”與“書評”都呈現(xiàn)出較高的關(guān)注度，而音頻、視頻與三維模型類的多媒體信息在不同種類書籍中的關(guān)注度各不相同。分析其中原因，本文認為該類多媒體信息與具體書籍內(nèi)容呈現(xiàn)較高的關(guān)聯(lián)度，例如，與音樂相關(guān)的藝術(shù)類書籍，用戶傾向于選擇“音樂”；介紹建筑藝術(shù)的藝術(shù)類書籍，更多用戶選擇“三維模型”。因此，本文系統(tǒng)將多媒體信息分為所有類型書籍都適用的“共性”信息，包括“主要內(nèi)容”與“書評”，以及需要根據(jù)書籍的具體內(nèi)容進行單獨關(guān)聯(lián)的“個性”信息，包括各類音頻、視頻與三維模型。

2.3 系統(tǒng)實現(xiàn)

本文系統(tǒng)基于Android平臺，使用Unity3D與Vuforia SDK進行開發(fā)。其中，Unity3D是一款用于創(chuàng)建各類2D與3D游戲、虛擬現(xiàn)實與增強現(xiàn)實交互式系統(tǒng)的開發(fā)平臺[10]，具有所開發(fā)的應(yīng)用兼容性好、跨平臺等優(yōu)點，是業(yè)內(nèi)主流的開發(fā)平臺之一, 目前已有數(shù)百萬注冊用戶。Vuforia是由高通公司推出的一套開發(fā)增強現(xiàn)實系統(tǒng)的SDK[11]，它實現(xiàn)了穩(wěn)定的圖像識別與跟蹤技術(shù)，并且可以使用本地識別與云端識別的靈活部署方案，是快速進行增強現(xiàn)實系統(tǒng)開發(fā)的解決方案之一，其基本工作流程，如圖3所示。

圖3 Vuforia SDK工作流程

Vuforia與Unity3D之間具有良好的兼容性，Vuforia以獨立package的形式無縫接入Unity3D開發(fā)環(huán)境，可以讓開發(fā)者在Unity3D環(huán)境中十分便捷地進行增強現(xiàn)實應(yīng)用的開發(fā)。本文系統(tǒng)的開發(fā)環(huán)境界面如圖4所示。

圖4 系統(tǒng)開發(fā)環(huán)境界面

主要開發(fā)流程描述如下：

首先，進行Vuforia相關(guān)設(shè)置，包括注冊Vuforia開發(fā)者賬號，申請與本文系統(tǒng)關(guān)聯(lián)的許可證，編輯設(shè)置標(biāo)識物特征數(shù)據(jù)集等。這里的標(biāo)識物就是每本書籍的封面。

然后，在Unity3D中進行開發(fā)，包括導(dǎo)入獲取的許可證，加載特征數(shù)據(jù)庫，調(diào)整場景布局，并使用C#編程語言編寫腳本實現(xiàn)系統(tǒng)的交互邏輯處理。在對場景布局進行設(shè)置時，由于書籍封面尺寸存在差異，這里使用相對位置布局，以保證整體風(fēng)格的一致性。

最后，利用Unity3D將本文系統(tǒng)導(dǎo)出到Android平臺上，在運行Android系統(tǒng)的智能手機上進行系統(tǒng)功能的調(diào)試。這里需要說明的是，利用Unity3D的跨平臺特性，本文系統(tǒng)可以很方便地移植到運行iOS系統(tǒng)的智能設(shè)備之上。

3 實驗結(jié)果與分析

3.1 系統(tǒng)運行效果

通過事先錄入相關(guān)書籍的多媒體信息，系統(tǒng)在運行時通過識別書籍封面來確定書籍種類并選擇合適的多媒體信息疊加在增強現(xiàn)實場景中。部分系統(tǒng)運行示例如圖5、圖6所示。在每本書籍的增強現(xiàn)實顯示場景中，除了“共性”的內(nèi)容簡介與書評信息，還疊加了由書籍內(nèi)容決定的“個性”多媒體信息。

圖5 系統(tǒng)運行示例1

圖6 系統(tǒng)運行示例2

圖5為《喬布斯傳》的顯示效果，該書為人物傳記屬于文化教育類別，系統(tǒng)在“個性”多媒體信息中選擇喬布斯的傳記短片視頻與之相關(guān)聯(lián)。圖6為《莫扎特鋼琴奏鳴曲集》的顯示效果，該書屬于藝術(shù)類書籍中的音樂類別，系統(tǒng)在“個性”多媒體信息中提供了與該書相關(guān)的經(jīng)典鋼琴曲目音頻播放列表供用戶選擇播放。用戶可以通過手機屏幕與“個性”多媒體信息進行交互，控制視頻與音頻的播放與停止。

3.2 系統(tǒng)有效性

為驗證本文系統(tǒng)的有效性，我們邀請了18名志愿者試用本文系統(tǒng)，從內(nèi)容簡介、書評、視頻或音頻、系統(tǒng)是否能幫助用戶快速了解書籍內(nèi)容，這4個方面對系統(tǒng)進行滿意度打分，分數(shù)(0到10)越高表示滿意度越高，打分結(jié)果經(jīng)統(tǒng)計匯總平均后如表3所示。

表3 用戶滿意度調(diào)查結(jié)果

可以看到本文系統(tǒng)能有效幫助用戶快速了解書記內(nèi)容，從而提高用戶挑選適合自身書籍的效率。另外，我們注意到用戶對“書評”輔助信息的滿意度很高，這也與用戶在選購商品前會有針對性查詢該商品的歷史用戶評論的購物習(xí)慣相符合。本文系統(tǒng)節(jié)省了用戶單獨查詢書評信息的時間，也從側(cè)面印證了本文系統(tǒng)的有效性。

4 結(jié) 語

本文基于認知負荷理論設(shè)計并實現(xiàn)了一套移動增強現(xiàn)實系統(tǒng)，有選擇性地挑選多媒體信息，借助增強現(xiàn)實技術(shù)疊加到真實場景中，提高了用戶查閱書籍的效率，并用用戶滿意度調(diào)查驗證了系統(tǒng)的有效性。本文工作對如何在移動增強現(xiàn)實系統(tǒng)中更為高效地向用戶傳遞有價值的信息進行了有益探索。

[1] 李丹，程耕國. 基于Android平臺的移動增強現(xiàn)實的應(yīng)用與研究[J]. 計算機應(yīng)用與軟件，2015，32(1): 16-19，23.

[2] 薛峰，夏輝麗. 基于Android增強現(xiàn)實技術(shù)在圖書館服務(wù)平臺中的應(yīng)用研究[J]. 網(wǎng)絡(luò)空間安全，2016，7(5):70-71，77.

[3] 李震，李艷誠. 圖書館應(yīng)用移動增強現(xiàn)實技術(shù)(AR)探究[J]. 圖書館學(xué)研究，2014，33(21):17-21.

[4] 王若嘉，黃心淵. 移動終端在博物館信息展示中的作用探究[J]. 電子測試，2014，21(18):147-149.

[5] 章輝宇，繆文南，傅凱漩，等. 基于AR技術(shù)的虛實圖書[J]. 電子測試，2016，23(20):23-25.

[6] 張健，蔡新元. “增強現(xiàn)實”在傳統(tǒng)出版領(lǐng)域中的應(yīng)用探索[J]. 科技與出版，2013，21(10):90-94.

[7] 韓燕娟. 基于內(nèi)容分析法的多媒體學(xué)習(xí)中認知負荷的研究綜述[J]. 中國醫(yī)學(xué)教育技術(shù)，2016，30(01):45-48.

[8] 胡雨霞，劉志勇. 如何設(shè)計使產(chǎn)品更符合人腦認知習(xí)慣的研究[J]. 藝術(shù)與設(shè)計(理論)，2011，2(10):111-113.

[9] 王文智. 基于認知負荷理論的多媒體教學(xué)呈現(xiàn)原則探討[J]. 遠程教育雜志，2009，17(2):33-37.

[10] 魯文娟，金一強. 基于智能手機的Vuforia+Unity3D增強現(xiàn)實技術(shù)方案及其教育應(yīng)用[J]. 現(xiàn)代教育技術(shù), 2017, 27(5):19-25.

[11] 褚偉龍，柯程遠，紀昌紅，等. 移動增強現(xiàn)實框架系統(tǒng)[J]. 計算機應(yīng)用，2015，35(S1):214-216，300.

DESIGNANDAPPLICATIONOFMOBILEAUGMENTEDREALITYSYSTEMBASEDONCOGNITIVELOADTHEORY

Wu Yuanpei1Huang Chen2

1(ShanghaiStarriverBilingualSchool,Shanghai201108,China)2(SchoolofComputerEngineeringandScience,ShanghaiUniversity,Shanghai200444,China)

To effectively display the augmented information in a mobile augmented reality system, we design and implement a mobile augmented reality system which improves the efficiency of book purchase. We selected the number and type of multimedia information displayed in the augmented reality scene based on the theory of cognitive load. And we chose highly relevant multimedia information according to the specific content of the books. Thus, the development of mobile augmented reality system is implemented by using Unity 3D and Vuforia. Experimental results and user satisfaction surveys show that the proposed system is effective.

Mobile augmented reality Untiy3D Vuforia Cognitive load

2017-09-05。吳元培，高中生，主研領(lǐng)域：增強現(xiàn)實。黃晨，博士生。

TP391

A

10.3969/j.issn.1000-386x.2017.11.034