魯藝，王曉燁，王煜琳，蓋森，周樂(lè)甲

面向混合現(xiàn)實(shí)教學(xué)的空中手勢(shì)交互體驗(yàn)設(shè)計(jì)應(yīng)用研究

魯藝*，王曉燁，王煜琳，蓋森，周樂(lè)甲

（北京工業(yè)大學(xué)，北京 100124）

對(duì)混合現(xiàn)實(shí)教學(xué)中的空中手勢(shì)交互體驗(yàn)進(jìn)行深入研究，設(shè)計(jì)創(chuàng)新的教學(xué)體驗(yàn)?zāi)Ｊ?，通過(guò)空中手勢(shì)交互體驗(yàn)設(shè)計(jì)來(lái)提升教學(xué)體驗(yàn)。采用文獻(xiàn)研究、田野觀察、深度訪談及實(shí)驗(yàn)研究法，以理論研究為基礎(chǔ)，結(jié)合教學(xué)體驗(yàn)需求，圍繞場(chǎng)景、用戶、產(chǎn)品構(gòu)建設(shè)計(jì)方法，定義滿足教學(xué)需求的空中手勢(shì)類型，最終結(jié)合有效技術(shù)手段，搭建混合現(xiàn)實(shí)教學(xué)場(chǎng)景、設(shè)計(jì)個(gè)性化教學(xué)體驗(yàn)環(huán)節(jié)、完成空中手勢(shì)交互界面設(shè)計(jì)。構(gòu)建了針對(duì)混合現(xiàn)實(shí)教學(xué)的空中手勢(shì)交互體驗(yàn)設(shè)計(jì)方法，定義了滿足教學(xué)需求的八類空中手勢(shì)類型，提出用戶自定義空中手勢(shì)的手勢(shì)交互方式，設(shè)計(jì)了“教學(xué)指引”“徒手繪畫(huà)”等具有教學(xué)指導(dǎo)意義的交互體驗(yàn)環(huán)節(jié)，適用于遠(yuǎn)程和線下的混合現(xiàn)實(shí)STEM教學(xué)場(chǎng)景，也形成了豐富的混合現(xiàn)實(shí)STEM課程教學(xué)資源。通過(guò)用戶實(shí)驗(yàn)論證了八類默認(rèn)空中手勢(shì)類型和用戶自定義手勢(shì)的整體可用性，為混合現(xiàn)實(shí)教學(xué)領(lǐng)域的交互體驗(yàn)設(shè)計(jì)研究開(kāi)辟了新路徑。

空中手勢(shì)；混合現(xiàn)實(shí)教學(xué)；交互體驗(yàn)設(shè)計(jì)；智慧教育

混合現(xiàn)實(shí)結(jié)合了虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的特征，通過(guò)在現(xiàn)實(shí)環(huán)境中引入虛擬場(chǎng)景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個(gè)交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感?；旌犀F(xiàn)實(shí)教學(xué)可以突破時(shí)間和空間的限制，擴(kuò)展了教學(xué)空間，實(shí)現(xiàn)了真正意義上的交互式學(xué)習(xí)[1]?；旌犀F(xiàn)實(shí)教學(xué)體驗(yàn)更加強(qiáng)調(diào)通過(guò)身體姿勢(shì)、手勢(shì)等行為交互，實(shí)現(xiàn)具身的沉浸式體驗(yàn)。手勢(shì)是重要的人機(jī)交互姿態(tài)，空中手勢(shì)更是擺脫設(shè)備的束縛，與虛擬信息深度互動(dòng)，極大地提高了交互的沉浸性。然而當(dāng)前的教學(xué)體驗(yàn)研究，大多數(shù)通過(guò)手勢(shì)進(jìn)行簡(jiǎn)單的拖拽移動(dòng)，或者重在實(shí)現(xiàn)繪制草圖、建模的功能，而利用行為識(shí)別技術(shù)，讓用戶模擬現(xiàn)實(shí)世界的交互方式比較少，自然交互特征很少展現(xiàn)，在教學(xué)中使用不同手勢(shì)的不同特征更是缺乏針對(duì)性研究。此外，現(xiàn)有研究大多數(shù)是理論層面，而不是從用戶體驗(yàn)層面出發(fā)進(jìn)行交互體驗(yàn)設(shè)計(jì)、實(shí)踐和評(píng)估[2]。本研究重在發(fā)揮空中手勢(shì)在教學(xué)演示中的潛力，對(duì)混合現(xiàn)實(shí)教學(xué)的用戶行為特征進(jìn)行全面的分析，利用混合現(xiàn)實(shí)環(huán)境的特點(diǎn)，通過(guò)自然的交互，輔助教師更生動(dòng)地教學(xué)，增強(qiáng)教學(xué)互動(dòng)，提升教學(xué)效果。并從用戶體驗(yàn)的層面進(jìn)行空中手勢(shì)交互設(shè)計(jì)，實(shí)現(xiàn)虛實(shí)融合、自然交互、臨場(chǎng)感的教學(xué)體驗(yàn)。

1 混合現(xiàn)實(shí)教學(xué)中的空中手勢(shì)類型

“空中手勢(shì)”也被稱為“徒手手勢(shì)”“裸手手勢(shì)”，是基于非侵入式傳感器（或最小侵入式，主要基于計(jì)算機(jī)視覺(jué)）跟蹤身體運(yùn)動(dòng)、姿勢(shì)，對(duì)數(shù)字內(nèi)容或遠(yuǎn)程設(shè)備進(jìn)行無(wú)接觸操作[3]?？罩惺謩?shì)比使用交互手柄更加靈活，無(wú)需手持設(shè)備擴(kuò)展了手的交互空間，極大地提高了交互的沉浸性[4]，Hololens是微軟推出的混合現(xiàn)實(shí)眼鏡，用戶與虛擬信息的所有交互都通過(guò)空中手勢(shì)完成，圖1展示了典型的應(yīng)用場(chǎng)景。

圖1 空手手勢(shì)的應(yīng)用案例（圖片來(lái)源：Microsoft官方）

關(guān)于空中手勢(shì)的分類沒(méi)有統(tǒng)一的規(guī)范，研究者往往不是提供一組特定的手勢(shì)，而是提供一組手勢(shì)類型，并通過(guò)手勢(shì)啟發(fā)式研究[5]來(lái)了解哪些手勢(shì)對(duì)哪種操作任務(wù)有效，以此來(lái)探究用戶的偏好。Piumsomboon等[6]，通過(guò)實(shí)驗(yàn)探究AR中自然手勢(shì)類型。通過(guò)實(shí)驗(yàn)評(píng)估確定了全選和打開(kāi)、關(guān)閉、選擇水平菜單四項(xiàng)基本任務(wù)對(duì)應(yīng)的44個(gè)手勢(shì)“共識(shí)集”。共識(shí)集中的所有手勢(shì)都是對(duì)應(yīng)任務(wù)中用戶評(píng)分最高的手勢(shì)?？罩惺謩?shì)分類的研究始于語(yǔ)言交流環(huán)境，早期有許多伴隨語(yǔ)言交流的自然手勢(shì)的分類方法[7-9]。然而這不適合人機(jī)交互（HCI）領(lǐng)域，在HCI中最具代表性的就是Aigner等[10]的分類模型（見(jiàn)圖2），在這個(gè)模型中手勢(shì)用于描述身體形狀和言語(yǔ)所指的形式，同時(shí)也用于人機(jī)交互。“指向”用于指示對(duì)象和方向，不一定涉及伸展的食指。它也可以用多個(gè)手指、拇指、扁平的手掌等進(jìn)行；“啞劇手勢(shì)”用于用戶要執(zhí)行或模仿的特定任務(wù)，其中主要涉及動(dòng)作和特定的手勢(shì)。它們通常由演員在沒(méi)有任何物體的情況下表演；“信號(hào)手勢(shì)”，通常就是手的比劃，表示傳遞某些信號(hào)，就像交通指揮一樣；有些從社交符號(hào)或禮儀中獲取含義，例如豎起大拇指表示“OK”或向前平掌表示“STOP”、打電話手勢(shì)、拍照手勢(shì)等；“圖標(biāo)手勢(shì)”，表示某種被大家普遍認(rèn)同的符號(hào)標(biāo)志，例如人們會(huì)用手形容物體的形狀（例如比劃一個(gè)三角形）。在交互任務(wù)中，用戶通常做出圖標(biāo)的動(dòng)作，系統(tǒng)識(shí)別后會(huì)做出反應(yīng)；“操作手勢(shì)”的特點(diǎn)是用戶的動(dòng)作和要操縱的物體的動(dòng)作之間存在緊密關(guān)系。在操縱手勢(shì)的情況下，用戶會(huì)等待物體“跟隨”然后再繼續(xù)，而不是預(yù)先執(zhí)行，只在隨后引起反應(yīng)。

這些在混合現(xiàn)實(shí)教學(xué)場(chǎng)景也同樣適用，但教學(xué)場(chǎng)景也有其特殊性：1）交互內(nèi)容多樣性，用戶不只是純粹的個(gè)人體驗(yàn)，如教師不僅和虛擬信息交互還要和人（學(xué)生）交流，因此平衡好兩者的關(guān)系進(jìn)行設(shè)計(jì)才能有良好的用戶體驗(yàn)；2）用戶身份特殊性，教師的工作是知識(shí)傳授，混合現(xiàn)實(shí)只能作為輔助教學(xué)的形式，因此對(duì)手勢(shì)的分類應(yīng)該簡(jiǎn)單，不必定義過(guò)多的手勢(shì)，以免影響教學(xué)；3）交互空間多變，由于身體姿態(tài)經(jīng)常需要在面對(duì)黑板和學(xué)生之間轉(zhuǎn)換，徑向轉(zhuǎn)動(dòng)是全方位的，因此需要手勢(shì)識(shí)別設(shè)備對(duì)空中手勢(shì)進(jìn)行實(shí)時(shí)精準(zhǔn)的跟蹤，手勢(shì)交互更自由。基于以上特點(diǎn)，本研究在前人的基礎(chǔ)上，針對(duì)混合現(xiàn)實(shí)教學(xué)場(chǎng)景對(duì)空中手勢(shì)的分類進(jìn)行擴(kuò)展，形成了適合教學(xué)的分類方式。

圖2 空中手勢(shì)的分類和各個(gè)手勢(shì)的使用方式[8]

1）靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)。從時(shí)間的角度，空中手勢(shì)可分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)。靜態(tài)手勢(shì)，指的是手的特定狀態(tài)，在一定時(shí)間和空間內(nèi)，手的姿勢(shì)、位置、方向、角度不發(fā)生變化。動(dòng)態(tài)手勢(shì)，是手的狀態(tài)的時(shí)間序列，意味著手勢(shì)的姿勢(shì)、位置、方向、角度會(huì)隨著時(shí)間在空間中發(fā)生變化，它的自由度更高，手勢(shì)類型也更加豐富。靜態(tài)和動(dòng)態(tài)手勢(shì)實(shí)現(xiàn)了對(duì)大多數(shù)手勢(shì)的區(qū)分，這簡(jiǎn)化了手勢(shì)區(qū)分的難度，在手勢(shì)識(shí)別技術(shù)角度也更容易理解。

2）預(yù)定義手勢(shì)和自定義手勢(shì)。以手勢(shì)交互為主的混合現(xiàn)實(shí)應(yīng)用的共同特征是，所有手勢(shì)類型都是設(shè)計(jì)師預(yù)先定義，用戶需要學(xué)習(xí)這些手勢(shì)，這就是預(yù)定義手勢(shì)。而另一種形式，叫自定義手勢(shì)，是由用戶根據(jù)自身喜好決定的手勢(shì)，用戶需要學(xué)習(xí)手勢(shì)交互系統(tǒng)的規(guī)則，之后在系統(tǒng)中更改手勢(shì)的默認(rèn)選項(xiàng)，或者在系統(tǒng)中錄入自己的手勢(shì)作為新的選項(xiàng)。與前者最大的不同是用戶不需要學(xué)習(xí)手勢(shì)，交互更加自然。這適合需要處理復(fù)雜任務(wù)的教學(xué)場(chǎng)景，使教師減少額外的學(xué)習(xí)負(fù)擔(dān)，保證課堂效率。

3）抽象化手勢(shì)和基于物理操作的手勢(shì)。手勢(shì)的分類和用途與使用環(huán)境密切相關(guān)。“抽象化手勢(shì)”可以用于執(zhí)行選擇、切換、開(kāi)關(guān)、移動(dòng)等操作。這類手勢(shì)跟文化習(xí)慣也有一定的聯(lián)系。“基于物理操作的手勢(shì)”，是像操作真實(shí)物體一樣操作虛擬物體，讓用戶感覺(jué)直接在操作某些東西，沉浸感更強(qiáng)，例如抓握、捏合、拍打等?；谖锢聿僮鞯氖謩?shì)與操作對(duì)象之間幾乎是同步的，然而抽象手勢(shì)與實(shí)際想要達(dá)到的效果可能是不同步的，這加深了記憶難度，或者用戶會(huì)無(wú)意做出某些觸發(fā)動(dòng)作，引發(fā)系統(tǒng)做出回應(yīng)。在教學(xué)場(chǎng)景中，教師會(huì)有大量的無(wú)意識(shí)動(dòng)作，因此在設(shè)計(jì)教師自定義手勢(shì)時(shí)，需要少用抽象手勢(shì)，更多地去使用基于物理操作的手勢(shì)。

本研究要解決的關(guān)鍵問(wèn)題是讓教師在混合現(xiàn)實(shí)教學(xué)中完成教學(xué)任務(wù)的同時(shí)，達(dá)到良好的教學(xué)體驗(yàn)。因此，一是從用戶環(huán)境出發(fā)，設(shè)計(jì)預(yù)定義手勢(shì)完成基本的系統(tǒng)交互功能，此外設(shè)計(jì)自定義手勢(shì)交互，實(shí)現(xiàn)個(gè)性化教學(xué)體驗(yàn)環(huán)節(jié)，保證教學(xué)互動(dòng)完成教學(xué)目標(biāo)；二是從手勢(shì)識(shí)別技術(shù)的角度，對(duì)靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)進(jìn)行了區(qū)分，讓用戶根據(jù)自身習(xí)慣定義與虛擬內(nèi)容的交互，不給正常教學(xué)增加額外負(fù)擔(dān)；三是豐富教學(xué)體驗(yàn)內(nèi)容，設(shè)計(jì)“虛擬教學(xué)指引”“增強(qiáng)標(biāo)簽”“徒手繪畫(huà)”等輔助教學(xué)，設(shè)置虛擬形象和遠(yuǎn)程協(xié)作以增加學(xué)習(xí)樂(lè)趣，帶動(dòng)課堂氛圍，提升教學(xué)體驗(yàn)和教學(xué)效果。

2 混合現(xiàn)實(shí)教學(xué)的空中手勢(shì)交互設(shè)計(jì)

2.1 用戶研究

本研究將混合現(xiàn)實(shí)空中手勢(shì)交互應(yīng)用到基礎(chǔ)教育學(xué)科，研究對(duì)象為具有STEM教學(xué)經(jīng)驗(yàn)的教師。預(yù)調(diào)研階段在網(wǎng)絡(luò)上收集了遠(yuǎn)程STEM教學(xué)案例，初步了解用戶環(huán)境和用戶行為特征。實(shí)際調(diào)研階段依次采用了實(shí)地觀察、半結(jié)構(gòu)訪談的方式，了解實(shí)際教學(xué)現(xiàn)狀和用戶需求，見(jiàn)表1。

表1 調(diào)研結(jié)果

Tab.1 Research results

結(jié)果顯示，積極的教學(xué)互動(dòng)尤為重要。這就需要發(fā)揮混合現(xiàn)實(shí)技術(shù)的優(yōu)勢(shì)，通過(guò)營(yíng)造同位空間感來(lái)增強(qiáng)互動(dòng)?；旧?，教師行為除了拼搭樂(lè)高時(shí)的手部動(dòng)作，可以總結(jié)為三類：指示性手勢(shì)、描述性手勢(shì)、互動(dòng)性手勢(shì)。指示性手勢(shì)表現(xiàn)為，教師通過(guò)手指或手掌，指向教學(xué)環(huán)節(jié)中特定的內(nèi)容，或者在講解某一機(jī)械原理時(shí)吸引學(xué)生注意力；描述性手勢(shì)表現(xiàn)為，教師習(xí)慣于用手勢(shì)表達(dá)齒輪轉(zhuǎn)動(dòng)、機(jī)器人行走等，通過(guò)手形或手的運(yùn)動(dòng)軌跡來(lái)描繪教學(xué)內(nèi)容的各個(gè)方面；師生互動(dòng)性手勢(shì)用于調(diào)動(dòng)課堂氛圍，在教學(xué)過(guò)程中得到基本教學(xué)需求，即知識(shí)講解、演示拼搭過(guò)程、指導(dǎo)學(xué)生拼搭、豐富的資源（動(dòng)畫(huà)、文字、視頻等）進(jìn)行輔助教學(xué)、書(shū)寫(xiě)和手繪。

2.2 設(shè)計(jì)方法

結(jié)合用戶體驗(yàn)需求，圍繞環(huán)境、用戶、產(chǎn)品，形成了虛實(shí)融合的沉浸式教學(xué)、自然的空中手勢(shì)創(chuàng)作、個(gè)性化空中手勢(shì)界面的設(shè)計(jì)策略，構(gòu)建了針對(duì)混合現(xiàn)實(shí)教學(xué)的空中手勢(shì)交互體驗(yàn)設(shè)計(jì)方法（見(jiàn)圖3）。

圖3 設(shè)計(jì)方法

2.2.1 環(huán)境：虛實(shí)融合的沉浸式教學(xué)

混合現(xiàn)實(shí)教學(xué)可以打破距離和空間限制，讓教師和學(xué)生可以感受彼此的存在，增強(qiáng)教學(xué)互動(dòng)。因此，通過(guò)虛擬化身來(lái)營(yíng)造臨場(chǎng)感和同位空間感是增強(qiáng)互動(dòng)的必要手段，使參與實(shí)時(shí)混合顯示的師生能夠與彼此的虛擬形象交互，也增強(qiáng)了趣味性。此外，虛擬元素對(duì)STEM教學(xué)具有輔助作用?？罩惺謩?shì)通過(guò)控制虛擬元素與真實(shí)教學(xué)結(jié)合進(jìn)行教學(xué)演示，有助于提升教學(xué)效果。虛擬元素具備兩個(gè)功能：一是便捷地?cái)U(kuò)展教學(xué)資源。虛擬空間的優(yōu)勢(shì)在于其可以把實(shí)物虛擬化，并可以實(shí)現(xiàn)良好的兼容，所有二維界面的教學(xué)資源都可以存在在三維空間，更重要的是可以補(bǔ)充二維界面實(shí)現(xiàn)不了的三維元素，這加深了對(duì)知識(shí)的多維度理解；二是輔助教師進(jìn)行教學(xué)引導(dǎo)。通過(guò)虛擬信息的動(dòng)態(tài)變化，給學(xué)生明確的指引，即使遠(yuǎn)距離也能實(shí)現(xiàn)“手把手”搭建指導(dǎo)，增強(qiáng)了沉浸式教學(xué)體驗(yàn)感。

2.2.2 用戶：自然的空中手勢(shì)創(chuàng)作

結(jié)合教學(xué)現(xiàn)狀，總結(jié)教學(xué)體驗(yàn)需求為，講課體驗(yàn)、指導(dǎo)體驗(yàn)、創(chuàng)作體驗(yàn)和協(xié)作體驗(yàn)。講課體驗(yàn)和指導(dǎo)體驗(yàn)是在沉浸式混合現(xiàn)實(shí)環(huán)境支持下最基本的需求，用戶在虛擬元素輔助下進(jìn)行教學(xué)指導(dǎo)。而創(chuàng)作體驗(yàn)和協(xié)作體驗(yàn)是進(jìn)一步提升教學(xué)體驗(yàn)效果的必要途徑。從用戶行為來(lái)看，滿足教學(xué)的基本手勢(shì)類型對(duì)應(yīng)到混合現(xiàn)實(shí)中，得到的空中手勢(shì)需求可以總結(jié)為選擇、移動(dòng)、切換等抽象化手勢(shì)和一些基于物理操作的操作性手勢(shì)（例如旋轉(zhuǎn)、放大縮小等），把這些滿足基本需求的手勢(shì)定義為默認(rèn)手勢(shì)。此外，學(xué)生對(duì)多媒體形式及教師的演示極大的學(xué)習(xí)熱情賦予了用戶自定義手勢(shì)交互的空間。由此，本研究創(chuàng)新性地設(shè)計(jì)用戶自定義手勢(shì)。采用簡(jiǎn)單靈活的定義手勢(shì)交互流程，實(shí)現(xiàn)手勢(shì)動(dòng)作到虛擬效果的多樣映射，無(wú)需復(fù)雜的編程或編輯過(guò)程，使用戶能夠在任何環(huán)節(jié)都能以自定義的方式實(shí)時(shí)創(chuàng)作，完成動(dòng)畫(huà)效果演示，通過(guò)自然的空中手勢(shì)創(chuàng)作提供實(shí)時(shí)的教學(xué)創(chuàng)作體驗(yàn)。

2.3.3 產(chǎn)品：個(gè)性化空中手勢(shì)界面

在調(diào)研中了解到，教師表示遠(yuǎn)程課程前期準(zhǔn)備工作多、課程過(guò)程更加累人和困難。因此，空中手勢(shì)界面應(yīng)該使用一種直觀的教學(xué)輔助工具，操作簡(jiǎn)單，不影響課堂進(jìn)程；同時(shí)具備功能性手勢(shì)操作界面，輔助教師進(jìn)行實(shí)時(shí)教學(xué)演示和知識(shí)講解，支持舒適、個(gè)性化的手勢(shì)創(chuàng)作。首先，一個(gè)快速直觀的導(dǎo)航是教師順利完成教學(xué)的關(guān)鍵，教師不應(yīng)該因?yàn)椴僮鲉?wèn)題影響教學(xué)進(jìn)度和上課效率；其次，在一個(gè)共享的MR環(huán)境中，需要打破傳統(tǒng)的用戶顯示模式。手勢(shì)界面設(shè)計(jì)需要某種雙向信息傳輸方式，學(xué)生能夠感知虛擬內(nèi)容，并且能夠與教師就內(nèi)容進(jìn)行主動(dòng)交流；最后，空中手勢(shì)是三維的輸入方式，但現(xiàn)實(shí)中，并非所有任務(wù)都是三維的。有些任務(wù)本質(zhì)上是二維的，另外，教師的教學(xué)過(guò)程中有許多教具的使用需要手來(lái)完成，菜單應(yīng)該以更方便快捷的方式出現(xiàn)，靈活的手勢(shì)菜單更適合需要處理復(fù)雜任務(wù)的教師。

3 設(shè)計(jì)實(shí)踐

3.1 交互技術(shù)的實(shí)現(xiàn)

本研究使用Unity3D在Microsoft HoloLens 2上構(gòu)建系統(tǒng)，在Windows全息版OS上運(yùn)行。Microsoft Dynamics 365 Guides混合現(xiàn)實(shí)應(yīng)用程序，實(shí)現(xiàn)實(shí)時(shí)指導(dǎo)和遠(yuǎn)程協(xié)作。系統(tǒng)支持音頻，用戶界面在Microsoft混合現(xiàn)實(shí)工具包（MRTK）、FinalIK和網(wǎng)格效果庫(kù)的支持下實(shí)現(xiàn)。

對(duì)于自定義手勢(shì)的交互邏輯，基于Wang等[9]的研究進(jìn)行搭建，遵循編寫(xiě)應(yīng)用程序的步驟：創(chuàng)建虛擬內(nèi)容及其性能——定義用戶和虛擬內(nèi)容之間的交互。利用實(shí)時(shí)手勢(shì)識(shí)別，通過(guò)設(shè)計(jì)輸入動(dòng)作和不同輸出效果的組合，實(shí)現(xiàn)多種輸入手勢(shì)和輸出效果的映射。為了實(shí)現(xiàn)直觀的創(chuàng)作體驗(yàn)，采用了用于徒手交互輸入和輸出的觸發(fā)器動(dòng)作編程模型[9]。包括靜態(tài)+離散、靜態(tài)+連續(xù)、動(dòng)態(tài)+離散、動(dòng)態(tài)+連續(xù)及多重定義交互。用戶可以在手勢(shì)界面中通過(guò)連接不同的輸出屬性和輸入動(dòng)作來(lái)創(chuàng)建不同類型的交互?；玖鞒虨閯?chuàng)建手勢(shì)-創(chuàng)建手勢(shì)和虛擬內(nèi)容之間的交互-手勢(shì)演示。

3.2 混合現(xiàn)實(shí)教學(xué)的空中手勢(shì)類型定義

在Piumsomboon等[6]和Aigner等[10]的指導(dǎo)下，首先提出用戶自定義手勢(shì)的交互方式，此外，默認(rèn)手勢(shì)包括選擇、移動(dòng)、旋轉(zhuǎn)、縮放、復(fù)制、框選、協(xié)作、切換手勢(shì)，這些手勢(shì)由四類基本手勢(shì)構(gòu)成：?jiǎn)问种?、兩指拿、三只捏合、手掌運(yùn)動(dòng)。由此形成了針對(duì)混合現(xiàn)實(shí)教學(xué)的空中手勢(shì)類型，見(jiàn)圖4。

選擇、移動(dòng)縮放、旋轉(zhuǎn)手勢(shì)以Hololens2內(nèi)置的手勢(shì)規(guī)則定義，此外包含框選手勢(shì)在內(nèi)，符合Piumsomboon等[6]提出的手勢(shì)共識(shí)集。旋轉(zhuǎn)和縮放均采用雙手捏或單手捏的動(dòng)作來(lái)實(shí)現(xiàn)，單手時(shí)定軸旋轉(zhuǎn)。復(fù)制手勢(shì)通過(guò)視覺(jué)提示和捏合動(dòng)作結(jié)合來(lái)實(shí)現(xiàn)，適用于從真實(shí)物體中復(fù)制出1∶1虛擬物體；協(xié)作手勢(shì)的實(shí)現(xiàn)方式為：一位用戶選擇零件執(zhí)行拋出動(dòng)作，3 s內(nèi)，另一用戶執(zhí)行選擇手勢(shì)接到物體；切換手勢(shì)用于界面切換，使用單手左、右揮動(dòng)手掌即可實(shí)現(xiàn)。單手翻轉(zhuǎn)觸發(fā)手勢(shì)菜單，菜單選項(xiàng)附著在手的邊緣，一只手充當(dāng)選項(xiàng)的集合，另一個(gè)則充當(dāng)選擇器。手掌再次翻轉(zhuǎn)，菜單收回。

圖4 混合現(xiàn)實(shí)教學(xué)的空中手勢(shì)類型

3.3 空中手勢(shì)交互界面設(shè)計(jì)

3.3.1 混合現(xiàn)實(shí)教學(xué)場(chǎng)景

基于Microsoft 混合現(xiàn)實(shí)技術(shù)，利用Microsoft Hololens2（混合現(xiàn)實(shí)眼鏡）作為手勢(shì)的輸出設(shè)備構(gòu)建混合現(xiàn)實(shí)教學(xué)場(chǎng)景。師生在共同的混合現(xiàn)實(shí)空間，共享相同的演示視圖。師生互為生動(dòng)的虛擬形象出現(xiàn)在彼此身邊，這使在遠(yuǎn)程教學(xué)的情況下也實(shí)現(xiàn)了師生“面對(duì)面”交流，見(jiàn)圖5。

3.3.2 基于單手菜單的空中手勢(shì)交互

用戶左手觸發(fā)手勢(shì)菜單，右手充當(dāng)選擇器，共包含“主頁(yè)”“素材庫(kù)”“手勢(shì)創(chuàng)作”“文本”四個(gè)選項(xiàng)，可在“主頁(yè)”-“我的課程”選擇所需課程，不同等級(jí)課程難度不同，見(jiàn)圖6。

3.3.3 輔助教學(xué)：教學(xué)指引和增強(qiáng)標(biāo)簽

虛擬教師控制界面的切換、講課，并指導(dǎo)學(xué)生每一步的搭建，每一步所需零件和對(duì)應(yīng)知識(shí)都有相應(yīng)的文字提示和視覺(jué)提示。學(xué)生根據(jù)需要搭建模型的完整三維全息影像（見(jiàn)圖7）和“虛擬手”（見(jiàn)圖7b～c）指導(dǎo)提示把樂(lè)高依次放到三維影像中對(duì)應(yīng)的位置?！疤摂M手部指導(dǎo)”是一個(gè)3D建模的手部（見(jiàn)圖7b～c）?！霸鰪?qiáng)標(biāo)簽”是在真實(shí)教具上增強(qiáng)顯示虛擬信息，對(duì)教具的名稱進(jìn)行解釋。界面中出現(xiàn)文本信息的同時(shí)會(huì)伴有語(yǔ)音播報(bào)。如圖7所示，用戶選擇立體互鎖標(biāo)簽，隨即出現(xiàn)立體互鎖結(jié)構(gòu)的知識(shí)信息框界面。

3.3.4 個(gè)性化空中手勢(shì)創(chuàng)作

自定義空中手勢(shì)。用戶通過(guò)在虛擬素材上添加“動(dòng)畫(huà)效果”，創(chuàng)建動(dòng)態(tài)或靜態(tài)手勢(shì)，在動(dòng)畫(huà)效果和空中手勢(shì)之間創(chuàng)建關(guān)聯(lián)，即可實(shí)現(xiàn)手勢(shì)與虛擬元素之間的自由交互。如圖8所示，用戶選擇創(chuàng)建靜態(tài)手勢(shì)或者動(dòng)態(tài)手勢(shì)，經(jīng)過(guò)5 s的準(zhǔn)備時(shí)間后系統(tǒng)開(kāi)始記錄用戶的手勢(shì)。對(duì)于靜態(tài)手勢(shì)，用戶保持手靜態(tài)姿勢(shì)2.5 s，以允許手勢(shì)識(shí)別系統(tǒng)對(duì)手勢(shì)的多次采樣直到5 s結(jié)束；對(duì)于動(dòng)態(tài)手勢(shì)，用戶需要記錄兩組手勢(shì)數(shù)據(jù)，以2.5 s為節(jié)點(diǎn)，當(dāng)檢測(cè)到用戶已保持相同手勢(shì)2.5 s時(shí)，停止記錄該手勢(shì)，手勢(shì)的骨架模型作為手勢(shì)的觸發(fā)對(duì)象。接著，用戶可以為虛擬模型或者素材庫(kù)的虛擬元素添加“效果”動(dòng)畫(huà)（見(jiàn)圖6），隨即與手勢(shì)骨架模型之間創(chuàng)建鏈接，之后選擇“開(kāi)始”，用戶即可以用自定義的空中手勢(shì)動(dòng)作演示動(dòng)畫(huà)效果。圖8中還原了用戶首先自定義了“開(kāi)合”的“動(dòng)態(tài)手勢(shì)”，并給虛擬飛機(jī)添加“飛行”動(dòng)畫(huà)效果，最后把手勢(shì)與添加了動(dòng)畫(huà)的飛機(jī)鏈接起來(lái)，隨即控制飛機(jī)起飛。圖9展示了在教學(xué)演示中，教師在素材庫(kù)中選擇了“跑道”素材，并用空中手勢(shì)繪制一個(gè)大門(mén)，最后創(chuàng)建了靜態(tài)空中手勢(shì)觸發(fā)汽車行走動(dòng)畫(huà)的交互行為。

圖5 混合現(xiàn)實(shí)教學(xué)場(chǎng)景

圖6 手勢(shì)菜單的交互流程

圖7 “教學(xué)指引”和“增強(qiáng)標(biāo)簽”的交互過(guò)程

圖8 用戶自定義空中手勢(shì)創(chuàng)作的交互過(guò)程

空中手勢(shì)繪畫(huà)。用戶可以用食指在空間中簡(jiǎn)單繪制線條，也可以調(diào)整畫(huà)筆的顏色和粗細(xì)，并支持擦除和填充效果。如圖8所示，用戶為學(xué)生繪制出一棵小樹(shù)。

圖9 “教學(xué)指引”和自定義手勢(shì)的教學(xué)示例

游戲化學(xué)習(xí)和遠(yuǎn)程協(xié)作?！拔业挠螒颉?，讓學(xué)生通過(guò)游戲的方式進(jìn)行STEM課程學(xué)習(xí)，有利于鞏固學(xué)生對(duì)課程知識(shí)的理解。這些游戲都會(huì)使用默認(rèn)手勢(shì)和手勢(shì)菜單完成，能增添學(xué)生的學(xué)習(xí)樂(lè)趣。為了實(shí)現(xiàn)實(shí)時(shí)協(xié)作體驗(yàn)，在游戲中，學(xué)生或者教師可以通過(guò)邀請(qǐng)的方式共同協(xié)作完成一件虛擬作品。

4 實(shí)驗(yàn)評(píng)估

實(shí)驗(yàn)招募了12名STEM課程教師，其中6名女性、6名男性，年齡在23～40歲（為25.2，SD值為7.63），他們的教學(xué)經(jīng)驗(yàn)2～8年不等，授課類型從基礎(chǔ)課程到高級(jí)課程，一半的人有過(guò)VR游戲的經(jīng)驗(yàn)，但均未使用過(guò)混合現(xiàn)實(shí)眼鏡。實(shí)驗(yàn)在每一位參加者的家中進(jìn)行，Hololens2和攝像機(jī)進(jìn)行視頻記錄。同時(shí)招募了5歲及以上的學(xué)生進(jìn)行試聽(tīng)，見(jiàn)圖10。

4.1 空中手勢(shì)交互系統(tǒng)的SUS評(píng)分

為了解空中手勢(shì)交互系統(tǒng)的整體可用性，在對(duì)參加者進(jìn)行指導(dǎo)后，讓他們各自準(zhǔn)備課件，設(shè)計(jì)講課環(huán)節(jié)并講課，課前準(zhǔn)備時(shí)間和上課時(shí)間分別被記錄。結(jié)束后完成系統(tǒng)可用性量表（SUS），共10個(gè)問(wèn)題，每個(gè)問(wèn)題從“強(qiáng)烈不同意”到“強(qiáng)烈同意”，得分從1～5，正面題（奇數(shù)題）得分記為2i–1，反面題（偶數(shù)題）得分2i，=（1，2，3，4，5），SUS總分見(jiàn)式（1）。

結(jié)果表明，參加者認(rèn)為系統(tǒng)的各項(xiàng)功能都很好地整合在一起（Q5：AVG值為3.2），相信有更多可能性去適應(yīng)不同的教學(xué)環(huán)境（Q9：AVG值為3.2）。實(shí)驗(yàn)中每人都創(chuàng)作了3個(gè)以上交互任務(wù)，表明他們認(rèn)為這些手勢(shì)交互對(duì)教學(xué)很有用，大多數(shù)人愿意使用空中手勢(shì)來(lái)輔助教學(xué)（Q1：AVG值為3.2），但部分認(rèn)為需要更加系統(tǒng)的學(xué)習(xí)。在練習(xí)環(huán)節(jié)，所有參加者共進(jìn)行了21次自定義手勢(shì)任務(wù)，總體成功率為94.44%（SD值為0.08），表明他們可以使用空中手勢(shì)交互順利地操縱虛擬對(duì)象，也驗(yàn)證了空中手勢(shì)的易操作性。參加者也認(rèn)為，空中手勢(shì)交互系統(tǒng)很便捷，并會(huì)促進(jìn)教學(xué)高效進(jìn)行?？傮w來(lái)說(shuō)，用戶認(rèn)為手勢(shì)系統(tǒng)操作并不復(fù)雜，容易學(xué)習(xí)和使用（Q4、Q10：AVG值為70）。SUS平均分?jǐn)?shù)為79分，對(duì)應(yīng)百分等級(jí)約85分，可用性分?jǐn)?shù)AVG值為81.25（Q1～Q3，Q4～Q9），證明了空中手勢(shì)交互體驗(yàn)系統(tǒng)的整體可用性。

4.2 空中手勢(shì)類型的偏好和易學(xué)性評(píng)分

此環(huán)節(jié)，每人需完成一遍所有默認(rèn)手勢(shì)和自定義手勢(shì)的交互練習(xí)，并重復(fù)2次，全部結(jié)束將會(huì)邀請(qǐng)他們根據(jù)喜好選擇3種手勢(shì)，并對(duì)每個(gè)手勢(shì)進(jìn)行易學(xué)性評(píng)分（1～7分）。結(jié)果表明（見(jiàn)圖11），受歡迎度排行是縮放手勢(shì)>自定義手勢(shì)（動(dòng)態(tài)>靜態(tài)）>旋轉(zhuǎn)手勢(shì)，由于條件限制，協(xié)作手勢(shì)并未納入評(píng)估?？s放手勢(shì)更受歡迎，他們習(xí)慣于不斷調(diào)整虛擬元素、圖片，以引起學(xué)生注意。旋轉(zhuǎn)手勢(shì)很少被使用，這似乎和具體課堂類型有關(guān)。雖然自定義靜態(tài)手勢(shì)展現(xiàn)出較高的易學(xué)性評(píng)分，但大多數(shù)參加者更喜歡使用自定義動(dòng)態(tài)手勢(shì)，因?yàn)槟軐?shí)現(xiàn)手勢(shì)與動(dòng)畫(huà)效果的同步交互，并有多種變化，更具有趣味性。12名參與者認(rèn)為大多數(shù)手勢(shì)容易學(xué)習(xí)和使用，但有人反映復(fù)制手勢(shì)的提示特征不明顯，導(dǎo)致其不知道如何使用。因此，還需進(jìn)一步改進(jìn)復(fù)制手勢(shì)的設(shè)計(jì)，讓它更符合人的使用習(xí)慣，并且更清晰地表明意圖。

圖10 實(shí)驗(yàn)過(guò)程

圖11 參加者對(duì)各個(gè)手勢(shì)的偏好

Fig.11 Participants' preferences for various gestures

圖12 參加者對(duì)各個(gè)手勢(shì)的易學(xué)性評(píng)分均值

4.3 教學(xué)體驗(yàn)的滿意度評(píng)估

為了解教師對(duì)教學(xué)體驗(yàn)的滿意度，結(jié)束后向參加者提出了一些問(wèn)題，對(duì)幾個(gè)教學(xué)體驗(yàn)環(huán)節(jié)進(jìn)行評(píng)價(jià)，每道題進(jìn)行7點(diǎn)評(píng)分，最后計(jì)算每道題總分均值和所有題項(xiàng)總分均值及標(biāo)準(zhǔn)差。

如圖13所示，所有教學(xué)體驗(yàn)環(huán)節(jié)的趣味性、舒適度和功能性都呈現(xiàn)積極的分?jǐn)?shù)。徒手繪畫(huà)的功能性評(píng)分較高（為6.45），參與者雖然無(wú)法繪制出完美的圖形和線條，但有助于學(xué)生對(duì)知識(shí)的理解，這種圖形和色彩的表達(dá)對(duì)于低齡且識(shí)字不多的兒童更適用。然而其趣味性分?jǐn)?shù)略低，一方面是由于空間位移導(dǎo)致參加者只能繪制出簡(jiǎn)單的圖案；另一方面他們可能會(huì)追求完整的畫(huà)面效果而重復(fù)繪畫(huà)產(chǎn)生了疲勞。“教學(xué)指引”和“增強(qiáng)標(biāo)簽”的功能評(píng)分略低（為5.75），但參加者仍肯定了它在輔助教學(xué)和遠(yuǎn)程指導(dǎo)中的作用，比幻燈片更生動(dòng)。自定義手勢(shì)得到了較高的整體體驗(yàn)滿意度，參加者喜歡使用自定義動(dòng)態(tài)手勢(shì)控制神奇的動(dòng)畫(huà)效果，有助于吸引學(xué)生注意力、調(diào)節(jié)課堂節(jié)奏及增強(qiáng)教學(xué)互動(dòng)。也肯定了所有教學(xué)體驗(yàn)環(huán)節(jié)對(duì)教學(xué)是有幫助的，并愿意使用（功能性評(píng)分為6.22，SD值為0.39），使用意愿評(píng)分為6.17，SD值為0.24）?？傊?，參加者并未認(rèn)為這些教學(xué)體驗(yàn)會(huì)造成十分疲勞（疲憊度為1.82，SD值為0.87）。遠(yuǎn)程協(xié)作交互邀請(qǐng)了參加者們彼此體驗(yàn)，除了愉快的體驗(yàn)感，他們一致認(rèn)為，這是獨(dú)特的工作模式，這種方式增加了彼此的聯(lián)系，讓會(huì)議內(nèi)容可視化，提升工作效率，有沉浸式體驗(yàn)感。

圖13 參加者對(duì)教學(xué)體驗(yàn)的平均評(píng)分

Fig.13 Average score of participants on their teaching experience

5 結(jié)語(yǔ)

本文提出了針對(duì)混合現(xiàn)實(shí)教學(xué)的空中手勢(shì)交互體驗(yàn)設(shè)計(jì)方法，以及結(jié)合默認(rèn)手勢(shì)和用戶自定義空中手勢(shì)的個(gè)性化教學(xué)體驗(yàn)?zāi)Ｊ健?shí)驗(yàn)評(píng)估結(jié)果表明，最受歡迎的是縮放、旋轉(zhuǎn)和自定義手勢(shì)。參加者對(duì)所有手勢(shì)的易學(xué)性和舒適度表示了積極評(píng)價(jià)，空中手勢(shì)交互系統(tǒng)具有高度可用性。此外，所設(shè)計(jì)的教學(xué)體驗(yàn)環(huán)節(jié)有助于提升教學(xué)體驗(yàn)、增加課堂趣味性、提高教學(xué)效率。然而，未來(lái)還需進(jìn)一步開(kāi)發(fā)適合學(xué)生的操作系統(tǒng)，讓學(xué)生完全參與體驗(yàn)，不斷優(yōu)化教學(xué)效果的評(píng)價(jià)指標(biāo)，設(shè)置對(duì)照實(shí)驗(yàn)，對(duì)教學(xué)效果進(jìn)行客觀評(píng)估，并對(duì)協(xié)作手勢(shì)進(jìn)行量化評(píng)估。未來(lái)還要進(jìn)一步完善空中手勢(shì)的類型，探索更多遠(yuǎn)程協(xié)作的體驗(yàn)場(chǎng)景，擴(kuò)展協(xié)作手勢(shì)的空間，豐富系統(tǒng)功能，讓教師之間可以通過(guò)空中手勢(shì)進(jìn)行協(xié)作交互，促進(jìn)教育資源的共享。

[1] 祝智庭, 彭紅超, 雷云鶴. 智能教育: 智慧教育的實(shí)踐路徑[J]. 開(kāi)放教育研究, 2018, 24(4): 13-24. ZHU Z T, PENG H C, LEI Y H. Intelligence Education: Practical an Approach to Smarter Education[J]. Open Education Research, 2018, 24(4): 13-24.

[2] 李小平, 趙豐年, 張少剛, 等. VR/AR教學(xué)體驗(yàn)的設(shè)計(jì)與應(yīng)用研究[J]. 中國(guó)電化教育, 2018(3): 10-18. LI X P, ZHAO F N, ZHANG S G, et al. Research on the Design and Application of VR/AR Learning Experience [J]. China Educational Technology, 2018(3): 10-18.

[3] VOGIATZIDAKIS P, KOUTSABASIS P. Gesture Elicitation Studies for Mid-Air Interaction: A Review[J]. Multimodal Technologies and Interaction, 2018, 2(4): 65.

[4] VULETIC T, DUFFY A, HAY L, et al. Systematic Literature Review of Hand Gestures Used in Human Computer Interaction Interfaces[J]. International Journal of Human-Computer Studies, 2019, 129: 74-94.

[5] ZHU Z T, YU M H, RIEZEBOS P. A Research Framework of Smart Education[J]. Smart Learning Environments, 2016, 3(1): 4.

[6] PIUMSOMBOON T, CLARK A, BILLINGHURST M, et al. User-Defined Gestures for Augmented Reality[C]// IFIP Conference on Human-Computer Interaction. Berlin: Springer, 2013: 282-299.

[7] KENDON A. How Gestures Can Become Like Words [M]. Toronto: Hogrefe & Huber Publishers. 1988: 131-141.

[8] CADOZ C, Les Réalités Virtuelles[M]. Paris: Flammarion. 1994.

[9] MCNEIL D. Hand and Mind: What Gestures Reveal About Thought[M]. London: Univ of Chicago Press, 1992.

[10] AIGNER R, WIGDOR D J, BENKO H, et al. Understanding Mid-Air Hand Gestures: A Study of Human Preferences in Usage of Gesture Types for HCI[J]. Microsoft Research TechReport MSR-TR-2012-111, 2012(2): 30.

[11] WANG T Y, QIAN X, HE F M, et al. GesturAR: An Authoring System for Creating Freehand Interactive Augmented Reality Applications[C]// UIST '21: The 34th Annual ACM Symposium on User Interface Software and Technology. ACM: Virtual Event, 2021: 552-567.

[12] 溫圳, 李鵬, 王敘萌, 等. 基于混合現(xiàn)實(shí)的可視分析綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2022, 34(6): 821-829.WEN Z, LI P, WANG X M, et al. Mixed Reality Based Visual Analytics[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(6): 821-829.

[13] GROENEWALD C, ANSLOW C, ISLAM J, et al. Understanding 3D Mid-Air Hand Gestures with Interactive Surfaces and Displays: A Systematic Literature Review[C]// Proceedings of the 30th International BCS Human Computer Interaction Conference: Fusion. ACM, 2016: 1-13.

[14] 袁慶曙, 王若楠, 潘志庚, 等. 空間增強(qiáng)現(xiàn)實(shí)中的人機(jī)交互技術(shù)綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2021, 33(3): 321-332.YUAN Q S, WANG R N, PAN Z G, et al. A Survey on Human-Computer Interaction in Spatial Augmented Reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2021, 33(3): 321-332.

[15] 黃進(jìn), 韓冬奇, 陳毅能, 等. 混合現(xiàn)實(shí)中的人機(jī)交互綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2016, 28(6): 869-880.HUANG J, HAN D Q, CHEN Y N, et al. A Survey on Human-Computer Interaction in Mixed Reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 869-880.

[16] 周小舟, 宗承龍, 郭一冰, 等. 多模態(tài)交互中的目標(biāo)選擇技術(shù)[J]. 包裝工程, 2022, 43(4): 36-44.ZHOU X Z, ZONG C L, GUO Y B, et al. A Review of Target Selection Techniques in Multimodal Interaction[J]. Packaging Engineering, 2022, 43(4): 36-44.

[17] 劉革平, 王星, 高楠, 等. 從虛擬現(xiàn)實(shí)到元宇宙：在線教育的新方向[J]. 現(xiàn)代遠(yuǎn)程教育研究, 2021, 33(6): 12-22. LIU G P, WANG X, GAO N, et al. From Virtual Reality to Metaverse: A New Direction of Online Education[J]. Modern Distance Education Research, 2021, 33(6): 12-22.

[18] 陳笑浪, 劉革平, 李?yuàn)櫇? 基于虛擬現(xiàn)實(shí)技術(shù)的教育美學(xué)實(shí)踐變革——新情境教學(xué)模式創(chuàng)建[J]. 西南大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版), 2022, 48(1): 171-180.CHEN X L, LIU G P, LI S Z. Reform of Educational Aesthetics Practice Based on Virtual Reality Technology: Establishment of New Situational Teaching Model[J]. Journal of Southwest University (Social Sciences Edition), 2022, 48(1): 171-180.

[19] 劉革平, 高楠. 手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)體驗(yàn)的影響機(jī)制[J]. 現(xiàn)代遠(yuǎn)程教育研究, 2021, 33(2): 22-32.LIU G P, GAO N. Influential Mechanism of Gesture Interaction Virtual Experiment on Learning Experience[J]. Modern Distance Education Research, 2021, 33(2): 22-32.

[20] 張軍, 劉粵, 陳坤杰. 基于情境模型的可穿戴設(shè)備手勢(shì)交互設(shè)計(jì)[J]. 包裝工程, 2019, 40(12): 140-146.ZHANG J, LIU Y, CHEN K J. Gesture Interaction Design for Wearable Devices Based on Scenario Model[J]. Packaging Engineering, 2019, 40(12): 140-146.

Application of Mid-air Gesture Interactive Experience Design for Mixed Reality Teaching

LU Yi*, WANG Xiaoye, WANG Yulin, GE Sen, ZHOU Lejia

(Beijing University of Technology, Beijing 100124, China)

The work aims to conduct in-depth research on the interactive experience of mid-air gestures in mixed reality teaching, design innovative teaching experience modes, and enhance teaching experience through the design of mid-air gesture interactive experience. The methodsof literature research, field observation, in-depth interviews, and experimental research methods were adopted. Based on theoretical research and combined with teaching experience needs, design methods were constructed around scenes, users, and products to define the types of mid-air gestures that met teaching needs. Finally, effective technical means were combined to build mixed reality teaching scenes, design personalized teaching experience links, and complete the design of mid-air gesture interaction interfaces. As a result, a design method for interactive experience of mid-air gestures for mixed reality teaching was constructed, and eight types of mid-air gestures were defined to meet teaching needs. A gesture interaction method for mid-air gestures was proposed. Interactive experience links with teaching guidance significance such as "teaching guidance" and "freehand painting" were designed, which were suitable for remote and offline mixed reality STEM teaching scenes, forming rich mixed reality STEM teaching resources. The conclusion demonstrates the overall usability of eight types of default mid-air gesture types and user-defined gestures through user experiments, opening up a new path for interactive experience design research in the field of mixed reality teaching.

mid-air gestures; mixed reality teaching; interactive experience design; smart education

TB472

A

1001-3563(2024)04-0181-10

10.19554/j.cnki.1001-3563.2024.04.019

2023-09-11