蔡蘇 楊陽(yáng) 常婷 朱高俠

【摘 要】自然交互技術(shù)支持以真實(shí)的肢體動(dòng)作與系統(tǒng)進(jìn)行交互，建立真實(shí)世界與虛擬世界的聯(lián)系，在增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)為基礎(chǔ)的虛實(shí)融合學(xué)習(xí)環(huán)境創(chuàng)造更為自然的交互體驗(yàn)。本文介紹了北京師范大學(xué)“VR/AR+教育”實(shí)驗(yàn)室基于手勢(shì)識(shí)別設(shè)備的自然交互系列游戲?qū)ψ蚤]癥兒童的干預(yù)研究，闡述了自然交互技術(shù)與增強(qiáng)現(xiàn)實(shí)相結(jié)合的環(huán)境在教育中發(fā)揮的作用。在未來(lái)，仍需要教育工作者、技術(shù)專家等多方人員的共同參與研究自然交互與教育更好的融合應(yīng)用。

【關(guān)鍵詞】自然交互；特殊教育；自閉癥

【中圖分類號(hào)】G434 【文獻(xiàn)標(biāo)識(shí)碼】A

【論文編號(hào)】1671-7384（2018）07、08-0150-03

自然交互技術(shù)

人機(jī)自然交互技術(shù)，簡(jiǎn)稱自然交互（Human-Computer Nature Interaction，HCNI；或Human-Machine Nature Interaction，HMNI），指代用手勢(shì)或其他肢體動(dòng)作作為輸入來(lái)控制一個(gè)系統(tǒng)的各種各樣的交互方式[1]。新媒體聯(lián)盟（New Media Consortium， NMC）2011年～2016年發(fā)布的《地平線報(bào)告》中指出，以自然交互技術(shù)為內(nèi)核的姿勢(shì)計(jì)算、可穿戴設(shè)備、自帶設(shè)備、增強(qiáng)現(xiàn)實(shí)等技術(shù)已經(jīng)成為教育信息技術(shù)的新興技術(shù)[2]。姿勢(shì)計(jì)算領(lǐng)域算法的更新為自然交互的實(shí)現(xiàn)提供了后臺(tái)基礎(chǔ)，提高了對(duì)自然交互動(dòng)作的識(shí)別精度和準(zhǔn)確度?？纱┐髟O(shè)備和自帶設(shè)備是自然交互得以實(shí)現(xiàn)的媒介，諸如Microsoft Kinect和Leap Motion這樣低成本實(shí)現(xiàn)媒介的推出極大地促進(jìn)了自然交互技術(shù)的推廣[3]。

自然交互教育應(yīng)用的案例

Pio Alfredo Di tore等人認(rèn)為將日常行為定義為操作行為，將對(duì)知識(shí)概念的認(rèn)知過(guò)程轉(zhuǎn)化為動(dòng)作過(guò)程，自然交互技術(shù)即會(huì)為教育提供強(qiáng)大的工具[4]。Seoul Cyber Univ開(kāi)發(fā)了一個(gè)運(yùn)用Leap Motion幫助孩子學(xué)習(xí)蜜蜂跳舞的系統(tǒng)，孩子可以通過(guò)這個(gè)游戲增進(jìn)對(duì)蜜蜂交流方式的理解[5]。JF Martinsanjose等人開(kāi)發(fā)了基于Kinect的歷史學(xué)習(xí)平面系統(tǒng)和3D系統(tǒng)。他們發(fā)現(xiàn)自然交互的使用可以有效培養(yǎng)學(xué)生的學(xué)習(xí)動(dòng)機(jī)并且提高學(xué)習(xí)效果，其中3D系統(tǒng)能更大程度上激發(fā)學(xué)習(xí)動(dòng)機(jī)并且促進(jìn)深度學(xué)習(xí)的發(fā)生，讓學(xué)生對(duì)知識(shí)有更好的理解和領(lǐng)會(huì)，并且學(xué)生反饋?zhàn)匀唤换ゼ夹g(shù)的操作比傳統(tǒng)交互更易掌握[6]。

近年來(lái)，國(guó)內(nèi)也涌現(xiàn)了一系列使用自然交互技術(shù)優(yōu)化教學(xué)過(guò)程的案例。王文淵開(kāi)發(fā)出了一套基于Kinect體感式兵兵球教學(xué)課件，對(duì)上海市某小學(xué)的乒乓球課進(jìn)行了調(diào)查、教學(xué)與測(cè)驗(yàn)，寓教于樂(lè)，激發(fā)了學(xué)生的學(xué)習(xí)興趣，提高了學(xué)生的乒乓球技術(shù)[7]。蔡蘇等人開(kāi)發(fā)的基于Kinect的增強(qiáng)現(xiàn)實(shí)磁場(chǎng)學(xué)習(xí)系統(tǒng)幫助初中生進(jìn)行物理實(shí)驗(yàn)，有效提高了學(xué)生的學(xué)習(xí)熱情和學(xué)習(xí)成效[8]。華子荀設(shè)計(jì)的基于Leap Motion的數(shù)字電視節(jié)目提高了學(xué)生的學(xué)習(xí)質(zhì)量、學(xué)習(xí)積極性[9]。蔡蘇、朱高俠等人運(yùn)用Leap Motion幫助自閉癥兒童進(jìn)行康復(fù)訓(xùn)練，提高了自閉癥兒童的精細(xì)動(dòng)作水平和認(rèn)知水平[10]。

自然交互應(yīng)用于自閉癥兒童教育實(shí)證案例

自閉癥也被稱為孤獨(dú)癥，是一種廣泛性發(fā)育障礙。自閉癥兒童普遍具有精細(xì)動(dòng)作障礙和認(rèn)知障礙。在對(duì)自閉癥兒童的訓(xùn)練中，教師需要承擔(dān)引導(dǎo)訓(xùn)練、安排流程、提供反饋、記錄數(shù)據(jù)等大量工作，而且有些使用的訓(xùn)練物品在真實(shí)環(huán)境中難以收集和制作?；诖?，我們?cè)O(shè)計(jì)了基于Leap Motion的自然交互系列游戲。游戲分為三關(guān)，關(guān)卡難度逐漸增加；在第一關(guān)中，用戶需要對(duì)顏色進(jìn)行匹配，將紅、綠、藍(lán)三種顏色的球分別放入對(duì)應(yīng)的容器里；在第二關(guān)中，用戶需要將草莓、山楂、蘋果分別插到對(duì)應(yīng)的木棍上（木棍較細(xì)，動(dòng)作要求更精細(xì)）；在第三關(guān)中，給用戶一串由不同顏色小熊串成的飾物，要求用戶串成相同序列的飾物。游戲的正反饋為自閉癥兒童能理解和接收的笑臉，為了不打擊其積極性，用戶做錯(cuò)的情況下，也不提供負(fù)反饋。用戶操作如圖1所示。

三名來(lái)自北京一所特殊教育學(xué)校的兒童使用該游戲進(jìn)行了訓(xùn)練，他們分別在第7天、第12天、第10天達(dá)到游戲正確率100%的訓(xùn)練要求。在訓(xùn)練前后，研究者使用《自閉癥兒童精細(xì)動(dòng)作評(píng)估表》和《自閉癥兒童認(rèn)知評(píng)估表》對(duì)他們的精細(xì)動(dòng)作和認(rèn)知進(jìn)行了評(píng)估，結(jié)果如圖2所示。該結(jié)果說(shuō)明，基于自然交互的游戲干預(yù)是可行的，并且對(duì)提高自閉癥患者的精細(xì)動(dòng)作水平、認(rèn)知水平是有幫助的。根據(jù)對(duì)三名兒童的教師和家長(zhǎng)的訪談，研究者認(rèn)為基于自然交互的游戲也有利于提高自閉癥兒童的三維空間感知能力，減少其特殊行為，提高其注意力。

總結(jié)

自然交互技術(shù)的應(yīng)用能夠有效提高自閉癥兒童精細(xì)動(dòng)作水平和認(rèn)知水平。自然交互技術(shù)支持以真實(shí)的身體動(dòng)作與虛擬世界中的物體進(jìn)行互動(dòng)，可以促進(jìn)增強(qiáng)現(xiàn)實(shí)技術(shù)環(huán)境下真實(shí)世界和虛擬對(duì)象的融合。將自然交互技術(shù)運(yùn)用到學(xué)習(xí)環(huán)境的構(gòu)建中，可以支持教師和學(xué)生以自然的動(dòng)作與學(xué)習(xí)空間進(jìn)行互動(dòng)，促進(jìn)學(xué)習(xí)者認(rèn)知、動(dòng)作技能和情感的發(fā)展。將自然交互融入學(xué)習(xí)環(huán)境，創(chuàng)造更為智能的學(xué)習(xí)空間，需要相關(guān)的技術(shù)設(shè)計(jì)、開(kāi)發(fā)人員，教學(xué)設(shè)計(jì)人員和更多教育領(lǐng)域的一線教師以及學(xué)科專家共同參與，打造更為虛實(shí)融合的學(xué)習(xí)情境。

注：本文受北京市教育科學(xué)“十三五”規(guī)劃青年專項(xiàng)課題“增強(qiáng)現(xiàn)實(shí)游戲在自閉癥兒童生活技能習(xí)得的應(yīng)用及影響研究”（編號(hào)：CCHA16120）資助

參考文獻(xiàn)

O'HARA K， HARPER R， MENTIS H， et al. On the naturalness of touchless： Putting the “；interaction”； back into NUI [J]. ACM Transactions on Computer-Human Interaction， 2013， 20（1）： 526-536.

李玲，胡衛(wèi)星，趙苗苗，et al. 手勢(shì)計(jì)算技術(shù)教學(xué)應(yīng)用的現(xiàn)狀及問(wèn)題分析[J]. 現(xiàn)代教育技術(shù)，2016，26（1）： 34-38.

PESCARIN S， PIETRONI E， RESCIC L， et al. NICH： A preliminary theoretical study on natural interaction applied to cultural heritage contexts； proceedings of the Digital Heritage International Congress， F， 2013 [C].

TORE P D T A P D， DISCEPOLO T， DI T S. Natural User Interfacesas a powerful tool forcourseware design inPhysical Education [J]. Journal of E-Learning and Knowledge Society， 2013， 9（2）： 105-114.

CHO O H. Development of serious game for kids using Leap Motion based on honey bee dance； proceedings of the Games and Graphics and， F， 2014 [C].

MARTINSANJOSE J F， JUAN M C， MOLLá R， et al. Advanced displays and natural user interfaces to support learning [J]. Interactive Learning Environments， 2015， 1-18.

王文淵. 體感技術(shù)課件在小學(xué)乒乓球教學(xué)中的運(yùn)用研究[D]. 上海師范大學(xué)，2014.

CAI S， CHIANG F-K， SUN Y， et al. Applications of augmented reality-based natural interactive learning in magnetic field instruction [J]. Interactive Learning Environments， 2017，25（6）： 778-791.

華子荀. Leap Motion支持下教育電視節(jié)目提高學(xué)生學(xué)習(xí)質(zhì)量和效果的研究[J]. 教育信息技術(shù)，2015（5）： 60-63+45.

CAI S， ZHU G， WU Y-T， et al. A case study of gesture-based games in enhancing the fine motor skills and recognition of children with autism [J]. Interactive Learning Environments， 2018， 1-14.