林瀟瀟 高漢威 朱德珍

摘 要：隨著特殊教育的不斷向前發(fā)展，越來(lái)越多的殘疾兒童能夠接受相應(yīng)的教育與干預(yù)訓(xùn)練。而輔助技術(shù)的應(yīng)用能夠幫助殘障兒童在心理和教育層面獲得更好的發(fā)展。混合現(xiàn)實(shí)技術(shù)作為當(dāng)今信息科學(xué)技術(shù)領(lǐng)域的前沿，越來(lái)越受到殘障兒童教育、康復(fù)領(lǐng)域研究者的廣泛重視。文章通過(guò)介紹HoloLens混合現(xiàn)實(shí)眼鏡、“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)、混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)、TeachLivE教學(xué)現(xiàn)場(chǎng)混合現(xiàn)實(shí)教學(xué)系統(tǒng)四種混合現(xiàn)實(shí)技術(shù)在神經(jīng)發(fā)育障礙兒童干預(yù)領(lǐng)域的應(yīng)用，對(duì)比這些技術(shù)間的相似性和差異性，最終提出混合現(xiàn)實(shí)技術(shù)對(duì)我國(guó)殘疾兒童教育與干預(yù)的啟示。

關(guān)鍵詞：混合現(xiàn)實(shí)技術(shù);神經(jīng)發(fā)育障礙兒童;應(yīng)用;啟示

中圖分類(lèi)號(hào)：R741 文獻(xiàn)標(biāo)識(shí)碼：A

DOI：10.19881/j.cnki.1006-3676.2020.10.09

Application and Enlightenment of Mixed-Reality Technology for? Children with Neurodevelopmental Disorder

Lin Xiaoxiao1? Gao Hanwei2? Zhu Dezhen3

（1.School of Education，GuangZhou University，Guangdong，Guangzhou，510006;2.GuangZhou Academy of Fine Arts，Guangdong，Guangzhou，510006;3.GuangZhou Iron and Steel Enterprise YaYunCheng Kindergarten，Guangdong， Guangzhou，510006）

Abstract：With the development of special education，more and more children with disability can receive appropriate education，intervention and training.The application of assistive technology （AT） can help children with disability to achieve great development in psychological and educational aspects.As the frontier of information science and technology，Mixed-Reality technology has been paid more and more attention by researchers in the fields of education and rehabilitation of children with disability.In this paper，by introducing the HoloLens reality glasses，the lands of Fog system，Mixed Reality Aquarium and TeachLiveE mixed-reality teaching system of four kinds of mix reality neural developmental disorders in childrens intervention in the field of application，compared the similarities and differences between these technologies at the same time，finally puts forward mixed-reality technology education and intervention for children with disability enlightenment to our country.

Key words：Mixed-Reality;Children with Neurodevelopmental Disorder;Application;Enlightenment

一、引言

隨著全球科技的不斷發(fā)展，計(jì)算機(jī)輔助教學(xué)越來(lái)越受到教育界的重視，多種多樣的計(jì)算機(jī)輔助教學(xué)技術(shù)能夠幫助學(xué)生更好地融入課堂，提升他們?cè)诮虒W(xué)過(guò)程中的參與度。計(jì)算機(jī)輔助教學(xué)的媒介由傳統(tǒng)的計(jì)算機(jī)設(shè)備如臺(tái)式電腦、筆記本電腦等發(fā)展為移動(dòng)終端技術(shù)的任意載體。與傳統(tǒng)的計(jì)算機(jī)設(shè)備相比，移動(dòng)終端具有操作容易、便攜、運(yùn)行速度快等多種優(yōu)勢(shì)，更有利于使用者實(shí)現(xiàn)有效的交互。[1]特殊教育領(lǐng)域的計(jì)算機(jī)輔助技術(shù)被廣泛應(yīng)用于對(duì)殘障兒童的教學(xué)中。特殊教育輔助技術(shù)包括從低技術(shù)和高技術(shù)。低技術(shù)設(shè)備指低成本且不需要電源的設(shè)備，如圖片溝通板、握筆矯正器和手持放大鏡等;高技術(shù)設(shè)備一般是成本高昂的設(shè)備，包括計(jì)算機(jī)、平板電腦、移動(dòng)設(shè)備及其軟件等。隨著互聯(lián)網(wǎng)的發(fā)展和電子科技的進(jìn)步，特殊教育輔助技術(shù)逐漸向高技術(shù)方向發(fā)展。[2]混合現(xiàn)實(shí)技術(shù)就屬于具有高科技含量的技術(shù)。隨著混合現(xiàn)實(shí)技術(shù)的創(chuàng)新與推廣，其已成為科技界、教育界共同關(guān)注的熱點(diǎn)。

神經(jīng)發(fā)育障礙（Neurodevelopmental Disorder）是一類(lèi)總稱，包括由于神經(jīng)系統(tǒng)與大腦功能出現(xiàn)問(wèn)題而產(chǎn)生的各種形式的障礙。神經(jīng)發(fā)育障礙包括注意缺陷多動(dòng)障礙、孤獨(dú)癥譜系障礙、學(xué)習(xí)障礙以及智力障礙。大多數(shù)存在神經(jīng)發(fā)育障礙的個(gè)體在不同領(lǐng)域會(huì)經(jīng)歷多樣化的、共生的障礙，這些領(lǐng)域包括言語(yǔ)與語(yǔ)言、記憶、學(xué)習(xí)、社交行為以及行動(dòng)能力。[3]

二、混合現(xiàn)實(shí)技術(shù)

混合現(xiàn)實(shí)技術(shù)（Mixed Reality，簡(jiǎn)稱MR）是虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality）和增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality）的結(jié)合。該技術(shù)是將虛擬世界與現(xiàn)實(shí)世界進(jìn)行合并形成新的可視化環(huán)境，并在虛擬世界、現(xiàn)實(shí)世界與用戶之間搭起一條交互反饋的信息線路，實(shí)現(xiàn)現(xiàn)實(shí)世界與虛擬世界的無(wú)縫銜接。[4]混合現(xiàn)實(shí)技術(shù)是一種新的計(jì)算機(jī)技術(shù)，通過(guò)混合真實(shí)世界和虛擬世界中的物品促使用戶開(kāi)展互動(dòng)。該技術(shù)使用戶可以觀察添加到現(xiàn)實(shí)世界中的虛擬對(duì)象并與之交互。在混合現(xiàn)實(shí)技術(shù)的概念基礎(chǔ)上，黃紅濤等研究者提出了混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境的概念?；旌犀F(xiàn)實(shí)學(xué)習(xí)環(huán)境是一種利用混合現(xiàn)實(shí)技術(shù)構(gòu)造起來(lái)的由計(jì)算機(jī)支持的學(xué)習(xí)環(huán)境。在該環(huán)境中，來(lái)自真實(shí)世界和虛擬世界的各類(lèi)對(duì)象被整合到一個(gè)單一的學(xué)習(xí)進(jìn)程中。如果這個(gè)環(huán)境具有支持具身交互的功能，那么它就可以被稱為“具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境”（Embodied Mixed Reality Learning Environment）[5]面向殘障兒童的混合現(xiàn)實(shí)技術(shù)大多屬于該系統(tǒng)環(huán)境。

三、面向神經(jīng)發(fā)育障礙兒童的混合現(xiàn)實(shí)技術(shù)應(yīng)用

（一）HoloLens可穿戴設(shè)備混合現(xiàn)實(shí)技術(shù)

HoloLens是微軟開(kāi)發(fā)的可穿戴混合現(xiàn)實(shí)設(shè)備。它將一臺(tái)全息計(jì)算機(jī)（Holographic Computer）安裝在一套頭戴式設(shè)備上。由眾多傳感器、先進(jìn)光學(xué)設(shè)備以及一個(gè)定制的全息處理單元組成。如圖1所示，它是安裝在頭戴式設(shè)備上的全息計(jì)算機(jī)，其中有諸多特殊組件，如多傳感器、先進(jìn)光學(xué)設(shè)備以及一個(gè)定制的全息處理單元。

用戶使用HoloLens混合現(xiàn)實(shí)眼鏡在真實(shí)環(huán)境中與全息圖像呈現(xiàn)的數(shù)字內(nèi)容展開(kāi)交互。通過(guò)空間映射技術(shù)（Spatial Mapping Techniques）捕獲（Capture）信息，識(shí)別如桌子、地板、墻壁和天花板等平面[6]，同時(shí)生成真實(shí)環(huán)境渲染圖以及交互式虛擬數(shù)字的內(nèi)容。HoloLens支持多種交互模式如視、聽(tīng)覺(jué)交互模式等。

HoloLens的操作方式包括凝視（Gaze）、手勢(shì)（Gestures）、聲音（Voice）和使用遙控器（Clicker）。HoloLens凝視用戶通過(guò)改變注視方向，可以更新他們對(duì)環(huán)境的認(rèn)知。一個(gè)光標(biāo)會(huì)出現(xiàn)在注視焦點(diǎn)中，并隨注視焦點(diǎn)的方向移動(dòng)。在手勢(shì)操作過(guò)程中，當(dāng)拇指和食指輕拍時(shí)，瞬時(shí)氣錐就會(huì)選擇并激活光標(biāo)所在的注視的交互式全息圖，觸發(fā)相關(guān)的反饋，持續(xù)氣塞則執(zhí)行拖放。在聲音操作過(guò)程中，通過(guò)定義語(yǔ)音命令給應(yīng)用程序提供指令，實(shí)現(xiàn)與交互項(xiàng)目的交互。遙控器操作是通過(guò)由藍(lán)牙連接的物理控制器來(lái)代替空氣開(kāi)關(guān)選擇和移動(dòng)交互元素。[7]

此外，HoloLens會(huì)在全息影像中創(chuàng)建虛擬助手（Virtual Assistant），虛擬助手的設(shè)計(jì)可以參考用戶的興趣偏好，提升殘障用戶的參與體驗(yàn)。HoloLens提供三種虛擬助手參與模式：靜態(tài)模式、動(dòng)態(tài)模式和回應(yīng)模式，如圖2所示。

Beatrice Aruanno等研究者通過(guò)讓神經(jīng)發(fā)育障礙人士穿戴HoloLens混合現(xiàn)實(shí)眼鏡完成“桌面物品擺放”和“垃圾分類(lèi)收集”游戲任務(wù)發(fā)現(xiàn)，無(wú)論表現(xiàn)以及任務(wù)完成度如何，大多數(shù)參與者都喜歡使用HoloLens，并對(duì)此次體驗(yàn)感到滿意。參與者會(huì)被虛擬助手吸引，并能準(zhǔn)確地辨識(shí)出虛擬助手的角色（如小黃人）。中等程度神經(jīng)發(fā)育障礙的人士在完成游戲任務(wù)方面的表現(xiàn)要比重度神經(jīng)發(fā)育障礙的人士好，因?yàn)樗麄兺ㄟ^(guò)一段時(shí)間的培訓(xùn)能夠更好地掌握HoloLens的交互機(jī)制。[7]

（二）“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)

“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)（The Lands of Fog System）是加入一系列視覺(jué)、聽(tīng)覺(jué)效果的，在直徑6米的地板投影虛擬環(huán)境的系統(tǒng)。其設(shè)計(jì)目的是鼓勵(lì)自閉癥兒童和他們的非自閉癥同伴共同開(kāi)展具有創(chuàng)造性的探索類(lèi)游戲。系統(tǒng)設(shè)計(jì)的游戲場(chǎng)景是一個(gè)部分被霧氣籠罩的幻想世界，在這個(gè)世界里，這些兒童能夠主動(dòng)尋找并捕捉虛擬的昆蟲(chóng)，系統(tǒng)給予他們積極的、一致性的反饋，即加入新的角色或歡快的旋律。[8]該系統(tǒng)采取循序漸進(jìn)的策略來(lái)拉近自閉癥兒童與非自閉癥兒童的距離。反饋的目的是給游戲的參與者提供更積極的反饋來(lái)替代治療師的工作，并利用系統(tǒng)來(lái)引導(dǎo)自閉癥兒童完成游戲任務(wù)，促使他們出現(xiàn)問(wèn)題行為?！懊造F之地”混合現(xiàn)實(shí)系統(tǒng)為治療師在協(xié)調(diào)游戲者間的互動(dòng)方面提供了支持框架，為兒童提供在可控的實(shí)踐環(huán)境中形成良好社交互動(dòng)氛圍的場(chǎng)景。

“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)的具體操作流程是，自閉癥兒童手持一個(gè)裝有LED燈的真實(shí)捕蝶網(wǎng)，系統(tǒng)對(duì)捕蝶網(wǎng)進(jìn)行追蹤。自閉癥兒童通過(guò)捕蝶網(wǎng)與投射在地板上的虛擬昆蟲(chóng)元素進(jìn)行互動(dòng)。此外，物理目標(biāo)被設(shè)計(jì)用來(lái)幫助神經(jīng)發(fā)育障礙兒童通過(guò)認(rèn)知負(fù)載（Cognitive Offloading）將注意力集中到環(huán)境中來(lái)。

科研人員在利用“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)開(kāi)展的相關(guān)研究過(guò)程中發(fā)現(xiàn)，集體協(xié)同社交游戲活動(dòng)的開(kāi)展效果要比個(gè)人活動(dòng)好。自閉癥兒童與非自閉癥兒童共同參與的集體協(xié)同類(lèi)游戲活動(dòng)為他們提供了同伴協(xié)作、交流的機(jī)會(huì)。與此同時(shí)，科研人員還研究比較了自閉癥兒童在“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)和樂(lè)高游戲情境下的兒童非言語(yǔ)行為。研究發(fā)現(xiàn)，自閉癥兒童在“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)中的非言語(yǔ)行為水平相對(duì)較高。其可能的原因是，在“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)的游戲中，自閉癥兒童親近同伴來(lái)完成協(xié)作任務(wù)。此外，在“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)中，自閉癥兒童表現(xiàn)出的焦慮水平相對(duì)較低，其原因可能是自閉癥兒童能夠?qū)τ螒騾⑴c方式進(jìn)行選擇，其既可以邀請(qǐng)同伴參與，也可以自己?jiǎn)为?dú)進(jìn)行游戲，這能讓自閉癥兒童表現(xiàn)得更加放松，為自閉癥兒童提供一個(gè)舒適的社交環(huán)境。[8]

（三）混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)

混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)（Mixed-Reality Aquarium）是國(guó)內(nèi)首個(gè)為孤獨(dú)癥譜系障礙兒童以及兒童英語(yǔ)教學(xué)打造的混合現(xiàn)實(shí)系統(tǒng)。它將虛擬的海洋世界與真實(shí)的魚(yú)缸結(jié)合，通過(guò)投影設(shè)備和液晶調(diào)光膜來(lái)展現(xiàn)3D虛擬場(chǎng)景，增強(qiáng)用戶的沉浸感。混合現(xiàn)實(shí)魚(yú)缸能夠訓(xùn)練孤獨(dú)癥譜系障礙兒童的認(rèn)知能力、動(dòng)手能力和表達(dá)能力，為他們提供自然、簡(jiǎn)單，兼具真實(shí)感的交互方式。[9]混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)參考了孤獨(dú)癥譜系障礙兒童康復(fù)師關(guān)于認(rèn)知訓(xùn)練的專業(yè)知識(shí)，將認(rèn)知訓(xùn)練課程整合到混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)中，通過(guò)視覺(jué)化、具象化的效果促進(jìn)孤獨(dú)癥譜系障礙兒童與訓(xùn)練內(nèi)容、康復(fù)師之間的互動(dòng)。[7]混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)既包含了真實(shí)物理環(huán)境下有水草和魚(yú)類(lèi)等生物的魚(yú)缸，又包含了虛擬的海洋環(huán)境和生物，將二者融合為一體，建立了一個(gè)有趣的水下世界。

Juan Liu等科研人員利用混合現(xiàn)實(shí)魚(yú)缸對(duì)孤獨(dú)癥譜系障礙兒童進(jìn)行干預(yù)訓(xùn)練。經(jīng)過(guò)為期一個(gè)月（四周）的訓(xùn)練，孤獨(dú)癥譜系障礙兒童的認(rèn)知、語(yǔ)言和行動(dòng)能力都得到了顯著的提升。此外，混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)在孤獨(dú)癥譜系障礙兒童發(fā)展興趣、培養(yǎng)注意力和提升行為表現(xiàn)方面存在著顯著的發(fā)展?jié)摿?。[10]

（四） TeachLivE混合現(xiàn)實(shí)教學(xué)系統(tǒng)

TeachLivE是中佛羅里達(dá)大學(xué)（University of Central Florida）針對(duì)職前和在職特殊教育教師培訓(xùn)開(kāi)發(fā)的混合現(xiàn)實(shí)培訓(xùn)平臺(tái)。[11]

TeachLivE系統(tǒng)模擬的是一間混合現(xiàn)實(shí)課堂實(shí)驗(yàn)室，教室中設(shè)計(jì)了若干名虛擬學(xué)生。虛擬學(xué)生分別具有四種個(gè)人特征：攻擊—獨(dú)立型、依賴—獨(dú)立型、被動(dòng)—依賴型和以不同強(qiáng)度水平的其他特征（如歇斯底里、強(qiáng)迫性、沖動(dòng)等）為補(bǔ)充的被動(dòng)—依賴型。與面部表情、肢體語(yǔ)言、動(dòng)作捕捉和人工智能相結(jié)合的具有典型青少年學(xué)生特征的虛擬學(xué)生和虛擬環(huán)境所形成的班級(jí)相結(jié)合，為用戶提供一種令人信服的虛擬體驗(yàn)。[12]

參與者能夠在電腦顯示器中看到由室外的操控者控制的虛擬學(xué)生，操控者同時(shí)能夠看到參與者和他使用的資料，如白板等。如圖5所示：參與者是一位存在視覺(jué)障礙的老師，她不能很清楚地看到屏幕。因此，在顯示器前的一張桌子上還放有顯示虛擬學(xué)生形象的卡片，以幫助這位參與者了解在屏幕中發(fā)生的事情。

TeachLivE系統(tǒng)允許教師在安全空間內(nèi)嘗試新事物，反思教學(xué)過(guò)程中的各類(lèi)互動(dòng)，并能在使用后獲得即時(shí)反饋。在TeachLivE虛擬實(shí)驗(yàn)室環(huán)境中建立具有典型個(gè)性特征與行為的虛擬學(xué)生。除了教師準(zhǔn)備外，TeachLivE系統(tǒng)也已經(jīng)在改善智力障礙兒童行為問(wèn)題的研究中取得了積極成果。[13]殘障兒童在與虛擬學(xué)生交流時(shí)會(huì)經(jīng)歷更少與非殘障同伴交流時(shí)產(chǎn)生的社交障礙。[14]

Caitlyn等研究者開(kāi)發(fā)了一種基于TeachLivE虛擬實(shí)驗(yàn)室環(huán)境，利用同伴指導(dǎo)（Peer Mentorship）幫助智力障礙學(xué)生提升溝通能力，試驗(yàn)采用創(chuàng)新促進(jìn)就業(yè)所需技能（In—FORCE）這一解決問(wèn)題的溝通干預(yù)策略。該策略包括社交溝通、同伴互動(dòng)、角色扮演以及基于虛擬現(xiàn)實(shí)場(chǎng)景的學(xué)習(xí)。該嘗試的參與者參與混合現(xiàn)實(shí)環(huán)境中的解決問(wèn)題的角色扮演活動(dòng)中。基于由美國(guó)勞工部創(chuàng)建的社交技能課程，問(wèn)題場(chǎng)景用于推動(dòng)In-FORCE干預(yù)中的角色扮演活動(dòng)。由6名專家組成的小組創(chuàng)建并驗(yàn)證20個(gè)場(chǎng)景。每一個(gè)場(chǎng)景都被制作成一段視頻，其中有一位敘述者來(lái)描述問(wèn)題，并且有一位成人虛擬主管從自身角度陳述問(wèn)題。在四個(gè)不同問(wèn)題場(chǎng)景中，治療組參與者與虛擬同伴C.J.見(jiàn)面。問(wèn)題解決技能的變化是在測(cè)試前和測(cè)試后的會(huì)議中，使用研究者建立的In-FORCE問(wèn)題解決檢核表來(lái)測(cè)量。治療組和控制組中都會(huì)出現(xiàn)一位虛擬主管化身Adkins女士（圖6所示）。研究結(jié)果顯示，試驗(yàn)參與者對(duì)于干預(yù)的真實(shí)性和有用性的反饋都是積極的。[15]

此外，F(xiàn)raser等研究者在TeachLivE實(shí)驗(yàn)室設(shè)計(jì)一位自閉癥虛擬學(xué)生來(lái)訓(xùn)練特殊教育教師對(duì)其實(shí)施回合式教學(xué)（Discrete Trial Teaching， DTT）的效果。在TeachLivE實(shí)驗(yàn)室對(duì)特殊教育教師訓(xùn)練中，遵循以下步驟，如圖7所示[16]。

研究證實(shí)，沒(méi)有開(kāi)展真實(shí)回合式教學(xué)的特殊教育教師，在TeachLivE實(shí)驗(yàn)室開(kāi)展45分鐘的混合現(xiàn)實(shí)技術(shù)環(huán)境中的回合式教學(xué)，在較短時(shí)間內(nèi)遠(yuǎn)遠(yuǎn)超過(guò)他們?cè)谡鎸?shí)環(huán)境中的此項(xiàng)教學(xué)效果。此外，每一位特殊教育教師僅在TeachLivE實(shí)驗(yàn)室接受一次培訓(xùn)后，就能將他們學(xué)到的新技能轉(zhuǎn)移到自己所在的真實(shí)教室中來(lái)，為自閉癥兒童提供教學(xué)。這證實(shí)了在混合現(xiàn)實(shí)環(huán)境中開(kāi)展學(xué)習(xí)時(shí)，在獲得最初的高度真實(shí)感（High Rate of Fidelity）后，技能的泛化（Generalization）很快就會(huì)發(fā)生。

四、不同混合現(xiàn)實(shí)技術(shù)間的比較

以上幾種混合現(xiàn)實(shí)技術(shù)盡管都被稱為混合現(xiàn)實(shí)技術(shù)，但由于實(shí)施對(duì)象、需求場(chǎng)景和設(shè)備自身功能及特點(diǎn)的不同，在活動(dòng)實(shí)施目標(biāo)、功能等方面均有差異。

（一）技術(shù)相似性層面

從技術(shù)相似性層面上看，虛擬場(chǎng)景布景的設(shè)計(jì)都采用了鮮艷、活潑的顏色，這能夠吸引殘疾兒童，尤其是患有孤獨(dú)癥譜系障礙的兒童和智力障礙的兒童的注意力。這些混合現(xiàn)實(shí)技術(shù)均強(qiáng)調(diào)參與者與場(chǎng)景間的互動(dòng)，如HoloLens眼鏡的關(guān)注點(diǎn)就在用戶與場(chǎng)景間的互動(dòng)上。

這幾種混合虛擬場(chǎng)景技術(shù)具有一定的相似性，如都是混合虛擬現(xiàn)實(shí)技術(shù)，都使用了顏色鮮艷的虛擬場(chǎng)景，符合殘障兒童的喜好，且都需要用戶參與互動(dòng)。混合現(xiàn)實(shí)魚(yú)缸技術(shù)是在魚(yú)缸表面上，“迷霧之地”混合虛擬現(xiàn)實(shí)技術(shù)是利用投影儀在地板上投影出虛擬場(chǎng)景來(lái)實(shí)現(xiàn)互動(dòng)，HoloLens是通過(guò)可穿戴式混合現(xiàn)實(shí)眼鏡在用戶所看到的真實(shí)環(huán)境中投射虛擬物品數(shù)字，同時(shí)利用控制器來(lái)實(shí)現(xiàn)互動(dòng)?；旌犀F(xiàn)實(shí)技術(shù)須關(guān)注用戶的沉浸感體驗(yàn)，他們的設(shè)計(jì)目標(biāo)都是吸引用戶積極、主動(dòng)地在他們構(gòu)建的虛擬場(chǎng)景中展開(kāi)互動(dòng)。

（二）技術(shù)差異化層面

以上提到的這些混合虛擬技術(shù)之間的不同之處有以下幾點(diǎn)：1.實(shí)施對(duì)象不同。HoloLens混合現(xiàn)實(shí)眼鏡、“迷霧之地”系統(tǒng)、混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)等混合現(xiàn)實(shí)技術(shù)所針對(duì)的用戶都是殘疾兒童，其應(yīng)用目的是解決殘疾兒童，尤其是神經(jīng)發(fā)育障礙兒童情緒、溝通以及行為上的障礙。而TeachLivE實(shí)驗(yàn)室系統(tǒng)面向的用戶則是各類(lèi)教師，是為了輔助職前或在職教師培訓(xùn)而設(shè)計(jì)的。2.用戶沉浸感不同。用戶沉浸感體驗(yàn)強(qiáng)度依次是HoloLens混合現(xiàn)實(shí)眼鏡、TeachLivE實(shí)驗(yàn)室系統(tǒng)、混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)、“迷霧之地”系統(tǒng)。3.所需場(chǎng)地不同。TeachLivE實(shí)驗(yàn)室系統(tǒng)所需場(chǎng)地面積最大，“迷霧之地”系統(tǒng)次之，混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)需要的場(chǎng)地最小。而HoloLens混合現(xiàn)實(shí)眼鏡對(duì)場(chǎng)地的要求則是隨著任務(wù)場(chǎng)景要求的變化而改變的。

（三）設(shè)計(jì)發(fā)明時(shí)間層面

從以上混合現(xiàn)實(shí)干預(yù)技術(shù)的發(fā)明時(shí)間上看，最早出現(xiàn)的技術(shù)是TeachLivE實(shí)驗(yàn)室，早在2008年就有公開(kāi)發(fā)表的文獻(xiàn)提到過(guò)該技術(shù)及其相關(guān)應(yīng)用的介紹。HoloLens混合現(xiàn)實(shí)眼鏡和混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)則是較新的混合現(xiàn)實(shí)技術(shù)。由此可以看出，將真實(shí)場(chǎng)景和虛擬現(xiàn)實(shí)場(chǎng)景呈現(xiàn)在更小、技術(shù)集成度更高的設(shè)備中是未來(lái)混合虛擬現(xiàn)實(shí)技術(shù)發(fā)展的一個(gè)方向。

五、混合現(xiàn)實(shí)技術(shù)對(duì)我國(guó)特殊教育干預(yù)發(fā)展的啟示

（一）混合現(xiàn)實(shí)技術(shù)為殘障兒童干預(yù)研究提供新方向

在國(guó)內(nèi)外如中國(guó)知網(wǎng)、Web of Science等數(shù)據(jù)庫(kù)輸入“混合現(xiàn)實(shí)技術(shù)”“特殊需要兒童”“特殊教育”等關(guān)鍵詞就會(huì)發(fā)現(xiàn)，目前國(guó)內(nèi)外特殊教育領(lǐng)域關(guān)于“混合現(xiàn)實(shí)技術(shù)”的相關(guān)研究較少。然而在科技領(lǐng)域，“混合現(xiàn)實(shí)技術(shù)”的研究和研發(fā)已非常普遍。因此，如何利用混合現(xiàn)實(shí)技術(shù)對(duì)殘障兒童，尤其是認(rèn)知障礙兒童開(kāi)展干預(yù)是特殊教育、康復(fù)等領(lǐng)域值得研究的問(wèn)題。

（二）混合現(xiàn)實(shí)技術(shù)為特殊教育教師培訓(xùn)帶來(lái)新思考

混合現(xiàn)實(shí)技術(shù)的出現(xiàn)顛覆了傳統(tǒng)的教師培訓(xùn)項(xiàng)目。尤其是TeachLivE實(shí)驗(yàn)室系統(tǒng)的出現(xiàn)，為現(xiàn)代化的特殊教育教師職前與職后培訓(xùn)帶來(lái)了新的思考。如何在不打攪課堂的情況下，對(duì)有情緒、行為問(wèn)題的殘障學(xué)生開(kāi)展課堂情緒行為管理？混合現(xiàn)實(shí)技術(shù)能就此為教師提出最優(yōu)的解決方案。此外，受到全球新冠疫情的影響，線下教學(xué)逐漸轉(zhuǎn)向線上，利用混合現(xiàn)實(shí)技術(shù)建立教師培訓(xùn)在線虛擬實(shí)驗(yàn)室，可以解決教師無(wú)法通過(guò)真實(shí)課堂管理和教育學(xué)生的問(wèn)題。

（三）混合現(xiàn)實(shí)技術(shù)為殘障兒童融入社會(huì)提供新保障

混合現(xiàn)實(shí)技術(shù)通過(guò)在真實(shí)環(huán)境中增加虛擬元素幫助訓(xùn)練殘障兒童各種融入社會(huì)所需的能力。HoloLens混合現(xiàn)實(shí)眼鏡能幫助神經(jīng)發(fā)育障礙兒童鍛煉生活自理能力，“迷霧之地”混合現(xiàn)實(shí)系統(tǒng)能幫助自閉癥兒童提升溝通、交流能力。混合現(xiàn)實(shí)技術(shù)不僅能夠增加用戶完成游戲任務(wù)過(guò)程中的趣味性，還能在殘障兒童執(zhí)行游戲任務(wù)的過(guò)程中采集和處理數(shù)據(jù)，評(píng)估殘障兒童在任務(wù)執(zhí)行過(guò)程中的錯(cuò)誤、不足和優(yōu)勢(shì)?？祻?fù)師可根據(jù)這些反饋結(jié)果對(duì)虛擬游戲人物進(jìn)行調(diào)整和修改，以提升殘障兒童的社會(huì)生活能力，幫助他們更好地融入社會(huì)。

（四）混合現(xiàn)實(shí)技術(shù)為殘障兒童輔助技術(shù)研發(fā)提供新領(lǐng)域

將高科技不斷引入特殊教育的各個(gè)環(huán)節(jié)，利用混合現(xiàn)實(shí)技術(shù)對(duì)神經(jīng)發(fā)育障礙兒童積極的干預(yù)。目前仍需要不斷地循證實(shí)踐（Evidence-Based Practice）來(lái)驗(yàn)證混合現(xiàn)實(shí)技術(shù)對(duì)神經(jīng)發(fā)展性兒童干預(yù)的有效性，同時(shí)在混合現(xiàn)實(shí)游戲設(shè)計(jì)中要增強(qiáng)帶入感、沉浸感以及互動(dòng)性。

（五）混合現(xiàn)實(shí)技術(shù)為我國(guó)融合教育實(shí)踐提供新支持

融合教育問(wèn)題逐漸得到政府部門(mén)和相關(guān)領(lǐng)域研究者的重視，而融合教育理念與政策能否最終落實(shí)，輔助技術(shù)有著關(guān)鍵的作用。在輔助技術(shù)領(lǐng)域中的創(chuàng)新不僅能夠幫助殘障兒童有效開(kāi)展康復(fù)活動(dòng)，還能幫助他們更好地融入課堂。面向殘障兒童的功能較為單一的傳統(tǒng)的輔助技術(shù)，已經(jīng)無(wú)法滿足殘障兒童在認(rèn)知與情感上的需要了，這類(lèi)傳統(tǒng)的輔助技術(shù)無(wú)法為他們提供綜合性輔助，也無(wú)法長(zhǎng)時(shí)間吸引殘障兒童的專注力。而混合現(xiàn)實(shí)干預(yù)技術(shù)能整合虛擬場(chǎng)景與真實(shí)場(chǎng)景，讓神經(jīng)發(fā)育障礙兒童有更加新奇的體驗(yàn)，能與環(huán)境展開(kāi)積極的互動(dòng)?；旌犀F(xiàn)實(shí)干預(yù)技術(shù)能給予兒童多感官刺激，通過(guò)執(zhí)行游戲任務(wù)來(lái)訓(xùn)練和提升他們的情緒管理、行為管理、生活自理等方面的能力。

參考文獻(xiàn)：

[1] Watts L.，Brennan S.，Phelps R.，IPadican：Trialing iPads to support primary and secondary students with disabilities.Australian Educational Computing，2012，27（2）：4 -12.

[2] 李歡，林佳英.近二十年國(guó)際特殊教育輔助技術(shù)研究的演化路徑分析[J].中國(guó)特殊教育，2020（1）：7-16.

[3] U.S. Environmental Protection Agency.Americas Children and the Environment （Third Edition）[M].Washington：Retrieved Fetrieved，2018.

[4] 孔璽. 混合現(xiàn)實(shí)技術(shù)及其教育應(yīng)用現(xiàn)狀與展望[J]. 現(xiàn)在遠(yuǎn)距離教育，2019（3）：82-83.

[5] 黃紅濤，孟紅娟，左明章，鄭旭東. 混合現(xiàn)實(shí)環(huán)境中具身交互如何促進(jìn)科學(xué)概念理解[J].文獻(xiàn)，2018（6）：28-36.

[6] Microsoft. Microsoft Holographic Spatial Mapping[EB/OL].（2018-3-21）[2020-10-5].https：//docs.microsoft.com/en-us/windows/mixed-reality/spatial-mapping.

[7] Beatrice a.，F(xiàn)ranca g.，Emanuele t.，et al.，Hololearn：Wearable Reality for People with Neurodevelopmental Disorders（NDD）[J]. ASSETS18，2018（1）：40-51.

[8] Ciera Rowell，Batuhan Sayis，Juan Pedro Benitez & Narcis pares，Mixed Reality，F(xiàn)ull-Body Interactive Experience to Encourage Social Initiation for Autism：Comparison with a control Nondigital Intervention[J]. Cyberpsychology，Behavior，and Social Networking，2020（23）：5-9.

[9] 勒新培，混合現(xiàn)實(shí)魚(yú)缸系統(tǒng)及其交互技術(shù)研究[D].青島：山東大學(xué)，2020.

[10] Juan Liu，Yulong Bian. Designing and deploying a mixed-reality aquarium for cognitive training of young children with autism spectrum disorder[J]. SCIENCE CHINA Information Sciences，2020（1）：1-3.

[11] Dieker L. A.，Hynes M et al，Implications of mixed reality and simulation technologies on special education and teacher preparation[J]. Focus on Exceptional Children，2008（40）：1-20.

[12] Melssa E. H，Karen S. V. & Guili Zhang.Mixed-Reality Teaching Experiences Improve Preservice Special Education Students Perceptions of their Ability to Manage a Classroom[J]. Journal of Virtual Worlds Research，2018（1）：1-16.

[13] Walker Z，Vasquez E.，Wienke W.，The impact of simulated interviews for individuals with intellectual disability[J]. Educational Technology & Society，2016（19）：76-88.

[14] Stendal K，Balandin S，Molka-Danielsen J，Virtual worlds：A new opportunity for people with lifelong disability？ [J]. Journal of Intellectual & Developmental Disability，2011（36）：80–83.

[15]? Caitlyn A B.Building Workplace Communication for Individuals with Intellectual Disabilities Using TeachLivE? [J].4th Annual teach live conference Orlando，2016：8-19.

[16] Dawn W F，Tamara J M，Using a Mixed-Reality Environment to Train Special Educators Working With Students With Autism Spectrum Disorder to Implement Discrete Trial Teaching[J]. Hammill Institute on Disabilities，2019（1）：1-12.