摘要：筆者團隊針對數(shù)字時代低齡段聽障兒童學習發(fā)音難的問題設計出了一款適用于聽障兒童發(fā)音學習的沉浸式互動裝置《以我的名字呼喚我》（Call Me by My Name），以期緩解特殊教育目前面臨的師資不足等問題，為聽障兒童學習發(fā)音提供了一種新思路。

關鍵詞：聽障兒童學習發(fā)音沉浸式互動視覺觸覺

目前，數(shù)字媒體設計已經深入滲透到人們的日常生活中，但應用于特殊教育的數(shù)字媒體設計卻不多，涉及聽力障礙（以下簡稱\"聽障\"）兒童發(fā)音教育的更少。在2021年世界衛(wèi)生組織發(fā)布的《世界聽力報告》［1］中提到全世界范圍內以每100萬人口為單位，79%的高收入國家擁有50名或以上語言治療師，而87%的低收入國家和66%的中低收入國家只擁有不到1名語言治療師［2］，這與約4.3億人（即全球人口的5.5%）正在經歷至少中等程度聽力損失的人數(shù)不相匹配。因此，當下亟須有效方案解決當前特殊教育面臨的師資不足等問題，而本文的研究與設計實踐就是為解決這一問題而做出的嘗試。

數(shù)十年來，能滿足聽障人士日常生活需求的研究與設計產品在世界范圍內不斷涌現(xiàn)。關于聲學參數(shù)的研究，學者們通常關注聲音的類別或強弱，而在1987年，加拿大的羅伯特·沃克（Robert Walker）創(chuàng)新性地將聲學參數(shù)的研究范圍定位到刺激聽覺的四個具體聲音參數(shù)（頻率、波形、振幅和持續(xù)時間）之間，并加以區(qū)分不同的聲學參數(shù)映射到視覺的呈現(xiàn)，最終解決了頻率、波形、振幅和持續(xù)時間與視覺形狀、顏色、空間等聯(lián)系的問題。［3］2013年，第一款使用平板電腦測聽儀評估兒童聽力的游戲程序誕生了，這項設計能夠評估和篩查兒童顫音、聽閾，這為評估聽障兒童的聽力提供了一條新的路徑。［4］2018年，一款名為\"唱機魔術\"（PHONOMAGIC）的物理游戲板問世，首次將物聯(lián)網技術與非傳統(tǒng)的互動系統(tǒng)進行整合。該游戲板中的游戲界面是人類耳蝸的造型，該設計可以被看作是一款連接了物聯(lián)網且還原了耳蝸結構的教學器材，是對當下傳統(tǒng)單一教學模式的一種突破。旳同年，一款名為\"卡賽特\"（CASETO）［6）的交互式鋼琴游戲問世，該設計將人工耳蝸的形態(tài)與鋼琴樂器結合起來，每當按下一個鋼琴音符時，與該音符相關的顏色就會投射到相應的音鍵上，為聽障兒童的音樂教學提供了便捷。國內的相關設計雖然起步較晚，但也已經做出了不少嘗試。2011年創(chuàng)立的\"曉語\"網站是一款為聽障人士設計的跨平臺網站，結合了眾包、區(qū)塊化的模式，為聽障兒童線上社區(qū)化學習提供了更多可能0[7]2019年，一款名為\"聲鏡\"的AR （Augmented Reality，增強現(xiàn)實）眼鏡將語音、交通信號、消息提示音視覺化后呈現(xiàn)在眼鏡中的屏幕上，通過增強現(xiàn)實技術幫助聽障人士\"看見\"聲音，解決了聽障人士在日常生活中無法聽到警示聲音（如交通信號等）等一系列的安全問題。[8]2021年，一款主打關愛聽障兒童心理的游戲誕生，它將聽力認知與游戲任務情景化結合，為移動終端游戲服務與數(shù)字媒體技術應用于聽障兒童互動學習中起到指導性作用。[9]

通過筆者調研發(fā)現(xiàn)，目前市面上關于聽障兒童學習發(fā)音的研究及應用存在以下三點不足。首先，不重視觸覺等其他感官對聽障人群的作用；其次，忽略了低齡段聽障兒童這一群體，很少有適合這一群體學習發(fā)音的產品，過往的研究也都主要以成年聽障人士為主。其實聽障兒童對韻母、聲母發(fā)音學習的好壞，在很大程度上決定了其成年后是否能形成良好的漢語發(fā)音能力；最后，已有的應用設計缺乏聽障人士學習發(fā)音過程中很重要的誘導機制和反饋機制。

一、聽障兒童學習發(fā)音的相關研究

聽障兒童學習發(fā)音的最佳年齡不同于普通兒童，對于普通兒童而言，分別為1至3歲的早期階段以及4至6歲的晚期階段。但是，1至3歲聽障兒童構音特質的相關實驗表明，聽障兒童在2至3歲時不能掌握與普通兒童早期階段數(shù)量相當?shù)囊艄?jié)一平均聲母1.87個，韻母4.79個，他們只能掌握音節(jié)1.87個，相當于健全兒童1至2歲的水平，[10]但在早期階段聽障兒童的發(fā)音會隨著年齡的增長有很大提升空間。

通過補償假設（compensation hypothesis）理論來解釋：相對于聽力健全的人，聽覺的喪失使聽障人士無法獲取一定量的聲音信息，從而會更加依賴其他感官。因此，他們的視覺、觸覺等在一定程度上代償了他們在聽覺上的不足， 并且一些研究結果顯示，聽障兒童的感官依賴程度為：視覺〉觸覺〉味覺〉嗅覺。其中，聽障兒童對視覺的依賴度高達92%。［11］在聽障兒童與聽力健全兒童比較視覺識別敏感度的實驗中，聽障兒童的視覺反應速度與觀察能力普遍優(yōu)于聽力健全兒童。四研究指出，聽力健全的兒童學習發(fā)音是受聲音刺激而嘗試模仿的，而對聽障兒童來說，通過視覺和觸覺的感知是刺激其發(fā)音的最有效方法。如語言治療師通常引導聽障兒童模仿他們所觸摸、感受的咽喉、鼻腔等發(fā)音器官的震動來進行發(fā)聲練習。

對聽障兒童來說，學習發(fā)音有內外兩方面的阻礙。于內：第一，由于聽障兒童先天聽力喪失，所以其沒有主動發(fā)音的意識；第二，聽障兒童無法自行判斷發(fā)音的對錯，也不具備聲音反饋機制；第三，聽障兒童對發(fā)聲存在一定的心理障礙，因害怕發(fā)音錯誤，所以不敢在公共場合說話；第四，聽障兒童無法判斷自己的發(fā)音器官，或較難通過觸摸發(fā)音器官的震動與控制發(fā)音器官來正確發(fā)音。于外：目前，聽力康復教師、語言治療師等相關的老師、醫(yī)生數(shù)量較少，大量聽障兒童無法獲得系統(tǒng)的發(fā)音訓練，從而錯過語言學習的黃金期。

二、《以我的名字呼喚我》的設計思路與技術支持

以上述理論研究為基礎，筆者團隊設計了一款誘導聽障兒童學習發(fā)音的裝置一《以我的名字呼喚我》。該設計所針對的目標群體主要為1至3歲且先天聽力喪失的兒童。人的聽力受損分先天和后天，若是先天喪失聽力，那兒童在孩童時期就聽不到發(fā)音，致使他們沒有模仿發(fā)音的欲望，從而錯過學習語言的最佳時期， 嚴重者會完全喪失語言能力，且極難修復。下文筆者將分析該裝置的設計思路及技術支持。

（一）沉浸式動畫

研究表明，以沉浸式動畫為學習的驅動力，能夠更好地激發(fā)聽障兒童的探索欲與學習的積極性，減輕他們對學習發(fā)音的抵觸心理與緊張情緒。因此，《以我的名字呼喚我》的設計以\"在森林里探索一奇遇一互動\"的沉浸式故事線為承托，通過體驗者和精靈的聲音互動達到讓其發(fā)音的目的。體驗者進入該裝置模型的沉浸式空間后，會先看到裝置中的樹洞，樹洞中藏有無規(guī)律運動且形態(tài)各異的小精靈。此時，體驗者可以\"呼喚\"小精靈或與小精靈打招呼，便會獲得小精靈的不同反饋。同時，體驗者可以觸摸樹洞前的咽喉模型，來感受發(fā)音器官的位置與震動頻率。該裝置應用了聲音感應技術，能夠模擬咽喉和鼻腔的振動。在其未監(jiān)測到任何聲音時，樹洞中的泡泡動畫會隨機運動，一旦檢測到人聲，樹洞中則會切換為精靈的動畫。

在聽障兒童使用該裝置學習發(fā)音的過程中，該裝置中的反饋機制會出現(xiàn)兩種情況：當使用者發(fā)音正確時，就會產生正面情緒響應，并自動切換至下一個拼音字母的動畫；當使用者發(fā)音錯誤時，就會產生負面情緒響應，并繼續(xù)保持當前拼音字母的動畫，直到使用者發(fā)音正確才會切換至下一個拼音字母的動畫。

（二）目標群體適應性

裝置的設計要符合目標群體的喜好與接受程度，所以《以我的名字呼喚我》的視觸覺部分，包括裝置的空間設計、精靈角色形象設計、精靈的動畫設計以及觸覺模型都以該裝置目標年齡段群體的喜好、接受度作為設計的出發(fā)點。

《以我的名字呼喚我》視覺部分的設計靈感源于兩方面：一是起源于 17 世紀的萬物有靈論（animism）[13]的哲學思想，其要義為“世間任何物體都有自己的靈魂”。該裝置的設計以調動聽障兒童學習發(fā)音積極性為目的，結合萬物有靈論，將音節(jié)擬人化轉化為一個個小精靈，創(chuàng)造了一個能吸引兒童的動畫角色。二是筆者團隊在搜集資料時，發(fā)現(xiàn)了一些奇幻主題的元素，包括樹洞、神秘生物、古樹等，它們更容易激發(fā)低齡兒童的探索欲。因此，團隊將精靈的角色定位為一種未知的、新奇的生物，以樹洞、神秘生物、古樹等元素做搭配，以激發(fā)兒童探索和學習的好奇心。

在色彩設定方面，筆者團隊發(fā)現(xiàn)《96 名聽障學生顏色偏好的研究》[14]一文中提出聽障兒童喜好的色彩更偏向藍色、白色，為此設計團隊將藍色選定為該裝置的基礎色調。在裝置沉浸式空間的設計方面，筆者團隊選擇將整個裝置置于一個較暗的空間中以提高體驗者的沉浸感，同時以四周的熒光材料以及屏幕動畫引導體驗者探索。

在《以我的名字呼喚我》觸覺部分的設計中，設計團隊考慮了 1 至 3 歲聽障兒童的喜好與接受度的問題。在設計初期，筆者團隊想使用聚氯乙烯（Polyvinyl chloride，簡稱“PVC”）作為原材料。聚氯乙烯是氯乙烯單體在過氧化物、偶氮化合物等引發(fā)劑或在光、熱作用下聚合而成的聚合物，是世界上產量最大的塑料產品之一，很多藝術裝置的制作都會選用這種材料。但經過團隊實驗發(fā)現(xiàn) PVC 材料并不適合用作觸覺裝置的外包材料，主要有三方面原因：一則 PVC 材料的震感傳遞較不明顯，體驗者難以通過微弱的震動判斷觸摸模型的發(fā)音區(qū)域；二則該裝置的使用群體主要是低齡兒童，PVC 模型的形象因為過于寫實，難以被低齡兒童接受；三則使用 PVC 材料做觸覺裝置外包材料時，該裝置內置的馬達、接收器等構件需要進行翻模成型，這增加了觸覺裝置制作的難度與成本，恐怕難以大范圍推廣。通過不斷實驗，筆者團隊最終選擇布料和棉絮作為外包材料，因為其具備了三個非常重要的優(yōu)勢：第一，使用布料便于數(shù)碼噴繪打印或者手繪上色，易于咽喉結構的制作呈現(xiàn)；第二，該裝置最外層使用布料包裹，同時在內置的馬達、接收器、電路板等周圍填充棉絮，使用這些材料制作的觸覺裝置的震感傳遞明顯優(yōu)于使用PVC材料；第三，最終觸覺裝置的成品形象近似布偶，更容易被兒童接受。

（三）反饋機制的設計

在對聽障兒童學習發(fā)音的沉浸式教學中，應當配有反饋機制與獎勵機制。其中，反饋機制能讓使用者判斷自己發(fā)音的對錯，而獎勵機制能激發(fā)聽障兒童學習的動力。為了加強聽障兒童對拼音字母的發(fā)音學習，需要讓他們進行\(zhòng)"眼手合作\"的互動式學習。一方面，為了讓聽障兒童通過觀察裝置外部的咽喉剖面結構，來調動感官，習得發(fā)音器官的分布；另一方面， 為了調動他們的觸覺感官，通過觸摸裝置的震動區(qū)域感受器官如何發(fā)音，了解發(fā)音時需要使用的器官部位。反饋裝置內置的聲音接收器在檢測到聽障兒童的發(fā)音后，會自動進行識別并做出相應的震動反饋。聽障兒童通過對該裝置的反復觸摸，來分辨不同拼音字母發(fā)音時對應的不同發(fā)音位置，并不斷加深記憶。在測試該裝置時，任何頻率的聲音都會讓其做出反饋， 為避免使用時其他雜音的干擾以及造成不必要的視覺、觸覺反饋，筆者團隊根據(jù)辨析發(fā)音的理論基礎，將裝置的聲音接收器設定為只接受特定頻率的信號，即符合人說話的集中發(fā)音頻率段。

《以我的名字呼喚我》的視覺反饋與觸覺反饋是需要相互配合的。當裝置接收到新的聲音時，視覺反饋機制會中斷動畫的播放，直接開始對新的聲音做出反應。而觸覺模型的反饋是物理震動，必須等待震動動作停止才能接收新的信號。因此，設計團隊對視覺部分的體驗流程做出相應調整，以保證視覺、觸覺反饋的一致性。此外，設計團隊還對裝置的視覺反饋與聲音互動進行了調整：考慮到用戶發(fā)出聲音時的位置不固定，同時音源可能受體驗者身高或運動軌跡變動的影響，團隊將動畫中精靈的運動軌跡設置在樹洞的各個方位，使其能夠適應用戶的不同位置。

（四）技術支持

《以我的名字呼喚我》的互動裝置是由收音麥克風、計算機、一體機顯示屏幕三部分組成， 通過游戲引擎U nity完成處理工作。筆者團隊通過編寫代碼實現(xiàn)該裝置的各項功能，包括分析檢測聲音音頻、匹配聲音、實現(xiàn)精靈動畫的運動軌跡和麥克風的錄音控制。觸覺與聲音的互動由內置收音器、計算機、馬達、咽喉鼻腔模型四部分組成。當使用者發(fā)音時（按照韻母次序發(fā)音），與視覺裝置結合的收音麥克風依靠發(fā)音捕捉系統(tǒng)檢測聲音，并將它傳導到計算機內。計算機接收后，對該聲音信號進行分析，并從預設好的音頻庫中尋找并播放匹配的發(fā)音與動畫。同時，觸覺裝置中的內置收音器也會將聲音信號轉化為電信號，再將其導入裝置內的芯片上，并從預設好的音頻庫中尋找匹配的音頻震動。

三、結語

《以我的名字呼喚我》為聽障兒童提供了沉浸、放松的游戲式學習空間，通過視覺和觸覺刺激引導聽障兒童發(fā)音。除此之外，創(chuàng)造性地將誘導、糾正機制引入聽障兒童學習發(fā)音的教學過程中，以期緩解聽障兒童發(fā)音教育目前面臨的兒童學習積極性不強且?guī)熧Y不足等問題， 為聽障兒童學習發(fā)音的沉浸式互動設計提供了新的思路。

注釋：

[1]World Health Organization.The World Report On Hearing[R/OL].（2O21—O3—O3）[2O22—O5—13]. https：//www.who.int/publications/i/item/world- report—on—hearing.

[2]\"語言治療師\"是指擁有語言治療專業(yè)公認的文憑或學位的人。（在一些國家，言語治療是聽力學訓練的一部分。）

[3]WALKER R. The Effects Of Culture， Environment， Age， And Musical Training On Choices Of Visual Metaphors For Sound[J].Percept Psychophys，1987：491—502.

[4]YEUNG J， JAVIDNIA H， HELEY S， BEAUREGARD Y， CHAMPAGNE S， BROMWICH M. The New Age Of Play Audiometry： Prospective Validation Testing Of An Ipad—Based Play Audiometer[J]. J Otolaryngol Head Neck Surg，2013 ，42⑴：21.

[5]CANO S， FLOREZ-ARISTIZABAL L， COLLAZOS CA， FARDAOUN H， ALGHAZZAWI DM. Designing Interactive Experiences for Children with Cochlear ImplantJ]. Sensors （Basel）， 2018：7.

[6]同[5]，第9頁。

[7]余妍.\"曉語\"——面向聽覺障礙者的服務應用設計[D].清華大學，2013.

[8]莫小慧.聽障者AR眼鏡應用的視覺界面設計與研究[D].華南理工大學，2019.

[9]周玉翠，吳楊，韓梅.針對聽障兒童移動終端心理理論游戲設計研究J].藝術與設計（理論），2020，2（11）：99—102.

[10]易海燕，李永勤，孫莉，王莎.1-3歲聽障兒童構音特征研究J].中國聽力語言康復科學雜志，2017，15（4）：272.

[11]余陳美，李雨薇，楊震，吳琴.基于弱聽障用戶的聲音可視化互動研究與設計——See Your Voice[C]//.工業(yè)設計研究（第六輯），2018：229—234.

[12]肖瑞雪，鄭權.多媒體課件中插圖對聽障兒童閱讀影響的眼動研究J].現(xiàn)代教育技術，2013，23（3）：45—49.

[13]泛靈論（animism），又名\"萬物有靈論\"，后來被廣泛解釋為泛神論。萬物有靈論認為天下萬物皆有靈魂或自然精神，并在控制間影響其他自然現(xiàn)象。倡導此理論者認為自然現(xiàn)象與精神也深深影響人類社會行為，一棵樹和一塊石頭都跟人類一樣，具有同樣的價值與權利。

[14]曹娟，莊玉，張新立.96名聽障學生顏色偏好的研究 J].中國校醫(yī)，2011，25（1）：3—5.

[15]王鐘斐，王彪.基于時頻分布的漢語語音關鍵頻率分布研究J].電子設計工程，2011，19（10）：14—18.