李曉英，余亞平

基于多模態(tài)感官體驗(yàn)的兒童音畫交互設(shè)計(jì)研究

李曉英，余亞平

(湖北工業(yè)大學(xué)工業(yè)設(shè)計(jì)學(xué)院，湖北 武漢 430068)

為解決兒童圖畫教育的單一灌輸形式和傳統(tǒng)圖畫繪制方式引起的兒童思維受限、互動(dòng)不足等問題，構(gòu)建基于多模態(tài)感官體驗(yàn)的兒童音畫交互系統(tǒng)。該系統(tǒng)基于兒童感官行為能力特征，融合視聽感官屬性并根據(jù)交互設(shè)計(jì)中人與物的關(guān)系匹配兒童音畫交互的設(shè)計(jì)需求，構(gòu)建兒童音畫交互行為；應(yīng)用可視化技術(shù)方法，建立聲音與圖畫的映射和兒童音畫交互平臺。通過創(chuàng)新繪畫體驗(yàn)，使兒童音畫創(chuàng)作方式更加豐富、多元，擴(kuò)展兒童認(rèn)知能力邊界。運(yùn)用模糊德爾菲法收集和篩選影響兒童繪畫的指標(biāo)因素并確定發(fā)聲繪畫體驗(yàn)指標(biāo)模型，模糊層次分析法計(jì)算各項(xiàng)指標(biāo)要素權(quán)重，采用訪談形式結(jié)合模糊綜合評價(jià)進(jìn)行兒童用戶相關(guān)實(shí)驗(yàn)，驗(yàn)證平臺的可行性。以兒童發(fā)聲作為圖畫創(chuàng)作的介質(zhì)，改變傳統(tǒng)圖畫手、腦、眼并用的繪制方式，從而優(yōu)化兒童的繪畫互動(dòng)體驗(yàn)與提高圖畫創(chuàng)作興趣。

多模態(tài)感官體驗(yàn)；視聽交互；兒童音畫交互平臺；聲音可視化；音畫映射

隨著社會(huì)及家庭對兒童教育問題的重視，兒童教育培養(yǎng)理念逐漸向創(chuàng)造力培養(yǎng)方向轉(zhuǎn)變[1]。傳統(tǒng)的兒童繪畫啟蒙教育以臨摹為主導(dǎo)，繪畫工具、材料、空間條件等外部因素一定程度上束縛了兒童的繪畫思維與創(chuàng)作天性。兒童易從有趣的互動(dòng)形式中產(chǎn)生積極的情緒[2]，隨著交互技術(shù)的發(fā)展，交互形式變得豐富、多元[3]，針對如何使兒童在寓教于樂中獲得教育的啟蒙，程寬[4]提出基于視聽聯(lián)覺教育的兒童智能玩具設(shè)計(jì)研究，建立色彩與音樂音符之間的交互方式，達(dá)到增進(jìn)兒童想象力與創(chuàng)造力的目的；周曄星[5]基于有形用戶界面的兒童音樂智能玩具設(shè)計(jì)研究，運(yùn)用視聽聯(lián)覺效應(yīng)建立音符、音符節(jié)奏變化和音符的長短與燈光指示信號、不同小燈的亮暗切換及亮燈持續(xù)時(shí)間的映射，實(shí)現(xiàn)了兒童感受音樂魅力的同時(shí)增強(qiáng)視覺感知能力的目標(biāo)。聲音可視化的研究方法不斷向科學(xué)化和系統(tǒng)化轉(zhuǎn)變[6-7]，為設(shè)計(jì)研究提供了多種應(yīng)用可能性。胡雨琦[8]將聲波頻率與色調(diào)、振幅與顏色的明度、飽和度建立映射，利用聲音可視化技術(shù)開發(fā)了一款以變換燈效的形式實(shí)時(shí)交換彼此環(huán)境聲音的情感交流氛圍燈。許媛[9]采用聲音可視化技術(shù)，借助水墨符號和抽象幾何圖形，運(yùn)用形式構(gòu)成法為觀者搭建體驗(yàn)橋梁，傳達(dá)聲音信息的視覺化呈現(xiàn)方式。張成義[10]則利用數(shù)字手段制作的交互式音樂數(shù)字可視化，音樂的潛在心理訴求反映到計(jì)算機(jī)界面與圖形圖像元素之上，以強(qiáng)化多動(dòng)癥兒童的注意力方式。在相關(guān)研究的基礎(chǔ)上，本文構(gòu)建基于多模態(tài)感官體驗(yàn)的兒童音畫交互系統(tǒng)、兒童音畫交互行為與可視化技術(shù)，建立聲音與圖畫變量的映射，改變傳統(tǒng)的手、腦、眼并用的圖畫繪制方式。以發(fā)聲作為圖畫創(chuàng)作的介質(zhì)，從而創(chuàng)新兒童的繪畫互動(dòng)體驗(yàn)與提高圖畫創(chuàng)作興趣。

1 兒童音畫交互系統(tǒng)設(shè)計(jì)研究

兒童體驗(yàn)周圍的世界以及與他人進(jìn)行互動(dòng)的方式根植于其應(yīng)對物理環(huán)境的感官，即：視覺、聽覺、觸覺、味覺或嗅覺。模態(tài)可以被廣義地定義為“一個(gè)依賴于感官的傳播媒介的系統(tǒng)”[11]。多模態(tài)感官體驗(yàn)結(jié)合了來自2個(gè)或多個(gè)感官系統(tǒng)并且通過人機(jī)交互向用戶傳達(dá)有效信息。視覺和聽覺感官相結(jié)合在人與產(chǎn)品交互和體驗(yàn)中發(fā)揮著不同的作用[12]。兒童音畫交互設(shè)計(jì)系統(tǒng)基于兒童音畫交互行為與多模態(tài)感官體驗(yàn)?zāi)Ｐ?，音畫交互系統(tǒng)建立的交互機(jī)制指導(dǎo)兒童的多感官體驗(yàn)，多模態(tài)感官體驗(yàn)?zāi)Ｐ屯瓿陕曇襞c圖畫的轉(zhuǎn)化。

1.1 兒童音畫交互系統(tǒng)

兒童的認(rèn)知與智力的發(fā)展主要以感官系統(tǒng)的發(fā)展為基礎(chǔ)[13]。不同時(shí)期的兒童感官認(rèn)知水平、心理動(dòng)機(jī)和行為特征會(huì)有所不同。3～5歲年齡段是兒童接受繪畫啟蒙教育的關(guān)鍵時(shí)期，視聽感官認(rèn)知、心理動(dòng)機(jī)及視聽感官行為特征(表1)。在聽覺上，對音樂接受能力及識別能力的增強(qiáng)、對歌曲所蘊(yùn)含情緒理解能力的提升，使兒童的音樂認(rèn)知能力逐漸改善，觸發(fā)兒童積極參與有趣的行為模式的心理，誘發(fā)其無意識哼唱行為，辨別音樂所表達(dá)情緒的行為及通過改變頻率或振幅有意識改變歌曲特點(diǎn)的行為。在視覺上，因?qū)︻伾?、形狀、大小、位置及移?dòng)快、慢等辨識能力逐漸增強(qiáng)，能明白圖畫或視頻表達(dá)的意義，促使兒童產(chǎn)生通過使用玩具作為道具來表達(dá)不斷發(fā)展的身份感的心理動(dòng)機(jī)，誘發(fā)兒童進(jìn)行形狀繪制、自主涂鴉與個(gè)性化繪畫的行為。

兒童音畫交互系統(tǒng)以3～5歲的兒童為研究對象，提取并分析該階段兒童的視聽感官行為能力特征，設(shè)計(jì)符合兒童心理認(rèn)知和自然行為的音畫互動(dòng)方式。兒童音畫交互系統(tǒng)(圖1)統(tǒng)一以兒童視覺與聽覺感官行為能力為基礎(chǔ)，感官行為能力特征引導(dǎo)兒童音畫交互行為。通過提取兒童行為能力特征關(guān)鍵詞并分析感官行為屬性來建立視聽行為，根據(jù)交互設(shè)計(jì)中人與物的關(guān)系匹配其需求要素，建立音畫交互行為。聽覺感官上，音樂有情緒屬性、固有屬性及物理參數(shù)；視覺感官上，圖畫有情緒屬性、組成元素、生成方式及狀態(tài)。將音樂的情緒屬性和物理參數(shù)與圖畫的情緒表現(xiàn)和組成元素建立關(guān)聯(lián)，構(gòu)建視聽感官的音畫交互行為。在繪畫過程中，兒童由繪畫娛樂需求到圖畫創(chuàng)造需求，上升至情感體驗(yàn)的需求。根據(jù)兒童的視聽感官行為能力特征和繪畫需求，引發(fā)兒童無意識哼唱歌曲行為，有意識用節(jié)拍、旋律、力度、速度等方式表達(dá)歌曲情緒的行為及改變歌曲固有屬性的發(fā)聲行為，以歌唱形式與他人進(jìn)行互動(dòng)的行為。實(shí)現(xiàn)兒童信息互動(dòng)的實(shí)時(shí)接收與反饋，達(dá)到提高兒童創(chuàng)造力與想象力的目標(biāo)。

表1 3～5歲兒童感官認(rèn)知、心理動(dòng)機(jī)及行為特征提取

圖1 兒童音畫交互系統(tǒng)

1.2 多模態(tài)感官體驗(yàn)?zāi)Ｐ?/h3>

圖2為基于視聽感官的多模態(tài)體驗(yàn)?zāi)Ｐ?，分為信息獲取階段的聲音域、聲音與圖畫映射階段的映射域、創(chuàng)意表達(dá)階段的可視化域3個(gè)部分。聲音域?yàn)槟Ｐ偷妮斎攵丝?，基于兒童感官行為能力，體現(xiàn)于視聽感官體驗(yàn)過程中聲音的輸入形式及用戶聲音信息樣本庫。映射域?yàn)槟Ｐ偷膭?chuàng)意映射部分，運(yùn)用可視化技術(shù)，構(gòu)建聲音與圖畫的映射。可視化域?yàn)槟Ｐ偷妮敵龆丝?，基于Bertin[14]的視覺變量，建立圖畫庫，通過動(dòng)畫機(jī)制與約束機(jī)制呈現(xiàn)圖畫輸出和創(chuàng)意表達(dá)，體現(xiàn)于視聽感官體驗(yàn)過程中圖畫庫和圖畫的輸出形式。

2 兒童音畫交互平臺設(shè)計(jì)

兒童音畫交互平臺包括聲音、圖畫映射及輸入與輸出的2個(gè)分支系統(tǒng)。音畫映射是聲學(xué)與視覺變量的映射分析過程；輸入與輸出系統(tǒng)分為2個(gè)部分。輸入系統(tǒng)為聲音的輸入形式及聲音樣本庫，輸出系統(tǒng)為圖畫樣本庫及圖畫的輸出形式。基于Touch Designer編程的聲音可視化技術(shù)，應(yīng)用音畫映射獲取創(chuàng)意表達(dá)及輸入與輸出系統(tǒng)來構(gòu)建聲音與畫面交互的平臺。

2.1 聲音圖畫映射分析

思維映射分析過程主要分為聲音屬性分析、圖畫屬性分析與映射3個(gè)環(huán)節(jié)。其中映射是該流程中的關(guān)鍵環(huán)節(jié)，主要是聲音信息經(jīng)過處理后獲得物理參數(shù)，建立波形、振幅、頻率與顏色、形狀的色彩飽和度、形狀的尺寸及形狀出現(xiàn)的速度間的映射。

圖2 多模態(tài)感官體驗(yàn)?zāi)Ｐ?/p>

在以聲音為主題的設(shè)計(jì)研究中，主要圍繞可視化技術(shù)實(shí)現(xiàn)聲音數(shù)據(jù)的可視化[15]。本文以基于Python語言的Touch Designer作為聲音數(shù)據(jù)主要的開發(fā)環(huán)境，對聲音可視化平臺的數(shù)據(jù)進(jìn)行呈現(xiàn)。該軟件擁有強(qiáng)大地編程能力和多樣的功能元件，其元件庫可以實(shí)現(xiàn)對聲音播放的控制、數(shù)據(jù)處理與分析，完成對波長、頻率、振幅等關(guān)鍵性聲音參數(shù)的值域分析和可視化呈現(xiàn)。作為一種基于節(jié)點(diǎn)模塊的分布式聲音處理軟件，可以在交互研究和設(shè)計(jì)開發(fā)中提供更加方便的數(shù)據(jù)接口。利用Touch Designer編碼程序進(jìn)行聲音信息的獲取與處理，將其分為音頻管理與播放及音頻分析2個(gè)環(huán)節(jié)。音頻管理與播放模塊主要控制聲音源的播放與切換，獲得左右聲道的波形圖。音頻分析模塊為音頻的處理、分析與數(shù)據(jù)獲取過程，左右聲道聲波經(jīng)過去噪、挑選、合并、數(shù)學(xué)、延后或頻譜分析等處理后獲得關(guān)于頻率與振幅的波形圖。

將顏色、形狀、尺寸、位置構(gòu)成圖畫的視覺變量。顏色固有屬性為色相、明度與飽和度；形狀為基本圖形的表現(xiàn)形式；尺寸為基本圖形的面積大??；位置為基本圖形的空間分布。

聲音與圖畫映射分析，如圖3所示。聲音信息經(jīng)過處理后獲得物理參數(shù)，建立波形、振幅、頻率與顏色、形狀的色彩飽和度、形狀的尺寸與出現(xiàn)的速度間的映射。波形映射顏色，調(diào)整R，G和B值設(shè)置基本圖像的顏色，振幅值域映射基本圖形顏色的飽和度，頻率值域映射基本圖形出現(xiàn)的速度及尺寸變化。隨著聲音信息實(shí)時(shí)輸入，物理參數(shù)值發(fā)生變化，視覺元素做出相應(yīng)的反饋。

2.2 輸入與輸出系統(tǒng)建立

圖4為兒童音畫交互平臺。輸入系統(tǒng)分為聲音的輸入形式與聲音樣本庫。聲音輸入主要分為單人模式和多人模式2種。兒童交互過程中的無意識行為、有意識行為構(gòu)成單人模式；多人互動(dòng)行為構(gòu)成多人模式。聲音樣本庫包含連續(xù)生成的聲音與間歇生成的聲音。

輸出系統(tǒng)分為圖畫庫與圖畫的輸出形式。圖畫庫包含：顏色、形狀、尺寸與位置4個(gè)庫。顏色庫中，單人模式時(shí)，色彩的設(shè)置是以心理學(xué)顏色[16]為參考，顏色匹配情緒；互動(dòng)模式時(shí)，顏色與波形匹配，暖色對應(yīng)女孩發(fā)聲波形，冷色對應(yīng)男孩發(fā)聲波形。形狀庫為點(diǎn)、線、面等表現(xiàn)形態(tài)。尺寸庫為面積大小庫。位置變量因考慮三維空間，即水平方向(軸)、垂直方向(軸)、垂直平面指向觀察者方向(軸)。圖畫的生成采用動(dòng)畫與約束機(jī)制。動(dòng)畫機(jī)制主要為隨機(jī)或規(guī)律的圖畫生成方式，包含波動(dòng)、折線、填充、旋轉(zhuǎn)、扭曲、重疊、分割、裂變、放射等。約束機(jī)制為圖畫中基本圖形的生成受到輪廓的束縛，外形輪廓庫由卡通人物、動(dòng)物、植物、交通工具等的外形輪廓組成[17]。圖畫為靜態(tài)圖畫與動(dòng)態(tài)視頻2種輸出形式?；緢D形的形狀、尺寸、顏色、位置及速度隨著聲音的實(shí)時(shí)播放并受其紋案輪廓外形的約束逐漸生成。

圖3 聲音與圖畫映射

圖4 兒童音畫交互平臺

2.3 基于聲音可視化的兒童音畫交互平臺流程設(shè)計(jì)

圖4為兒童音畫交互平臺流程。包括：①聲音信息采集。兒童自然發(fā)聲，利用計(jì)算機(jī)內(nèi)置的麥克風(fēng)進(jìn)行聲音音流的實(shí)時(shí)輸入。②聲音數(shù)據(jù)的處理與轉(zhuǎn)化。使用Touch Designer 編碼程序建立音頻管理與播放系統(tǒng)，控制兒童聲音與預(yù)設(shè)音頻文件的實(shí)時(shí)播放與切換。音頻分析模塊進(jìn)行聲音有效信息的處理及數(shù)據(jù)的呈現(xiàn)。通過音頻分析模塊將左右聲道的波形圖轉(zhuǎn)化為可被利用的波形圖，進(jìn)行波形圖、振幅及頻率的值域分析及量化呈現(xiàn)，通過程序編碼及節(jié)點(diǎn)連接并應(yīng)用聲音圖畫創(chuàng)意映射將波形圖、振幅及頻率等量化值與圖畫變量建立映射。③可視化的表達(dá)。通過對聲音與圖畫進(jìn)行實(shí)時(shí)同步控制，圖畫效果在屏幕終端呈現(xiàn)。音畫交互平臺是基于聲音與圖畫的映射思維，聲畫樣本庫的多項(xiàng)選擇，經(jīng)過編程平臺的整合完善，實(shí)時(shí)聲控和圖像控制等復(fù)雜功能的集成平臺。

兒童音畫交互平臺，以可視化技術(shù)為載體，建立聲音與圖畫的映射分析，使聲音與圖畫產(chǎn)生關(guān)聯(lián)。聲音輸入與圖畫輸出系統(tǒng)的多樣選擇，使平臺擁有多樣和豐富的內(nèi)容形式。音畫交互平臺的設(shè)計(jì)流程引導(dǎo)兒童完成聲音信息的實(shí)時(shí)輸入與視覺效果的動(dòng)態(tài)反饋。

3 兒童音畫交互案例展示

圖5以單人模式為例，進(jìn)行3～5歲兒童音畫交互案例展示。兒童以單人模式，根據(jù)自己的喜好與情緒進(jìn)行畫面元素的選擇，輸入聲音后基本圖形以填充生成方式進(jìn)行畫面視覺效果展示。隨著兒童發(fā)聲，小魚逐漸長大，如圖5(a)～(e)所示。系統(tǒng)提示后，兒童可保存畫面并結(jié)束創(chuàng)作；也可選擇繼續(xù)創(chuàng)作，出現(xiàn)相同的魚兒輪廓，界面顯示如圖5(f)和(g)所示；也可重新進(jìn)行畫面元素的選擇，輸入聲音后界面顯示如圖5(h)～(j)所示。此后可繼續(xù)創(chuàng)作或重新選擇畫面元素，也可保存畫面并結(jié)束創(chuàng)作。

在兒童音畫交互平臺上，兒童根據(jù)自己的喜好選擇圖畫元素進(jìn)行創(chuàng)作，如圖6所示。

4 用戶實(shí)驗(yàn)驗(yàn)證

參考文獻(xiàn)[18]構(gòu)建的設(shè)計(jì)評價(jià)方法，利用主客分析相結(jié)合來進(jìn)行兒童對發(fā)聲創(chuàng)作作品接受程度的實(shí)驗(yàn)，將兒童的主觀判斷進(jìn)行量化。①通過模糊德爾菲法(fuzzy Delphi method，F(xiàn)DM)收集影響兒童繪畫的指標(biāo)因素，由專家確定層級指標(biāo)因素，并確定兒童發(fā)聲繪畫體驗(yàn)指標(biāo)模型；②確定兒童發(fā)聲繪畫體驗(yàn)指標(biāo)權(quán)重，利用模糊層次分析(fuzzy analytic hierarchy process，F(xiàn)AHP)計(jì)算準(zhǔn)則層與二級準(zhǔn)則層所占權(quán)重比值[19]；③兒童在音畫交互平臺上進(jìn)行圖畫創(chuàng)作，以訪談的形式記錄兒童對發(fā)聲創(chuàng)作作品的評價(jià)；④結(jié)合權(quán)重進(jìn)行模糊綜合評價(jià)[20]。

將3～5歲年齡段兒童的發(fā)聲繪畫體驗(yàn)作為評價(jià)指標(biāo)要素。記錄兒童繪畫過程中的行為，兒童音畫交互系統(tǒng)，挖掘兒童發(fā)聲繪畫的影響因素。運(yùn)用FDM經(jīng)專家討論后確定兒童發(fā)聲繪圖體驗(yàn)的一級和二級準(zhǔn)則層的評價(jià)指標(biāo)。采用雙三角模糊數(shù)法對兒童發(fā)聲繪畫體驗(yàn)的二級評價(jià)指標(biāo)進(jìn)行問卷統(tǒng)計(jì)分析，利用“灰色地帶定檢法”檢驗(yàn)收斂性，得出門檻值=6.93，優(yōu)選出其二級評價(jià)指標(biāo)。最終確定14個(gè)二級準(zhǔn)則指標(biāo)為11顏色、12大小、13形狀、14圖案、15反饋、21聲音識別、22元素選擇、23互動(dòng)表現(xiàn)、24動(dòng)態(tài)展示、31趣味、32益智、33專注、34娛樂、35安全。兒童發(fā)聲繪畫體驗(yàn)層級指標(biāo)模型，如圖7所示。

兒童發(fā)聲繪畫體驗(yàn)的層級指標(biāo)因素權(quán)重見表2。以兒童發(fā)聲繪畫體驗(yàn)層級指標(biāo)模型為基礎(chǔ)，運(yùn)用FAHP對層級指標(biāo)權(quán)重進(jìn)行計(jì)算。對10位專家(兒童繪畫玩具設(shè)計(jì)專家5人、兒童心理學(xué)專家3人及技術(shù)專家2人)進(jìn)行層次分析問卷調(diào)研，運(yùn)用采用SAATY提出的1～9數(shù)值判斷尺度表，對各層、各評價(jià)指標(biāo)重要性比較評分的問卷匯總后分別構(gòu)建判斷矩陣。利用Yaahp軟件計(jì)算所有專家對于各評價(jià)指標(biāo)的權(quán)重值，采用幾何加權(quán)平均處理權(quán)重值求得最終結(jié)果，并通過一致性檢驗(yàn)。

圖5 兒童音畫交互案例展示流程((a)魚兒輪廓圖；(b)魚兒繪制過程圖；(c)魚兒填充圖；(d)魚兒長大圖；(e)魚兒最終生成圖；(f)繼續(xù)創(chuàng)作魚兒輪廓圖；(g)繼續(xù)創(chuàng)作魚兒最終生成圖；(h)選擇圖畫元素后貓咪輪廓圖；(i)選擇圖畫元素后貓咪繪制過程圖；(j)貓咪和魚作品圖)

訪問當(dāng)?shù)啬秤變簣@，對30名兒童進(jìn)行測試說明，兒童選擇元素在音畫交互平臺上進(jìn)行圖畫創(chuàng)作。作品完成后，以訪談形式記錄兒童對發(fā)聲創(chuàng)作作品的評價(jià)內(nèi)容。

圖6 兒童音畫作品展示((a)貓咪和魚作品圖；(b)猴子與桃作品圖；(c)果蔬作品圖)

圖7 兒童發(fā)聲繪畫體驗(yàn)層級指標(biāo)模型

Fig. 7 Hierarchical index model of children’s vocal painting experience

表2 兒童發(fā)聲繪畫體驗(yàn)的層級指標(biāo)因素權(quán)重表

將得到的模糊綜合評價(jià)矩陣與AHP得到的層級指標(biāo)權(quán)重進(jìn)行結(jié)合運(yùn)算。安全下的層級權(quán)重為

進(jìn)而得到可視化1評價(jià)權(quán)重向量為

同理得出體驗(yàn)2，發(fā)展3評價(jià)權(quán)重向量。

將二級準(zhǔn)則層的評價(jià)權(quán)重向量進(jìn)行組合建立綜合矩陣，并用一級準(zhǔn)則層的權(quán)重與之相乘，得出總評價(jià)權(quán)重向量

將總評價(jià)權(quán)重向量與評價(jià)分值加權(quán)計(jì)算，最終得到兒童對發(fā)聲創(chuàng)作作品的評價(jià)總得分值為81.91。根據(jù)模糊評價(jià)等級及評價(jià)標(biāo)準(zhǔn)，發(fā)聲創(chuàng)作作品的評價(jià)達(dá)到良好的等級，表明兒童對自己發(fā)聲創(chuàng)作的作品在一定程度上是認(rèn)可的。

5 結(jié)束語

以兒童視聽感官行為能力為基礎(chǔ)構(gòu)建兒童音畫交互系統(tǒng)，基于聲音可視化技術(shù)，建立聲音與圖畫變量的映射及兒童音畫交互創(chuàng)作平臺。在兒童音畫交互系統(tǒng)中，后續(xù)將繼續(xù)完善多人模式下的音畫聯(lián)合創(chuàng)作，繼續(xù)優(yōu)化音畫創(chuàng)作過程中聲音情緒屬性的表達(dá)。通過創(chuàng)新兒童繪畫體驗(yàn)，使兒童音畫創(chuàng)作方式更加豐富與多元，提升兒童的繪畫興趣，擴(kuò)展兒童的認(rèn)知能力邊界。

[1] 杜夢澤. 基于德培(DAP)教育理念下的學(xué)齡前兒童玩具設(shè)計(jì)[D]. 大連: 大連工業(yè)大學(xué), 2018.

DU M Z. Preschool children’s toy design based on DAP education concept[D]. Dalian: Dalian Polytechnic University, 2018 (in Chinese).

[2] WANG L Y. The influence of picture book interaction design on preschool children’s reading experience[M]//HCI International 2020 – Late Breaking Papers: Cognition, Learning and Games. Cham: Springer International Publishing, 2020: 485-503.

[3] 申兆偉. 基于交互體驗(yàn)的創(chuàng)意燈具設(shè)計(jì)[D]. 青島: 青島大學(xué), 2020.

SHEN Z W. Creative lighting design based on interactive experience[D]. Qingdao: Qingdao University, 2020 (in Chinese).

[4] 程寬. 基于視聽聯(lián)覺教育的智能玩具設(shè)計(jì)研究[D]. 杭州: 浙江大學(xué), 2016.

CHENG K. Design research of an intelligent toy based on synesthesia education[D]. Hangzhou: Zhejiang University, 2016 (in Chinese).

[5] 周曄星. 基于有形用戶界面的兒童音樂智能玩具設(shè)計(jì)研究[D]. 杭州: 浙江大學(xué), 2017.

ZHOU Y X. Design research of children’s music smart toy based on tangible user interfaces[D]. Hangzhou: Zhejiang University, 2017 (in Chinese).

[6] 徐百鳴. 聲音可視化中“音流學(xué)”的研究與探索[D]. 杭州: 中國美術(shù)學(xué)院, 2018.

XU B M. Research and exploration on cymatics in sound visualization[D]. Hangzhou: China Academy of Art, 2018 (in Chinese).

[7] 李雨蒙. 交互類聲音視覺化的設(shè)計(jì)表現(xiàn)方法研究[D]. 大連: 大連理工大學(xué), 2019.

LI Y M. Research on design presentation methods of interactive sound visualization[D]. Dalian: Dalian University of Technology, 2019 (in Chinese).

[8] 胡雨琦. 基于視聽通感的情感交流產(chǎn)品創(chuàng)新設(shè)計(jì)[D]. 杭州: 浙江大學(xué), 2020.

HU Y Q. Innovative design of phatic product based on audio-visual synaesthesia[D]. Hangzhou: Zhejiang University, 2020 (in Chinese).

[9] 許媛. 基于通感效應(yīng)的聲音視覺化研究: 以雨聲為例[D]. 杭州: 浙江理工大學(xué), 2019.

XU Y. A study of sound visualization based on synesthesia effect—A case study of rain sound[D]. Hangzhou: Zhejiang Sci-Tech University, 2019 (in Chinese).

[10] 張成義. 音樂數(shù)字可視化在多動(dòng)癥兒童治療中的設(shè)計(jì)與實(shí)現(xiàn)[D]. 北京: 北京工業(yè)大學(xué), 2015.

ZHANG C Y. Music visualization working on adhd’s treatment[D]. Beijing: Beijing University of Technology, 2015 (in Chinese).

[11] 懷高. 基于多模態(tài)感官用戶體驗(yàn)的移動(dòng)性能揚(yáng)聲器需求洞察[M]. 武漢:中國電力出版社, 2021: 774-783.

HUAI G. Insight into the needs of mobile performance speakers based on multimodal sensory user experience[M]. Wuhan: China Electric Power Press, 2021: 774-783 (in Chinese).

[12] 林霜, 黃若涵. 基于多模態(tài)感官用戶體驗(yàn)的產(chǎn)品聲音感知研究[J]. 裝飾, 2019(8): 102-105.

LIN S, HUANG R H. Research on product sound perception based on multimodal sensory user experience[J]. Art & Design, 2019(8): 102-105 (in Chinese).

[13] 高月梅, 張泓. 幼兒心理學(xué)[M]. 杭州: 浙江教育出版社, 1993: 59-60.

GAO Y M, ZHANG H. Preschool psychology[M]. Hangzhou: Zhejiang Education Publishing House, 1993: 59-60 (in Chinese).

[14] KOSCHMIDER A, FIGL K, SCHOKNECHT A. A comprehensive overview of visual design of process model element labels[M]//Business Process Management Workshops. Cham: Springer International Publishing, 2016: 571-582.

[15] 趙玉婉, 張丙辰, 王艷群, 等. 基于視覺認(rèn)知的自閉癥兒童干預(yù)圖卡角色造型設(shè)計(jì)研究[J]. 圖學(xué)學(xué)報(bào), 2020, 41(3): 461-468.

ZHAO Y W, ZHANG B C, WANG Y Q, et al. Research on role modeling design of intervention card for autistic children based on visual cognition[J]. Journal of Graphics, 2020, 41(3): 461-468 (in Chinese).

[16] 楊俊杰. 色彩心理學(xué)在兒童福利空間設(shè)計(jì)中的應(yīng)用研究[D]. 蘇州: 蘇州大學(xué), 2018.

YANG J J. The application research of color psychology in the design of children’s welfare space[D]. Suzhou: Soochow University, 2018 (in Chinese).

[17] 趙耀, 王祥. 基于聲學(xué)可視化技術(shù)的交互式空間數(shù)字設(shè)計(jì)研究[J]. 裝飾, 2020(4): 96-99.

ZHAO Y, WANG X. Research on digital spatial interactive design based on acoustic visualization technology[J]. Art & Design, 2020(4): 96-99 (in Chinese).

[18] 王志愿, 戴志鵬. 基于FDM與FAHP的兒童滑板車設(shè)計(jì)評價(jià)與改進(jìn)[J]. 圖學(xué)學(xué)報(bào), 2021, 42(5): 849-855.

WANG Z Y, DAI Z P. Design evaluation and improvement of Children’s scooter based on FDM and FAHP[J]. Journal of Graphics, 2021, 42(5): 849-855 (in Chinese).

[19] 王媚雪, 翟洪磊. 基于AHP與TOPSIS法的自閉癥兒童康復(fù)訓(xùn)練產(chǎn)品設(shè)計(jì)評價(jià)方法及應(yīng)用[J]. 圖學(xué)學(xué)報(bào), 2020, 41(3): 453-460.

WANG M X, ZHAI H L. Evaluation method and application of rehabilitation training products for autistic children based on AHP and TOPSIS[J]. Journal of Graphics, 2020, 41(3): 453-460 (in Chinese).

[20] 李靜, 祖江穎, 王依晨, 等. 基于AHP和模糊綜合評價(jià)方法的兒童早教機(jī)設(shè)計(jì)[J]. 包裝工程, 2021, 42(2): 118-122, 142.

LI J, ZU J Y, WANG Y C, et al. Design of early childhood instructor based on AHP and fuzzy comprehensive evaluation method[J]. Packaging Engineering, 2021, 42(2): 118-122, 142 (in Chinese).

Research on interactive design of children’s sound and painting based on multimodal sensory experience

LI Xiao-ying, YU Ya-ping

(School of Industrial Design, Hubei University of Technology, Wuhan Hubei 430068, China)

In order to solve the problems of children’s limited thinking and insufficient interaction caused by the one-sided inculcation of children’s picture education and the traditional way of drawing, the audio-visual interactive system for children based on multi-modal sensory experience was constructed. Based on the characteristics of children’s sensory capacity, the system integrated the audio-visual sensory attributes and matched the design requirements of children’s audio-visual interaction according to the relationship between human and objects in interaction design, and constructed children’s audio-visual interactive behaviors. The visualization technology was applied to the establishment of the mapping of sound and picture and the audio-visual interactive platform for children. Through the innovated painting experience, children’s sound and painting creation were made richer and more diversified, and the boundary of their cognitive ability was expanded. The fuzzy Delphi method was utilized to collect and screen the index factors affecting children’s painting and to determine the index model of vocal painting experience. The fuzzy analytic hierarchy process (AHP) was employed to calculate the weight of each index element. The feasibility of the platform was verified by experiments regarding children users, which were a combination of interviews and fuzzy comprehensive evaluation. Children’s vocalization served as the medium of painting creation, which could change the traditional drawing method using hands, brain, and eyes, thereby optimizing their interactive painting experience and heighten their interest in painting creation.

multimodal sensory experience; audio-visual interaction; children’s audio and painting interactive platform; sound visualization; sound and picture mapping

29 November，2021；

Special Program for Postgraduates of Hubei University of Technology (2020048); Industry-University Cooperative Education Fund of Ministry of Education (202002255007)

TP 391

10.11996/JG.j.2095-302X.2022040736

A

2095-302X(2022)04-0736-09

2021-11-29；

2022-04-17

17 April，2022

湖北工業(yè)大學(xué)研究生專項(xiàng)(2020048)；教育部產(chǎn)學(xué)合作協(xié)同育人基金項(xiàng)目(202002255007)

李曉英(1973-)，女，教授，碩士。主要研究方向?yàn)楫a(chǎn)品設(shè)計(jì)、用戶體驗(yàn)及交互設(shè)計(jì)等。E-mail：2239909513@qq.com

LI Xiao-ying (1973-), professor, master. Her main research interests cover product design and user experience, etc. E-mail：2239909513@qq.com