李萌,賈云鵬
智能家居場(chǎng)景下的兒童游戲交互設(shè)計(jì)研究
李萌1,2,賈云鵬1
(1. 北京郵電大學(xué) 數(shù)字媒體與設(shè)計(jì)藝術(shù)學(xué)院,北京 100876;2. 中國(guó)傳媒大學(xué) 動(dòng)畫(huà)與數(shù)字藝術(shù)學(xué)院,北京 100024)
智能家居環(huán)境為家庭中的游戲設(shè)計(jì)提供了新的可能性。探討在新場(chǎng)景下面向兒童的智能家居游戲交互設(shè)計(jì)策略,展示設(shè)計(jì)案例和實(shí)踐。簡(jiǎn)要概述智能家居的含義,說(shuō)明游戲作為家居活動(dòng)對(duì)家庭成員的重要性。之后引入智能家居場(chǎng)景下和兒童游戲設(shè)計(jì)緊密相關(guān)的3種交互技術(shù),分析了該環(huán)境為兒童游戲設(shè)計(jì)帶來(lái)的改變。最后依據(jù)相關(guān)案例推導(dǎo)出設(shè)計(jì)策略,展示了一個(gè)設(shè)計(jì)實(shí)踐。智能家居中可交互的表面和沉浸式空間體驗(yàn),為兒童游戲機(jī)制和體驗(yàn)帶來(lái)了拓展空間。新場(chǎng)景下的兒童游戲設(shè)計(jì)需要考慮并充分利用家居空間中的可交互表面,同時(shí)根據(jù)兒童用戶(hù)的行動(dòng)特征選擇交互空間,規(guī)避雜物造成的空間交互障礙,為兒童和家庭成員提供具身性、可協(xié)作、更自然的家居游戲體驗(yàn)。
智能家居;兒童游戲;游戲設(shè)計(jì);交互設(shè)計(jì);自然人機(jī)交互
隨著智能技術(shù)在居家場(chǎng)景中的廣泛應(yīng)用,智能家居為用戶(hù)帶來(lái)了更具自動(dòng)化和便利性的生活。2019年新冠疫情席卷全球,兒童在家庭場(chǎng)景中的游戲時(shí)間也因?yàn)榫蛹疑疃粩嘣黾印S螒蚴莾和钪械闹匾M成部分,也是兒童探索世界、和他人建立聯(lián)系的重要活動(dòng)。在家居智能化的背景下,兒童的游戲形態(tài)發(fā)生了變化,也因此帶動(dòng)了這一場(chǎng)景下游戲設(shè)計(jì)策略的迭代和更新。
針對(duì)用戶(hù)在智能家居場(chǎng)景中的游戲設(shè)計(jì),學(xué)術(shù)界近年來(lái)已有相當(dāng)數(shù)量的前沿研究案例散落在設(shè)計(jì)學(xué)、游戲?qū)W、計(jì)算機(jī)科學(xué)等領(lǐng)域的國(guó)際會(huì)議和重要期刊中,但這些案例大多為面向某一具象的智能家居場(chǎng)景,或某一具體游戲機(jī)制的案例設(shè)計(jì),鮮有針對(duì)新場(chǎng)景下新變化、新策略的梳理。在此背景下,本研究除了梳理面向兒童用戶(hù)的智能家居場(chǎng)景下游戲的新形態(tài)和新變化,還歸納相關(guān)案例并提出設(shè)計(jì)策略,最后展示了一個(gè)原創(chuàng)設(shè)計(jì)實(shí)踐,為設(shè)計(jì)師和相關(guān)研究者提供新思路。
在早期研究中,智能家居是一個(gè)相對(duì)寬泛的概念集合。這一名詞往往和全家自動(dòng)化、智慧家庭、可被感知的房屋等名詞混用[1]。此前,智能家居的定義等同于自動(dòng)化住宅,這一概念忽略了家庭環(huán)境中人與機(jī)器之間的交互[2]。Frances Aldrich認(rèn)為智能家居是能夠響應(yīng)并預(yù)測(cè)居住者需求的住宅,它能夠通過(guò)技術(shù)提升居住的舒適性、安全性、便利性和娛樂(lè)性[3]。Kirsten Hanssena[4]的研究將“家”的含義從居住場(chǎng)所拓展到物理和精神層面的活動(dòng)空間,使居住者感到家庭關(guān)系的連續(xù)性,并提供身份和價(jià)值認(rèn)同。這一觀點(diǎn)因?yàn)閷ⅰ凹摇钡暮x進(jìn)行了延伸而頗具啟發(fā)性。在上述研究的啟發(fā)下,本研究提到的智能家居場(chǎng)景既包含與外界連通的家居空間,還涵蓋了居住者在家庭環(huán)境中進(jìn)行的一系列智能活動(dòng)。智能家居由燈光和設(shè)備控制、安全報(bào)警控制、娛樂(lè)系統(tǒng)控制、遠(yuǎn)程醫(yī)療控制等模塊組成[5-6],具有環(huán)境智能化、服務(wù)智能化和溝通智能化的特點(diǎn)[7]。
游戲是3~6歲學(xué)齡前兒童的主要活動(dòng)類(lèi)型。研究表明,學(xué)齡前兒童在玩電子游戲上花費(fèi)了大量的時(shí)間,游戲除了為孩子們提供有趣味性的互動(dòng)體驗(yàn),還能促進(jìn)幼兒的認(rèn)知發(fā)展、社交互動(dòng)、體育活動(dòng)和健康行為[6]。在居家生活中,兒童的游戲行為大多需要家庭成員的陪伴,因此游戲還起到了充實(shí)家庭活動(dòng)、提升家庭成員運(yùn)動(dòng)或?qū)W習(xí)能力的作用,是增強(qiáng)家庭成員關(guān)系的紐帶。
電子游戲?qū)和挠绊懯且粋€(gè)在學(xué)術(shù)界引起諸多爭(zhēng)議的話(huà)題?,F(xiàn)在主流的兒童電子游戲以屏幕交互為主,有研究認(rèn)為,這些電子游戲?qū)е聝和B(yǎng)成久坐不動(dòng)的生活方式,阻礙了孩子們和家庭成員、同伴之間的社交生活[7]。不過(guò),設(shè)計(jì)得當(dāng)?shù)碾娮佑螒蚰軌驗(yàn)閮和瘞?lái)更好的情感和社交體驗(yàn)。因此,如何化解電子游戲?qū)е潞⒆泳米粍?dòng)與游戲能夠帶來(lái)認(rèn)知和情感提升的這對(duì)矛盾,近年來(lái)成為研究者關(guān)注的焦點(diǎn)。智能家居作為普適計(jì)算的應(yīng)用,其中包含的自然交互界面能夠?yàn)橛脩?hù)帶來(lái)多模態(tài)、自適應(yīng)的反饋,為以家居中實(shí)體物為游戲?qū)ο蠡蚪缑妗⑷覅f(xié)同參與的電子游戲形態(tài)提供了誕生的土壤。遺憾的是,當(dāng)前研究探討智能家居中兒童游戲的文章較少。因此,本研究探討的范圍,主要為學(xué)齡前兒童及其家庭成員共同在智能家居環(huán)境中進(jìn)行的協(xié)作性親子游戲。
人機(jī)交互是電子游戲技術(shù)中的重要部分,面向不同類(lèi)型的玩家,交互方式直接影響游戲機(jī)制和游戲體驗(yàn)。在降低認(rèn)知負(fù)荷的前提下,更加自然的交互技術(shù)能夠降低兒童用戶(hù)的學(xué)習(xí)成本,為他們帶來(lái)更真實(shí)的游戲體驗(yàn)。在智能家居環(huán)境中的游戲交互技術(shù)有很多,其中空間增強(qiáng)現(xiàn)實(shí)、語(yǔ)音交互、實(shí)體交互是其中的代表(見(jiàn)圖1)。本章節(jié)概述了當(dāng)前智能家居環(huán)境下的兒童游戲人機(jī)交互技術(shù),為下一章節(jié)中對(duì)新場(chǎng)景下兒童游戲新變化的論述作準(zhǔn)備。需要說(shuō)明的是,本部分內(nèi)容并非遍歷了所有的電子游戲人機(jī)交互技術(shù),而是選擇適用于智能家居場(chǎng)景下的相關(guān)技術(shù)進(jìn)行闡述。
圖1 智能家居中的兒童游戲場(chǎng)景
空間增強(qiáng)現(xiàn)實(shí)(Spatial Augmented Reality,SAR)能夠通過(guò)投影等各種技術(shù)方式在物理空間內(nèi)顯示出虛擬內(nèi)容。因?yàn)槿诤狭宋锢砗蛿?shù)字空間,并且允許多個(gè)用戶(hù)觀察融合后的場(chǎng)景,所以空間增強(qiáng)現(xiàn)實(shí)適用于具有空間感知、環(huán)境感知的智能家居系統(tǒng)。這一技術(shù)在物理空間中的顯示有基于顯示屏、空間光學(xué)穿透和基于投影的空間顯示這3種[10]?;谕队暗腟AR具有投影光路可能被遮擋、對(duì)光照和投影材質(zhì)有一定要求的缺陷,但是這一類(lèi)型的SAR在智能家居系統(tǒng)中更能滿(mǎn)足整體房間的沉浸式要求。IllumiRoom[11]是一個(gè)投影系統(tǒng),它通過(guò)擴(kuò)展、模糊電視屏幕的邊界,將屏幕中的內(nèi)容和房間環(huán)境融為一體,從而給客廳的游戲用戶(hù)帶來(lái)全沉浸的游戲體驗(yàn)。當(dāng)游戲開(kāi)始的時(shí)候,房間會(huì)變?yōu)橛螒蛑酗L(fēng)格化的樣子,和電子游戲中的效果進(jìn)行匹配。RoomAlive[12]是一個(gè)能夠自動(dòng)對(duì)房間情況進(jìn)行分析的智能游戲系統(tǒng),它通過(guò)分析房間的結(jié)構(gòu)布局、識(shí)別墻面和地板,將增強(qiáng)現(xiàn)實(shí)的數(shù)字游戲內(nèi)容疊加到特定的房間中。RoomAlive通過(guò)投影映射和空間增強(qiáng)現(xiàn)實(shí),可以?xún)H在當(dāng)前房間的地板范圍內(nèi)生成游戲中的敵人。
數(shù)字游戲中的語(yǔ)音交互技術(shù)包括將語(yǔ)音用于計(jì)算處理,或是用于玩家對(duì)電子游戲的輸入、輸出,但不包括玩家之間的語(yǔ)音交流[13]。這項(xiàng)研究始于20世紀(jì)70年代,最早是為了設(shè)計(jì)語(yǔ)言學(xué)習(xí)的游戲練習(xí)[14]。接下來(lái),研究者們開(kāi)始探索如何讓玩家用語(yǔ)音輸入來(lái)控制游戲,例如一些研究探索用音量和音高來(lái)控制接機(jī)類(lèi)游戲的角色移動(dòng)[15]。智能家居中安裝了用于檢測(cè)用戶(hù)語(yǔ)音行為的傳感器麥克風(fēng),數(shù)字游戲可以使用玩家的語(yǔ)音進(jìn)行角色的發(fā)言、操作游戲中角色的行為動(dòng)作(例如喊叫跳躍、射擊等),或是為角色的移動(dòng)路線(xiàn)進(jìn)行導(dǎo)航。在Yasuhati游戲中,玩家的音量控制游戲角色向前走:聲音越大,行走的速度越快。聲音超過(guò)一定范圍時(shí),角色就開(kāi)始跳躍[16]。語(yǔ)音輸入的控制方式自然且直接,并且因?yàn)槿菀渍莆斩m合兒童用戶(hù)。雖然玩家在使用語(yǔ)音交互玩游戲時(shí)容易胡言亂語(yǔ),但卻能獲得意想不到的有趣的游戲體驗(yàn)。
實(shí)體交互是將實(shí)體物對(duì)象與數(shù)字信息耦合,允許用戶(hù)通過(guò)抓握、移動(dòng)等自然交互方式對(duì)數(shù)字信息進(jìn)行操作的交互技術(shù)[17]。由于智能家居場(chǎng)景中的地板、墻面等物理表面可進(jìn)行感知計(jì)算,這些可觸摸的實(shí)體物表面也成為了兒童數(shù)字游戲的界面。通過(guò)實(shí)體物表面對(duì)游戲進(jìn)行控制,意味著用戶(hù)可以以更加自然、具身的方式進(jìn)行交互。
智能地板的交互技術(shù)是這一方向中的重要組成部分。地板對(duì)用戶(hù)行為的感知方式有計(jì)算機(jī)視覺(jué)和壓力感知2種?;谟?jì)算機(jī)視覺(jué)的方法主要通過(guò)在空間內(nèi)布置攝像頭,但會(huì)產(chǎn)生依賴(lài)光照、有透視影響、以及多用戶(hù)交互時(shí)的遮擋問(wèn)題。在臥室、洗手間應(yīng)用時(shí),還會(huì)暴露用戶(hù)的隱私?;趬毫Ω兄姆椒m然能夠在一定程度上避免上述問(wèn)題,但是卻無(wú)法準(zhǔn)確判斷用戶(hù)當(dāng)前的行為狀態(tài)。
GravitySpace[18]是一個(gè)8平方米的高分辨率可感知壓力的地板,它的感知方式是將基于攝像頭和壓力地板的解決方案進(jìn)行結(jié)合,這一方案能夠覆蓋房間內(nèi)墻體之間的地板面積,同時(shí)也能夠較好的保護(hù)用戶(hù)隱私。用戶(hù)和物體在地板上直接接觸時(shí),傳感器能夠感知地板的壓力分布;用戶(hù)在和地板上的虛擬物體接觸時(shí),研究者通過(guò)用戶(hù)姿勢(shì)、和虛擬物體的碰撞進(jìn)行上下文判斷,推斷當(dāng)前在地板上發(fā)生的用戶(hù)操作和狀態(tài)。用戶(hù)在GravitySpace中可以不佩戴任何設(shè)備,坐在地板上用身體直接控制賽車(chē)游戲;或是在地板上進(jìn)行一場(chǎng)虛擬足球游戲。Lumetila[19]是一個(gè)虛擬和實(shí)體空間相混合的游戲,由帶有觸覺(jué)傳感器的交互地板和虛擬現(xiàn)實(shí)應(yīng)用同時(shí)構(gòu)成。交互地能夠精準(zhǔn)的識(shí)別用戶(hù)的動(dòng)作,從而使得用戶(hù)通過(guò)踩踏交互地板這種更自然的人機(jī)交互方式來(lái)對(duì)游戲進(jìn)行控制。
IllumiRoom[11]RoomAlive[12]GravitySpace[18]Lumetila[19]
傳統(tǒng)的兒童交互游戲主要發(fā)生在以屏幕、頭戴顯示器為主的虛擬空間等。這些以桌面計(jì)算機(jī)和虛擬現(xiàn)實(shí)頭顯為代表的計(jì)算設(shè)備在可計(jì)算媒介、兒童和環(huán)境中實(shí)施了隔離。智能家居中兒童用戶(hù)的游戲行為伴隨著對(duì)空間的感知和環(huán)境嵌入。孩子在空間中自如的移動(dòng),聚焦在屏幕、電視、桌面等傳統(tǒng)游戲的空間被拓展到了整體家居空間,交互界面從屏幕和手柄拓展到了家居中的可觸表面??臻g的改變對(duì)兒童的電子游戲交互界面和交互區(qū)域產(chǎn)生了影響。
1)家居表面作為游戲的交互界面。通過(guò)和家居環(huán)境相配合,游戲機(jī)制已經(jīng)不僅局限于傳統(tǒng)圖形用戶(hù)界面、虛擬現(xiàn)實(shí)空間內(nèi)的游戲類(lèi)型。在此場(chǎng)景下,出現(xiàn)了在家居空間內(nèi)借助智能地板和墻面的虛擬足球、舞蹈,以及利用房間內(nèi)家具和空間、光影聲音相互配合的講故事游戲等新的游戲形態(tài)。SmartTiles是可以單獨(dú)進(jìn)行編程的智能瓷磚[20]。每一塊方形瓷磚上都排布了4×4的燈光陣列數(shù)組,并且內(nèi)嵌了獨(dú)立的小型計(jì)算機(jī)。其中,智能瓷磚上的每一盞燈都可以通過(guò)直接按壓來(lái)切換“點(diǎn)亮”或“關(guān)閉”狀態(tài)。智能瓷磚允許用戶(hù)進(jìn)行編程,并且可以通過(guò)拓展來(lái)擴(kuò)大面積區(qū)域,同時(shí)可以通過(guò)觸摸來(lái)改變瓷磚上的燈光狀態(tài),形成圖案。
2)家居空間適配游戲交互區(qū)域。房間中的墻壁、地板、家具等實(shí)體物,以及映射在其上的虛擬物不僅可以感知兒童對(duì)象的位置、行為和情緒,還能夠?yàn)閮和峁┓答?。換言之,當(dāng)孩子們?cè)谥悄芗揖涌臻g中用身體進(jìn)行具身性的協(xié)作游戲時(shí),他們知道房間會(huì)做出反應(yīng)。在這種模式下,智能家居被打造成為一個(gè)天然的游戲環(huán)境。Hide and Seek是一款智能墻紙[21],這款墻紙?jiān)试S兒童在墻面上和數(shù)字角色玩“躲貓貓”游戲。父母對(duì)家居表面作為游戲界面感到滿(mǎn)意,因?yàn)閷?shí)體界面能為孩子帶來(lái)不同的觸摸感受,并且?guī)椭麄儚膇Pad前站起來(lái)。
圖3 智能家居場(chǎng)景中兒童游戲的新變化案例
無(wú)論是電子游戲機(jī)上的跑酷、射擊游戲,還是以Wii為代表的體感游戲,用戶(hù)都不可避免地要去學(xué)習(xí)點(diǎn)擊左右按鍵、跳躍、揮動(dòng)手柄等操控方式。這些操控方式對(duì)成年人來(lái)說(shuō)可以迅速習(xí)得,但對(duì)兒童而言則需要更高的學(xué)習(xí)成本。自然人機(jī)交互技術(shù)下,兒童在場(chǎng)景中用身體來(lái)進(jìn)行操作,配合語(yǔ)音、表情識(shí)別等進(jìn)行更加自然的多模態(tài)交互。
1)多模態(tài)交互的游戲輸入輸出。Magika[22]是一個(gè)基于物聯(lián)網(wǎng)的兒童活動(dòng)空間,它包含了墻面和地板投影的虛擬世界,以及由玩具、燈、其他智能對(duì)象構(gòu)成的物理世界。Magika能夠自動(dòng)收集空間動(dòng)作、跟蹤面部情緒和聲音并進(jìn)行特征提取。Kid Space是面向兒童的智能交互空間,它通過(guò)投影對(duì)兒童在房間內(nèi)的狀態(tài)進(jìn)行感知[23]。兒童在空間中進(jìn)行多模態(tài)的輸入輸出,與物理空間中的對(duì)象進(jìn)行動(dòng)態(tài)交互。在Kid Space中使用了包括文本、聽(tīng)覺(jué)、語(yǔ)言、視覺(jué)等多種模態(tài):兒童進(jìn)行移動(dòng)、和物理對(duì)象交互時(shí)使用了視覺(jué)模態(tài);兒童和虛擬化身進(jìn)行對(duì)話(huà)時(shí)使用了語(yǔ)言、聽(tīng)覺(jué)模態(tài);投影顯示圖像和文本時(shí)使用了視覺(jué)模態(tài)。在Kid Space中,孩子們可以通過(guò)觸摸手勢(shì)、空中手勢(shì)、姿態(tài)動(dòng)作、面部表情、語(yǔ)音對(duì)話(huà)等多模態(tài)交互方式來(lái)和虛擬角色奧斯卡進(jìn)行互動(dòng),例如假裝給奧斯卡喂早餐、向奧斯卡提問(wèn)等。
2)基于情感計(jì)算的自適應(yīng)游戲處理系統(tǒng)。玩家在電子游戲中的情感需求有3個(gè),即系統(tǒng)輔助玩家以減少挫敗感、根據(jù)玩家狀態(tài)調(diào)整難度、與玩家進(jìn)行情感連接。在游戲中遇到困難和挫折會(huì)導(dǎo)致兒童玩家的游戲興趣降低?;谇楦杏?jì)算的自適應(yīng)游戲系統(tǒng)能夠根據(jù)玩家的狀態(tài)、情緒調(diào)整游戲難度。有研究者開(kāi)發(fā)了基于面部情感計(jì)算的打地鼠學(xué)習(xí)游戲系統(tǒng),并得出了情感計(jì)算用于自適應(yīng)游戲中能夠提升玩家主動(dòng)性的結(jié)論[24]。
傳統(tǒng)的兒童電子游戲具有離身屬性。孩子在屏幕前接受數(shù)字化的圖像、聲音和交互指令,然后通過(guò)鼠標(biāo)、觸屏或其他控制終端進(jìn)行操作。雖然兒童處于游戲之外或游戲之中,兒童、游戲和家居空間之間的關(guān)系是具有明確界限的。
智能家居環(huán)境為兒童電子游戲創(chuàng)造了具身的可能。兒童融入環(huán)境中和游戲進(jìn)行交互,身體的參與能夠提供強(qiáng)沉浸感,從而幫助孩子更好地對(duì)游戲進(jìn)行感知。KidsRoom[25]是麻省理工學(xué)院的媒體實(shí)驗(yàn)室(MIT Media Lab)研發(fā)的一個(gè)基于感知互動(dòng)的兒童智能房間。房間通過(guò)計(jì)算機(jī)視覺(jué)算法來(lái)對(duì)兒童在空間中的行為進(jìn)行識(shí)別。KidsRoom不僅能夠感知運(yùn)動(dòng)的位置和方向,還能夠通過(guò)上下文來(lái)對(duì)不同類(lèi)型的動(dòng)作進(jìn)行判斷。孩子們可以在不佩戴傳感器、頭戴式顯示器、麥克風(fēng)等設(shè)備的前提下進(jìn)入臥室,臥室中的床、柜子、架子均扮演了故事中的角色或道具。例如,可移動(dòng)的床在森林中是一棵樹(shù),在河流中則是一條船。孩子們靠近家具時(shí)會(huì)得到諸如“嘿,我是海盜的箱子!”這樣的語(yǔ)音提示。兒童可以根據(jù)提示靠近下一個(gè)家具并尋找故事的線(xiàn)索,并按照提示大聲喊出咒語(yǔ),從而推進(jìn)故事。在圖像、燈光、音樂(lè)等效果的映襯下,KidsRoom將兒童臥室打造成為一個(gè)智能敘事空間,孩子們?cè)谝龑?dǎo)下,完成了一個(gè)冒險(xiǎn)故事的扮演和敘述過(guò)程。
游戲化是指在非游戲場(chǎng)景下引入游戲設(shè)計(jì)元素,如積分、等級(jí)、任務(wù)等[26]。智能家居的控制呈現(xiàn)出游戲化趨勢(shì),具體表現(xiàn)在日常家居操作的趣味性提升。
AmI@Home是一個(gè)智能家居的管理和配置系統(tǒng)[27]。這一系統(tǒng)將游戲機(jī)制引入系統(tǒng)規(guī)則之中。每位家庭成員都有一套積分,可以通過(guò)規(guī)則向其他家庭成員申請(qǐng)?jiān)O(shè)備或請(qǐng)求服務(wù)。例如管理烤箱將獲得100積分,在廚房沒(méi)有人且烤箱運(yùn)轉(zhuǎn)過(guò)久的情況下,家庭成員會(huì)收到“關(guān)閉烤箱”的邀請(qǐng),他們?cè)谑盏酵ㄖ罂梢詫?duì)烤箱進(jìn)行操作,成功后會(huì)獲得積分。
根據(jù)上文對(duì)智能家居環(huán)境下兒童游戲人機(jī)交互常用技術(shù)的介紹,以及相關(guān)場(chǎng)景中兒童游戲的新變化,推導(dǎo)出智能家居場(chǎng)景中兒童游戲的3點(diǎn)設(shè)計(jì)策略。首先,智能家居場(chǎng)景的空間變化導(dǎo)致了兒童游戲空間的改變,這一變化將鼓勵(lì)兒童游戲交互和家居空間更好的融合;其次,智能家居中的人機(jī)交互從傳統(tǒng)的交互方式向著更加自然的交互方式進(jìn)行轉(zhuǎn)變,促使這一場(chǎng)景下的游戲設(shè)計(jì)為兒童和家庭成員提供多模態(tài)的交互方式;最后,孩子們?cè)谥悄芗揖迎h(huán)境下能夠身處游戲場(chǎng)景的包圍之中,身體的沉浸讓兒童獲得具身體驗(yàn)的可能性。因此在游戲設(shè)計(jì)時(shí)應(yīng)充分考慮從離身到具身的游戲體驗(yàn)改變。
圖4 智能家居場(chǎng)景中兒童游戲的新變化及其應(yīng)對(duì)策略
得益于兒童善于幻想的天性,智能家居游戲能夠使他們?cè)诜块g內(nèi)展開(kāi)想象。游戲的界面和設(shè)備隱藏在家居環(huán)境中,桌面、地板、墻面等空間組成和智能家具均可以作為交互界面。
智能家居并非意味著無(wú)限增大的居住空間,而是針對(duì)特定空間具有特定的智能設(shè)計(jì)。在不同的房間大小和布局中,兒童游戲系統(tǒng)通過(guò)分析房間的外觀來(lái)對(duì)墻面和地板的尺寸和空間信息進(jìn)行捕獲。游戲機(jī)制雖然大體相同,但根據(jù)空間特點(diǎn),會(huì)表現(xiàn)出不同的場(chǎng)景形態(tài)。
調(diào)用多種感官的交互方式能夠?yàn)閮和瘞?lái)全方位的感官刺激,可以提升兒童用戶(hù)的參與度和積極性。在智能家居環(huán)境中,嘗試將數(shù)字化的虛擬物品和家居物理空間進(jìn)行疊加,同時(shí)減少兒童用戶(hù)在游戲時(shí)的穿戴設(shè)備。通過(guò)實(shí)現(xiàn)兒童在空間中的自由移動(dòng),帶來(lái)更加自然的多模態(tài)交互體驗(yàn)。然而,多模態(tài)交互方式需要考慮兒童的年齡特征,例如低齡兒童不適于過(guò)多的全屋投影或全沉浸式虛擬現(xiàn)實(shí)技術(shù)(如VR),這將對(duì)兒童的視力發(fā)展造成傷害。
實(shí)際上,智能家居中的一些環(huán)境并不適合進(jìn)行觸摸和交互。因?yàn)榧揖迎h(huán)境中除了相對(duì)固定的家具,還會(huì)擺放裝飾品和一些易碎物品,例如桌子上的瓶子或是墻面上的油畫(huà)。對(duì)于兒童用戶(hù)而言,這些很容易帶來(lái)行動(dòng)上的安全隱患。因此,在當(dāng)前智能家居兒童游戲設(shè)計(jì)中,多數(shù)游戲交互空間應(yīng)考慮地板、墻面、桌面等更加寬闊的空間。
根據(jù)智能家居場(chǎng)景中游戲的新變化和設(shè)計(jì)策略,下面展示一個(gè)兒童游戲設(shè)計(jì)實(shí)踐——智能游戲桌。
兒童智能游戲桌由3個(gè)模塊組成,即一個(gè)支持協(xié)作的兒童和家庭成員用戶(hù)輸入模塊,由實(shí)體交互桌面以及能夠被感知位置和速度等信息的棋子組成。實(shí)體交互桌面是一個(gè)能夠滿(mǎn)足多點(diǎn)觸控的電容觸摸屏;一個(gè)邏輯處理模塊,由計(jì)算機(jī)及其中的交互應(yīng)用程序組成,用于記錄用戶(hù)的操作,并將操作的步驟和內(nèi)容存儲(chǔ)進(jìn)數(shù)據(jù)庫(kù);一個(gè)增強(qiáng)現(xiàn)實(shí)投影顯示模塊,用于為兒童和家庭成員提供游戲化的閱讀內(nèi)容、增強(qiáng)現(xiàn)實(shí)環(huán)境體驗(yàn)和游戲后的故事生成。
兒童智能閱讀桌面能夠滿(mǎn)足多人同時(shí)游戲。父母和孩子來(lái)到閱讀桌面前,選擇舒適的位置坐下來(lái)準(zhǔn)備開(kāi)始游戲。首先,在增強(qiáng)現(xiàn)實(shí)模塊提示下,父母陪伴孩子開(kāi)始電子繪本的閱讀。這部分閱讀不帶交互操作,并且父母需要為孩子進(jìn)行故事朗讀。故事的最后留下一個(gè)懸念,如“小男孩能否戰(zhàn)勝機(jī)器人?”此時(shí),父母和孩子來(lái)到游戲桌前,選擇各自代表的角色。
孩子和父母選擇桌面上的積木角色進(jìn)行扮演。桌面上小棋子的移動(dòng),映射了角色在故事中的運(yùn)動(dòng),見(jiàn)表1。
兒童和家庭成員一邊擺弄棋子,一邊在增強(qiáng)現(xiàn)實(shí)投影上觀看實(shí)體棋子映射在數(shù)字化世界中的動(dòng)畫(huà)。例如當(dāng)兩個(gè)棋子接觸、相撞時(shí),兒童和家庭成員完成打斗后,將在投影中觀看到虛擬角色的一段打斗動(dòng)畫(huà)。除此之外,增強(qiáng)現(xiàn)實(shí)投影允許角色在不同場(chǎng)景中切換,讓用戶(hù)感受到不同的沉浸式動(dòng)畫(huà)體驗(yàn),并且錄下自己編織的故事。
游戲交互完成后,孩子可以和家庭成員共同欣賞剛才的游戲動(dòng)畫(huà)錄像。兒童可以在這個(gè)環(huán)境內(nèi)開(kāi)展各種各樣的表演嘗試,同時(shí)扮演不同角色,錄制故事動(dòng)畫(huà)并且欣賞故事。
兒童智能游戲桌擁有一條相對(duì)固定的故事主線(xiàn)。在軟件層面,首先通過(guò)故事背景的介紹進(jìn)入場(chǎng)景模式。經(jīng)過(guò)場(chǎng)景初始化后,兒童和家庭成員控制的棋子角色出現(xiàn)在屏幕上的初始位置。其次,通過(guò)系統(tǒng)的引導(dǎo)和提示,用戶(hù)的操作和游戲中的故事控制器進(jìn)行通信,檢驗(yàn)棋子的合法性。最后,系統(tǒng)等待用戶(hù)進(jìn)行位移、旋轉(zhuǎn)等操作,將用戶(hù)的操作轉(zhuǎn)化為結(jié)構(gòu)化語(yǔ)義服務(wù),并將相關(guān)內(nèi)容存儲(chǔ)到數(shù)據(jù)庫(kù)中。存儲(chǔ)成功后,再逐層反饋,進(jìn)行用戶(hù)界面刷新,等待下一輪的用戶(hù)操作。和過(guò)往的兒童電子游戲不同的是,智能家居為人們提供了一個(gè)完全沉浸式的具身化體驗(yàn)空間。這種游戲形式更利于協(xié)作,并且和兒童身體的感官體驗(yàn)密不可分。
圖5 智能家居場(chǎng)景中的兒童游戲桌故事版示意
表1 桌面棋子運(yùn)動(dòng)和虛擬角色行為之間的映射關(guān)系
Tab.1 Mapping relationship between movements of pieces in table and virtual character behaviors
圖6 智能家居場(chǎng)景中的兒童游戲桌
研究了智能家居中兒童游戲的重要性,歸納了面向兒童用戶(hù)進(jìn)行智能家居游戲設(shè)計(jì)的關(guān)鍵技術(shù)。在此基礎(chǔ)上,梳理了在智能家居場(chǎng)景下兒童游戲的新變化,并且以前沿案例為基礎(chǔ)提出了游戲設(shè)計(jì)的相關(guān)策略。最后介紹了智能家居環(huán)境下兒童游戲設(shè)計(jì)的實(shí)踐案例。智能家居場(chǎng)景為面向兒童的游戲設(shè)計(jì)提供了多模態(tài)、全沉浸的體驗(yàn)環(huán)境,同時(shí)促使兒童的交互操作向自然交互進(jìn)行轉(zhuǎn)變。
[1] ALAM M R, REAZ M, ALI M. A Review of Smart Homes—Past, Present, and Future[J]. IEEE Transactions on Systems Man & Cybernetics Part C, 2012, 42(6):1190-1203.
[2] YAMAZAKI T. Beyond the Smart Home[C]. International Conference on Hybrid Information Technology. Cheju: IEEE, 2006.
[3] MANLEY E D, NAHAS H A, DEOGUN J S. Localization and Tracking in Sensor Systems[C]// SUTC '06: Proceedings of the IEEE International Conference on Sensor Networks, Ubiquitous, and Trustworthy Computing. New York: ACM, 2006: 237-242.
[4] GRAM-HANSSEN K, DARBY S J. "Home is Where the Smart is"? Evaluating Smart Home Research and Approaches Against the Concept of Home[J]. Energy Research & Social Science, 2018, 37: 94-101.
[5] 劉嬋嬋, 繆旭紅, 萬(wàn)愛(ài)蘭, 韓曉雪. 手臂監(jiān)測(cè)傳感器的設(shè)計(jì)與驗(yàn)證[J]. 絲綢, 2020, 57(2): 108-113.
LIU Chan-chan, MIAO Xu-hong, WAN Ai-lan, et al. Design and Verification of Arm Monitoring Sensor[J]. Journal of Suik, 2020, 57(2): 108-113.
[6] 鄒艷玲, 鄭聰, 江心雨, 胡吉永. 基于RFID技術(shù)的無(wú)線(xiàn)無(wú)源紡織應(yīng)變傳感器研究進(jìn)展[J].絲綢, 2021, 58(08): 53-59.
ZOU Ling-ling, ZHENG Cong, ZHENG Xin-yu, et al. The Progress of Research on RFID-based Wireless Passive Textile Strain Sensors[J]. Journal of Suik, 2021, 58(8): 53-59.
[7] 陳卯純, 孫薇, 趙小惠. 物聯(lián)網(wǎng)智能家居中的人機(jī)交互[J]. 包裝工程, 2014, 35(2): 64-67.
CHEN Mao-chun, SUN Wei, ZHAO Xiao-hui. Human-Computer Interaction in Internet of Things Smart Home[J]. Packaging Engineering, 2014, 35(2): 64-67.
[8] LIEBERMAN D A, FISK M C, BIELY E. Digital Games for Young Children Ages Three to Six: From Research to Design[J]. Computers in the Schools, 2009, 26(4): 299-313.
[9] FANG Meng-lin, TAPALOVA O, ZHIYENBAYEVA N, et al. Impact of Digital Game-Based Learning on the Social Competence and Behavior of Pre-Schoolers[J]. Education and Information Technologies, 2022, 27(3): 3065-3078.
[10] 袁慶曙, 王若楠, 潘志庚, 等. 空間增強(qiáng)現(xiàn)實(shí)中的人機(jī)交互技術(shù)綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2021, 33(3): 321-332.
YUAN Qing-shu, WANG Ruo-nan, PAN Zhi-geng, et al. A Survey on Human-Computer Interaction in Spatial Augmented Reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2021, 33(3): 321-332.
[11] JONES B R, Benko H, Ofek E, et al. IllumiRoom: peripheral projected illusions for interactive experiences [C]// CHI '13 Extended Abstracts on Human Factors in Computing Systems. New York: ACM, 2013.
[12] JONES B, SHAPIRA L, SODHI R, et al. RoomAlive: magical experiences enabled by scalable, adaptive projector-camera units [C]// the 27th annual ACM symposium. New York: ACM, 2014.
[13] ALLISON F, CARTER M, GIBBS M, et al. Design Patterns for Voice Interaction in Games [C]// Proceedings of the 2018 Annual Symposium on Computer-Human Interaction in Play. Melbourne VIC Australia. New York: ACM, 2018.
[14] JOHNSON W L, VALENTE A. Tactical Language and Culture Training Systems: Using AI to Teach Foreign Languages and Cultures[J]. AI Magazine, 2009, 30(2): 72.
[15] VIEIRA M, FU H, HU C, et al. PowerFall: A Voice- Controlled Collaborative Game [C]// In Proceedings of the first ACM SIGCHI annual symposium on Computer-human interaction in play (CHI PLAY '14). New York: ACM, 2014.
[16] FREEDOM C. Yasuhati[EB/OL]. (2017-02-01)[2022- 02-09]. https://www.mobygames.com/game/yasuhati.
[17] 米海鵬, 王濛, 盧秋宇, 等. 實(shí)物用戶(hù)界面: 起源、發(fā)展與研究趨勢(shì)[J]. 中國(guó)科學(xué): 信息科學(xué), 2018, 48(4): 390-405.
MI Hai-peng, WANG Meng, LU Qiu-yu, et al. Tangible User Interface: Origins, Development, and Future Trends[J]. Scientia Sinica (Informationis), 2018, 48(4): 390-405.
[18] ALAN B, CHRISTIAN H, DANIEL H, et al. GravitySpace: tracking users and their poses in a smart room using a pressure-sensing floor[C]// CHI '13 Conference on Human Factors in Computing Systems. New York: ACM, 2013.
[19] LEIKAS J, V??T?NEN A, R?TY V P. Virtual Space Computer Games with a Floor Sensor Control—Human Centred Approach in the Design Process[C]// International Workshop on Haptic Human-Computer Interaction. Berlin: Springer, 2001.
[20] ELUMEZE N, EISENBERG M. Smarttiles: Designing Interactive Room-Sized Artifacts for Educational Computing[J]. Children Youth and Environments,2005,15(1):54-66.
[21] HOARE C, CAMPBELL R, FELTON R, et al. Hide and seek: Exploring interaction with smart wallpaper[C]// Proceedings of the 2015 Annual Symposium on Computer-Human Interaction in Play. London United Kingdom. New York: ACM, 2015.
[22] GELSOMINI M, COSENTINO G, SPITALE M, et al. Magika, a Multisensory Environment for Play, Education and Inclusion[C]// CHI EA '19: Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. New York: ACM, 2019: 1-6.
[23] ANDERSON G J, PANNEER S, SHI Meng, et al. Kid Space: Interactive Learning in a Smart Environment [C]// GIFT'18: Proceedings of the Group Interaction Frontiers in Technology. New York: ACM, 2018: 1-9.
[24] TSAI T W, LO H Y, CHEN K S. An Affective Computing Approach to Develop the Game-Based Adaptive Learning Material for the Elementary Students[C]// Proceedings of the 2012 Joint International Conference on Human-Centered Computer Environments, New York: ACM, 2012: 8.
[25] BOBICK A. The Kidsroom: A Perceptually-Based Interactive and Immersive Story Environment[J]. Presence, 1999, 8(4):369-393.
[26] DETERDING S, DAN D, KHALED R, et al. From Game Design Elements to Gamefulness: Defining "Gamification"[C]// International Academic Mindtrek Conference: Envisioning Future Media Environments. New York: ACM, 2011.
[27] FOGLI D, LANZILOTTI R, PICCINNO A, et al. AmI@ Home: A Game-Based Collaborative System for Smart Home Configuration.[C]// Proceedings of the International Working Conference on Ad-vanced Visual Interfaces. New York: ACM, 2016.
Interaction Design of Children's Games in Scenarios of Smart Homes
LI Meng1,2, JIA Yun-peng1
(1.School of Digital Media & Design Arts, Beijing University of Posts and Telecommunications, Beijing 100876, China; 2.School of Animation and Digital Art, Communication University of China, Beijing 100024, China)
The smart homes environments provide new possibilities for home game design. This paper is to explore design strategies for smart home game interactions for children in the new scenario. First, present a brief overview of the meaning of smart home and explain the importance of game as a home activity for family members. Then introduce three interactive technologies closely related to children's game design in the smart home scenario, analyze the changes brought by smart homes to children's game design. And finally propose design strategies based on relevant design cases and show a design practice. The interactive surfaces and immersive spatial experiences in smart homes provide room for expansion of children's game mechanisms and game experiences. The design of children's games in the new scenario needs to consider and make full use of the interactive surfaces in the home space, while choosing interactive space according to the action characteristics of children users, avoiding the spatial interaction barriers caused by fragmented furniture, and providing children and family members with an embodied, collaborative, and more natural home game experience.
smart home; children’s game; game design; interaction design; natural human-computer interaction
TB472
A
1001-3563(2022)16-0068-08
10.19554/j.cnki.1001-3563.2022.16.007
2022–03–12
北京市社會(huì)科學(xué)基金青年項(xiàng)目(21YTC037)
李萌(1983—),女,中國(guó)傳媒大學(xué)動(dòng)畫(huà)與數(shù)字藝術(shù)學(xué)院博士生,北京郵電大學(xué)數(shù)字媒體與設(shè)計(jì)藝術(shù)學(xué)院講師,主要研究方向?yàn)閮和L本的交互敘事設(shè)計(jì)和信息設(shè)計(jì)。
賈云鵬(1976—),男,博士,北京郵電大學(xué)數(shù)字媒體與設(shè)計(jì)藝術(shù)學(xué)院教授,主要研究方向?yàn)閿?shù)字影像設(shè)計(jì)和虛擬現(xiàn)實(shí)影像設(shè)計(jì)。
責(zé)任編輯:陳作