馬曉娜，張雨欣，于茜

基于多模態(tài)信息交互的智能家居設計研究

馬曉娜1，張雨欣1，于茜2

（北京航空航天大學 a.新媒體藝術與設計學院 b.軟件學院，北京 100191）

針對界面、語音等單一智能家居交互模式阻礙用戶自然體驗的瓶頸問題，探索基于多模態(tài)信息交互的智能家居設計方法，實現(xiàn)智能家居更自然、友好的用戶體驗?；谟脩羧粘Ｉ疃嗄B(tài)的自然交互特點，探索一種以多模態(tài)為特征的智能家居信息交互模式，構建了面向智能家居的多模態(tài)信息交互設計框架，并對該框架中的構成要素、交互流程、模態(tài)組織方式及多模態(tài)信息的注意度、模態(tài)密度、模態(tài)結構配置進行分析討論。智能家居多模態(tài)信息交互實現(xiàn)了智能家居系統(tǒng)的主動性、交感化信息獲取和情境化的信息分析與反饋，對提升智能系統(tǒng)自主性，降低用戶在交互過程中的認知負荷，以及實現(xiàn)更加自然、友好的用戶體驗有積極價值。智能家居環(huán)境需要改變傳統(tǒng)相對單一的人機系統(tǒng)信息交互方式，以多模態(tài)信息交互促進智能家居使用體驗的最優(yōu)化。

智能家居；多模態(tài)；信息交互；交互設計

20世紀90年代初，美國聯(lián)合科技公司將建筑設備信息化、整合化概念應用于首棟“智能型建筑”，由此揭開了智能家居設計的序幕。以家居環(huán)境為平臺，利用控制技術、自動化技術和信息交互技術的智能家居成為當今家居生活的發(fā)展趨勢。

用戶、環(huán)境與智能家居之間的有效信息交互是智能家居設計的關鍵。智能家居通過相應信息采集設備（如各類傳感器、攝像頭等）獲取用戶與環(huán)境信息，實時控制反饋以滿足用戶需求和應對環(huán)境改變。當前的智能家居主要依賴用戶通過觸控界面、語音或者手勢等單一控制模態(tài)的主動輸出、系統(tǒng)被動接收的方式獲取指令。這種交互方式限制了用戶在人機交互中的自然性需求，同時局限了智能家居系統(tǒng)在智能性上的潛力。因此，改變當前智能家居被動接收用戶單一模態(tài)信息輸入的舊模式，探索能夠主動獲取、加工及反饋多模態(tài)信息的新模式，將為創(chuàng)造更加自然的智能家居交互體驗提供可能。

1 多模態(tài)信息交互

1.1 多模態(tài)研究

現(xiàn)代腦科學研究中以“模態(tài)”通指感官及其相應的神經(jīng)系統(tǒng)[1]，感官模態(tài)包括視覺（眼睛）、聽覺（耳朵）、嗅覺（鼻子）、味覺（舌頭）、觸覺（皮膚）等“五覺”，以及其他如體覺、痛覺、癢覺、溫覺、內(nèi)臟覺、平衡覺等[2]?！澳B(tài)”被認為是人類通過以上感官系統(tǒng)跟外部環(huán)境（人、機器、物件、動物等）之間的互動方式，上述“五覺”分別對應視覺模態(tài)、聽覺模態(tài)、觸覺模態(tài)、嗅覺模態(tài)和味覺模態(tài)等互動模態(tài)[3]。用單個感官進行互動叫單模態(tài)，用2個感官進行互動叫雙模態(tài)，用3個及以上叫多模態(tài)。一種感官對應一種模態(tài)，以視覺為例，眼睛和處理視覺信號的神經(jīng)系統(tǒng)組成一個視覺模態(tài)[4]。相應的，多模態(tài)是指多個感覺器官和處理各自信號的神經(jīng)系統(tǒng)。

從信息交互的角度看，模態(tài)是交流的渠道和媒介。社會符號學派認為模態(tài)是在社會文化中形成的創(chuàng)造意義的符號資源，是一種可被感知和闡釋的符號系統(tǒng)，通常包括語言、圖像、聲音、空間和身體動作等不同形式[5]，主要以符號系統(tǒng)的數(shù)量來界定多模態(tài)話語。在信息傳遞中，混合使用聲音、圖像、顏色、動作等不同形式的符號資源，這種多元意義呈現(xiàn)方式被稱為多模態(tài)[4]。語言學家Norris[6]指出，人類互動具有多模態(tài)性。人際互動通過人的語言、表情、身體姿勢、動作及與人相關的空間距離、場景布局、音樂、物體等多元化模態(tài)信息的協(xié)同使用來進行。

不同視角下，多模態(tài)研究的對象與方法各有不同，但其理論假設較為一致：一是多模態(tài)資源協(xié)同運作以表達意義和完成動作；二是每種模態(tài)資源或符號系統(tǒng)都有自己的組織系統(tǒng)。這為多模態(tài)人機交互的研究提供了基礎。

1.2 人機交互的多模態(tài)轉向

話語意義是由多種模態(tài)構成、傳遞和解釋的，因此，人類交際中使用一種模態(tài)會同時觸動使用另外一種或幾種模態(tài)，例如使用口語交流時，通常還涉及注視、手勢、身體姿勢、身體距離等。人機交互也是基于相同的思維方式，用戶向他人（包括計算機）發(fā)出信息，準確的話語意義往往是通過多種模態(tài)構成和傳遞的，計算機系統(tǒng)需要能夠對用戶的多模態(tài)信息分解識別，并通過融合分析進行用戶意圖的準確把握。

單一模態(tài)的交互方式信息通量低，交互過程死板，難以滿足用戶自然交互的需求。增加人機互動模態(tài)是目前人機交互的主要研究內(nèi)容之一。人機交互過程是一種多模態(tài)信息耦合交互的過程，涉及文字、圖像、語音、動作等多種交互信息[7]。多模態(tài)人機交互就是人們使用多種感官模態(tài)，通過多種物理媒介，與計算機等機器進行多渠道、多形式的信息交互。例如仿真機器人讓機器像人一樣通過5種感官模態(tài)獲取信息，以人的認知邏輯進行信息采集[8]。對智能系統(tǒng)來說，多模態(tài)人機交互的根本是依靠智能系統(tǒng)類人腦的多模態(tài)功能，在多種智能感官系統(tǒng)的支撐下，通過多模態(tài)協(xié)同機制實現(xiàn)多元信息的采集、分析、理解與意義的構建。

2 智能家居信息交互模式發(fā)展

2.1 智能家居信息交互傳統(tǒng)模式

智能家居系統(tǒng)的感知與人的感官感知遵循相同的邏輯，給機器配上感官系統(tǒng)(即信息采集設備)從而模擬人的視覺、聽覺、觸覺等功能，通過手勢識別、語音識別、觸控界面等途徑進行信息獲取。

2.1.1 智能系統(tǒng)與用戶交互

目前，智能家居系統(tǒng)與用戶的信息交互中，主要依賴用戶發(fā)出指令。用戶基于智能系統(tǒng)的信息采集方式選擇單一模態(tài)的輸入（如語音或者手勢等）向智能系統(tǒng)發(fā)出指令，智能系統(tǒng)通過麥克風、攝像頭和不同類型的傳感器被動地接收用戶指令，進行分析與反饋。

以語音輔助界面交互為例，基于語音交互的智能系統(tǒng)包括3個部分，即輸入單元、處理單元和輸出單元，見圖1。第1部分，即智能交互輸入單元，當用戶發(fā)出語音指令，輸入單元中的電子收音設備采集到語音信息，該信息將在語音模塊中轉化成文本信息。如果用戶同步通過軟鍵盤輸入信息，輸入單元的電子觸摸模塊通過其傳感器會采集相關文本信息；第2部分，智能交互處理單元的人工智能模塊接收到文本信息進行分析，根據(jù)原有數(shù)據(jù)庫合成反饋信息；第3部分，智能交互輸出單元中的語音合成模塊接收到處理單元輸出的反饋信息，將文本數(shù)據(jù)轉化為語音數(shù)據(jù)，再通過音頻輸出設備向用戶播放。

智能語音助手是智能家居最直接的信息交互載體之一。亞馬遜的Echo系列是家庭智能語音助手典型產(chǎn)品。在新一代產(chǎn)品升級中，亞馬遜在語音交互之外增加了觸摸屏幕與攝像頭，成為一個加入了圖像識別（攝像頭）和觸控交互（觸摸屏）的智能語音助手，讓用戶擁有了自由度更高的交互選擇，亞馬遜Echo多模態(tài)信息交互見圖2。

圖1 智能系統(tǒng)與用戶語音模態(tài)信息（輔以界面）交互流程

圖2 亞馬遜Echo系列家庭智能語音助手多模態(tài)信息交互

人臉識別也是目前智能家居中信息交互的重要模態(tài)，人臉識別基于專用攝像機進行主動探測，基于動態(tài)視頻流識別用戶身份，不需要用戶主動配合，能快速精準地識別人臉信息。

隨著互動技術的發(fā)展，通過身體交互實現(xiàn)姿態(tài)智能控制，逐漸成為智能家居系統(tǒng)與用戶的主要交互方式。手勢的手型、運動、位置、方位等協(xié)同言語和其他身體行為在日常會話互動中有效傳遞信息，表達意義。Alanwar等[9]面向智能家居環(huán)境，提出手勢控制智能手表SeleCon，該設備使用慣性傳感器進行指向手勢檢測，可以實現(xiàn)84.5%的設備選擇準確率和97%的手勢識別準確率。此外，通過腦電、眼動等信號讀取用戶意圖成為一種重要的智能系統(tǒng)信息交互手段。Alrajhi等[10]開發(fā)基于腦機接口（BCI）的智能家居系統(tǒng)，通過Emotiv Epoc+檢測用戶的大腦信號，讓四肢癱瘓的人僅使用大腦信號打開/關閉門，以減少對護理人員的需求。

2.1.2 智能系統(tǒng)與環(huán)境交互

目前，智能家居系統(tǒng)通過對環(huán)境中人的語音、體態(tài)、人臉信息，以及環(huán)境中的溫度、濕度、光照度、壓力等信息的主動采集與分析進行自動化反饋。胡旭央等[11]研究智能家居場景中的睡眠場景，認為對智能家居場景中的光線、溫度、濕度、氣味等氛圍要素，空間布局、規(guī)模、功能等空間要素，用戶社交、服務關系等社交要素，以及數(shù)據(jù)的輸入、輸出等數(shù)據(jù)要素的關聯(lián)設計十分重要，智能家居場景需要關注以上各方面的影響與相互作用，才能為用戶提供良好的體驗。

智能家居系統(tǒng)通過各類傳感器和執(zhí)行器監(jiān)測、采集環(huán)境信息，通過分析環(huán)境數(shù)據(jù)的變化實現(xiàn)特定功能的控制。例如通過溫濕度傳感器、煙霧傳感器、光照傳感器等感知模塊進行數(shù)據(jù)信息自動采集。在基于AVR的智能家居系統(tǒng)中，當溫濕度傳感器采集的溫度超過了預設的閾值后，系統(tǒng)將向執(zhí)行層的空調(diào)發(fā)送打開空調(diào)的命令以啟動空調(diào)；當煙霧傳感器探測發(fā)現(xiàn)煙霧環(huán)境異常時，系統(tǒng)將向通信模塊發(fā)出報警信息。系統(tǒng)的主控層對傳感層上傳的數(shù)據(jù)進行分析及處理，然后向執(zhí)行層發(fā)送控制指令。各模塊的主要流程見圖3[12]。

2.2 智能家居自主交互與多模態(tài)交互需求

2.2.1 智能家居自主交互

家庭環(huán)境有特殊的信息交互需求，用戶希望在家庭環(huán)境中獲得舒適、自然、安逸的生活狀態(tài)，這需要智能家居設計中強化智能系統(tǒng)對用戶與環(huán)境信息的主動獲取，以提供更自然、更友好的人機交互體驗。

Rose等[13]提出物體具有“感知的自主性”，這是一種“部分來自人們認為機器擁有和做的東西，部分來自被設計成機器的東西的屬性”。Karthik等[14]優(yōu)化智能系統(tǒng)任務分配方法，提出了新的任務分配技術，智能系統(tǒng)主動尋求任務分配來降低用戶負擔，實現(xiàn)人機平等的伙伴型無縫協(xié)作。Philipp[15]等將光纖傳感器及壓電傳感器集成到家庭環(huán)境的木地板中，通過室內(nèi)定位、步數(shù)檢測、步態(tài)分析、運動分析等監(jiān)測住戶位置及步數(shù)信息，讓用戶在自然行走中無意識輸出信息，緊急事件發(fā)生時系統(tǒng)將自動啟動救援程序。Wu[16]等提出基于異構傳感器數(shù)據(jù)的智能家居非參數(shù)活動識別系統(tǒng)，系統(tǒng)通過集成環(huán)境傳感器和體感傳感器的異構數(shù)據(jù)來識別有意義的日?；顒?，無需用戶標記參數(shù)，減少了用戶負荷，實現(xiàn)適老服務。竇金花等[17]針對老年用戶的任務、時間、環(huán)境情境提出了主動交互式語音用戶界面設計，為老年用戶提供了更加自然、舒適的智能家居產(chǎn)品使用體驗?？婄娴萚18]對新中產(chǎn)人群生活情景特征進行了分析，提出面向新中產(chǎn)人群生活情境的智能家居產(chǎn)品設計對策，認為智能產(chǎn)品應具備“學習”能力，能更好地自動捕捉、記錄、適應個體的行為習慣。

通過對相關工作的整理，不難看出，智能系統(tǒng)交互的主動性是將來智能家居的發(fā)展方向之一。智能系統(tǒng)的主動性本身又涵納多元問題，如前文所言，人的信息交互中，話語者需要借助多種模態(tài)信息來充分表達意圖。同樣，在智能家居的信息交互中，智能家居系統(tǒng)需要通過多元信息的獲取與分析，來實現(xiàn)對用戶意圖和環(huán)境變化的準確判斷。

2.2.2 智能家居多模態(tài)信息交互需求

多模態(tài)是信息交互的理想狀態(tài)，用戶與智能家居的交互，需要參考并利用大腦的多模態(tài)協(xié)同機制和人與外界的多模態(tài)交互規(guī)律，開發(fā)服務于人的“理想狀態(tài)”的相關技術。隨著智能技術的發(fā)展，智能家居與用戶及環(huán)境的信息交互必然走向“人（人工智能系統(tǒng)）與人（用戶）”的多模態(tài)會話交互邏輯。

一般而言，智能家居環(huán)境中包含豐富的信息模態(tài)，如語音、圖像、影像、手勢、體感等。智能家居對用戶與環(huán)境的多模態(tài)信息獲取，需要給機器配上感官系統(tǒng)(即匹配各種傳感設備)以模擬人的視覺、聽覺、觸覺等功能，通過語音模塊、界面控制、動作捕捉，以及溫度、濕度等傳感器等進行數(shù)據(jù)采集。智能系統(tǒng)作為居家會話中的參與方，需要協(xié)調(diào)多種傳感裝置、控制部件和相應的信息處理系統(tǒng)同時工作，處理用戶和環(huán)境中的多模態(tài)信息。但是，現(xiàn)有的多模態(tài)信息交互系統(tǒng)，僅通過不同模態(tài)信號識別特定的操作指令，將不同模態(tài)的指令進行簡單的串聯(lián)與疊加。這種簡單的“信號時序疊加”方式，并未考慮多模態(tài)信號之間的信息互補及增強特性，相對復雜的系統(tǒng)設置需要用戶記憶大量新的操作規(guī)則，增加了用戶的認知負荷[16]。

因此，智能家居對用戶需求的滿足與環(huán)境變化的回應，需要對現(xiàn)場話語狀況進行盡可能全面的、真實的數(shù)據(jù)采集，通過多媒體介質與多模態(tài)信息，力爭捕捉用戶與環(huán)境實時、完整的信息交互。在這方面，王江濤等[19]通過研究用戶的操作行為和認知行為，獲取用戶對智能家居產(chǎn)品的功能和操作需求，提出基于用戶行為的設計研究方法，對提高智能家居產(chǎn)品可用性、降低用戶的認知負荷有積極價值。

3 基于多模態(tài)信息交互的智能家居設計框架

智能家居多模態(tài)信息交互基于多模態(tài)理論，將語言、圖像、聲音、動作等多模態(tài)信息整合成為最有效的意義表達，實現(xiàn)信息交互的準確傳達和有效反饋。本研究提出一種具有多模態(tài)特性的智能家居信息交互新模式，并建立多模態(tài)智能家居信息交互框架。

3.1 智能家居多模態(tài)信息交互模型

真實世界中，多模態(tài)強調(diào)人作為主體通過身體和大腦調(diào)動多個感官、通過多種媒體協(xié)同參與信息交互過程。而在智能家居信息交互中，智能家居系統(tǒng)被視作為“人”，通過多元傳感設備調(diào)動智能系統(tǒng)“感官潛能”，獲取用戶及環(huán)境的多模態(tài)信息，促進多模態(tài)信息理解、意義構建與控制反饋。

在智能家居多模態(tài)信息交互中，包含對象、感官模態(tài)與解釋3個要素，即以用戶與環(huán)境為對象，以各種傳感設備和信息獲取硬件為感官模態(tài)，對獲取對象多元化信息進行智能融合與分析；按照3個步驟開展工作，即多模態(tài)信息獲取、多模態(tài)信息融合與推理、多模態(tài)信息反饋；這一流程性工作中，多模態(tài)交互技術按照互補、非互補的組合形式，共時、順時的時序方式組合2個及以上的輸入模式，借助多種非侵入式的傳感設備，識別天然形成的人類語言和行為，最后通過多模態(tài)智聯(lián)終端對用戶需求與環(huán)境變化主動做出反饋?；谏鲜鏊悸?，結合多模態(tài)研究構建了智能家居多模態(tài)信息交互模型，模型見圖4。

圖4 智能家居多模態(tài)信息交互模型

3.1.1 3個要素：對象、感官模態(tài)與解釋

1）智能家居的信息交互對象。在家庭環(huán)境中，智能系統(tǒng)的交互對象是家庭用戶與家庭環(huán)境的多符號信息輸出。用戶信息包括身體與非身體信息，身體信息是通過語音、手勢、面部識別、體感等方式輸出，非身體信息是通過用戶主動的界面操作等方式輸出。環(huán)境信息方面包括可感知、可量化的變化，如溫度、濕度、亮度和人等因素。在智能家居信息交互中，提高用戶體驗的路徑是使智能系統(tǒng)主動尋求任務分配來降低用戶負擔，也就是強化智能系統(tǒng)的信息獲取主動性。在此條件下，用戶在遵循自然交互的身體邏輯下發(fā)出信息，相對隨機地選擇與組織多模態(tài)身體信息。用戶可能會發(fā)出無意識的指令，智能系統(tǒng)需主動識別、采集，以此減少用戶信息交互負荷，實現(xiàn)用戶在智能家居控制方式上的自洽。

2）智能家居的感官模態(tài)。人可以同時運用多種符號資源構成多模態(tài)信息展開交互，環(huán)境也同步具有溫度、濕度等多維度數(shù)據(jù)變化。智能家居的多模態(tài)信息交互通過多感官感知，以及各種感覺系統(tǒng)間的聯(lián)覺來開展工作。通過特定感官模態(tài)系統(tǒng)獲取對應感官信息，以視覺為例，視覺器官（攝像頭或視覺傳感器）加上處理視覺信號的分析系統(tǒng)組成一個視覺模態(tài)。智能家居與用戶及環(huán)境的一次信息交互過程中的感官模態(tài)可能是單一模態(tài)、或者是雙模態(tài)、多模態(tài)。例如用戶通過語音控制智能家居設備，但同時智能設備會獲取語音交互的用戶面部圖像信息，如用戶發(fā)出“播放歌曲”指令，智能設備同步識別該用戶面部信息，結合系統(tǒng)數(shù)據(jù)庫內(nèi)置用戶畫像，精準推送該用戶喜好的歌曲。在對這些多模態(tài)信息處理的過程中，智能家居系統(tǒng)通過多感官接收信息，多元傳感與分析模塊同步工作，以多模態(tài)的感官系統(tǒng)形成多模態(tài)的信息交互。

3）智能系統(tǒng)對用戶和環(huán)境多模態(tài)信息的解釋。用戶的聲音、手勢、姿態(tài)、表情等多模態(tài)信息相互關聯(lián)，以模態(tài)復合構成意指。智能系統(tǒng)對用戶潛在意圖或顯性意圖的準確反饋基于對用戶需求的準確掌握。

一方面，用戶信息模態(tài)互涉，即不同模態(tài)信息之間意義的相互闡釋與呈現(xiàn)。智能系統(tǒng)需要根據(jù)模態(tài)互涉機制對獲取信息進行解釋。對多模態(tài)信息的互涉解釋是目前智能交互技術的難點所在。目前能夠對語音、文字和手勢信息進行相對準確的解釋。例如徐云平[21]通過語音識別硬件LD3320的語音識別特征庫直接、快速實現(xiàn)語音識別、聲控、人機對話功能；同步利用羅技B525攝像頭獲取手勢信息，應用基于深度學習的手勢識別算法，將語音和手勢識別的智能系統(tǒng)應用在智能分類垃圾桶設計上。其他模態(tài)信息的互涉以建構相對完整的信息意義還有待持續(xù)研究。

另一方面，智能系統(tǒng)通過多模態(tài)信息的獲取實現(xiàn)對部分模態(tài)信息不完備的補充。用戶在智能家居使用中，日常生活自然行為存在語音、手勢、姿態(tài)等多模態(tài)信息不完備的情況。用戶日常行為中的多模態(tài)信息實際是高度整合的格式塔。在智能系統(tǒng)的多模態(tài)信息交互中語音信息句法結構不完備的情況下，用戶身體的視覺信息作為替代與補充成分，協(xié)作構建相對完整的信息。對于不同模態(tài)信息之間的補充與建構關系需要借鑒語言學等學科成果。

3.1.2 智能家居多模態(tài)信息交互技術流程

對于面向用戶信息和環(huán)境信息的智能家居系統(tǒng)，其多模態(tài)信息交互流程主要包括多模態(tài)信息獲取、多模態(tài)信息融合與推理、多模態(tài)信息反饋等3個階段，具體流程見圖5。

1）多模態(tài)信息獲取。智能家居系統(tǒng)通過傳感器、觸控屏、攝像頭、麥克風等多種終端收集不同模態(tài)信息；其中，觸控屏以被動形式獲取用戶輸入，傳感器、攝像頭和麥克風則可以在用戶預先給予權限的前提下主動采集用戶的姿態(tài)、手勢、表情、動作以及語音等多種模態(tài)的信息。

2）多模態(tài)信息融合與推理。不同終端采集的信息可經(jīng)過不同的方式進行處理。目前，在機器學習尤其是深度學習的推動下，計算機視覺和自然語言處理領域都得到了空前的發(fā)展。因此，可應用深度學習方法對攝像頭采集的圖像、視頻信息，以及麥克風采集的語音信號進行特征提取。若想讓不同模態(tài)的信息互相補充，則需要將不同模態(tài)的信息進行融合。當前基于Transformer的跨模態(tài)大模型可以有效地結合視覺、文本和語音信息，并處理跨模態(tài)任務，如基于文本查詢的視頻中的動作定位、自動的視頻字幕生成等。因此可以應用該模型對不同模態(tài)的信息進行融合和基于多模態(tài)信息的推理。此部分任務均在智能分析模塊完成。智能分析模塊對多模態(tài)信息進行整合處理，結合語料庫和知識庫的資源，將其轉變?yōu)楦兄?、記憶和行為，進一步輸入智能控制模塊。

3）多模態(tài)信息反饋。智能控制模塊根據(jù)智能分析模塊的輸出，對用戶意圖及環(huán)境變化做出反饋。完成轉換的多模態(tài)信息將被編碼為智能家居系統(tǒng)的行為潛勢，進入智能家居系統(tǒng)的控制模塊。在做出反饋時智能控制模塊會結合用戶的輸入模態(tài)，以及用戶畫像決定信息反饋的模態(tài)和形式，實現(xiàn)符合用戶需求和家居環(huán)境變化的功能操作。

圖5 智能家居多模態(tài)信息交互技術流程

總體來說，智能家居系統(tǒng)的智能感官模塊各司其職，將各自獲取到的信息進行分揀、過濾、轉換等處理，智能分析處理模塊對獲取的多模態(tài)信息進行特征提取、整合和分析，智能控制模塊根據(jù)處理結果實施相應操作。這一過程類似于人類的中樞神經(jīng)系統(tǒng)把感官系統(tǒng)接收的多模態(tài)信息整合起來，經(jīng)過分析然后輸出對用戶意圖及環(huán)境變化的行為反饋。

多模態(tài)智能家居系統(tǒng)的信息交互方式涉及基于多模態(tài)智聯(lián)終端的信息采集、多模態(tài)信息資源整合、多模態(tài)信息特征提取、多模態(tài)行為互動、多模態(tài)評估等領域。利用多媒體技術，接入傳感器、觸控屏、攝像頭、麥克風等多種模態(tài)的智聯(lián)終端，實現(xiàn)多種軟硬件設備間的無縫互聯(lián)、協(xié)同工作，構建智能家居環(huán)境中多模態(tài)信息交互、多通道融合互補的多模態(tài)反饋運行機制。例如，針對用戶的語言邏輯做出準確有效的回答，并且還能給予用戶在視覺、聽覺、體感等多維度的反饋，使人機交互更加自然，交互信息更加豐富，交互結果更加準確。

3.1.3 智能家居多模態(tài)感知系統(tǒng)的組合形式

在智能家居多模態(tài)信息交互中，不同模態(tài)感官系統(tǒng)以互補、非互補的結合形式，共時、順時等時序方式進行組合，借助多種非侵入式的傳感器，識別人類語言、行為和環(huán)境變量。

從用戶交際活動的多模態(tài)方式來說，需要借助另一種模態(tài)來對主要模態(tài)信息進行補充，以實現(xiàn)意義的充分表達，這是模態(tài)之間的“互補關系”，而其他的則是非互補關系[22]。互補的模態(tài)可以實現(xiàn)信息傳達中的強化，一種模態(tài)是主要的交際形式，而另一種或者多種形式是對它的強化、補充和擴展?；趶娀康牡母泄倌B(tài)主次組合形式，智能家居以一種模態(tài)的感知系統(tǒng)獲取主要模態(tài)信息，同時借助另一種模態(tài)感知系統(tǒng)獲取次要模態(tài)信息，消除單一模態(tài)信息帶來的不確定性，增強對信息判斷的準確性。

非互補關系表示智能家居的第2種模態(tài)感官系統(tǒng)對第1種在意義的獲取上并無特殊貢獻，但仍作為一種模態(tài)出現(xiàn)。例如，通過語音就達到信息交互目的，但同時通過界面顯示交互信息，界面的補充并沒有在信息內(nèi)容上進行增減，沒有對語音信息做出明顯補充或強化，也沒有對語音信息造成干擾。但一定程度上可以向用戶進行語音信息交互有效性的可視化確認。

此外，從模態(tài)出現(xiàn)順序的層面，Norris[23]提出，在進行多模態(tài)信息交互時，信息模態(tài)結合形式有多模態(tài)共時、多模態(tài)順時等方式。應對用戶意圖及環(huán)境變化信息的多種模態(tài)，智能家居也以共時和順時的時序方式組織多模態(tài)感官系統(tǒng)。幾種模態(tài)的感官系統(tǒng)可以同時開啟信息獲取與分析，例如界面交互時可以包括手勢、壓力、圖形等幾種不同的模態(tài)感知；也可以按順序進行，一種模態(tài)感官系統(tǒng)的信息獲取與分析工作結束則另一種模態(tài)的感官系統(tǒng)開始工作，例如語音開機后，通過界面進行細化控制。

3.2 多模態(tài)交互中的用戶狀態(tài)與智能系統(tǒng)

3.2.1 智能家居系統(tǒng)狀態(tài)

通過多模態(tài)感官系統(tǒng)從多種信息通道收集用戶和環(huán)境多方面的行為數(shù)據(jù)和結果數(shù)據(jù)，實現(xiàn)了智能家居系統(tǒng)的主動性、交感化信息獲取和情境化的信息分析與反饋。

3.2.1.1 信息的主動采集與交感化獲取

一方面，在傳統(tǒng)的智能家居使用中，用戶只能通過語音、界面等單向度的信息輸出方式向智能系統(tǒng)發(fā)出指令，在多模態(tài)智能交互場景下，智能家居系統(tǒng)對用戶和環(huán)境的行為及結果數(shù)據(jù)主動采集，融合分析，并提供多元反饋，實現(xiàn)智能系統(tǒng)對用戶意圖與環(huán)境變化的主動感知。智能家居系統(tǒng)中的多模態(tài)感官系統(tǒng)高度分類細化與自動化，依托專門系統(tǒng)執(zhí)行對不同模態(tài)信息的處理。

另一方面，智能家居通過交感化方式獲取用戶與環(huán)境信息。智能家居系統(tǒng)在接受任務后，會將其分配至某個任務模塊進行處理。當面臨復雜問題或任務時，某個交互任務涉及多個模態(tài)的信息，需要系統(tǒng)選取多個路徑，在處理加工時在多個模態(tài)中開展協(xié)同，將任務分配給多個子任務處理模塊同時處理、計算，從而共同完成這一交互任務。例如在生活場景中，用戶的聽覺（語音）信號和視覺（身勢）信號同時啟動，智能系統(tǒng)就需要同步感知、獲取用戶的語音與姿態(tài)信息，進行輸入、分析，在這一過程中系統(tǒng)要關注不同模態(tài)信息之間的相互關聯(lián)性和互涉性，感官形態(tài)交融，使對用戶與環(huán)境信息的解讀更加全面與準確。

3.2.1.2 信息的情境化分析

多模態(tài)智能家居信息交互把語言、圖像、手勢、顏色、環(huán)境等符號系統(tǒng)結合起來，從整體的角度分析各類信息所組成的話語意義，對用戶和環(huán)境的理解借助對不同模態(tài)信息的元功能和組合形式等進行采集與分析，解讀各種模態(tài)信息及其變化構成的意義。通過多模態(tài)信息的融合分析，理解用戶情境，根據(jù)情境進行需求判斷，提供低誤差、一體化的服務反饋控制。

未來，5G技術將促進全息技術、高清晰視頻、VR/AR、物聯(lián)網(wǎng)技術、人機交互多樣形態(tài)的融合，為多模態(tài)融合的智能家居信息交互創(chuàng)造條件，使意義表征和信息交流更加多模態(tài)化，使多模態(tài)信息融合交互更加便捷，為多終端互通互聯(lián)提供傳輸條件，推進更加智能化的多模態(tài)家居服務。

3.2.2 用戶與環(huán)境狀態(tài)

在多模態(tài)智能家居信息交互中，與傳統(tǒng)交互模式相比較，智能系統(tǒng)自主性提升，用戶投入適宜家庭環(huán)境的交互行為，信息交互更加自然，交互過程認知負荷降低。

1）多維度信息。家庭環(huán)境中，用戶基于日常生活習慣開展活動，多模態(tài)的智能家居信息交互滿足用戶自然、無意識的信息輸出。智能家居在交互過程中積極、持續(xù)地投入多模態(tài)感官狀態(tài)，通過隱式傳感設備的一體性聯(lián)動與多模態(tài)信息融合分析，使智能系統(tǒng)使用多種模態(tài)感官設備對用戶和環(huán)境數(shù)據(jù)進行持續(xù)監(jiān)測和跟蹤，對人們?nèi)粘Ｉ钪械淖匀恍袨檫M行多維度采集、分析與融合，并提供反饋，更符合人的自然交互特征。

2）多用戶交互。智能家居交互涉及多名用戶。在智能家居系統(tǒng)使用中，多設備、多模態(tài)、多用戶交互的復雜關系涉及行為參與、社會關系等維度，需要綜合用戶的外顯行為和內(nèi)隱心理等多維數(shù)據(jù)來表征其狀態(tài)。此時單一模態(tài)信息不足以使智能系統(tǒng)充分讀解特定用戶需求，多模態(tài)滿足智能家居系統(tǒng)對特定用戶多維信息分析基礎上的準確反饋。

3）時序性投入。智能家居使用過程中，用戶的投入狀態(tài)會隨時間發(fā)生變化。智能家居系統(tǒng)通過共時及順時的時序方式，通過多模態(tài)感官系統(tǒng)全時關注用戶在使用過程中的活動順序、行為特征、心理和生理數(shù)據(jù)，在時間序列上研究其動態(tài)變化，分析出用戶和環(huán)境軌跡化、時序化特征，基于智能分析技術，為用戶及環(huán)境提供基于數(shù)據(jù)動態(tài)變化的持續(xù)反饋。

3.2.3 智能家居多模態(tài)數(shù)據(jù)庫、語料庫構建

智能家居系統(tǒng)在用戶使用中建立基于特定用戶、特定環(huán)境的多模態(tài)語料庫，對信息交互中采集到的語音、姿態(tài)、人臉等用戶信息，以及環(huán)境空間、溫度、濕度、亮度、聲音分貝等環(huán)境信息進行分析與集成，并建立以多模態(tài)方式加工、檢索和統(tǒng)計的多模態(tài)信息語料庫，便于后續(xù)持續(xù)性地調(diào)用與語料處理，對應特定用戶需求的數(shù)據(jù)匹配，滿足與特定用戶及環(huán)境持續(xù)的、準確的信息交互。在這方面，Sandra等[24]提出了一種用于家庭環(huán)境中設備管理的自動化系統(tǒng)，能夠管理所有電器，服務器接收和發(fā)送的所有數(shù)據(jù)都存儲在數(shù)據(jù)庫中，通過系統(tǒng)配備的智能算法檢查、比較、分析相關數(shù)據(jù)，輔助系統(tǒng)進行設備管理。在多模態(tài)語料庫構建上，國內(nèi)外學者把人與外界的多模態(tài)互動作為重要的數(shù)據(jù)來源，在語料采集、加工、標注、分析框架和工具研發(fā)等方面形成了諸多成果[22]，這些成果對于視聽識別系統(tǒng)、人機智能對話等都具有重要意義，可作為智能家居設計中多模態(tài)信息交互的數(shù)據(jù)包使用。

4 智能家居中多模態(tài)交互信息的形式及其關系

智能家居多模態(tài)信息交互在相對復雜、動態(tài)的家庭環(huán)境活動中開展，智能家居設計中，通過分析用戶與環(huán)境多模態(tài)信息的注意度、模態(tài)密度和模態(tài)結構的配置，能夠厘清多模態(tài)信息交互中模態(tài)的數(shù)量、重要性和模態(tài)之間關系等問題。

4.1 智能系統(tǒng)對模態(tài)信息的注意度

在實際的家居環(huán)境中，存在多樣復雜的事件和行為，智能家居系統(tǒng)需要對用戶需求指令精準識別，這就需要對復雜環(huán)境中不同模態(tài)信息給予不同程度的注意。智能家居系統(tǒng)內(nèi)置傳感設備運行中要對環(huán)境中不同模態(tài)信息進行前景、中景和背景的分層感知，并給予不同的注意程度，“注意的焦點是前景高層活動，對中景、背景活動分配的注意力依次遞減”[22]。例如在復雜的環(huán)境音中迅速過濾環(huán)境音，甄別出用戶指令語音；能夠在多個用戶中迅速識別發(fā)出指令的用戶，并對用戶需求做出即時反饋。

此外，在家庭環(huán)境中，轉頭、手指或手掌敲擊、注視轉移等動作常被設定為預置動作，參與到交互過程。這些預置動作常出現(xiàn)在正式的交互行為之前，對正式指令發(fā)出起著組織和調(diào)節(jié)的作用，是標示正式指令模態(tài)信號的轉換信號，正如在人和人的交流中，這些轉換信號往往能夠影響互動的對方，引起“聽話者”的注意。在用戶與智能家居的交互中，這些信號與用戶指令內(nèi)容無關，沒有具體指向，但能控制智能系統(tǒng)注意或感知的焦點，因此智能家居系統(tǒng)對用戶行為指令之前的預置動作進行習得性認知也是必要的。

4.2 模態(tài)密度

模態(tài)密度可以體現(xiàn)為模態(tài)強度和模態(tài)復雜度2種形式[22]。模態(tài)強度是指一種模態(tài)在互動過程中的重要性或權重，在互動中發(fā)揮主要作用的模態(tài)就是高強度模態(tài)。當高強度模態(tài)被停止或改變時，由其映射的用戶需求信息或環(huán)境變化信息也隨之停止或改變。此外，在互動過程中一種模態(tài)的強度、權重或重要性取決于使用情境變化和用戶活動環(huán)境變化等諸多因素。例如白天用戶對智能家居的控制通過語音進行，夜間為了避免語音干擾，停止使用語音，轉而使用界面控制。模態(tài)強度與智能系統(tǒng)對復雜環(huán)境中不同模態(tài)信息的注意程度呈正相關，智能家居信息交互設計中需要甄別不同情境、用戶群的高強度模態(tài)信息，據(jù)此采用適應性的多模態(tài)智能交互技術。

模態(tài)復雜度是指共同完成交互的信息模態(tài)數(shù)量和組織方式。智能系統(tǒng)的多模態(tài)感知系統(tǒng)需以共時、順時等形式進行組織，模態(tài)復雜度與智能家居系統(tǒng)的傳感設備數(shù)量及布局成正相關。多種模態(tài)信息共同完成交互時，一種模態(tài)的變化不會引起交互活動的突然改變，例如借助體感、語音等多模態(tài)信息進行的家庭游戲系統(tǒng)，用戶使用語音、注視、手勢、物體操作、姿態(tài)等多種模態(tài)，系統(tǒng)本身對用戶多模態(tài)信息有綜合識別的設置，停止或改變使用其中任何一種模態(tài)，不會直接改變游戲路徑。

4.3 模態(tài)結構配置

由于不同模態(tài)信息在交互中共存的復雜性，智能家居設計中要結合用戶與產(chǎn)品類型進行模態(tài)結構配置。

在多模態(tài)交互中，每種模態(tài)作用不同。結合智能家居產(chǎn)品應用場景、目標用戶與產(chǎn)品類型進行判斷，標注在此產(chǎn)品多模態(tài)交互中的不同模態(tài)強度，界定每種模態(tài)在互動過程中的重要程度，據(jù)此進行相應的多模態(tài)信息交互系統(tǒng)設計。

Norris[25]認為可以通過回答以下3點來確定信息交互中的模態(tài)配置：哪些模態(tài)是必需的；哪種模態(tài)比其他模態(tài)更重要；哪些模態(tài)不是必需的但活動者仍然在使用。智能家居多模態(tài)信息交互中的模態(tài)結構配置需要結合用戶及環(huán)境變化，據(jù)此分析模態(tài)的組成和模態(tài)之間關系，確定由哪些模態(tài)參與相關的信息交互，以及相對應的智能家居多模態(tài)感知系統(tǒng)以何種組合方式布局。

5 結語

多模態(tài)的研究在語言學、計算機科學中處于熱潮，其方法和理論在智能家居多模態(tài)交互方面有重要的參考和應用價值。在多模態(tài)傳感及交互技術發(fā)展下，智能家居多模態(tài)信息交互基于多模態(tài)感知系統(tǒng)，對用戶與環(huán)境數(shù)據(jù)信息進行實時動態(tài)采集，為實現(xiàn)多模態(tài)的用戶需求反饋提供數(shù)據(jù)支持，在多模態(tài)信息融合分析基礎上開展精準決策和調(diào)控。隨著人工智能技術與5G等移動通信網(wǎng)絡的進一步發(fā)展，智能家居多模態(tài)信息交互將會變得更為人性化，更好地服務于家庭應用場景。

[1] KOLB B, WHISHAW I Q. Fundamentals of Human Neuropsychology[M]. New York: Worth Publishers, 2005:135.

[2] KANDEL E, JAMES H, THOMAS M, STEVEN A. Principles of Neural Science[M]. New York: The McGraw-Hill Companies, Inc, 2013：449.

[3] 朱永生. 多模態(tài)話語分析的理論基礎與研究方法[J]. 外語學刊, 2007(5): 82-86.

ZHU Yong-sheng. Theory and Methodology of Multimodal Discourse Analysis[J]. Foreign Language Research, 2007(5): 82-86.

[4] 顧日國. 多模態(tài)感官系統(tǒng)與語言研究[J]. 當代語言學, 2015, 17(4): 448-469.

GU Ri-guo. Multimodal Sensory System and Language Research[J]. Contemporary Linguistics, 2015, 17(4): 448-469.

[5] KRESS G，LEEUWEN V T. Reading Images: The Gram--mar of Visual Design[M]. London: Routledge, 2006: 22.

[6] NORRIS S. Analyzing Multimodal Interaction[M]. New London: Routledge, 2004.

[7] 王黨校, 鄭一磊, 李騰, 等. 面向人類智能增強的多模態(tài)人機交互[J]. 中國科學: 信息科學, 2018, 48(4): 449-465.

WANG Dang-xiao, ZHENG Yi-lei, LI Teng, et al. Multi-Modal Human-Machine Interaction for Human Intelligence Augmentation[J]. Scientia Sinica (Informationis), 2018, 48(4): 449-465.

[8] 顧曰國. 多模態(tài)感官系統(tǒng): 天官、仿人機器人、“修辭即做人”新釋[J]. 當代修辭學, 2019(5): 48-67.

GU Yue-guo. Multimodality and Rhetoric: From Xunzi, Aristotle, TCM, Empiricism, Humanoid to Man[J]. Contemporary Rhetoric, 2019(5): 48-67.

[9] ALANWAR A, ALZANTOT M, HO B J. SeleCon: Scalable IoT Device Selection and Control Using Hand Gestures[C]// Proceedings of the Second International Conference on Internet-of-Things Design and Implementation. Pittsburgh PA: ACM, 2017: 47-58.

[10] Alrajhi W, Alaloola D, Albarqawi A. Smart Home: Toward Daily Use of Bci-based Systems[C]// 2017 International Conference on Informatics, Health & Technology (ICIHT). Riyadh: IEEE, 2017: 1-5.

[11] 胡旭央, 張寒凝. 以睡眠場景為例的智能家居場景模型構建研究[J]. 包裝工程, 2021, 42(10): 124-129.

HU Xu-yang, ZHANG Han-ning. Construction of Smart Home Scene Model Taking Sleep Scene as a Case[J]. Packaging Engineering, 2021, 42(10): 124-129.

[12] 張偉, 王宜懷. 基于AVR的智能家居系統(tǒng)設計與實現(xiàn)[J]. 計算機技術與發(fā)展, 2022, 32(3): 209-213.

ZHANG Wei, WANG Yi-huai. Design and Implementation of Smart Home System Based on AVR[J]. Computer Technology and Development, 2022, 32(3): 209-213.

[13] ROSE J, TRUEX D. Machine Agency as Perceived Autonomy: An Action Perspective[M]. Boston: Sprin-ger, 2000: 371-388.

[14] MAHADEVAN K, SOUSA M, TANG A. "Grip-that- there": An Investigation of Explicit and Implicit Task Allocation Techniques for Human-Robot Collabora-tion[C]// Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. Yokohama: ACM, 2021.

[15] LEUSMANN P, MOLLERING C, KLACK L. Your Floor Knows Where You Are: Sensing and Acquisition of Movement Data[C]// 2011 IEEE 12th International Conference on Mobile Data Management. Lulea: IEEE, 2011.

[16] WU Chao-lin, CHEN Y H, CHIEN Yi-wei, et al. Nonparametric Activity Recognition System in Smart Homes Based on Heterogeneous Sensor Data[J]. IEEE Transactions on Automation Science and Engineering, 2019, 16(2): 678-690.

[17] 竇金花, 齊若璇. 基于情境分析的適老化智能家居產(chǎn)品語音用戶界面設計策略研究[J]. 包裝工程, 2021, 42(16): 202-210.

DOU Jin-hua, QI Ruo-xuan. Elderly-Adaptability Voice User Interface Design Strategy of Smart Home Products Based on Context Analysis[J]. Packaging Engineering, 2021, 42(16): 202-210.

[18] 繆珂, 肖亦奇, 施斌. 新中產(chǎn)生活情境下智能家居產(chǎn)品設計策略研究[J]. 包裝工程, 2021, 42(18): 410-415.

MIAO Ke, XIAO Yi-qi, SHI Bin. The Research of Smart Home Products' Design Strategies under the Guidance of New-Middle Class' Life ContextFull Text Replacement[J]. Packaging Engineering, 2021, 42(18): 410-415.

[19] 王江濤, 何人可. 基于用戶行為的智能家居產(chǎn)品設計方法研究與應用[J]. 包裝工程, 2021, 42(12): 142-148.

WANG Jiang-tao, HE Ren-ke. Research and Application of Design Method of Smart Home Products Based on User Behavior[J]. Packaging Engineering, 2021, 42(12): 142-148.

[20] 牛紅偉, 郝佳, 曹貝寧, 等. 面向產(chǎn)品概念設計的多模態(tài)智能交互框架及實現(xiàn)[J/OL]. 計算機集成制造系統(tǒng), 2022: 1-22. (2022-02-25)[2022-02-28]. https://kns. cnki.net/kcms/detail/11.5946.TP.20220224.0913.002.html.

NIU Hong-wei, HAO Jia, CAO Bei-ning, et al. Multimodal Intelligent Interaction Framework and Realization for Product Conceptual Design[J/OL]. Computer Inte-grated Manufacturing Systems, 2022: 1-22. (2022- 02-25) [2022-02-28]. https://kns.cnki.net/kcms/detail/ 11.5946.TP.20220224.0913.002.html.

[21] 徐云平. 基于語音識別的智能分類垃圾桶[J]. 電子測試, 2022(1): 23-25.

XU Yun-ping. Smart Classification Dustbin Based on Speech Recognition[J]. Electronic Test, 2022(1): 23-25.

[22] 張德祿. 多模態(tài)話語分析綜合理論框架探索[J]. 中國外語, 2009, 6(1): 24-30.

ZHANG De-lu. On a Synthetic Theoretical Framework for Multimodal Discourse Analysis[J]. Foreign Languages in China, 2009, 6(1): 24-30.

[23] NORRIS S. Identity in (Inter)action: Introducing Multimodal Interaction Analysis[M]. New York: Mouton de Gruyter, 2011: 48-50.

[24] SENDRA S, LABORDA A, DíAZ J, et al. A Smart Bluetooth-Based Ad Hoc Management System for Appliances in Home Environments[C]// International Conference on Ad-Hoc Networks and Wireless. Springer International Publishing. Heidelberg: Springer-Verlag, 2014: 128–141.

[25] NORRIS S. Modal Density and Modal Configurations: Multimodal Actions[C]// Routledge Handbook for Multimodal Discourse Analysis. London: Routledge, 2009.

Smart Home Design Based on Multimodal Information Interaction

MA Xiao-na1, ZHANG Yu-xin1, YU Qian2

(a.School of New Media Art and Design b. School of Software, Beihang University, Beijing 100191, China)

Aiming at the problem that a single smart home interaction mode based on interface and voice hinders the user's natural experience, this paper explores a smart home design method based on multimodal information interaction to achieve a more natural and friendly user experiences of smart homes. Based on the multi-modal natural interaction characteristics of user daily life, this paper explores a smart home information interaction mode characterized by multimodality, constructs a multimodal information interaction design framework for smart home, and analyzes the elements, interaction process, modal organization, attention of multimodal information, modal density, modal structure configuration, etc. The multimodal information interaction of smart home realizes the initiative, sympathetic information acquisition and contextualized information analysis and feedback of the smart home system, which can improve the autonomy of the intelligent system, reduce the cognitive load of the user interaction process, and achieve a more natural, friendly user experience. In general, the smart home environment needs to change the traditional single human-machine system information interaction mode, and promote the optimization of the smart home use experience with multimodal information interaction.

smart home; multimodal; information interaction; interaction design

TB472

A

1001-3563(2022)16-0059-09

10.19554/j.cnki.1001-3563.2022.16.006

2022–03–08

北京航空航天大學2022年度人文社科青年骨干支持項目

馬曉娜（1985—），女，博士，助理教授，主要研究方向為交叉學科創(chuàng)新設計。

于茜（1991—），女，博士，副研究員，主要研究方向為計算機視覺。

責任編輯：陳作