牛紅偉，郝 佳，曹貝寧，龍 輝，張非凡，王國(guó)新

(北京理工大學(xué) 工業(yè)與智能系統(tǒng)工程研究所，北京 100083)

0 引言

20世紀(jì)60年代初，隨著計(jì)算機(jī)圖形顯示技術(shù)的產(chǎn)生與發(fā)展，產(chǎn)品設(shè)計(jì)過程逐步從繁瑣費(fèi)時(shí)的手工繪圖方式向以二維計(jì)算機(jī)繪圖技術(shù)為代表的計(jì)算機(jī)輔助制圖方向發(fā)展。之后隨著線框式三維計(jì)算機(jī)輔助設(shè)計(jì)(Computer Aided Design，CAD)系統(tǒng)的出現(xiàn)，人類正式邁入CAD時(shí)代。伴隨計(jì)算機(jī)軟硬件技術(shù)的快速發(fā)展，CAD系統(tǒng)也日趨完善，向著標(biāo)準(zhǔn)化、集成化、智能化方向發(fā)展[1-4]。

概念設(shè)計(jì)作為決定產(chǎn)品創(chuàng)新程度的關(guān)鍵階段，具有典型的重原理創(chuàng)意、弱尺寸約束等特點(diǎn)，需要用戶自由表達(dá)其設(shè)計(jì)意圖[1]。現(xiàn)有CAD軟件所采用的“鼠標(biāo)+鍵盤”式傳統(tǒng)交互模式在使用的自然性和友好性方面存在很大局限性，難以支撐產(chǎn)品概念設(shè)計(jì)階段設(shè)計(jì)思維的自然表達(dá)以及創(chuàng)新方案的生成[5]。因此，探索一種可自然表達(dá)用戶設(shè)計(jì)意圖的智能交互模式將成為增強(qiáng)CAD創(chuàng)新設(shè)計(jì)能力的重要途徑之一。

對(duì)于新一代人機(jī)交互模式，通過用戶的腦電、眼動(dòng)、手勢(shì)等多模態(tài)原始信號(hào)[2-3,6]讀取用戶的設(shè)計(jì)意圖成為一種重要手段。圍繞這一問題，國(guó)內(nèi)外學(xué)者主要從兩個(gè)方面開展相關(guān)研究。一方面，分別探索腦電、眼動(dòng)、手勢(shì)等單一模態(tài)生理信號(hào)對(duì)設(shè)計(jì)意圖的表征能力，ESFAHANI等[7-8]在采集用戶腦電信號(hào)的基礎(chǔ)上，實(shí)現(xiàn)了基于腦電的幾何模型生成和選擇操作；RYU等[9]和SONG等[10]則充分利用眼動(dòng)在對(duì)象選擇過程中的天然優(yōu)勢(shì)，通過采集用戶視線坐標(biāo)實(shí)現(xiàn)幾何模型特征的快速選擇功能，在操作時(shí)間和準(zhǔn)確率上顯著優(yōu)于傳統(tǒng)鼠標(biāo)操作；THAKU等[11]、MURUGAPPAN等[12]和國(guó)內(nèi)學(xué)者徐崇斌等[13]利用深度視覺傳感技術(shù)實(shí)時(shí)捕捉用戶的手勢(shì)信息，并通過設(shè)計(jì)相應(yīng)的靜態(tài)和動(dòng)態(tài)手勢(shì)實(shí)現(xiàn)對(duì)空間幾何模型的平移、旋轉(zhuǎn)、縮放等經(jīng)典操作。另一方面，探索基于多模態(tài)信號(hào)的智能設(shè)計(jì)交互技術(shù)，如BOLT[14]最早提出基于手勢(shì)和語(yǔ)音信號(hào)的圖形操作模式“Put that There”，展現(xiàn)了多模態(tài)信號(hào)融合在產(chǎn)品設(shè)計(jì)交互領(lǐng)域的巨大潛力和優(yōu)勢(shì)；WEIMER等[15]則將手勢(shì)和語(yǔ)音輸入技術(shù)進(jìn)行集成，封裝形成一個(gè)相對(duì)獨(dú)立的CAD工具包，為實(shí)現(xiàn)基于多模態(tài)信號(hào)交互的產(chǎn)品設(shè)計(jì)系統(tǒng)的推廣應(yīng)用奠定了基礎(chǔ)。隨著人機(jī)交互技術(shù)的進(jìn)一步發(fā)展，逐漸涌現(xiàn)出各類基于多模態(tài)信號(hào)融合的產(chǎn)品設(shè)計(jì)交互系統(tǒng)，包括：MozArt(語(yǔ)音+手勢(shì))[16]，GaFinC(眼動(dòng)+手勢(shì))[10]，BCI-Touch Based System(腦電+手勢(shì))[17]等。然而，現(xiàn)有的多模態(tài)信號(hào)交互系統(tǒng)僅通過不同模態(tài)信號(hào)識(shí)別特定的模型操作指令，再將這些指令串聯(lián)起來實(shí)現(xiàn)模型操作。這種簡(jiǎn)單的“信號(hào)時(shí)序疊加”方式，并未考慮多模態(tài)信號(hào)之間的信息互補(bǔ)及增強(qiáng)特性，而且現(xiàn)有多模態(tài)交互系統(tǒng)仍然需要用戶記憶大量新的操作規(guī)則，導(dǎo)致用戶的認(rèn)知負(fù)荷不降反增。

因此，本文在分析產(chǎn)品概念設(shè)計(jì)過程對(duì)多模態(tài)智能交互技術(shù)需求的基礎(chǔ)上，提出一種具有典型多模態(tài)特性的端對(duì)端產(chǎn)品概念設(shè)計(jì)智能交互新模式，建立面向產(chǎn)品概念設(shè)計(jì)過程的多模態(tài)智能人機(jī)交互框架。從多模態(tài)信號(hào)同步采集、情境模型構(gòu)建、特征層與決策層融合等角度，分析了基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互中的關(guān)鍵技術(shù)。在此基礎(chǔ)上，搭建了腦、眼、手信號(hào)融合的多模態(tài)智能交互系統(tǒng)，給出產(chǎn)品概念設(shè)計(jì)智能交互系統(tǒng)的兩個(gè)典型應(yīng)用場(chǎng)景，驗(yàn)證了所提框架對(duì)強(qiáng)化CAD軟件設(shè)計(jì)意圖感知能力的可行性，為實(shí)現(xiàn)新一代面向產(chǎn)品概念設(shè)計(jì)的多模態(tài)智能交互技術(shù)提供了一種新的思路和技術(shù)手段。

1 產(chǎn)品概念設(shè)計(jì)對(duì)智能交互的需求分析

在手工繪圖設(shè)計(jì)階段，設(shè)計(jì)者只能通過手繪輸出設(shè)計(jì)意圖，屬于單向的信息傳遞方式。如今，隨著計(jì)算機(jī)輔助制圖技術(shù)的廣泛應(yīng)用，計(jì)算機(jī)可以對(duì)人的設(shè)計(jì)行為進(jìn)行感知并提供反饋，使初期的單向信息傳遞模式逐步發(fā)展成為雙向互動(dòng)的產(chǎn)品設(shè)計(jì)交互模式。隨著計(jì)算機(jī)信息技術(shù)的不斷發(fā)展，這種雙向交互方式從早期的鼠標(biāo)、鍵盤等單模態(tài)信息輸入，逐步向語(yǔ)音、圖像、行為等多模態(tài)智能交互方式發(fā)展。

針對(duì)產(chǎn)品概念設(shè)計(jì)，設(shè)計(jì)者的思維總是以模糊的總體創(chuàng)意外形和原理為主，不強(qiáng)調(diào)詳細(xì)的模型尺寸和嚴(yán)格的幾何約束。從這點(diǎn)看，當(dāng)前CAD軟件所采用的“鼠標(biāo)+鍵盤”交互模式，重點(diǎn)是支持產(chǎn)品詳細(xì)設(shè)計(jì)階段對(duì)模型進(jìn)行精確操作。因此，為提升CAD軟件對(duì)產(chǎn)品概念設(shè)計(jì)的支撐能力，對(duì)其交互模式提出了新的需求，具體包括如下3點(diǎn)：

(1)交互通道從單模態(tài)信號(hào)轉(zhuǎn)變?yōu)槎嗄B(tài)信號(hào)。人機(jī)交互過程是一種多模態(tài)信息耦合交互的過程，其中涉及文字、圖像、語(yǔ)音、動(dòng)作等多種交互信息[6]。單一模態(tài)的交互方式信息通量低，難以滿足用戶在產(chǎn)品概念設(shè)計(jì)階段自然表達(dá)設(shè)計(jì)意圖的需求。因此，有必要在產(chǎn)品設(shè)計(jì)交互過程中融入多模態(tài)信號(hào)感知技術(shù)，使設(shè)計(jì)交互過程更加符合人類的自然交互特征，提升人機(jī)交互過程中傳遞的信息通量。

(2)交互核心從以系統(tǒng)為中心轉(zhuǎn)變?yōu)橐匀藶橹行摹Ｈ耸钱a(chǎn)品概念設(shè)計(jì)的核心和關(guān)鍵，實(shí)現(xiàn)產(chǎn)品設(shè)計(jì)交互最重要的是對(duì)用戶設(shè)計(jì)行為、意圖和認(rèn)知習(xí)慣的提取和分析。因此，新一代的智能設(shè)計(jì)技術(shù)要求在設(shè)計(jì)交互過程中，提升系統(tǒng)對(duì)用戶的主動(dòng)感知能力，將以系統(tǒng)為中心的交互模式轉(zhuǎn)變到以人為中心的智能交互模式上，實(shí)現(xiàn)一種自然無感的智能交互過程。

(3)交互模式從指令映射型轉(zhuǎn)變?yōu)槎藢?duì)端生成型。傳統(tǒng)的產(chǎn)品設(shè)計(jì)需要經(jīng)歷“設(shè)計(jì)意圖—CAD軟件指令—產(chǎn)品模型”的復(fù)雜映射過程，即用戶需將腦海中的設(shè)計(jì)意圖先映射為CAD軟件中的操作指令，然后驅(qū)動(dòng)產(chǎn)品模型完成設(shè)計(jì)過程。這種指令映射型設(shè)計(jì)交互模式難以滿足用戶在概念設(shè)計(jì)階段設(shè)計(jì)思維進(jìn)行自由表達(dá)的需求，有必要探索一種嶄新的端對(duì)端設(shè)計(jì)交互模式，在用戶與模型之間搭建一種直連通道，使設(shè)計(jì)者可直接通過腦電、眼動(dòng)、手勢(shì)等原始信號(hào)自由表達(dá)其設(shè)計(jì)意圖，降低在產(chǎn)品設(shè)計(jì)過程中的認(rèn)知負(fù)荷，增強(qiáng)用戶的專注程度與沉浸感，進(jìn)而有效提升產(chǎn)品設(shè)計(jì)效率。

針對(duì)概念設(shè)計(jì)對(duì)人機(jī)交互模式的新需求，本文提出一種面向產(chǎn)品概念設(shè)計(jì)的多模態(tài)智能交互模式(如圖1)，通過同步獲取用戶的腦電、眼動(dòng)、手勢(shì)等生理信號(hào)，智能感知用戶的設(shè)計(jì)意圖，然后直接驅(qū)動(dòng)三維模型，完成模型生成、操作及編輯等典型設(shè)計(jì)行為，最終在用戶與三維模型之間搭建一個(gè)端對(duì)端的直連通道。

本文所提出的智能交互新模式，主要具備以下特征：

(1)多模態(tài)自然交互 單一模態(tài)信號(hào)因其有限的信息通量難以全面準(zhǔn)確表征用戶的設(shè)計(jì)意圖，通過多模態(tài)融合的方式可以有效克服這一弊端。面向產(chǎn)品概念設(shè)計(jì)的多模態(tài)智能交互模式，強(qiáng)調(diào)同步采集用戶的多種生理信號(hào)并進(jìn)行融合分析；在這一過程中，具有增強(qiáng)和互補(bǔ)特性的多模態(tài)信號(hào)為設(shè)計(jì)意圖的判別提供了更加豐富的信息，消除單一模態(tài)信號(hào)帶來的不確定性，增強(qiáng)設(shè)計(jì)意圖判別的準(zhǔn)確性。

(2)強(qiáng)沉浸無感交互 面向產(chǎn)品概念設(shè)計(jì)的多模態(tài)智能交互模式，強(qiáng)調(diào)交互過程以人為中心并立足于用戶自身的視野與體驗(yàn)，建立產(chǎn)品設(shè)計(jì)情境模型，捕捉用戶設(shè)計(jì)過程中的環(huán)境信息，實(shí)時(shí)更新自動(dòng)切換，最大程度提升系統(tǒng)對(duì)設(shè)計(jì)意圖的主動(dòng)感知能力，弱化用戶對(duì)系統(tǒng)的感知需求，實(shí)現(xiàn)一種智能無感交互過程。

(3)端對(duì)端直連交互 改變傳統(tǒng)“鼠標(biāo)+鍵盤”的產(chǎn)品設(shè)計(jì)交互模式，在采集多模態(tài)生理信號(hào)并分析用戶設(shè)計(jì)意圖的基礎(chǔ)上，建立用戶與模型之間的端對(duì)端交互通道，去除復(fù)雜繁多的CAD指令映射，縮減設(shè)計(jì)意圖的傳遞鏈條，提升產(chǎn)品設(shè)計(jì)效率。

2 基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互體系框架

2.1 基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互邏輯模型

針對(duì)產(chǎn)品概念設(shè)計(jì)對(duì)多模態(tài)智能交互系統(tǒng)的發(fā)展需求，建立如圖2所示的基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互邏輯模型，主要包括設(shè)備接入層、服務(wù)總線層、數(shù)據(jù)資源層、核心引擎層、業(yè)務(wù)邏輯層和用戶界面層。

(1)設(shè)備接入層 該層主要負(fù)責(zé)信號(hào)采集設(shè)備的接入工作，通過接入腦電儀、眼動(dòng)儀、手勢(shì)識(shí)別裝置等多模態(tài)信號(hào)采集裝置以及鼠標(biāo)鍵盤等傳統(tǒng)交互設(shè)備，實(shí)現(xiàn)對(duì)產(chǎn)品概念設(shè)計(jì)過程中多模態(tài)交互信號(hào)的采集。

(2)服務(wù)總線層 該層為設(shè)備接入層中接入的各類信號(hào)采集設(shè)備提供一系列的標(biāo)準(zhǔn)接口，可實(shí)現(xiàn)不同采集設(shè)備的快速接入以及采集數(shù)據(jù)的安全傳遞，有效提升系統(tǒng)的可擴(kuò)展性能，主要包括接入規(guī)范、協(xié)議轉(zhuǎn)換、格式轉(zhuǎn)換、信息同步、異常處理等核心功能。

(3)數(shù)據(jù)資源層 該層采用“本地存儲(chǔ)+云端存儲(chǔ)”相結(jié)合的方式存儲(chǔ)已采集的多模態(tài)信號(hào)，為系統(tǒng)上層計(jì)算提供數(shù)據(jù)支持，是進(jìn)行多模態(tài)信號(hào)分析與設(shè)計(jì)意圖判別的基礎(chǔ)，主要包括特征庫(kù)、規(guī)則庫(kù)、算法庫(kù)、模型庫(kù)、基礎(chǔ)庫(kù)等。其中：特征庫(kù)用于存儲(chǔ)腦電、眼動(dòng)、手勢(shì)等多模態(tài)信號(hào)的時(shí)域、頻域和時(shí)頻域特征；規(guī)則庫(kù)包括多模態(tài)信號(hào)的融合規(guī)則以及人機(jī)交互過程中的信號(hào)采集及時(shí)序處理規(guī)則等；算法庫(kù)包括各類用于設(shè)計(jì)意圖判別的機(jī)器學(xué)習(xí)算法；指令庫(kù)用于存儲(chǔ)智能交互系統(tǒng)在產(chǎn)品概念設(shè)計(jì)過程中所涉及的典型CAD指令，為用戶設(shè)計(jì)意圖的快速識(shí)別提供基礎(chǔ)；模型庫(kù)用于存儲(chǔ)典型的二維及三維模型數(shù)據(jù)，以供系統(tǒng)調(diào)用；基礎(chǔ)庫(kù)用于存儲(chǔ)系統(tǒng)用戶信息及應(yīng)用數(shù)據(jù)等，支撐系統(tǒng)運(yùn)行。上述多模態(tài)信號(hào)原始數(shù)據(jù)、信號(hào)特征、幾何模型等數(shù)據(jù)資源主要采用關(guān)系型數(shù)據(jù)庫(kù)MySql和文件系統(tǒng)來實(shí)現(xiàn)本地存儲(chǔ)，針對(duì)所涉及到的各類機(jī)器學(xué)習(xí)算法程序則采用KNIME開源系統(tǒng)進(jìn)行云端存儲(chǔ)，便于算法開發(fā)與調(diào)試維護(hù)。

(4)核心引擎層 該層為業(yè)務(wù)邏輯層的信號(hào)處理與指令識(shí)別提供具體的計(jì)算支持，主要包括信號(hào)處理引擎、原語(yǔ)解析引擎、多模態(tài)融合引擎、流程控制引擎、CAD驅(qū)動(dòng)引擎。其中：信號(hào)處理引擎為業(yè)務(wù)邏輯層進(jìn)行信號(hào)處理和分析提供算法支持，包括信號(hào)預(yù)處理算法、特征提取算法等；原語(yǔ)解析引擎用于將從不同通道采集的信號(hào)所提取的數(shù)據(jù)特征經(jīng)特征庫(kù)匹配識(shí)別后，統(tǒng)一表示為交互原語(yǔ)(數(shù)據(jù)信息，當(dāng)前通道，時(shí)間戳)，以便后期進(jìn)行融合分析和指令識(shí)別；多模態(tài)融合引擎負(fù)責(zé)在語(yǔ)義和時(shí)序約束下將各通道信號(hào)識(shí)別后形成的交互原語(yǔ)進(jìn)行語(yǔ)義消歧和融合分析，提取有效設(shè)計(jì)意圖信息；流程控制引擎負(fù)責(zé)將設(shè)計(jì)意圖對(duì)應(yīng)的CAD指令根據(jù)時(shí)序關(guān)系以及預(yù)先定義好的執(zhí)行規(guī)則進(jìn)行排序并提交到事件執(zhí)行隊(duì)列；CAD驅(qū)動(dòng)引擎依據(jù)事件執(zhí)行隊(duì)列中的CAD控制指令，驅(qū)動(dòng)CAD模塊執(zhí)行模型的相關(guān)操作。

(5)業(yè)務(wù)邏輯層 該層主要負(fù)責(zé)對(duì)采集到的多模態(tài)信號(hào)進(jìn)行信號(hào)預(yù)處理、信號(hào)原語(yǔ)識(shí)別、原語(yǔ)融合處理、設(shè)計(jì)意圖提取、任務(wù)指令生成等業(yè)務(wù)操作，最終生成模型操作指令，并將其上傳給用戶界面層。

(6)用戶界面層 該層是用戶訪問產(chǎn)品概念設(shè)計(jì)智能交互系統(tǒng)的接口，可依據(jù)不同用戶對(duì)任務(wù)及模式的選擇，進(jìn)入不同的產(chǎn)品設(shè)計(jì)環(huán)境，主要包括基于特征的三維建模環(huán)境、基于自由形體的創(chuàng)新設(shè)計(jì)環(huán)境等。

2.2 基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互物理模型

基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互系統(tǒng)的物理模型如圖3所示，主要包括多模態(tài)信號(hào)采集終端模塊、數(shù)據(jù)傳輸接口模塊、信息同步控制模塊、設(shè)計(jì)意圖識(shí)別模塊和產(chǎn)品設(shè)計(jì)交互模塊。其中：多模態(tài)信號(hào)采集終端模塊，通過接入腦電、眼動(dòng)、手勢(shì)等采集設(shè)備，實(shí)現(xiàn)對(duì)用戶多模態(tài)生理信號(hào)的高精度采集(如圖4)，并在采集終端內(nèi)部進(jìn)行信號(hào)濾波、放大等基本操作，然后將多模態(tài)模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)進(jìn)行輸出；數(shù)據(jù)傳輸接口模塊通過調(diào)用各模態(tài)信號(hào)采集軟件對(duì)應(yīng)的軟件開發(fā)工具包(Software Development Kit，SDK)，實(shí)時(shí)獲取用戶的多模態(tài)生理信號(hào)，然后基于傳輸控制協(xié)議/網(wǎng)際協(xié)議(Transmission Control Protocol/Internet Protocol，TCP/IP)將多模態(tài)信號(hào)并行傳輸給同步控制模塊；信號(hào)同步控制模塊對(duì)不同通道的數(shù)據(jù)在時(shí)序上進(jìn)行同步校準(zhǔn)，為實(shí)現(xiàn)多模態(tài)信號(hào)的融合分析提供數(shù)據(jù)基礎(chǔ)；設(shè)計(jì)意圖識(shí)別模塊從云端算法庫(kù)中調(diào)用相關(guān)機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)對(duì)各模態(tài)生理信號(hào)的判別分析，然后經(jīng)多模態(tài)融合引擎，完成對(duì)不同模態(tài)所表征設(shè)計(jì)指令的融合操作，最終得到完整的用戶設(shè)計(jì)意圖；產(chǎn)品設(shè)計(jì)交互模塊支持適配不同的CAD建模軟件，將設(shè)計(jì)意圖信息作為軟件應(yīng)用程序接口輸入信息，調(diào)用CAD軟件功能函數(shù)執(zhí)行相應(yīng)的模型操作。

2.3 基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互過程模型

基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互過程模型，主要描述從多模態(tài)信號(hào)同步采集到特征融合、原語(yǔ)識(shí)別、指令映射、意圖融合及可視化交互的整個(gè)流程，如圖5所示。具體如下：

(1)同步采集用戶的腦電、眼動(dòng)、手勢(shì)等多模態(tài)生理信號(hào)，監(jiān)聽用戶操作行為，輔助構(gòu)建用戶概念設(shè)計(jì)情境模型。

(2)對(duì)采集到的多模態(tài)信號(hào)進(jìn)行濾波、去偽跡等預(yù)處理操作，提取各模態(tài)信號(hào)的特征向量，并將其映射至同一深度特征空間，然后依據(jù)情境規(guī)則對(duì)提取的多模態(tài)信號(hào)特征進(jìn)行語(yǔ)義一致性判定。若特征語(yǔ)義一致性程度較高，則對(duì)多模態(tài)特征進(jìn)行融合處理，形成強(qiáng)化特征；反之，則直接輸出各模態(tài)的原始特征向量。

(3)采用神經(jīng)網(wǎng)絡(luò)、支持向量積等機(jī)器學(xué)習(xí)算法對(duì)輸入的特征向量進(jìn)行判別，特征庫(kù)為判別類別提供數(shù)據(jù)支持，然后采用三元組的設(shè)計(jì)原語(yǔ)(DP)對(duì)判別結(jié)果進(jìn)行統(tǒng)一描述，即DP=(Operation,Channel,TimeStamp)。 其中：Operation表示從信號(hào)特征中識(shí)別的有效操作信息，Channel表示當(dāng)前信號(hào)的模態(tài)類別(腦電、眼動(dòng)、手勢(shì)等)，TimeStamp表示信號(hào)采集的時(shí)間戳。

(4)基于設(shè)計(jì)情境驅(qū)動(dòng)引擎提供的上下文信息對(duì)識(shí)別到的設(shè)計(jì)原語(yǔ)進(jìn)行完善，擴(kuò)展各原語(yǔ)中操作行為的承擔(dān)對(duì)象信息，使設(shè)計(jì)原語(yǔ)轉(zhuǎn)化為完整的設(shè)計(jì)指令，表示為DPE=(Operation,Channel,TimeStamp,Object)，其中：Operation、Channel、TimeStamp定義同上；Object表示原語(yǔ)操作中動(dòng)作所承擔(dān)的對(duì)象信息。DPE將更加符合人機(jī)交互的語(yǔ)法規(guī)范，如“何時(shí)對(duì)何對(duì)象執(zhí)行何操作”。

(5)針對(duì)各個(gè)模態(tài)信號(hào)之間的時(shí)序關(guān)系，對(duì)識(shí)別后的設(shè)計(jì)指令進(jìn)行整合，依據(jù)情境規(guī)則在槽模型下將一定時(shí)間閾值下具有語(yǔ)義互補(bǔ)關(guān)系的指令進(jìn)行組合形成完整的設(shè)計(jì)意圖(DesignIntention,DI)，并采用三元組DI=(DA,DO,BA)進(jìn)行描述。其中：DA=(da1,…,dai)(1≤i≤m，m為采集信號(hào)模態(tài)的類別總數(shù))表示用戶設(shè)計(jì)行為dai的集合，DO表示每個(gè)設(shè)計(jì)行為對(duì)應(yīng)承載對(duì)象的集合，BA=(direction,data,time)表示每個(gè)設(shè)計(jì)行為的屬性信息，具體包括方位屬性(direction)、數(shù)據(jù)屬性(data)、時(shí)間屬性(time)。

(6)將設(shè)計(jì)意圖依次發(fā)送給產(chǎn)品設(shè)計(jì)交互終端，通過軟件接口適配完成設(shè)計(jì)意圖與CAD指令的映射過程，然后執(zhí)行CAD指令操作并為用戶反饋可視化界面。同時(shí)，將執(zhí)行結(jié)果傳遞給設(shè)計(jì)情境驅(qū)動(dòng)引擎，實(shí)現(xiàn)對(duì)用戶交互行為的實(shí)時(shí)監(jiān)聽。

3 基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互關(guān)鍵技術(shù)

3.1 多模態(tài)信號(hào)同步采集技術(shù)

數(shù)據(jù)同步技術(shù)是實(shí)現(xiàn)多模態(tài)信號(hào)融合處理的前提和基礎(chǔ)。在多模態(tài)信號(hào)融合系統(tǒng)中，不同模態(tài)生理信號(hào)的采集裝置是異步啟動(dòng)的，且各模態(tài)信號(hào)采集裝置的數(shù)據(jù)采集速率差異、采集終端時(shí)鐘偏差、網(wǎng)絡(luò)傳輸延時(shí)、協(xié)議開銷等因素，均會(huì)在不同程度降低多模態(tài)數(shù)據(jù)的同步精度。較低同步精度的多模態(tài)信號(hào)將直接影響不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)分析與融合處理效果，降低用戶意圖的判別精度。因此，為了充分發(fā)揮多模態(tài)融合技術(shù)對(duì)設(shè)計(jì)意圖的表征優(yōu)勢(shì)，需要設(shè)計(jì)一種高精度的多模態(tài)信號(hào)同步采集策略。

目前，信號(hào)同步采集主要從采集硬件和網(wǎng)絡(luò)傳輸兩個(gè)層面進(jìn)行控制[18-19]；在采集硬件層面，主要利用單片機(jī)、信號(hào)采集卡等采集設(shè)備實(shí)現(xiàn)對(duì)多模態(tài)信號(hào)的同步對(duì)齊；在網(wǎng)絡(luò)傳輸層面，主要是基于各種網(wǎng)絡(luò)傳輸協(xié)議，使多個(gè)客戶端與服務(wù)端以某一時(shí)鐘為統(tǒng)一參考進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的同步采集與傳輸?？紤]到本系統(tǒng)所使用的信號(hào)采集設(shè)備相對(duì)成熟，均具有較高的采集精度，因此本文將重點(diǎn)在網(wǎng)絡(luò)傳輸層面，闡述如何實(shí)現(xiàn)對(duì)產(chǎn)品概念設(shè)計(jì)過程中的多模態(tài)信號(hào)進(jìn)行同步采集。

在多模態(tài)智能交互系統(tǒng)中，每個(gè)模態(tài)生理信號(hào)的采集設(shè)備(腦電儀、眼動(dòng)儀、手勢(shì)采集裝置等)均可作為一個(gè)獨(dú)立的數(shù)據(jù)采集客戶端，然后基于TCP/IP協(xié)議將數(shù)據(jù)同步發(fā)送給服務(wù)端。在數(shù)據(jù)傳輸過程中，以服務(wù)端的時(shí)間戳作為統(tǒng)一參考[20]，在局域網(wǎng)內(nèi)實(shí)現(xiàn)多個(gè)客戶端與服務(wù)端的相對(duì)時(shí)間同步，同步精度可達(dá)1 ms，足以滿足多模態(tài)信號(hào)的同步傳輸需求，如圖6所示。

在數(shù)據(jù)傳輸過程中，T1時(shí)刻客戶端1向服務(wù)端、客戶端2、客戶端3發(fā)送UDP(user datagram protocol)廣播，服務(wù)端、客戶端2與客戶端3記錄接收到UDP廣播的時(shí)間分別為T0、T2和T3，隨后服務(wù)端將T0傳遞給客戶端2和客戶端3，客戶端2、客戶端3接收到服務(wù)端的時(shí)間戳后，可以計(jì)算出二者與服務(wù)端的時(shí)間差T0-T2、T0-T3，并利用該時(shí)間差值對(duì)自身的時(shí)間戳進(jìn)行調(diào)整，實(shí)現(xiàn)客戶端2、客戶端3與服務(wù)端的同步。對(duì)于客戶端1可以采用同樣的方法，從客戶端3或客戶端2發(fā)送UDP廣播(圖6中為客戶端1發(fā)送UDP的情況)，實(shí)現(xiàn)其與服務(wù)端的同步。因此，通過該方法僅需發(fā)送兩次UDP廣播便可實(shí)現(xiàn)對(duì)所有客戶端與服務(wù)端的時(shí)間同步操作，進(jìn)而完成對(duì)不同模態(tài)信號(hào)的同步采集。

3.2 產(chǎn)品概念設(shè)計(jì)情境模型構(gòu)建技術(shù)

產(chǎn)品概念設(shè)計(jì)情境模型是對(duì)用戶與模型之間交互狀態(tài)的結(jié)構(gòu)化描述，為多模態(tài)信號(hào)的分析提供融合規(guī)則與知識(shí)支持[21]，降低多模態(tài)信號(hào)在融合過程中存在的不確定性，輔助系統(tǒng)準(zhǔn)確判別不同情境下的設(shè)計(jì)意圖，提升產(chǎn)品概念設(shè)計(jì)智能交互系統(tǒng)對(duì)用戶行為的感知能力，如圖7所示。

為實(shí)現(xiàn)對(duì)產(chǎn)品概念設(shè)計(jì)情境的結(jié)構(gòu)化表達(dá)，給出對(duì)應(yīng)的元模型定義，如表1所示，主要包括情境對(duì)象、對(duì)象屬性和屬性取值3個(gè)部分。其中，情境對(duì)象主要包括用戶、界面、模型3個(gè)類別，用戶層面描述用戶選擇的交互通道狀態(tài)、用戶自身的狀態(tài)以及用戶的操作偏好等；界面層面描述CAD軟件操作界面所處的狀態(tài)，具體包括界面功能、界面縮放、顯示模式等；模型層面描述CAD中模型所處的狀態(tài)，具體包括模型的比例、選擇狀態(tài)等。

表1 產(chǎn)品概念設(shè)計(jì)情境信息

在定義產(chǎn)品概念設(shè)計(jì)情境元模型的基礎(chǔ)上，結(jié)合CAD軟件建模過程，設(shè)定了模型生成情境、模型編輯情境和模型操作情境3大類設(shè)計(jì)情境，并在每一類設(shè)計(jì)情境下進(jìn)一步劃分子情境，如模型操作情境可劃分為模型平移操作情境、模型旋轉(zhuǎn)操作情境等。在產(chǎn)品設(shè)計(jì)過程中，各種設(shè)計(jì)情境之間存在多種切換動(dòng)作，每次切換的執(zhí)行條件由不同的觸發(fā)信息組合而成。

有限狀態(tài)自動(dòng)機(jī)[22]是用來研究有限個(gè)狀態(tài)的計(jì)算及這些狀態(tài)之間的轉(zhuǎn)移和動(dòng)作等行為的數(shù)學(xué)模型。本文采用有限狀態(tài)自動(dòng)機(jī)來實(shí)現(xiàn)對(duì)不同設(shè)計(jì)情境切換過程的建模與控制。首先，構(gòu)建面向產(chǎn)品概念設(shè)計(jì)情境切換的有限狀態(tài)機(jī)表達(dá)式為：

M=(S,I,f)。

(1)

式中：S為狀態(tài)機(jī)中所有產(chǎn)品設(shè)計(jì)情境的集合；I為表征可引發(fā)設(shè)計(jì)情境狀態(tài)轉(zhuǎn)換的觸發(fā)條件信息，對(duì)應(yīng)表1中情境元模型的屬性值，屬性值變化可觸發(fā)相應(yīng)的情境切換動(dòng)作；f為情境狀態(tài)轉(zhuǎn)移函數(shù)，表示在多模態(tài)產(chǎn)品概念設(shè)計(jì)智能交互過程中不同的用戶交互行為，從一個(gè)設(shè)計(jì)情境狀態(tài)轉(zhuǎn)移到另一個(gè)設(shè)計(jì)情境狀態(tài)的規(guī)則，可以看作狀態(tài)轉(zhuǎn)移規(guī)則的集合。

在產(chǎn)品概念設(shè)計(jì)過程中，每個(gè)設(shè)計(jì)情境均可看作有限狀態(tài)自動(dòng)機(jī)的一個(gè)狀態(tài)節(jié)點(diǎn)，系統(tǒng)通過對(duì)用戶操作及終端信息的實(shí)時(shí)監(jiān)聽，捕捉設(shè)計(jì)情境的屬性信息，并依據(jù)有限狀態(tài)機(jī)模型的狀態(tài)轉(zhuǎn)移規(guī)則，實(shí)現(xiàn)對(duì)設(shè)計(jì)情境的自動(dòng)切換。例如，當(dāng)用戶在“模型生成情境”下完成一個(gè)幾何模型生成動(dòng)作后，選中并激活該模型，此時(shí)情境模型中的“模型選擇狀態(tài)”屬性值更新為“選中”，系統(tǒng)將依據(jù)監(jiān)測(cè)到的情境屬性值變化，自動(dòng)切換設(shè)計(jì)情境為“模型操作情境”，并為用戶設(shè)計(jì)意圖的判別提供該情境下的相關(guān)數(shù)據(jù)與規(guī)則信息。

3.3 多模態(tài)信號(hào)特征層融合技術(shù)

在產(chǎn)品概念設(shè)計(jì)交互過程中，不同模態(tài)信號(hào)可能表征相同的設(shè)計(jì)意圖，如在模型選擇時(shí)的腦電和眼動(dòng)信號(hào)所蘊(yùn)含的設(shè)計(jì)意圖具有較強(qiáng)的相關(guān)性，可通過特征層融合得到強(qiáng)化特征，提升對(duì)用戶選擇意圖的表征能力。

考慮到不同模態(tài)信號(hào)原始特征之間的異構(gòu)差異(特征維度、數(shù)值區(qū)間等)，直接拼接的特征處理方法顯然難以有效融合不同信號(hào)的特征信息。因此，有必要對(duì)各模態(tài)信號(hào)特征進(jìn)行一定的深度處理，將其統(tǒng)一映射到深度子空間，提取多模態(tài)共享特征，實(shí)現(xiàn)對(duì)原始信號(hào)的有效表征。

本文通過棧式自編碼器(Stacked Auto Encoder, SAE)與典型相關(guān)分析(Canonical Correlation Analysis, CCA)相結(jié)合的方法[23-24]，將具有相同語(yǔ)義的多模態(tài)原始特征轉(zhuǎn)換至同一共享特征子空間。在共享特征語(yǔ)義一致的條件下，采用受限玻爾茲曼機(jī)(Restricted Boltzmann Machine, RBM)[25]將共享子空間中的多個(gè)特征進(jìn)行融合處理，最終得到多模態(tài)共享強(qiáng)化特征，具體算法結(jié)構(gòu)如圖8所示。

min：J=Ja(Wa,ca)+Jb(Wb,cb)+αψ(Ma,Mb)。

(2)

式中：Ja(Wa,ca)、Jb(Wb,cb)為兩種模態(tài)對(duì)應(yīng)自編碼器的重構(gòu)誤差；Wa、Wb和ca、cb分別為兩種模態(tài)特征自編碼器網(wǎng)絡(luò)的權(quán)重與偏置系數(shù)；ψ(Ma,Mb)表示兩種模態(tài)特征隱藏層之間的相關(guān)度函數(shù)；Ma與Mb分別表示多模態(tài)特征隱藏層之間的相關(guān)系數(shù)矩陣；α為調(diào)節(jié)系數(shù)，通常令α<0。

完成預(yù)訓(xùn)練后，以頂層lmax最大相關(guān)性作為優(yōu)化目標(biāo)，如式(3)所示，在反向傳播中對(duì)整個(gè)耦合網(wǎng)絡(luò)進(jìn)行參數(shù)微調(diào)，完成耦合模型的總體訓(xùn)練。

maxC=ψ(Ma(lmax),Mb(lmax))。

(3)

自編碼器頂層lmax輸出最終的隱藏層特征Aa(lmax)和Ab(lmax)，以及各自對(duì)應(yīng)的最大相關(guān)系數(shù)矩陣Ma(lmax)和Mb(lmax)，將隱藏層特征與最大相關(guān)性矩陣相乘得到各模態(tài)在共享子空間中的共享向量Sa和Sb。 同時(shí)，以余弦相似度作為多模共享特征的相關(guān)性度量，判別不同模態(tài)特征的語(yǔ)義一致性，如式(4)所示，避免將兩種語(yǔ)義不同的特征向量進(jìn)行錯(cuò)誤融合。

(4)

式中δ為判定閾值。

將多模態(tài)信號(hào)特征輸入到訓(xùn)練后的模型中，在特征語(yǔ)義一致的條件下，得到融合后的多模態(tài)共享強(qiáng)化特征，從而有效提升對(duì)用戶設(shè)計(jì)意圖的表征能力。

3.4 多模態(tài)信號(hào)決策層融合技術(shù)

在多模態(tài)信號(hào)產(chǎn)品概念設(shè)計(jì)交互過程中，不同模態(tài)信號(hào)所識(shí)別的設(shè)計(jì)指令往往具有協(xié)同互補(bǔ)關(guān)系，多個(gè)模態(tài)信號(hào)組合方可形成一個(gè)完整的設(shè)計(jì)意圖。因此，在對(duì)各模態(tài)信號(hào)所表征設(shè)計(jì)指令進(jìn)行單獨(dú)判別的基礎(chǔ)上，引入基于規(guī)則的槽模型[22]實(shí)現(xiàn)對(duì)多模態(tài)信號(hào)設(shè)計(jì)指令的決策層融合過程。

基于槽模型的多模態(tài)信號(hào)決策層融合過程，如圖9所示。首先從各模態(tài)信號(hào)判別出的設(shè)計(jì)指令中提取相關(guān)設(shè)計(jì)意圖信息，分別對(duì)應(yīng)填充到操作槽、對(duì)象槽、屬性槽等設(shè)計(jì)意圖槽中。其中:操作槽存放用戶的設(shè)計(jì)行為，如模型的生成、平移、旋轉(zhuǎn)等操作；對(duì)象槽存放用戶設(shè)計(jì)行為的承載對(duì)象；屬性槽存放每個(gè)設(shè)計(jì)行為對(duì)應(yīng)的屬性信息，具體包括方位屬性、數(shù)據(jù)屬性和時(shí)間屬性等。

考慮到在不同的設(shè)計(jì)情境下，設(shè)計(jì)意圖槽需要抽取的指令信息也各不相同，因此在填槽過程中，應(yīng)依據(jù)產(chǎn)品設(shè)計(jì)情境驅(qū)動(dòng)引擎提供的規(guī)則信息，激活當(dāng)前時(shí)刻所需的設(shè)計(jì)意圖槽，并將指令信息填充到對(duì)應(yīng)的槽中，進(jìn)而形成完整的設(shè)計(jì)意圖并輸出。

綜合設(shè)計(jì)情境與槽模型的決策層融合方法可充分發(fā)揮產(chǎn)品概念設(shè)計(jì)過程中多模態(tài)信號(hào)之間的協(xié)同互補(bǔ)優(yōu)勢(shì)，降低設(shè)計(jì)指令融合的難度，提升設(shè)計(jì)意圖的判別精度。

4 基于多模態(tài)信號(hào)的產(chǎn)品概念設(shè)計(jì)智能交互應(yīng)用場(chǎng)景

4.1 多模態(tài)融合的幾何模型自然操控系統(tǒng)應(yīng)用案例

基于上述多模態(tài)信號(hào)產(chǎn)品概念設(shè)計(jì)智能交互框架，初步搭建了多模態(tài)融合的幾何模型自然操控系統(tǒng)，該系統(tǒng)主要包括設(shè)備接入、基礎(chǔ)功能、核心功能、交互界面4大模塊，如圖10所示。其中，設(shè)備接入模塊負(fù)責(zé)多模態(tài)生理信號(hào)采集設(shè)備的接入工作，實(shí)現(xiàn)對(duì)多模態(tài)信號(hào)的同步采集功能，本系統(tǒng)所采用的設(shè)備型號(hào)如表2所示，可獲取雙手在x、y、z三個(gè)方向的運(yùn)動(dòng)(位置、速度、加速度)，以及旋轉(zhuǎn)、縮放等動(dòng)作信號(hào)，雙眼注視點(diǎn)的坐標(biāo)和注視時(shí)間，不同大腦區(qū)域的多個(gè)頻段(δ，θ，α，β等)腦電信號(hào)；基礎(chǔ)功能模塊可實(shí)現(xiàn)多種工具算法的集成，包括信號(hào)處理引擎、情境構(gòu)建引擎、機(jī)器學(xué)習(xí)引擎、多模融合引擎和CAD驅(qū)動(dòng)引擎等；核心功能層依賴于基礎(chǔ)功能層，支持實(shí)現(xiàn)產(chǎn)品概念設(shè)計(jì)的核心功能，包括幾何模型生成、幾何模型操作、幾何模型編輯；交互界面層是用戶訪問幾何模型自然操控系統(tǒng)的接口，包括多模態(tài)信號(hào)采集可視化界面和多模態(tài)融合的幾何模型操控界面，其中，多模態(tài)信號(hào)采集可視化界面主要為用戶提供交互通道的選擇以及用戶偏好預(yù)設(shè)等功能，多模態(tài)融合的幾何模型操控界面則是為用戶提供幾何模型生成及操作的工作界面。

表2 多模態(tài)信號(hào)采集設(shè)備列表

所構(gòu)建的幾何模型自然操控系統(tǒng)，應(yīng)用場(chǎng)景如圖11所示。本系統(tǒng)主要通過采集用戶的腦電、眼動(dòng)、手勢(shì)等多模態(tài)生理信號(hào)，實(shí)現(xiàn)對(duì)用戶產(chǎn)品設(shè)計(jì)意圖的智能感知與精準(zhǔn)判別，然后驅(qū)動(dòng)FreeCAD建模軟件，實(shí)現(xiàn)對(duì)幾何模型的端對(duì)端操作。本系統(tǒng)涉及到的CAD指令主要包括幾何模型生成、幾何模型操作、幾何模型編輯三類；針對(duì)不同的CAD指令特點(diǎn)，選擇相對(duì)自然的生理信號(hào)進(jìn)行表征，如表3所示。

表3 多模態(tài)信號(hào)與模型操作指令的部分映射關(guān)系表

基于本系統(tǒng)，用戶可利用腦電、眼動(dòng)、手勢(shì)等多模態(tài)信號(hào)完成幾何模型的生成、編輯等常規(guī)操作，驗(yàn)證了本文所提框架與技術(shù)的可行性，為用戶提供一種嶄新的幾何模型端對(duì)端智能交互模式。與現(xiàn)有產(chǎn)品設(shè)計(jì)多模態(tài)交互系統(tǒng)MozArt[16]和GaFinC[10]進(jìn)行對(duì)比分析，如表4所示，可知本系統(tǒng)主要具備如下優(yōu)勢(shì)：

(1)在交互信號(hào)種類及數(shù)量層面 本系統(tǒng)采用了腦電、眼動(dòng)、手勢(shì)3類生理信號(hào)，相對(duì)MozArt和GaFinC而言，交互信號(hào)的類型更加豐富，提升了設(shè)計(jì)過程中獲取的用戶信息通量，為設(shè)計(jì)意圖的精準(zhǔn)判別提供了有力的數(shù)據(jù)保障。

表4 本系統(tǒng)與現(xiàn)有產(chǎn)品設(shè)計(jì)多模態(tài)交互系統(tǒng)對(duì)比分析表

(2)在多模態(tài)融合方法層面 本系統(tǒng)采用“特征層融合”與“決策層融合”相結(jié)合的方法。相較其他系統(tǒng)，特征層融合可充分消除因單一模態(tài)信號(hào)帶來的不確定性，獲取并融合來自不同模態(tài)信號(hào)但表達(dá)相同設(shè)計(jì)意圖的特征，提升對(duì)用戶設(shè)計(jì)意圖的判別精度；決策層融合則可充分利用多模態(tài)信號(hào)之間的互補(bǔ)特性，支持用戶通過自然的交互行為完成復(fù)雜的CAD操作指令。

(3)在交互信號(hào)與CAD指令映射層面 相對(duì)MozArt和GaFinC系統(tǒng)采用的“1對(duì)1”固定映射模式，本系統(tǒng)在構(gòu)建產(chǎn)品設(shè)計(jì)情境模型的基礎(chǔ)上，形成交互信號(hào)與CAD指令之間的“1對(duì)多”柔性映射模式，可支持用戶采用同一交互操作在不同設(shè)計(jì)情境下表征不同的CAD操作意圖。以手勢(shì)識(shí)別為例[5]，本系統(tǒng)實(shí)現(xiàn)了11種手勢(shì)與22種常見CAD指令之間的柔性映射關(guān)系，相比“1對(duì)1”固定映射方法，可映射CAD指令數(shù)量提升100%，大幅降低了用戶在設(shè)計(jì)過程中因復(fù)雜指令記憶造成的認(rèn)知負(fù)荷，提升了用戶設(shè)計(jì)過程的專注程度。

4.2 手眼融合的自由形體建模系統(tǒng)應(yīng)用案例

目前，CAD軟件為用戶提供的主要是以布爾操作為基礎(chǔ)的特征建模功能，這種面向詳細(xì)設(shè)計(jì)的建模方式難以支撐用戶在概念設(shè)計(jì)階段創(chuàng)新設(shè)計(jì)思維的自然表達(dá)以及創(chuàng)新方案的生成。因此，探索一種可支持用戶進(jìn)行任意變形操作的三維造型方法，是構(gòu)建新一代智能設(shè)計(jì)系統(tǒng)的一項(xiàng)關(guān)鍵技術(shù)。

自由變形技術(shù)(Free-Form Deformation, FFD)[26]作為一種典型的幾何變形方法，突破了傳統(tǒng)幾何模型拓?fù)浣Y(jié)構(gòu)和表達(dá)形式的限制，為用戶提供了一種可根據(jù)需求進(jìn)行任意形狀編輯的新型造型方法。通過該方法，用戶只需通過調(diào)整特定控制點(diǎn)，便可實(shí)現(xiàn)對(duì)三維模型的任意變形操作，其具體步驟主要包括：①將三維模型嵌入到一個(gè)控制體中，并將模型上每個(gè)點(diǎn)的坐標(biāo)與控制體的控制點(diǎn)坐標(biāo)之間建立函數(shù)映射關(guān)系；②對(duì)控制點(diǎn)進(jìn)行移動(dòng)，產(chǎn)生模型變形，且模型的變形趨勢(shì)與控制點(diǎn)的移動(dòng)趨勢(shì)保持一致，如圖12所示。

本文在開發(fā)面向產(chǎn)品概念設(shè)計(jì)的多模態(tài)信號(hào)智能交互系統(tǒng)基礎(chǔ)上，引入自由變形技術(shù)，將三維模型嵌入到一個(gè)由多個(gè)控制點(diǎn)組成的控制體中，使模型形狀可根據(jù)控制點(diǎn)的移動(dòng)變化而改變，進(jìn)而搭建手眼融合的自由形體建模系統(tǒng)。該系統(tǒng)主要以 Pycharm IDE作為集成開發(fā)環(huán)境，采用PyQt5和VTK(Visualization Toolkit)等工具包實(shí)現(xiàn)用戶圖形界面和三維數(shù)據(jù)可視化功能，支持對(duì)用戶手勢(shì)和眼動(dòng)信號(hào)的同步采集，系統(tǒng)應(yīng)用場(chǎng)景如圖13所示。

手眼融合的自由形體建模系統(tǒng)的工作流程如圖14所示，主要包括：①obj格式三維模型的讀取與導(dǎo)入；②依據(jù)模型形狀及大小，自動(dòng)生成可全面覆蓋變形空間的模型控制點(diǎn)(控制點(diǎn)的密度可根據(jù)用戶需求進(jìn)行個(gè)性選擇)，其中控制點(diǎn)分布與三維模型形狀自適應(yīng)貼合，同時(shí)建立控制點(diǎn)與模型上采樣點(diǎn)之間的函數(shù)映射關(guān)系；③基于手眼融合交互接口，實(shí)現(xiàn)對(duì)控制點(diǎn)的選擇及移動(dòng)操作；④計(jì)算三維模型采樣點(diǎn)的位移，實(shí)現(xiàn)對(duì)模型的自由變形操作。

手眼融合的自由形體建模系統(tǒng)，為用戶提供一種全新的產(chǎn)品概念設(shè)計(jì)自由造型模式，可通過手勢(shì)和眼動(dòng)等新型交互通道實(shí)現(xiàn)對(duì)自由形體的操控和編輯，完成對(duì)任意拓?fù)鋸?fù)雜形體的自由表達(dá)，交互過程直觀友好，產(chǎn)品變形過渡光滑。該系統(tǒng)將改變傳統(tǒng)基于布爾操作的特征建模方法，支持用戶進(jìn)行高自由度的模型設(shè)計(jì)操作，為三維模型創(chuàng)新設(shè)計(jì)與自然操控技術(shù)的發(fā)展奠定新的平臺(tái)基礎(chǔ)。

5 結(jié)束語(yǔ)

CAD工具是實(shí)現(xiàn)創(chuàng)新設(shè)計(jì)的重要使能技術(shù)，針對(duì)傳統(tǒng)基于“鼠標(biāo)+鍵盤”的CAD軟件交互模式難以滿足概念設(shè)計(jì)階段交互需求的問題，本文在探索新型智能交互模式的基礎(chǔ)上，構(gòu)建了一種面向產(chǎn)品概念設(shè)計(jì)的多模態(tài)智能交互框架，研究了多模態(tài)信號(hào)同步采集、多模態(tài)信號(hào)特征層及決策層融合等智能交互系統(tǒng)實(shí)現(xiàn)的關(guān)鍵技術(shù)?；谏鲜鲅芯?，搭建了多模態(tài)融合的幾何模型自然操控系統(tǒng)和手眼融合的自由形體建模系統(tǒng)，驗(yàn)證了本文所提方法的有效性。所取得的突破主要包括：

(1)提出面向產(chǎn)品概念設(shè)計(jì)的多模態(tài)智能交互模式，采用特征層與決策層融合相結(jié)合的方法，有效利用設(shè)計(jì)交互過程中多模態(tài)信號(hào)存在的信息增強(qiáng)與互補(bǔ)特性，提升人機(jī)交互信息通量，增強(qiáng)對(duì)用戶設(shè)計(jì)意圖的判別精度。

(2)建立產(chǎn)品概念設(shè)計(jì)情境模型，主動(dòng)感知用戶設(shè)計(jì)意圖，自動(dòng)切換用戶所處設(shè)計(jì)情境，弱化用戶對(duì)系統(tǒng)的感知需求，形成用戶與模型之間的端對(duì)端直連通道，大幅降低用戶的認(rèn)知負(fù)荷，提升產(chǎn)品設(shè)計(jì)效率。

考慮到多模態(tài)交互過程中不同模態(tài)信號(hào)之間的協(xié)同特性研究尚存不足，未來的研究工作將重點(diǎn)探索產(chǎn)品概念設(shè)計(jì)過程中的腦電、眼動(dòng)及手勢(shì)之間的協(xié)同規(guī)律，為實(shí)現(xiàn)新一代交互模式與計(jì)算機(jī)輔助設(shè)計(jì)的深度融合提供借鑒。