屈慶星，郭伏

(東北大學(xué) 工商管理學(xué)院，沈陽 110167)

1 引言

在市場競爭日趨激烈的環(huán)境下，產(chǎn)品不僅要有好的使用功能，更重要的是能使用戶感到愉悅，能帶給消費(fèi)者良好的心理感受和情感滿足?？紤]消費(fèi)者情感需求的設(shè)計(jì)正在成為產(chǎn)品設(shè)計(jì)的發(fā)展趨勢[1-4]。在情感需求測量階段，需要準(zhǔn)確獲取用戶的情感需求信息，這是情感設(shè)計(jì)的核心步驟[5-6]。現(xiàn)有研究表明，由于用戶情感意象感知過程的復(fù)雜性以及產(chǎn)品形態(tài)本身所蘊(yùn)含意象的豐富性，設(shè)計(jì)師要在產(chǎn)品投放市場之前得到目標(biāo)用戶對(duì)產(chǎn)品形態(tài)的情感意象感受反饋仍然是一件十分困難的事情[7-8]。

目前，實(shí)體產(chǎn)品設(shè)計(jì)領(lǐng)域采用的情感測量方法主要為語義差異法(Semantic Differential Method)、PrEmo等主觀測量方法[9-11]。主觀測量方法雖然應(yīng)用簡單，但由于測試對(duì)象心理響應(yīng)的不確定性，情感表達(dá)的動(dòng)態(tài)性，語言表達(dá)的雙關(guān)性、多義性等特性，會(huì)使測量結(jié)果的客觀性和準(zhǔn)確性受到影響。生理測量方法能客觀、動(dòng)態(tài)反應(yīng)消費(fèi)者的生理喚醒程度，行為測量方法可通過人的行為動(dòng)作特征反應(yīng)情感狀態(tài)。由于情感是多維結(jié)構(gòu)、多成分的復(fù)合過程，包括主觀體驗(yàn)、生理激活和外部行為表情，具有模糊性、復(fù)雜性、變動(dòng)性特點(diǎn)，因此，研究用戶情感的多模式測量方法，可以有效彌補(bǔ)單獨(dú)使用主觀情感測量方法測量用戶情感時(shí)帶來的不確定性和模糊性。

生理信號(hào)是伴隨著情感變化由人體內(nèi)部器官產(chǎn)生的一種生物電信號(hào)，生理數(shù)據(jù)能夠以持續(xù)的方式獲得，從而能夠?qū)崟r(shí)地評(píng)估用戶的情感狀態(tài)。常用的情感生理測量方法有腦電測量技術(shù)[6,12-13]、眼動(dòng)追蹤技術(shù)[14-15]、心率、皮膚電等外周生理測量技術(shù)[16-17]等。通常采集的生理信號(hào)包括腦電(Electroencephalogram，EEG)、眼動(dòng)(Eye Movements)、面部肌電圖(Facial Electromyography，fEMG)、心電(Electrocardiography，ECG)、心率(Heart Rate，HR)、脈搏數(shù)(Pulse Rate，PR)、呼吸頻率(Respiration Rate，RSP)、皮膚電反應(yīng)(Galvanic Skin Response，GSR)、皮膚溫度(Skin Temperature，SKT)、眼電(Electro-oculogram，EOG)等。生理測量方法能夠客觀地反應(yīng)生理激活水平，實(shí)時(shí)記錄用戶情感體驗(yàn)信號(hào)，避免干擾用戶體驗(yàn)過程。

近些年來，在多模式情感測量方面，已有學(xué)者對(duì)產(chǎn)品設(shè)計(jì)中的情感測量進(jìn)行了嘗試。Mandryk等(2006年)通過記錄用戶的生理、語音和面部表情等相關(guān)信號(hào)，對(duì)情感狀態(tài)進(jìn)行測量，用于評(píng)估娛樂交互系統(tǒng)的設(shè)計(jì)[18]；Hans等(2011年)在研究人機(jī)交互過程中人對(duì)系統(tǒng)信息的情感反應(yīng)時(shí)，運(yùn)用主觀情感評(píng)估量表和生理測量方法[19]。Tuch等(2011年)測量了用戶觀看不同視覺復(fù)雜度的網(wǎng)頁時(shí)的主觀情感體驗(yàn)(愉悅和喚醒)、眼動(dòng)特征(眼電EOG)和生理反應(yīng)(心率、手指血容量)，結(jié)果表明較少的復(fù)雜度與更積極的情感、減少的眼部運(yùn)動(dòng)、心率反應(yīng)以及增加的手指血容量幅度有關(guān)[20]。Sheng和Joginapelly(2012年)結(jié)合主觀體驗(yàn)和生理測量來了解電子商務(wù)網(wǎng)站的氛圍(交互性和生動(dòng)性)對(duì)用戶情感體驗(yàn)的影響，結(jié)果表明網(wǎng)站氛圍對(duì)用戶的效價(jià)和喚醒評(píng)估有積極的影響，生理數(shù)據(jù)表明用戶的心率變異與用戶自我報(bào)告的效價(jià)評(píng)估有一致的趨勢，但是喚醒評(píng)估與皮電反應(yīng)或者瞳孔直徑值沒有這樣的趨勢[21]。郭伏等(2013年)對(duì)用戶在瀏覽電子商務(wù)網(wǎng)站時(shí)的生理反應(yīng)、眼動(dòng)指標(biāo)以及主觀情感體驗(yàn)進(jìn)行測量和分析，結(jié)果表明：用戶瀏覽不同電子商務(wù)網(wǎng)站時(shí)的初始情感體驗(yàn)差異主要體現(xiàn)在主觀情感體驗(yàn)及眼動(dòng)指標(biāo)的差異，情感體驗(yàn)的三個(gè)方面相互影響，用戶情感影響用戶行為意圖。Guo等(2016年，2018年)利用主觀情感體驗(yàn)和事件相關(guān)電位(Event-related potential，ERP)分別分析了智能手機(jī)外觀和加濕器外觀的用戶情感偏好和用戶情感的神經(jīng)加工進(jìn)程[12]。Guo等(2019年)結(jié)合眼動(dòng)追蹤和腦電EEG技術(shù)，測量了用戶在觀看機(jī)器人情緒行為時(shí)的情感響應(yīng)。Maffei等(2020年)使用SAM主觀情感測量方法和腦電EEG技術(shù)研究用戶在觀看電影片段時(shí)的用戶情感反饋。

文獻(xiàn)研究表明，已有研究中情感測量主要采用語義差異法(SD)、PrEmo法等主觀情感測量方法。產(chǎn)品交互設(shè)計(jì)的情感測量雖然使用了部分測量模式的結(jié)合，但主要還是主觀測量方法，綜合運(yùn)用腦電EEG測量技術(shù)、眼動(dòng)追蹤技術(shù)和外周生理測量技術(shù)開展用戶情感測量的研究較少，而且缺少對(duì)不同模式情感測量指標(biāo)有效性的分析。因此，多模式情感測量應(yīng)是情感測量理論研究及實(shí)踐的發(fā)展趨勢。

2 對(duì)象與方法

2.1 實(shí)驗(yàn)設(shè)計(jì)

2.1.1 實(shí)驗(yàn)?zāi)康?/p>

本研究運(yùn)用主觀情感測量方法、腦電測量技術(shù)、眼動(dòng)追蹤技術(shù)和外周生理測量技術(shù)，以SUV汽車原型為實(shí)驗(yàn)材料，通過多模式情感測量實(shí)驗(yàn)，同步收集用戶瀏覽不同產(chǎn)品時(shí)的用戶情感意象數(shù)據(jù)、腦電數(shù)據(jù)、眼動(dòng)數(shù)據(jù)和外周生理數(shù)據(jù)。通過對(duì)實(shí)驗(yàn)數(shù)據(jù)的分析處理，分別對(duì)腦電EEG指標(biāo)、眼動(dòng)指標(biāo)和外周生理指標(biāo)進(jìn)行提取和選擇，分析用戶情感意象與腦電指標(biāo)、眼動(dòng)指標(biāo)以及外周生理指標(biāo)之間的關(guān)系，建立用戶情感意象與多模式生理測量指標(biāo)之間的關(guān)系模型。通過多模式情感測量實(shí)驗(yàn)研究適合產(chǎn)品外觀的情感測量方法，探索用戶情感多模式測量的有效性。

2.1.2 實(shí)驗(yàn)材料

實(shí)驗(yàn)材料為通過正交實(shí)驗(yàn)設(shè)計(jì)生成的81個(gè)SUV汽車產(chǎn)品原型。在本次實(shí)驗(yàn)中，把81款外觀設(shè)計(jì)特征存在顯著差異的SUV汽車作為實(shí)驗(yàn)材料。在同一張刺激圖片中需要展示同一款SUV汽車的不同視角圖片，整個(gè)實(shí)驗(yàn)需要在實(shí)驗(yàn)編程軟件E-Prime 2.0軟件中設(shè)計(jì)，將其添加為Image刺激。

2.1.3 實(shí)驗(yàn)對(duì)象

選取東北大學(xué)36名師生作為被試，其中男性被試17名，女性被試19名，被試年齡分布在21-43歲，平均年齡30.5(30.5±5.39)歲，均身體健康，無心血管疾病及神經(jīng)系統(tǒng)疾病，無色覺缺失，視力或矯正視力正常，均右利手。被試實(shí)驗(yàn)前均知曉實(shí)驗(yàn)并同意進(jìn)行實(shí)驗(yàn)。

2.1.4 實(shí)驗(yàn)設(shè)備

本實(shí)驗(yàn)在東北大學(xué)人因工程實(shí)驗(yàn)室中進(jìn)行，實(shí)驗(yàn)室提供的可用于實(shí)驗(yàn)研究的儀器實(shí)驗(yàn)設(shè)備主要包括Neuroscan公司生產(chǎn)的EEG/ERP多導(dǎo)聯(lián)神經(jīng)電生理分析定位系統(tǒng)，德國SMI公司生產(chǎn)的RED桌面型遙測式眼動(dòng)追蹤系統(tǒng)和美國BIOPAC公司生產(chǎn)的MP150型16通道多導(dǎo)生理記錄儀。

2.1.5 實(shí)驗(yàn)程序

正式實(shí)驗(yàn)前，邀請(qǐng)兩名有效被試(無色盲、散光，且視力矯正或裸眼視力在1.0以上)進(jìn)行預(yù)實(shí)驗(yàn)，以發(fā)現(xiàn)實(shí)驗(yàn)設(shè)計(jì)和實(shí)驗(yàn)流程中的問題和不足，并及時(shí)修改和完善，保證正式實(shí)驗(yàn)的順利進(jìn)行。實(shí)驗(yàn)開始前，先進(jìn)行實(shí)驗(yàn)前準(zhǔn)備，由主試向被試介紹實(shí)驗(yàn)須知與實(shí)驗(yàn)流程，并讓被試熟悉實(shí)驗(yàn)環(huán)境，然后在征得被試同意的情況下，請(qǐng)被試填寫知情同意書和基本情況調(diào)查表，最后，為避免光線對(duì)眼動(dòng)追蹤系統(tǒng)校正的影響，將實(shí)驗(yàn)環(huán)境光調(diào)為低度照明，被試實(shí)驗(yàn)環(huán)境如圖1所示。

圖1 實(shí)驗(yàn)環(huán)境

在眼動(dòng)精度達(dá)到目標(biāo)要求后，主試打開Acknowledge 4.2數(shù)據(jù)采集軟件，在觀察到生理信號(hào)平穩(wěn)之后，主試點(diǎn)擊Curry 7.0開始記錄腦電信號(hào)按鈕，在實(shí)驗(yàn)刺激呈現(xiàn)之前要求被試保持頭腦放松休息三分鐘，在基線測量期間，主試和被試都保持安靜狀態(tài)，保證生理信號(hào)不受外界因素的干擾。待被試腦電波形和外周生理信號(hào)達(dá)到平穩(wěn)之后，主試點(diǎn)擊鼠標(biāo)左鍵開始腦電Eprime 2.0軟件事先編程并保存好的本研究實(shí)驗(yàn)任務(wù)設(shè)計(jì)和流程。當(dāng)被試瀏覽完刺激圖片之后，點(diǎn)擊鼠標(biāo)右鍵，完成用戶情感意象反饋。本實(shí)驗(yàn)操作流程如圖2所示。

圖2 實(shí)驗(yàn)流程

2.2 數(shù)據(jù)收集與處理

用戶情感意象反饋由用戶情感偏好“喜歡的—不喜歡的”(W01)和“笨重的—輕盈的”(W02)、“華麗的—樸素的”(W03)、“細(xì)膩的—粗獷的”(W04)等情感意象詞對(duì)組成，使用7級(jí)李克特量表(得分從-3到3)進(jìn)行打分。本次實(shí)驗(yàn)共有36名被試參與實(shí)驗(yàn)，由于每名被試需要對(duì)81款實(shí)驗(yàn)樣本方案進(jìn)行主觀情感意象評(píng)價(jià)(實(shí)驗(yàn)過程中會(huì)根據(jù)被試的需求安排休息時(shí)間)，本次試驗(yàn)共收集有效問卷2916(36×81)份，調(diào)查對(duì)象包含在校學(xué)生和教職工。

腦電數(shù)據(jù)使用Neuroscan(Neurosoft Labs Inc)EEG/ERPs多導(dǎo)聯(lián)神經(jīng)電生理分析定位系統(tǒng)持續(xù)記錄，腦電數(shù)據(jù)收集選用的Ag/AgCl電極帽上的電極點(diǎn)一致共包含34個(gè)電極點(diǎn)采集腦電信號(hào)。參考電極置于左側(cè)乳突，同時(shí)記錄右側(cè)乳突電極。接地電極為位于FPZ和FZ中間的GND電極。每個(gè)電極與頭皮之間的電阻均<5 kΩ，連續(xù)記錄時(shí)濾波帶通為0.05-100 Hz，采樣率為1 000 Hz。使用BeGazeTM3.4眼動(dòng)數(shù)據(jù)記錄和分析軟件對(duì)被試眼動(dòng)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行持續(xù)記錄，采樣頻率為500 Hz。為準(zhǔn)確收集用戶瀏覽不同產(chǎn)品設(shè)計(jì)特征時(shí)的眼動(dòng)數(shù)據(jù)，需要對(duì)刺激材料中每一個(gè)SUV汽車圖片的興趣區(qū)域(Area of Interests,AOIs)進(jìn)行劃分，從而可以有效避免屏幕中留白空間對(duì)實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)確度的影響。使用AcqKnowledge 4.2軟件對(duì)外周生理信號(hào)進(jìn)行持續(xù)記錄，在數(shù)據(jù)采集時(shí)，將RSP，SKT，GSR，ECG，PPG，EMG等模塊信號(hào)通道的采樣頻率均設(shè)置為1000 Hz。

2.3 多模式情感測量指標(biāo)選取

(1)腦電EEG指標(biāo)選取

本研究采用Khushaba等人(2013年)和Bigdely-Shamlo等人(2015年)中關(guān)于節(jié)律波相對(duì)能量值和樣本熵的計(jì)算方法，運(yùn)用腦電EEG信號(hào)處理程序?qū)?shí)驗(yàn)中獲取的腦電EEG信號(hào)進(jìn)行預(yù)處理，并獲得每個(gè)被試各個(gè)電極點(diǎn)在相應(yīng)頻段的波形，然后計(jì)算各節(jié)律波的能量值和樣本熵。根據(jù)低方差特征過濾原則，依據(jù)用戶情感意象得分高低將樣本分為用戶情感意象高、中、低三組，并將用戶情感意象作為自變量，對(duì)EEG指標(biāo)進(jìn)行方差分析，從而將低方差的EEG指標(biāo)過濾掉，篩選出能夠有效反映出用戶情感意象得分差異的EEG指標(biāo)。根據(jù)相關(guān)特征過濾原則，計(jì)算EEG指標(biāo)之間的Pearson相關(guān)系數(shù)，其結(jié)果如圖3所示。結(jié)果表明，Delta、Theta、Alpha、Beta、Gamma五種節(jié)律波的相對(duì)能量值之間的相關(guān)性較低，而五種節(jié)律波的樣本熵之間的相關(guān)性較高。篩選得到能夠有效反應(yīng)出情感意象詞對(duì)得分差異顯著的有效EEG指標(biāo)如表1所示。

圖3 EEG指標(biāo)之間的相關(guān)性分析

表1 EEG指標(biāo)選取

(2)眼動(dòng)指標(biāo)選取

本文選取的眼動(dòng)指標(biāo)包括平均瞳孔直徑，注視次數(shù)，平均注視持續(xù)時(shí)間，眨眼次數(shù)，平均眨眼持續(xù)時(shí)間，眼跳次數(shù)，平均眼跳持續(xù)時(shí)間，平均眼跳幅度，平均眼跳速度。根據(jù)低方差特征過濾原則，依據(jù)用戶情感意象得分高低將樣本分為用戶情感意象高、中、低三組，并將用戶情感意象作為自變量，對(duì)眼動(dòng)指標(biāo)進(jìn)行方差分析，從而降低方差的眼動(dòng)指標(biāo)過濾掉，篩選出能夠有效反映出用戶情感意象得分差異的眼動(dòng)指標(biāo)。根據(jù)相關(guān)特征過濾原則，計(jì)算眼動(dòng)指標(biāo)之間的Pearson相關(guān)系數(shù)，其結(jié)果如圖4。結(jié)果表明，注視次數(shù)和注視時(shí)間的相關(guān)系數(shù)較高(0.755)，并具有顯著性(P<0.001)，篩選得到能夠有效反應(yīng)出情感意象詞對(duì)得分差異顯著的有效眼動(dòng)指標(biāo)如表2所示。

表2 眼動(dòng)指標(biāo)選取

圖4 眼動(dòng)指標(biāo)之間的相關(guān)性分析

(3)外周生理指標(biāo)選取

本文選取的外周生理指標(biāo)包括皮膚電導(dǎo)，皮膚溫度，呼吸頻率，呼吸幅度，脈搏頻率，脈搏幅度，心率，心率變異性，積分肌電值。根據(jù)低方差特征過濾原則，依據(jù)用戶情感意象得分高低將樣本分為用戶情感意象高、中、低三組，并將用戶情感意象作為自變量，對(duì)外周生理指標(biāo)進(jìn)行方差分析，從而將低方差的外周生理指標(biāo)過濾掉，篩選出能夠有效反映出用戶情感意象得分差異的外周生理指標(biāo)。根據(jù)相關(guān)特征過濾原則，計(jì)算外周生理指標(biāo)之間的Pearson相關(guān)系數(shù)，其結(jié)果如圖5所示。結(jié)果表明，脈搏頻率和心率的相關(guān)系數(shù)較高(0.779)，并具有顯著性(P<0.01)，篩選得到能夠有效反應(yīng)出情感意象詞對(duì)得分差異顯著的有效外周生理指標(biāo)如表3所示。

表3 外周生理指標(biāo)選取

圖5 外周生理指標(biāo)之間的相關(guān)性分析

3 結(jié)果

(1)用戶情感偏好與多模式生理測量指標(biāo)關(guān)系模型

將腦電指標(biāo)(EEG)，眼動(dòng)指標(biāo)(EM)，外周生理指標(biāo)(PP)以及它們的組合指標(biāo)分別作為自變量，分別采用偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)等機(jī)器學(xué)習(xí)算法建立用戶情感偏好與多模式生理測量指標(biāo)之間的關(guān)系模型。將訓(xùn)練樣本所得模型的均方根誤差MSE(Mean Squared Error)和擬合優(yōu)度R2(相關(guān)系數(shù)平方)作為評(píng)價(jià)關(guān)系模型的逼近能力和泛化誤差性能的指標(biāo)，MSE越小，說明關(guān)系模型的預(yù)測精度越高，R2越接近于1表示模型的擬合性和總體預(yù)測精度越好。用戶情感偏好與多模式生理測量指標(biāo)之間的關(guān)系模型如表4所示。

表4 用戶情感偏好與多模式生理測量指標(biāo)之間的關(guān)系模型

由表4可知，對(duì)于PLSR，BPNN和SVR算法來講，綜合使用腦電指標(biāo)、眼動(dòng)指標(biāo)和外周生理指標(biāo)中的兩類或兩類以上指標(biāo)組合的關(guān)系模型預(yù)測效果優(yōu)于單獨(dú)腦電指標(biāo)、眼動(dòng)指標(biāo)或者生理指標(biāo)關(guān)系模型的預(yù)測效果。綜合使用腦電指標(biāo)、眼動(dòng)指標(biāo)和生理指標(biāo)的關(guān)系模型效果最佳。具體來講，對(duì)于PLSR關(guān)系模型，采用交叉有效性檢驗(yàn)確定偏最小二乘回歸方程中選取成分的個(gè)數(shù)，PLSR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.125和0.665；對(duì)于BPNN關(guān)系模型，采用包括輸入層、單一隱含層和輸出層的三級(jí)結(jié)構(gòu)，BPNN關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.019和0.931，BPNN迭代過程如圖6所示；對(duì)于SVR關(guān)系模型，基于網(wǎng)格化尋優(yōu)參數(shù)方法，用ε-SVR進(jìn)行優(yōu)化后得到模型的最優(yōu)參數(shù)，SVR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.011和0.962，SVR迭代過程如圖7所示。

圖6 用戶情感偏好與多模式生理測量指標(biāo)關(guān)系模型的BPNN迭代過程

圖7 用戶情感偏好與多模式生理測量指標(biāo)關(guān)系模型的SVR迭代過程

(2)情感意象“笨重的—輕盈的”與多模式生理測量指標(biāo)關(guān)系模型

分別采用偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)等機(jī)器學(xué)習(xí)算法建立情感意象“笨重的—輕盈的”(W02)與多模式生理測量指標(biāo)之間的關(guān)系模型。情感意象W02與多模式生理測量指標(biāo)之間的關(guān)系模型如表5所示。

表5 情感意象W02與多模式生理測量指標(biāo)之間的關(guān)系模型

由表5可知，對(duì)于PLSR，BPNN和SVR算法來講，綜合使用腦電指標(biāo)、眼動(dòng)指標(biāo)和外周生理指標(biāo)中的兩類或兩類以上指標(biāo)組合的關(guān)系模型效果優(yōu)于單獨(dú)腦電指標(biāo)、眼動(dòng)指標(biāo)或者生理指標(biāo)關(guān)系模型的預(yù)測效果。綜合使用腦電指標(biāo)、眼動(dòng)指標(biāo)和生理指標(biāo)的關(guān)系模型效果最佳。對(duì)于PLSR關(guān)系模型，采用交叉有效性檢驗(yàn)確定偏最小二乘回歸方程中選取成分的個(gè)數(shù)，PLSR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.131和0.741；對(duì)于BPNN關(guān)系模型，采用包括輸入層、單一隱含層和輸出層的三級(jí)結(jié)構(gòu)，BPNN關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.013和0.913，BPNN迭代過程如圖8所示；對(duì)于SVR關(guān)系模型，基于網(wǎng)格化尋優(yōu)參數(shù)方法，用ε-SVR進(jìn)行優(yōu)化后得到模型的最優(yōu)參數(shù)，SVR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度數(shù)R2分別為0.010和0.953，SVR迭代過程如圖9所示。

圖8 情感意象W02與多模式生理測量指標(biāo)關(guān)系模型的BPNN迭代過程

圖9 情感意象W02與多模式生理測量指標(biāo)關(guān)系模型的SVR迭代過程

(3)情感意象“華麗的—樸素的”與多模式生理測量指標(biāo)關(guān)系模型

分別采用偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)等機(jī)器學(xué)習(xí)算法建立情感意象“華麗的—樸素的”(W03)與多模式生理測量指標(biāo)之間的關(guān)系模型。情感意象W03與多模式生理測量指標(biāo)之間的關(guān)系模型如表6所示。

表6 情感意象W02與多模式生理測量指標(biāo)之間的關(guān)系模型

由表6可知，對(duì)于PLSR，BPNN和SVR算法來講，綜合使用腦電指標(biāo)、眼動(dòng)指標(biāo)和外周生理指標(biāo)中的兩類或兩類以上指標(biāo)組合的關(guān)系模型效果優(yōu)于單獨(dú)腦電指標(biāo)、眼動(dòng)指標(biāo)或者生理指標(biāo)關(guān)系模型預(yù)測效果。綜合使用腦電指標(biāo)、眼動(dòng)指標(biāo)和生理指標(biāo)的關(guān)系模型效果最佳。具體來講，對(duì)于PLSR關(guān)系模型，采用交叉有效性檢驗(yàn)確定偏最小二乘回歸方程中選取成分的個(gè)數(shù)，PLSR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.128和0.702；對(duì)于BPNN關(guān)系模型，采用包括輸入層、單一隱含層和輸出層的三級(jí)結(jié)構(gòu)，BPNN關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.018和0.899，BPNN迭代過程如圖10所示；對(duì)于SVR關(guān)系模型，基于網(wǎng)格化尋優(yōu)參數(shù)方法，用ε-SVR進(jìn)行優(yōu)化后得到模型的最優(yōu)參數(shù)，SVR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.013和0.939，SVR迭代過程如圖11所示。

圖10 情感意象W03與多模式生理測量指標(biāo)關(guān)系模型的BPNN迭代過程

圖11 情感意象W03與多模式生理測量指標(biāo)關(guān)系模型的SVR迭代過程

(4)情感意象“細(xì)膩的—粗獷的”與多模式生理測量指標(biāo)關(guān)系模型

分別偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)等機(jī)器學(xué)習(xí)算法建立情感意象“細(xì)膩的—粗獷的”(W04)與多模式生理測量指標(biāo)之間的關(guān)系模型。情感意象W04與多模式生理測量指標(biāo)之間的關(guān)系模型如表7所示。

表7 情感意象W04與多模式生理測量指標(biāo)之間的關(guān)系模型

由表7可知，對(duì)于PLSR，BPNN和SVR算法來講，綜合使用腦電指標(biāo)、眼動(dòng)指標(biāo)和外周生理指標(biāo)中的兩類或兩類以上指標(biāo)組合的關(guān)系模型效果優(yōu)于單獨(dú)腦電指標(biāo)、眼動(dòng)指標(biāo)或者生理指標(biāo)關(guān)系模型預(yù)測效果。綜合使用腦電指標(biāo)、眼動(dòng)指標(biāo)和生理指標(biāo)的關(guān)系模型效果最佳。對(duì)于PLSR關(guān)系模型，采用交叉有效性檢驗(yàn)確定偏最小二乘回歸方程中選取成分的個(gè)數(shù)，PLSR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.137和0.741；對(duì)于BPNN關(guān)系模型，采用包括輸入層、單一隱含層和輸出層的三級(jí)結(jié)構(gòu)，BPNN關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.021和0.856，BPNN迭代過程如圖12所示；對(duì)于SVR關(guān)系模型，基于網(wǎng)格化尋優(yōu)參數(shù)方法，用ε-SVR進(jìn)行優(yōu)化后得到模型的最優(yōu)參數(shù)，SVR關(guān)系模型的均方根誤差MSE和擬合優(yōu)度R2分別為0.007和0.918，SVR迭代過程如圖13所示。

圖12 情感意象W04與多模式生理測量指標(biāo)關(guān)系模型的BPNN迭代過程

圖13 情感意象W04與多模式生理測量指標(biāo)關(guān)系模型的SVR迭代過程

綜上所述，融合腦電指標(biāo)，眼動(dòng)指標(biāo)和外周生理指標(biāo)的情感意象與多模式生理測量指標(biāo)關(guān)系模型在偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)關(guān)系模型中擁有較低的均方根誤差(MSE)和較高的擬合優(yōu)度(R2)。相較于PLSR和BPNN，在構(gòu)建情感意象W25與多模式生理測量指標(biāo)關(guān)系模型時(shí)，SVR算法模型表現(xiàn)出更低的MSE和更高的R2。

4 討論

本研究針對(duì)用戶情感意象多模式情感測量方法進(jìn)行探究，并構(gòu)建了用戶情感意象與多模式生理測量指標(biāo)關(guān)系模型。首先，通過多模式情感測量實(shí)驗(yàn)收集用戶瀏覽不同產(chǎn)品時(shí)的用戶情感意象數(shù)據(jù)、腦電數(shù)據(jù)、眼動(dòng)數(shù)據(jù)和外周生理數(shù)據(jù)；其次，對(duì)多模式情感測量實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析處理，提取腦電EEG指標(biāo)、眼動(dòng)指標(biāo)和外周生理指標(biāo)；第三，運(yùn)用特征工程方法分別篩選出能夠有效反應(yīng)用戶情感意象的腦電EEG指標(biāo)、眼動(dòng)指標(biāo)和外周生理指標(biāo)；最后，采用機(jī)器學(xué)習(xí)算法分別構(gòu)建了不同測量模式下的用戶情感意象與多模式生理測量指標(biāo)之間的關(guān)系模型。研究結(jié)果表明，融合腦電指標(biāo)，眼動(dòng)指標(biāo)和外周生理指標(biāo)的用戶情感意象與多模式生理測量指標(biāo)關(guān)系模型在偏最小二乘回歸(PLSR)，BP神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量機(jī)回歸(SVR)關(guān)系模型中擁有較低的均方根誤差(MSE)和較高的擬合優(yōu)度(R2)。相較于PLSR和BPNN，在構(gòu)建用戶情感意象與多模式生理測量指標(biāo)關(guān)系模型時(shí)，SVR算法表現(xiàn)出更低的MSE和更高的R2。

在本研究中發(fā)現(xiàn)，頂區(qū)和中央?yún)^(qū)Delta節(jié)律波的相對(duì)能量值，前額區(qū)和額葉區(qū)Theta節(jié)律波的相對(duì)能量值，前額區(qū)、額葉區(qū)和中央?yún)^(qū)Alpha節(jié)律波的相對(duì)能量值，前額區(qū)、額葉區(qū)和中央?yún)^(qū)Beta節(jié)律波的相對(duì)能量值和頂區(qū)和枕區(qū)Gamma節(jié)律波的相對(duì)能量值可以用來有效地反映用戶情感意象的變化，這與已有文獻(xiàn)中的研究結(jié)果一致。眼動(dòng)數(shù)據(jù)分析結(jié)果表明，瞳孔直徑、注視次數(shù)、眨眼次數(shù)和眼跳次數(shù)能有效反映用戶情感意象的變化。瞳孔直徑的變化與認(rèn)知和情感信息處理有關(guān)，對(duì)于特定區(qū)域的注視表明用戶對(duì)該區(qū)域注意力資源的分配，即對(duì)所呈現(xiàn)信息的心理加工，注視次數(shù)反映用戶執(zhí)行某一項(xiàng)任務(wù)時(shí)需付出的認(rèn)知努力，注視次數(shù)越多，表明用戶付出的認(rèn)知努力越多，認(rèn)知負(fù)荷越大，更高的注視次數(shù)表明用戶找到相關(guān)信息的搜索效率更低。眨眼次數(shù)與人的情感有密切關(guān)系，眨眼次數(shù)越少，表示用戶越專心，越不想被打擾。眼跳在很大程度上受到多種認(rèn)知因素的影響，涉及情感、注意、記憶、學(xué)習(xí)和決策等。外周生理數(shù)據(jù)分析結(jié)果表明，皮膚電導(dǎo)，皮膚溫度，呼吸頻率，呼吸幅度，脈搏幅度，心率，心率變異性和面部肌電積分肌電值能夠有效反映用戶情感意象的變化。當(dāng)用戶有強(qiáng)烈的情緒反應(yīng)或受到外界聽覺、視覺、觸覺等感官刺激的時(shí)候，會(huì)導(dǎo)致皮膚表面兩點(diǎn)之間的電阻降低。當(dāng)用戶情緒發(fā)生改變時(shí)，用戶的呼吸信號(hào)會(huì)相應(yīng)地發(fā)生變化，這主要體現(xiàn)在呼吸頻率以及呼吸幅度的改變。當(dāng)用戶處于不同情緒狀態(tài)下，脈搏信號(hào)的特征參數(shù)也表現(xiàn)出了差異。相比于積極的情感狀態(tài)，消極的情感狀態(tài)會(huì)產(chǎn)生更大的心率值。肌電信號(hào)能夠反映出情緒變化的神經(jīng)和肌肉的變化過程，用戶的肌肉會(huì)隨著情緒狀態(tài)的變化而變化。

5 小結(jié)

本研究主要從主觀情感測量方法、腦電測量技術(shù)、眼動(dòng)追蹤技術(shù)以及外周生理測量技術(shù)等幾個(gè)方面探索用戶情感測量模式，通過不同模式的情感測量實(shí)驗(yàn)研究適合產(chǎn)品外觀的情感測量方法，研究用戶情感多模式測量的有效性。采用機(jī)器學(xué)習(xí)算法分別構(gòu)建不同測量模式下的用戶情感意象與多模式生理測量指標(biāo)之間的關(guān)系模型，使用戶情感意象測量結(jié)果更加客觀和準(zhǔn)確，避免了主觀情感測量方法帶來的不確定性和模糊性。多模式情感測量反應(yīng)了用戶不同方面的情感體驗(yàn)，該研究構(gòu)建的多模式情感測量模型能夠更加準(zhǔn)確地反映用戶的情感狀態(tài)。研究成果是對(duì)產(chǎn)品情感設(shè)計(jì)理論與方法的完善和補(bǔ)充。研究成果的應(yīng)用對(duì)提高企業(yè)產(chǎn)品情感設(shè)計(jì)水平，減少產(chǎn)品市場投入風(fēng)險(xiǎn)，提高市場競爭力具有重要意義。