顏 波， 張 磊， 褚學(xué)寧

(上海交通大學(xué) 機(jī)械與動(dòng)力工程學(xué)院， 上海 200240)

用戶感知是用戶在使用產(chǎn)品過程中產(chǎn)生的特有體驗(yàn)，對(duì)產(chǎn)品設(shè)計(jì)改進(jìn)有著重要的指導(dǎo)作用[1].目前設(shè)計(jì)師主要通過調(diào)查問卷[2]和在線評(píng)論挖掘[3]的方式收集用戶感知信息，來建立用戶感知評(píng)估模型.Bordagaray等[4]使用Probit回歸對(duì)公共交通的服務(wù)質(zhì)量建模，探索影響公共交通用戶感知質(zhì)量的重要因素.Chen等[5]利用Logistic回歸分析了國際快遞服務(wù)要素與用戶感知之間的關(guān)系，為國際快遞服務(wù)的設(shè)計(jì)提供了新的思路.倪敏娜等[6]利用BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)定量地研究了感性意象與產(chǎn)品造型設(shè)計(jì)之間的關(guān)系，從而更全面準(zhǔn)確地評(píng)價(jià)產(chǎn)品造型設(shè)計(jì).Zhou等[7]從在線產(chǎn)品評(píng)論中提取產(chǎn)品屬性，利用支持向量機(jī)建立情感預(yù)測(cè)模型，進(jìn)一步識(shí)別出用戶需求.

上述方法存在以下主要問題：第一，問卷調(diào)查或在線評(píng)論分析方法獲取的用戶感知信息具有滯后性；第二，問卷設(shè)計(jì)可能受到設(shè)計(jì)師主觀偏見的影響.近年來，物聯(lián)網(wǎng)技術(shù)的發(fā)展極大地促進(jìn)了智能設(shè)備的普及，越來越多的產(chǎn)品在使用過程中的數(shù)據(jù)可以被監(jiān)控和采集，通過使用數(shù)據(jù)來建立用戶感知評(píng)估模型，不僅可以及時(shí)獲取用戶在使用產(chǎn)品過程中感知的變化，還可以分析出影響用戶感知的產(chǎn)品具體性能參數(shù)，為產(chǎn)品設(shè)計(jì)改進(jìn)提供決策支持.

為此，本文將產(chǎn)品使用數(shù)據(jù)引入到用戶感知評(píng)估模型中，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[8]的用戶感知評(píng)估建模方法.該方法利用滑動(dòng)窗口技術(shù)將時(shí)間序列形式的使用數(shù)據(jù)轉(zhuǎn)換為一系列數(shù)據(jù)單元，并在此基礎(chǔ)上建立適用于用戶感知評(píng)估模型的CNN結(jié)構(gòu)，模型輸入為產(chǎn)品使用數(shù)據(jù)，輸出為用戶感知評(píng)估結(jié)果，通過K-折交叉驗(yàn)證分析確定模型的最優(yōu)超參數(shù)并改善模型的過擬合問題.模型訓(xùn)練完成后，通過使用數(shù)據(jù)即可預(yù)測(cè)用戶在使用產(chǎn)品過程中感知評(píng)估的變化.以智能手機(jī)用戶的感知評(píng)估建模為例，證明了該方法能夠自動(dòng)從使用數(shù)據(jù)中提取出有效特征，用于用戶感知評(píng)估預(yù)測(cè)，減少了建模過程對(duì)用戶和設(shè)計(jì)師的依賴，能夠準(zhǔn)確及時(shí)地評(píng)估產(chǎn)品表現(xiàn).

1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特點(diǎn)

卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的代表模型，起源于計(jì)算機(jī)視覺和圖像分類領(lǐng)域，能夠有效地實(shí)現(xiàn)圖片特征的自動(dòng)提取和分類，而傳統(tǒng)的機(jī)器學(xué)習(xí)算法依賴人工提取和選擇特征，研究人員須具備相關(guān)領(lǐng)域的專業(yè)知識(shí)才能取得令人滿意的結(jié)果.CNN主要包括3個(gè)處理單元，卷積層、池化層和全連接層，如圖1所示.通過卷積層和池化層交替級(jí)聯(lián)，CNN可以根據(jù)具體任務(wù)直接提取出原始數(shù)據(jù)的深層特征表示.

圖1 典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 A typical architecture for convolution neural network

(1)

式中：Ra表示神經(jīng)元a對(duì)應(yīng)的局部感受野，即卷積核在輸入數(shù)據(jù)上選定的特定區(qū)域；xi表示輸入數(shù)據(jù)的具體取值；f(·)為激活函數(shù).

在池化層中，特征圖的數(shù)目不變但是分辨率降低，池化操作不僅減少了特征的維數(shù)，同時(shí)也增加了網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)存在的失真、扭曲、縮放和平移等問題的魯棒性.池化核遍歷卷積層特征圖的不同區(qū)域，根據(jù)池化函數(shù)從窗口區(qū)域中選擇一個(gè)值來表示該窗口的特征，然后將多個(gè)窗口的特征組合得到降維后池化層的特征圖.池化后的特征圖

pm=f(βmpool(cm)+bm),

(2)

式中：βm為權(quán)重系數(shù)；pool(·)為池化函數(shù)，常見的池化函數(shù)有平均池化、最大池化和隨機(jī)池化等.

池化層的特征圖作為全連接層或者下一個(gè)卷積層的輸入.最后，全連接層一般通過SoftMax回歸得到分類結(jié)果.典型的CNN是一個(gè)由卷積層、池化層、全連接層和SoftMax回歸層組成的前饋神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)誤差通過BP算法[9]反向傳播，根據(jù)梯度下降算法不斷調(diào)節(jié)網(wǎng)絡(luò)連接權(quán)重實(shí)現(xiàn)誤差最小化，從而使卷積層和池化層可以學(xué)習(xí)到輸入數(shù)據(jù)的最優(yōu)特征表示.

2 基于CNN的用戶感知評(píng)估建模

2.1 建模過程

利用有監(jiān)督的機(jī)器學(xué)習(xí)方法構(gòu)建用戶感知評(píng)估模型，模型輸入為產(chǎn)品使用數(shù)據(jù)，輸出為用戶感知評(píng)估結(jié)果，以此建立產(chǎn)品性能參數(shù)與用戶感知之間的映射關(guān)系.該模型的構(gòu)建主要分為兩個(gè)階段：一為模型訓(xùn)練階段，輸入為產(chǎn)品使用數(shù)據(jù)，輸出為基于問卷評(píng)估的用戶感知，用于確定模型參數(shù)；二為模型預(yù)測(cè)階段，此時(shí)模型參數(shù)已經(jīng)確定，只需輸入產(chǎn)品使用數(shù)據(jù)，即可根據(jù)模型推斷出用戶的感知評(píng)估結(jié)果.在第1節(jié)中展示的CNN結(jié)構(gòu)適用于靜態(tài)圖像識(shí)別和分類，但使用數(shù)據(jù)是時(shí)間序列數(shù)據(jù)，同時(shí)在進(jìn)行用戶感知預(yù)測(cè)時(shí)可能存在多種信號(hào)源數(shù)據(jù)，因此本文基于滑動(dòng)窗口技術(shù)提出了一種適用于用戶感知評(píng)估模型的CNN結(jié)構(gòu).

c=(l-ws)ms+1

(3)

yi=mode({yi1,yi2, …,yiws}),

(4)

i=1,2,…,c

式中：

表示向下取整；mode(·)函數(shù)表示求解給定數(shù)據(jù)集的眾數(shù).

將經(jīng)過滑動(dòng)窗口處理后的數(shù)據(jù)輸入特征提取層，特征提取通過卷積層和池化層交替級(jí)聯(lián)實(shí)現(xiàn)，卷積和池化操作在數(shù)據(jù)單元上進(jìn)行，最后將從多種信號(hào)源學(xué)習(xí)到的特征組合起來作為全連接層的輸入，經(jīng)過SoftMax回歸后得到用戶感知評(píng)估的預(yù)測(cè)結(jié)果，整個(gè)計(jì)算過程如圖2所示.對(duì)用戶的不同感知評(píng)估建模時(shí)，比如舒適性、可用性和易用性感知等，CNN的基本結(jié)構(gòu)，包括卷積層、池化層和全連接層基本都是相同的，并且不需要針對(duì)每個(gè)具體任務(wù)人工提取數(shù)據(jù)特征，使用數(shù)據(jù)采集和用戶感知評(píng)估預(yù)測(cè)都可以自動(dòng)實(shí)現(xiàn)，從而減少了建模過程中對(duì)用戶和設(shè)計(jì)師的依賴，因此所提出的方法相比于傳統(tǒng)的用戶感知建模方法更有優(yōu)勢(shì).

圖2 基于CNN的用戶感知評(píng)估建模過程Fig.2 The procedure of user experience evaluation modeling based on CNN

2.2 用戶感知評(píng)估CNN模型的訓(xùn)練過程

在機(jī)器學(xué)習(xí)領(lǐng)域，超參數(shù)是指在模型開始訓(xùn)練之前就需要給定取值的參數(shù)，而不是通過訓(xùn)練得到取值的參數(shù)，通常情況下需要根據(jù)具體任務(wù)對(duì)超參數(shù)取值進(jìn)行優(yōu)化，選擇一組最優(yōu)超參數(shù)取值以提高模型性能，因此超參數(shù)取值優(yōu)化問題也是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)熱門研究課題[10].CNN模型中的超參數(shù)包括卷積層和池化層的數(shù)量、卷積核和池化核的數(shù)量及大小、全連接層中隱含層的層數(shù)和神經(jīng)元個(gè)數(shù)、優(yōu)化算法中學(xué)習(xí)率的大小等.本文通過K-折交叉驗(yàn)證分析確定最優(yōu)超參數(shù)取值并改善模型的過擬合問題，計(jì)算流程如圖3所示.輸入數(shù)據(jù)首先被隨機(jī)分成3個(gè)數(shù)據(jù)集，訓(xùn)練集、驗(yàn)證集和測(cè)試集.然后把訓(xùn)練集和驗(yàn)證集合并為一個(gè)數(shù)據(jù)集進(jìn)行K-折交叉驗(yàn)證分析，K-折交叉驗(yàn)證分析將數(shù)據(jù)分為K個(gè)子樣本，每次取1個(gè)樣本作為驗(yàn)證集，余下的K-1個(gè)樣本作為訓(xùn)練集，訓(xùn)練完成后測(cè)試模型在驗(yàn)證集上的性能，重復(fù)K次，取K次性能指標(biāo)的平均值作為該超參數(shù)取值下模型的性能，據(jù)此測(cè)試超參數(shù)取不同值時(shí)模型的性能，最終確定最優(yōu)超參數(shù)取值并得到最佳模型.K-折交叉驗(yàn)證分析時(shí)，模型從未使用與測(cè)試集相關(guān)的任何信息，因此最終模型在測(cè)試集的表現(xiàn)更能反映其真實(shí)性能，同時(shí)，最終選擇的是在驗(yàn)證集而不是在訓(xùn)練集上具有最佳性能的模型，模型的過擬合問題也可以得到改善.

圖3 CNN模型的訓(xùn)練和超參數(shù)選擇過程Fig.3 The procedure of CNN model training and hyper parameter selecting

在利用CNN進(jìn)行特征學(xué)習(xí)時(shí)，不同數(shù)量的特征學(xué)習(xí)層可以學(xué)習(xí)到輸入數(shù)據(jù)不同層次的特征，但是隨著特征學(xué)習(xí)層數(shù)的增加，計(jì)算難度和成本也在增加，同時(shí)當(dāng)使用基于梯度下降和鏈?zhǔn)角髮?dǎo)法則的算法訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)時(shí)很可能發(fā)生梯度消失問題.為了解決這一問題，本文使用修正線性單元(Rectified Linear Unit，ReLU)作為激活函數(shù)，相比于傳統(tǒng)的Sigmoid 和 Tanh函數(shù)，ReLU函數(shù)具有梯度不飽和計(jì)算速度快等優(yōu)點(diǎn)，不僅改善了梯度消失問題也極大地加快了模型的收斂速度.ReLU函數(shù)的表達(dá)式為

(5)

式中：xin表示激活函數(shù)的輸入.

卷積層和池化層交替級(jí)聯(lián)進(jìn)行特征提取，將提取到的特征組合起來輸入全連接層和SoftMax回歸層，最后得到模型的輸出.根據(jù)模型輸出與期望輸出計(jì)算總的誤差，其中損失函數(shù)選擇交叉熵?fù)p失函數(shù)，即

模型誤差通過BP算法反向傳播，然后使用梯度下降算法訓(xùn)練網(wǎng)絡(luò)從而實(shí)現(xiàn)誤差最小化.隨機(jī)梯度下降算法[11]是常用的梯度下降算法，但其存在學(xué)習(xí)率設(shè)置困難和容易陷入局部最優(yōu)解等缺點(diǎn)，因此本文采用梯度下降優(yōu)化算法來訓(xùn)練網(wǎng)絡(luò)權(quán)重，常見的梯度下降優(yōu)化算法有NAG算法(Nesterov Accelerated Gradient)[12]、Adam算法(Adaptive Moment Estimation)[13]、AdaGrad算法(Adaptive Subgradient Descent)[14]等，它們不僅能夠訓(xùn)練復(fù)雜網(wǎng)絡(luò)，并且在速度和精度上也具有優(yōu)異表現(xiàn).

2.3 用戶感知評(píng)估CNN模型的性能評(píng)價(jià)

用戶感知評(píng)估CNN模型是一個(gè)多分類模型，為了定量地評(píng)價(jià)模型的性能，利用訓(xùn)練好的模型在測(cè)試集上進(jìn)行實(shí)驗(yàn)，得到實(shí)驗(yàn)結(jié)果的混淆矩陣，如表1所示.混淆矩陣顯示了正確分類和錯(cuò)誤分類的樣本數(shù)，利用混淆矩陣可以進(jìn)一步計(jì)算出模型的準(zhǔn)確率、召回率和精確率等.

表1 模型性能評(píng)價(jià)的混淆矩陣Tab.1 The confusion matrix for performance evaluation

對(duì)于給定的測(cè)試數(shù)據(jù)集，準(zhǔn)確率A表示分類器正確分類的樣本數(shù)與總樣本數(shù)之比，召回率R表示正確預(yù)測(cè)到的正例數(shù)與實(shí)際正例總數(shù)之比，精確率P表示正確預(yù)測(cè)到的正例數(shù)與預(yù)測(cè)正例總數(shù)之比.A,P,R越接近于1表示模型的性能越好，計(jì)算公式如下：

(7)

(8)

(9)

3 案例研究

智能手機(jī)發(fā)展迅速，作為最具代表性的人機(jī)交互式產(chǎn)品，不僅更加重視用戶的使用體驗(yàn)和感知，而且具有用戶覆蓋面廣、更新?lián)Q代速度快、使用數(shù)據(jù)易于收集等特點(diǎn).根據(jù)技術(shù)接受模型(Technology Acceptance Model，TAM)[15]以及工程師和設(shè)計(jì)師的經(jīng)驗(yàn)，用戶在使用手機(jī)的過程中會(huì)產(chǎn)生諸如設(shè)計(jì)和品牌吸引力、對(duì)流暢性的感知、對(duì)續(xù)航的感知、對(duì)功能的感知等多種感知，其中手機(jī)流暢性是影響用戶體驗(yàn)的重要因素，因此本文以手機(jī)流暢性感知評(píng)估建模為例來證明所提出方法的有效性.

3.1 實(shí)驗(yàn)方案和數(shù)據(jù)采集

本文基于Android平臺(tái)開發(fā)了一款數(shù)據(jù)采集軟件YouData，采集用戶在使用手機(jī)過程中產(chǎn)生的數(shù)據(jù).YouData軟件完全在Eclipse平臺(tái)下開發(fā)，Eclipse是一個(gè)開源的基于Java語言的可擴(kuò)展集成開發(fā)環(huán)境，除了對(duì)Android系統(tǒng)SDK(Software Development Kit)完美支持外，還提供了強(qiáng)大的個(gè)人版本管理機(jī)制，是從事手機(jī)軟件開發(fā)程序員的首選開發(fā)工具.YouData監(jiān)聽手機(jī)使用數(shù)據(jù)并定期將其記錄到日志文件中，日志文件將被保存到手機(jī)內(nèi)部存儲(chǔ)中.為了避免干擾用戶正常使用，YouData主要在后臺(tái)運(yùn)行，并配置一個(gè)簡(jiǎn)單的用戶界面，如圖4所示.

圖4 數(shù)據(jù)采集軟件YouData界面Fig.4 The interface of data acquisition application YouData

在這項(xiàng)研究中，每位用戶使用手機(jī)來完成指定的日常任務(wù)，采集的數(shù)據(jù)主要包括CPU(Central Processing Unit)使用率、RAM(Random Access Memory)占用率、ROM(Read Only Memory)占用率、網(wǎng)絡(luò)傳輸速率、電池溫度和日耗電量等，采集頻率為0.5 Hz.同時(shí)，每位用戶在數(shù)據(jù)采集結(jié)束后都會(huì)被要求在手機(jī)上填寫一份關(guān)于流暢性感知評(píng)估的調(diào)查問卷，調(diào)查問卷使用問卷星平臺(tái)完成，問卷選項(xiàng)采用Likert 5級(jí)量表的形式，選項(xiàng)1至5分別代表了“非常不流暢”至“非常流暢”.研究主要在校園內(nèi)進(jìn)行，同時(shí)也在微信、QQ等社交網(wǎng)絡(luò)上發(fā)布公告以招募更多的志愿者，最后共有182名用戶參加了這項(xiàng)研究，其中168名用戶的數(shù)據(jù)可以用于分析.

3.2 基于CNN的用戶感知評(píng)估模型

針對(duì)流暢性這一用戶感知，首先從手機(jī)工程設(shè)計(jì)的角度確定了影響手機(jī)流暢性的5個(gè)主要功能模塊：CPU、RAM、GPU、網(wǎng)絡(luò)功能模塊和操作系統(tǒng).為了排除不同手機(jī)配置對(duì)實(shí)驗(yàn)結(jié)果的影響，文章選用同款手機(jī)進(jìn)行實(shí)驗(yàn)，保證了設(shè)計(jì)參數(shù)的一致性，因此影響用戶感知的主要因素為每個(gè)功能模塊的性能參數(shù)，性能參數(shù)會(huì)隨著用戶使用手機(jī)執(zhí)行的任務(wù)或者所處的環(huán)境不同而改變.本文選取的性能參數(shù)包括CPU使用率、RAM占有率、內(nèi)存速度、網(wǎng)絡(luò)傳輸速率和電池溫度等，獲取相應(yīng)的使用數(shù)據(jù)和用戶感知數(shù)據(jù)后，利用等寬分箱技術(shù)將使用數(shù)據(jù)離散化為5個(gè)區(qū)間，然后進(jìn)行Gamma等級(jí)相關(guān)分析[16]，計(jì)算Gamma等級(jí)相關(guān)系數(shù)G和顯著性檢驗(yàn)統(tǒng)計(jì)量Z，G越接近于1表示變量間的相關(guān)性越強(qiáng)，Z越大變量間的相關(guān)性越顯著，結(jié)果如表2所示，最后確定CPU使用率、RAM占用率和網(wǎng)絡(luò)傳輸速率與用戶流暢性感知顯著相關(guān)，因此本文利用這3種使用數(shù)據(jù)來預(yù)測(cè)用戶對(duì)流暢性的感知評(píng)估.

表2 Gamma等級(jí)相關(guān)分析結(jié)果Tab.2 The results of Gamma rank correlation analysis

注：Z>Z0.05/2=1.96時(shí)，表示影響因素與用戶流暢性感知評(píng)估顯著相關(guān).

首先，利用噪聲濾波器和Z-Score方法對(duì)使用數(shù)據(jù)進(jìn)行預(yù)處理.然后，以大小為90個(gè)數(shù)據(jù)點(diǎn)的固定窗口從原始數(shù)據(jù)中滑動(dòng)取樣，窗口每次移動(dòng)45個(gè)數(shù)據(jù)點(diǎn)，每個(gè)窗口關(guān)于用戶感知評(píng)估的標(biāo)簽由窗口內(nèi)出現(xiàn)次數(shù)最多的類別標(biāo)簽決定.最后，隨機(jī)選擇70%的樣本作為訓(xùn)練集，15%的樣本作為驗(yàn)證集，15%的樣本作為測(cè)試集，按照?qǐng)D3所示的過程利用Python3.6語言編寫程序進(jìn)行訓(xùn)練和測(cè)試.

根據(jù)第2節(jié)的內(nèi)容建立1維3通道的CNN模型，使用K-折交叉驗(yàn)證分析確定模型的最優(yōu)超參數(shù)，其中K取5.最終確定卷積層和池化層的數(shù)目都是2層，第1卷積層的卷積核大小為10，即每個(gè)卷積核覆蓋10個(gè)數(shù)據(jù)點(diǎn)，卷積核個(gè)數(shù)為60，第2卷積層的卷積核大小為6，卷積核個(gè)數(shù)為10，卷積核的移動(dòng)步幅均為1，即每次移動(dòng)1個(gè)數(shù)據(jù)點(diǎn).本文采用最大池化操作，2個(gè)池化層的池化核大小均為20，池化核的移動(dòng)步幅均為2.全連接層中隱含層神經(jīng)元個(gè)數(shù)為10.SoftMax回歸層輸出神經(jīng)元的個(gè)數(shù)設(shè)置為5.使用AdaGrad算法作為優(yōu)化算法，學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)設(shè)置為 2 000.

3.3 實(shí)驗(yàn)結(jié)果分析

本文將實(shí)驗(yàn)結(jié)果和人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)模型的結(jié)果進(jìn)行比較以進(jìn)一步說明所提出方法的優(yōu)越性.ANN是基于特征的機(jī)器學(xué)習(xí)算法的代表模型，ANN模型需要先從每個(gè)窗口中提取數(shù)據(jù)特征，根據(jù)文獻(xiàn)[17]提取時(shí)間序列數(shù)據(jù)的常用數(shù)據(jù)特征，如表3所示，這些特征可能并不能完全表征用戶對(duì)流暢性的感知評(píng)估，為了提高模型的性能需要在實(shí)踐中不斷設(shè)計(jì)出新的特征.將這些特征輸入ANN模型，模型中隱含層神經(jīng)元數(shù)量根據(jù)試湊法[18]和K-折交叉驗(yàn)證分析確定為10個(gè)，因此ANN的結(jié)構(gòu)為18×10×5，即輸入層為18個(gè)神經(jīng)元，隱含層為10個(gè)神經(jīng)元，輸出層為5個(gè)神經(jīng)元，激活函數(shù)設(shè)置為Sigmoid函數(shù)，損失函數(shù)設(shè)置為交叉熵?fù)p失函數(shù)，使用AdaGrad算法訓(xùn)練模型，學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)設(shè)置為 3 000.

模型訓(xùn)練過程中準(zhǔn)確率的變化曲線如圖5所示.從圖中可以看出，在相同迭代次數(shù)下，CNN模型在訓(xùn)練集和測(cè)試集中的準(zhǔn)確率都高于ANN模型，由此說明，CNN能自動(dòng)從原始數(shù)據(jù)中提取出數(shù)據(jù)的高層次特征，而ANN則依賴人工設(shè)計(jì)特征，雖然隨著更多的特征加入到ANN中，模型的準(zhǔn)確率可能會(huì)有所提高，但這需要具有相關(guān)領(lǐng)域的專業(yè)知識(shí)才能完成，并且可能會(huì)花費(fèi)大量的時(shí)間成本和計(jì)算成本，這也是文章所提出的基于CNN的方法相比于傳統(tǒng)機(jī)器學(xué)習(xí)算法的優(yōu)點(diǎn).同時(shí)，CNN模型在迭代訓(xùn)練了 2 000 次之后趨于收斂，而ANN模型則在 3 000 次之后才趨于收斂，CNN模型的收斂速度更快并且訓(xùn)練時(shí)間更短.為了改善模型的過擬合問題，本文選擇在迭代過程中在驗(yàn)證集上具有最佳性能的模型作為最終模型，測(cè)試2個(gè)模型在測(cè)試集上的表現(xiàn).

表3 從原始數(shù)據(jù)中提取的特征及其含義Tab.3 The features and meanings extracted from raw data

圖5 模型訓(xùn)練過程中準(zhǔn)確率的變化曲線Fig.5 The accuracy curves during the model training procedure

對(duì)比2個(gè)模型在測(cè)試集上的性能，分類結(jié)果的混淆矩陣分別如表4和表5所示.從表中可以看出，CNN模型的準(zhǔn)確率達(dá)到了83.41%，并且明顯優(yōu)于ANN模型的75.61%.進(jìn)一步分析模型對(duì)各個(gè)流暢性評(píng)分估計(jì)的精確率和召回率，除極少數(shù)指標(biāo)外CNN模型的結(jié)果都優(yōu)于ANN模型.但是，從表中也可以看出，CNN和ANN模型在估計(jì)“不流暢”和“一般”評(píng)分時(shí)召回率和精確率都不高，將部分用戶真實(shí)感受為“不流暢”的評(píng)分估計(jì)成了“一般”. 此類情況的出現(xiàn)是由于用戶感知評(píng)估存在一定的主觀性，不同用戶對(duì)手機(jī)“不流暢”和“一般”的評(píng)價(jià)標(biāo)準(zhǔn)可能不一致，即使手機(jī)處于相同的運(yùn)行狀態(tài)，用戶也有可能會(huì)給出不一樣的評(píng)分.為了解決這一問題，一方面可以在獲得模型結(jié)果后再次與用戶溝通交流，根據(jù)用戶反饋修正模型，這樣有利于從一定程度上消除用戶評(píng)價(jià)標(biāo)準(zhǔn)不一致的問題；另一方面，未來也可以基于模型預(yù)測(cè)結(jié)果和用戶實(shí)際評(píng)分進(jìn)行用戶偏好相關(guān)方面的探索.

表4 CNN模型分類結(jié)果的混淆矩陣Tab.4 The confusion matrix for CNN model

表5 ANN模型分類結(jié)果的混淆矩陣Tab.5 The confusion matrix for ANN model

以上結(jié)果表明，利用本文所提出的方法可以自動(dòng)提取出使用數(shù)據(jù)的深層特征表示，用于用戶感知評(píng)估預(yù)測(cè)，減少了用戶感知評(píng)估建模過程中對(duì)用戶和設(shè)計(jì)師的依賴.由于越來越多的產(chǎn)品在使用過程中的數(shù)據(jù)可以被監(jiān)控和采集，利用該模型不僅可以及時(shí)獲取用戶在使用產(chǎn)品過程中的感知變化，還可以分析出影響用戶感知的主要產(chǎn)品性能參數(shù)，為產(chǎn)品設(shè)計(jì)改進(jìn)提供決策支持.

3.4 討論

本文以“手機(jī)流暢性”這一感知為例對(duì)所述感知建模方法進(jìn)行了案例應(yīng)用和驗(yàn)證，該方法同樣適用于用戶其他感知的建模.以“手機(jī)續(xù)航能力”這一感知為例，影響用戶對(duì)手機(jī)續(xù)航感知的主要功能模塊有電池、屏幕和處理器等，相應(yīng)的性能參數(shù)包括電池容量、電池最大可充放電次數(shù)、電池充電速度、屏幕最高分辨率和屏幕最大亮度等，因此可采集性能參數(shù)對(duì)應(yīng)的使用數(shù)據(jù)，包括電池剩余電量、電池充電次數(shù)、電池充電時(shí)間、屏幕分辨率和屏幕亮度等，對(duì)手機(jī)續(xù)航這一感知進(jìn)行分析和建模.綜上，對(duì)于用戶的不同感知，首先可通過分析影響用戶感知的主要功能模塊確定相關(guān)的性能參數(shù)，采集這些性能參數(shù)對(duì)應(yīng)的使用數(shù)據(jù)，然后利用相關(guān)性分析確定與用戶感知顯著相關(guān)的性能參數(shù)，最后利用這些性能參數(shù)對(duì)應(yīng)的使用數(shù)據(jù)來構(gòu)建用戶感知模型，實(shí)現(xiàn)用戶感知的建模和推斷.

4 結(jié)語

針對(duì)目前用戶感知建模方法存在的滯后性較大，而且問卷設(shè)計(jì)可能受到設(shè)計(jì)師主觀偏見影響的問題，本文引入產(chǎn)品使用數(shù)據(jù)來建立用戶感知評(píng)估模型，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的用戶感知評(píng)估建模方法，實(shí)現(xiàn)了數(shù)據(jù)特征的自動(dòng)提取和用戶感知的準(zhǔn)確建模，最后通過一個(gè)智能手機(jī)用戶感知建模的案例證明了所提出方法的有效性.主要?jiǎng)?chuàng)新點(diǎn)如下：

(1) 利用產(chǎn)品使用數(shù)據(jù)來建立用戶感知評(píng)估模型，不僅可以及時(shí)準(zhǔn)確預(yù)測(cè)用戶在使用產(chǎn)品過程中感知的變化，而且可以分析出影響用戶感知的主要產(chǎn)品性能參數(shù)，為產(chǎn)品設(shè)計(jì)改進(jìn)提供決策支持；

(2) 基于滑動(dòng)窗口技術(shù)和CNN建立用戶感知評(píng)估模型，模型可以自動(dòng)提取出使用數(shù)據(jù)的深層特征表示，用于用戶感知評(píng)估預(yù)測(cè)，解決了傳統(tǒng)機(jī)器學(xué)習(xí)算法依賴人工提取和選擇特征的問題，模型具有非常高的效率和準(zhǔn)確率.

本文僅探討了用戶單一感知評(píng)估建模的方法，如何考慮多種感知之間相互影響、建立多感知評(píng)估模型，是下一步的研究方向.