文/ 王海寧 (湖南大學(xué) 設(shè)計藝術(shù)學(xué)院)

今天非常榮幸能夠來到江南大學(xué)和各位老師、學(xué)生一起分享和交流。我來自湖南大學(xué)設(shè)計學(xué)院，我在學(xué)校主要是做情感計算，特別是多模態(tài)和多通道情感識別在人機交互領(lǐng)域的應(yīng)用。大家知道最近兩年VR技術(shù)特別火爆，在硬件、內(nèi)容和交互層面都有大量的應(yīng)用產(chǎn)生，所以隨之帶來的是很多用戶體驗的問題。所以在VR環(huán)境下如何去度量用戶的情緒，是我們非常關(guān)注的一點。這就是我今天帶來的主題，也就是VR語境下的用戶體驗設(shè)計與情感計算。首先情感計算這個概念，其實是來自信息學(xué)科，它是由MIT媒體實驗室在1997年提出的，他認(rèn)為情感計算應(yīng)該是包含一切與情感相關(guān)，來源于情感或者是能夠?qū)η楦惺┮杂绊懙挠嬎?。這個概念聽起來比較拗口，但是它的本質(zhì)是對情感的識別與測量。

經(jīng)過二十年的發(fā)展，這門學(xué)科已經(jīng)成為人工智能領(lǐng)域的重要方向，廣泛應(yīng)用于教育、醫(yī)療、交通、商業(yè)等各個方向。這其中包含了用戶體驗、可用性、人機界面設(shè)計與人機工程等設(shè)計學(xué)問題方面。對用戶體驗來說，我們從來沒有像今天這樣強調(diào)情緒的重要性，不論我們的設(shè)計焦點是一款造型、一個界面交互還是體驗，我們都需要在設(shè)計過程中去感知用戶的情緒并做出有效的傳達和反饋。隨著情感計算的發(fā)展，使得我們在傳統(tǒng)的主觀用戶研究之外，可以尋求更多的技術(shù)選擇。

這就是用戶體驗和情感計算的兩種研究體系，用戶體驗和情感計算的共同點就是它們都非常關(guān)注用戶的心理狀態(tài)，尤其是情緒心理。這種情緒過程通常是與我們對一個體驗的個人意義的評估，進而反映在主觀體驗、生理信號、行為指標(biāo)三個方面。這也恰好對應(yīng)用戶體驗研究框架當(dāng)中的，諸如問卷訪談這樣的主觀方法，以及生理測量、行為學(xué)分析這種方法體系。而對情感計算來說，更多的是用客觀的方法，也就是用各種傳感器來采集人們由情感引起的語言、語音、面部表情、身體姿態(tài)以及各種生理信號。通過這種方式，利用情感模型進行分析和識別，在理解人的情感的基礎(chǔ)上做出智能、友好的反饋。

情感的度量有很多方式，或者說有很多模態(tài)，其中情感視覺研究在用戶體驗當(dāng)中主要是用行為學(xué)的方法，人臉表情是人機交互主要的情感傳達渠道。除此之外還包括語音情感，這方面主要是通過對說話人的音質(zhì)、音色、持續(xù)時間、音高等等一系列參數(shù)的提取和識別，來實現(xiàn)情感的度量。例如像Beyond Verbal這家公司，他們可以在超低延遲的情況下，實現(xiàn)對任何視頻和語音片段的情感識別，并給出一系列的情感詞匯。這種方法非常適合我們在用戶體驗研究當(dāng)中，對口語分析、情感語義編碼等方法，進行很好的輔助。

生理信號是一種難以偽造的測量，并且它與視覺、語音信號這種短時特性不同，它是非常長時間的連續(xù)信號。所以它非常適合在豐富的復(fù)雜的情境下，包括VR情境下，進行生理測量。這一點已經(jīng)在前兩年的，像智能腕表、智能手環(huán)等穿戴設(shè)備里面得到了證實和廣泛應(yīng)用。

生理指標(biāo)包含兩個方面，中樞生理和周圍生理指標(biāo)，不同的用戶體驗研究目的不一樣，測量手段也不同。如果我們關(guān)注的更多的是情緒的喚醒度，也就是情緒的強烈與否，心率、皮膚阻抗、呼吸信號就是首選。如果我們關(guān)注的更多的是情緒的正負(fù)，這時候用表面肌電會是不錯的選擇。

眼動追蹤過去主要是關(guān)注用戶的認(rèn)知心理，而諸如瞳孔尺寸這樣的參數(shù)也在很多情緒研究中得到很多使用。2015年以來，隨著VR的火爆，國際一線的眼動追蹤大廠也開始把眼動追蹤技術(shù)由眼鏡式向頭盔內(nèi)嵌式轉(zhuǎn)型，來支持VR語境下的用戶研究。但這種VR語境下的眼動頭盔造價比較昂貴，一般都是在20萬以上。大家知道現(xiàn)在VR的頭顯市場變數(shù)很快，所以這樣的做法并不科學(xué)也不環(huán)保，反倒是像日本今年發(fā)布的消費級的眼控頭盔會是未來的趨勢。

我們除了可以進行單一模態(tài)的情感識別之外，近年來使用多種情緒識別手段進行綜合的情緒評估成為一種趨勢，可以得到更高的情緒識別率。也就是我們可以同時使用面部表情分析、各種生理指標(biāo)、眼動追蹤，結(jié)合主觀的量表一起共同進行情緒識別。具體的模態(tài)組合有非常多的方式，我們選擇的時候除了考慮我們的實驗?zāi)康暮蛯嶒灄l件之外，這些選擇也會影響到情緒識別模型的復(fù)雜程度，需要我們在具體實驗當(dāng)中進行判斷。以上講的都是在常規(guī)情境下的用戶體驗度量。

今年被稱為虛擬現(xiàn)實元年，表現(xiàn)在政商學(xué)術(shù)界對VR相關(guān)的技術(shù)探索和應(yīng)用都表現(xiàn)出了極大的熱情，出現(xiàn)了一大批的VR體驗。這些體驗帶給我們前所未有的沉浸感的同時，也帶來了很大的體驗問題，對我們的設(shè)計提出了更新的要求。

體驗過VR的人都知道，直到今天VR的一大問題仍然是暈動癥，也就是眩暈。這里面除了個人因素和硬件因素之外，作為設(shè)計師完全可以通過科學(xué)的UI設(shè)計和交互設(shè)計，來改善和提升用戶體驗的。看一下VR的典型場景里面有哪些需要注意的用戶體驗要素。

首先，虛實相生游戲先行。從傳統(tǒng)游戲過渡到VR游戲之后，我們會拋棄掉過去傳統(tǒng)游戲所大量使用的對話框這種交互模式，我們需要在完全沉浸的情況下用一種新的方式告訴用戶他是誰，他在哪，他要做什么。此外游戲需要用戶做大量的操作，視覺上過于華麗的界面會對用戶造成很大的負(fù)擔(dān)。這一點跟傳統(tǒng)的頁游、手游甚至端游都有很大的區(qū)別。因為密集的信息會讓用戶在心理上無所適從，甚至?xí)觿⊙灨小?/p>

第二大主題是購物，昨天是雙十一，業(yè)界有兩件大事發(fā)生，第一件是馬云的敗家VR正式上線，第二件事是HTC的中國區(qū)正式發(fā)布了無線版解決方案，標(biāo)志著主機VR正式走入無線時代。在新一代的VR購物的環(huán)境當(dāng)中，我們要更加重視店家和商品信息的視覺呈現(xiàn)，避免文字的大量堆積。因為VR購物本身是一種重體驗輕瀏覽甚至是輕效率的過程。如果只是一味的瀏覽文字信息或者只是看到了一些立體的商業(yè)產(chǎn)品的話，其實并沒有任何商業(yè)價值。如果我們只是追求下單的高效率的話，我們完全可以用手機或者是網(wǎng)頁來實現(xiàn)。VR的優(yōu)勢就是可以讓我們在買廚具的時候體驗一套完整的做菜過程，讓我們在買車的時候可以看到汽車的動力學(xué)，甚至還可以自由的搭配、拆裝、定制、模塊化，這些可操作的細(xì)節(jié)設(shè)計正是VR購物情境下的特殊要求。

第三個方面是虛擬博物館，虛擬科技館，藝術(shù)館等等。在虛擬場館中不會再有人山人海，我們可以有更多的時間和想象力去考慮如何去進行舒適的空間設(shè)計，讓用戶了解每一件作品背后的故事。

除此之外，為了讓用戶在一個相對空曠的博物館里面去了解所有的展品。我們需要對虛擬環(huán)境里面的展品的擺放，甚至是NPC的走位都有一個適當(dāng)?shù)囊龑?dǎo)和再設(shè)計，突出交互性。

情境體驗是虛擬現(xiàn)實最大的魅力，在一個真實場館里面我們可以了解一件古代展品的紋路、佩飾和材質(zhì)，但是在VR世界里面，我們可以除了近距離把玩之外，還可以直接去到那個時代，去用另外一個身份感受展品本來的面貌。

最后我們還可以通過模擬最自然的交互，設(shè)計出非常多的有趣的互動情節(jié)。比如目前在STEAM平臺上一個非常著名的VR，叫做梵高的一間咖啡館，在座的很多人都看過那幅名畫。國外有家公司把這個梵高的名畫從2D變到3D，但是同時保持了梵高的色調(diào)，保持了梵高的風(fēng)格。用戶可以戴上頭盔之后，自己走進那間咖啡館，上下樓，然后看到原畫里面每張桌子每個人。我們可以去體會梵高當(dāng)時的創(chuàng)作過程，甚至我們可以去跟隨梵高的視野，向窗外看去，看到梵高的星空。這就是互動體驗的魅力。

主題公園，VR體驗館和旅游，這是目前VR線下的主要火力點。廠家為了追求刺激的體驗，不少的體驗館或者主題公園，他們把過山車都配備了VR，可以讓用戶在游戲和現(xiàn)實當(dāng)中同時急速的下降和上升。這種體驗有兩大優(yōu)點，第一是我們不需要耗費巨資占用很大的場地去修建整個的軌道，而是可以通過像蛋像飛船這樣的設(shè)備去進行模擬。而且玩家在頭盔中看到的也絕不是軌道，而是科幻的魔幻的甚至是二次元的世界。這就是最強的代入感。

此外，隨著現(xiàn)在光學(xué)定位，VR背包，還有像力反饋和震動反饋的背心設(shè)備的發(fā)展，可以使得虛擬跟現(xiàn)實之間不再是割裂的世界。也就是我們可以用真實來增強虛擬。通過精準(zhǔn)的光學(xué)定位和慣性動作，我們可以在真實的世界當(dāng)中，手里握著一根木棍，但是在虛擬世界當(dāng)中拿到的是一把劍等等。而且在這種情況下可以實現(xiàn)虛擬跟真實的完美同步。很多專業(yè)人士認(rèn)為，這才是VR線下娛樂的未來。

VR用戶體驗是當(dāng)前一個熱門話題，每個團隊都在路演的時候強調(diào)體驗。但是其實很多人在一定程度上是概念的炒作。另外一方面也是把硬件的參數(shù)提升簡單粗暴的和用戶體驗之間劃了等號。我們圍繞VR語境下的用戶體驗研究進行了相關(guān)的論文搜索，主要瞄準(zhǔn)的是人機交互、人工智能相關(guān)的一些近三年的論文。相關(guān)的研究還是比較少的，比如這一篇，它是2015年的CHI雜志文章，它做的是面向博物館的VR體驗研究，作者提出了一個由認(rèn)知度、激發(fā)度和喚醒度所構(gòu)成的一個興趣度模型，用戶在體驗一個VR的博物館旅游的時候，會對相應(yīng)的這些元素進行針對性的生理信號的探測，然后在體驗結(jié)束之后會得到一個興趣度的模型，從而優(yōu)化用戶的參觀體驗。比如我們可以在參觀中剔除一些他們不感興趣的東西，而強調(diào)他們感興趣的文化元素等等，可以使他們在參觀過程中始終保持印象深刻。

在這篇SCI論文里面，作者試圖研究沉浸式VR體驗當(dāng)中用戶的情緒反應(yīng)與非VR的體驗又何不同。研究方法是從情境圖片庫里面提取12張最積極和最消極的圖片，讓用戶在戴上設(shè)備之后有一個重新的體驗，在體驗過程中進行皮膚電的測試，并進行情緒打分。結(jié)果發(fā)現(xiàn)在VR情境下的所有圖片均誘發(fā)出更高的喚醒度，也就是說更強烈的情緒。其中包括像蜘蛛跟蛇這樣的恐怖圖片，更容易引起極端消極的情緒。也就是說VR會對情緒帶來顯著的增強。此外，用戶在VR里面的注意力也會更強更加集中，這在產(chǎn)品設(shè)計和評估上會有很好的應(yīng)用潛力。

這一篇是發(fā)表在計算機圖形學(xué)的頂級期刊上，是今年的文章，它主要在研究虛擬人物的外觀仿真度以及情緒和行為會在多大程度上影響用戶的情緒反饋。在這篇文章里面作者提供了三種不同層次的仿真度的虛擬人物外觀，分別是高仿真度低仿真度以及手繪風(fēng)格的仿真度。結(jié)果發(fā)現(xiàn)，在仿真度很高的虛擬環(huán)境當(dāng)中，用戶會更加關(guān)注比如虛擬人物的首飾以及說話的語氣等等。

除了國外研究之外，我們也做了一些相關(guān)的研究。這是一個國家科技支撐計劃，會在兩天之后在北京答辯。其中一個子課題是做了圍繞岳麓書院做的3D虛擬重建和虛擬漫游，我們基于這個實拍航拍以及大量的文獻資料，對岳麓書院進行了還原。這個漫游效果也是在去年的意大利世博會上做了展示。

然后另外一個國家科技支撐計劃子課題是做服裝的虛擬展示，我們主要基于人體數(shù)據(jù)的快速獲取和人衣自適應(yīng)擬合的基礎(chǔ)上，來做這個服裝設(shè)計的評價。我們除了在做感性影響評估之外，還準(zhǔn)備做一些基于主客觀情感度量的研究，讓用戶在VR的環(huán)境下知道自己喜歡什么樣的衣服喜歡什么樣的搭配。

第三個課題是我們目前剛剛開始做的VR情境下的設(shè)計方案評審。就是說戴上頭盔之后，看到一輛1：1比例的真車，我們可以在虛擬環(huán)境下評估這輛車的概念草圖、結(jié)構(gòu)工藝、數(shù)字模型等等。然后在測試的同時，我們會戴上一些生理傳感，比如說表面肌電、心率、皮膚電等等，來判斷用戶的客觀特征值和主觀感性之間的關(guān)聯(lián)。此外還做了很多關(guān)于汽車虛擬展示、文物展示、虛擬家裝等等相關(guān)的橫向課題。

最后分享一個我們做的基礎(chǔ)研究的案例。這項研究的靈感來自于我們之前做的一款醫(yī)院題材的恐怖VR游戲，這個游戲我們當(dāng)中采用了慣性動作捕獲進行虛擬角色的動畫采集，以及玩家的動作模擬，以及交互事件的觸發(fā)等等。劇情設(shè)計和關(guān)卡設(shè)計是非常復(fù)雜的，玩家可以體會到虛擬人物的內(nèi)心的焦慮、恐懼、自責(zé)、釋然等等不同的情緒。這里截取了恐怖的那幾秒的視頻。在游戲體驗過程中，我們一直在思考一個問題，就是我們一直想獲取到用戶的實時的情緒，來幫助我們優(yōu)化我們的游戲設(shè)計。比如說我們在游戲的某些場景希望可以誘發(fā)出我們所希望達到的效果，比如說自責(zé)、焦慮、悔恨等等。但是我們?nèi)绻ㄟ^像主觀問卷或者行為觀察的方法，效果非常差，因為玩家往往不能正確回憶起當(dāng)時經(jīng)歷的種種情感，而是被他最強烈的恐怖氣氛所帶動，我們無法進行非常實時和客觀的測量。

這次體驗大概有一百多位學(xué)生進行了體驗，他們非常厲害，不僅可以把自己嚇個半死，還可以把周圍的人嚇個半死。所以正是通過這次展示，才讓我們決定嘗試研究用戶情緒的實時度量和生理信號測量之間的關(guān)系。這個視頻我不方便放出聲音來。

這位是我們的何院長，這就是這款游戲的靈感。所以我們設(shè)計了這款游戲之后，針對這款游戲進行了一個基礎(chǔ)研究，我們提出了一個研究思路，就是基于生理信號采集來獲取用戶的情感。我們在游戲當(dāng)中采取了這些生理信號。戴上頭盔之后，測量腦電，測量表面肌電，表面肌電是放在人的臉部，是在皺眉肌和顴骨位置的兩塊肌肉，分別用來表現(xiàn)用戶的負(fù)面情緒和正面情緒。以及心率和血容量搏動，是在手指的位置，一般是放在玩游戲的非優(yōu)勢手上面。這是情緒的測量方面，在情緒的識別階段是符合模式識別和機器學(xué)習(xí)的一般流程，包括了信號處理、模式分類以及結(jié)合錯誤檢測的算法改進等等。

我們在這個基礎(chǔ)上，因為這個實驗本身比較復(fù)雜，而且VR游戲體驗時間比較長，所以我們被試并不是很多，是經(jīng)過了身心健康的篩選和心理量表的填寫。我們在實驗的過程中，除了對我們自己做的游戲進行測試之外，我們還在STEAM平臺上挑選了目前VR領(lǐng)域最火的前一百個游戲當(dāng)中進行篩選，挑出了二十段游戲，每段游戲找出120秒到200秒的我們認(rèn)為有代表性的情節(jié)，然后根據(jù)情緒劃分，劃分為從喚醒度和效價兩個維度，也就是情緒的強烈與否和正負(fù)與否，這兩個維度進行劃分。然后這是實驗的研究范式，我們嘗試把不同喚醒度的游戲片段進行隨機打亂，但是要保證在每次游戲體驗之前都有一次中性情緒的視頻進行情緒的平復(fù)。用來所有中性的游戲體驗的片段是來自于我們之前自己拍攝的一些風(fēng)光類的VR視頻。

這是信號測量的結(jié)果，來自腦電、血容量搏動、表面肌電和皮膚阻抗，然后我們在此基礎(chǔ)上提取了很多情緒特征，我們特別針對生理信號這種高度非穩(wěn)態(tài)和非線性的信號，所以我們提取了一些非線性特征。然后在此基礎(chǔ)上進行特征的篩選、優(yōu)化，取得一個最優(yōu)的特征集。

這個就是我們?nèi)〉玫难芯砍晒?，也就是我們找到了跟情緒不同維度之間關(guān)聯(lián)性為強的特征子集，這些特征有一些是可以直接解釋的，比如像腦電在CP6電極位置的α波的密度等等，還有一些特征是無法直接解釋的，因為經(jīng)過了非線性的換算。此外我們還通過嘗試多種分類器的方法，來尋求一個最優(yōu)的識別率。這就是我們的最后的結(jié)果。最優(yōu)的分類結(jié)果是用隨機分鄰算法，取得了83.79%的喚醒識別率，這個算法還在不斷的優(yōu)化。這只是我們基礎(chǔ)研究的第一步，接下來我們會針對游戲設(shè)計的情節(jié)展開更多的研究。

因為在VR市場里面有非常多的變數(shù)，包括頭顯，包括情緒度量的方法，都在不斷的迭代。會發(fā)現(xiàn)有很多像頭盔加肌電、頭盔加人臉表情識別、頭盔加眼動識別等等，那么正是由于這些無線、便攜、穩(wěn)定而且友好的設(shè)備出現(xiàn)，才能支持我們不斷的進行實驗優(yōu)化和改進。

這就是我今天的分享，謝謝大家。