李 超 趙文萍 趙子平

(天津師范大學，天津 300387)

1 引言

隨著計算機和信息技術(shù)的發(fā)展，具有識別人類情感能力的機器能夠顯著提高人機交互的用戶體驗，為人機交互提供一個平滑自然的接口[1]。早期的研究工作主要關(guān)注表情、語音、姿勢、行為等外在生理指標的情感識別，也取得了令人振奮的成果[2-3]。但受社會面具等情況的影響，人們很容易通過表情、語音等掩飾自己的真實情感，因此，使用外在生理指標進行情感識別仍存在一定的限制。Rani等人[4]指出即使一個人沒有通過語音、姿勢或面部表情來表達自己內(nèi)在的情緒，用戶在情感表達過程中生理模式上的變化仍然不可避免地能夠被檢測到。自主神經(jīng)系統(tǒng)活動的客觀性決定了用戶很難對其情感表達進行有意識的控制，生理反應(yīng)能夠較為真實和客觀地反映用戶內(nèi)心的情感狀態(tài)。同時，隨著無線通信技術(shù)和可穿戴式設(shè)備的發(fā)展，只要用戶佩戴可穿戴式設(shè)備，用戶的生理信號就能夠被連續(xù)的獲取和分析，能夠有效避免數(shù)據(jù)缺失對情感識別造成的影響?；诖耍疚闹饕P(guān)注基于生理信號(腦電信號和外周生理信號)的情感識別。

人類在情感表達上是多種多樣的，多模態(tài)信息的互補性表明各個模態(tài)都具有其他模態(tài)不具有的信息[5]。有研究表明，由于來自不同方面的情感數(shù)據(jù)的互補性和冗余性能夠提高情感識別系統(tǒng)的魯棒性。Scherer和Ellgring[6]結(jié)合表情、聲音和姿勢信息來判別14個情感種類。對于分別使用表情和聲音的單一模態(tài)的情感識別準確率僅能達到52.2%和52.5%。而使用多模態(tài)信息融合的方法能取得79% 的情感識別準確率。但當選取多模態(tài)中10 個最具判別性的特征進行情感分類時，其準確率會下降到54%，這說明，由于單一模態(tài)的特征數(shù)與多模態(tài)的特征數(shù)不相等，相較于單一模態(tài)的情感識別，我們很難說明結(jié)合多模態(tài)信息的情感識別是否能帶來系統(tǒng)的性能提升。Maaoui等人[7]研究了結(jié)合生理信號和表情信息融合的情感識別系統(tǒng)。該系統(tǒng)使用IAPS誘導10名被試在不同時間范圍內(nèi)的積極和消極情緒，并通過采集被試的脈搏、肌電、皮電、皮膚溫度和呼吸等生理信號，結(jié)合被試的面部表情，利用特征級融合和決策級融合技術(shù)來估計個體的情感狀態(tài)。實驗結(jié)果顯示，在單模態(tài)用戶依賴模型下，基于表情的情感識別率可達到58.56%，基于生理信號的情感識別率可達到85.62%；而在雙模態(tài)融合情況下，用戶依賴模型能夠取得86.80%的情感識別率。在用戶獨立模型下，特征級融合取得了70%的最高情感識別率。雖然特征級融合的多模態(tài)情感識別取得了一定的效果，但由于不同模態(tài)之間的情感信息存在著巨大的差異性，來自不同模態(tài)的樣本數(shù)據(jù)可能位于完全不同的空間，若將其簡單地直接匹配或連接進行情感識別，就不能保證情感識別的精度。

現(xiàn)實世界中，我們可以通過一個對象所展現(xiàn)出的不同視角來觀察和分析同一對象。近年來，越來越多的研究者使用多視角的方法來解決各自領(lǐng)域內(nèi)的研究課題。Kan[8]等人針對物體識別領(lǐng)域多視角學習存在的問題，通過聯(lián)合學習多個視角的特定線性變換，找到具有判別性的多視角圖像公共空間，在可見光圖像與近紅外圖像人臉識別等方面取得了很好的效果。Cao[9]等人針對不同模態(tài)下多視角嵌入存在的非線性問題，通過使用圖嵌入框架，提出了一個廣義多視角嵌入方法，解決了多視角學習框架下非線性數(shù)據(jù)的分類問題，并在物體識別和跨模態(tài)圖像檢索方面取得了較好的識別效果。多視角學習的優(yōu)勢在于利用了不同視角數(shù)據(jù)表示下的一致性原則和互補性原則[10]。一致性主要體現(xiàn)在對同一研究對象的多個視角建立了本質(zhì)性的聯(lián)系，可以通過利用多視角之間對于表達上的一致性降低每個視角優(yōu)化目標的搜索空間；而互補性主要體現(xiàn)在每個視角可能具有其他視角不具備的信息，通過多視角學習，就能夠?qū)⒏鱾€視角的數(shù)據(jù)綜合利用，形成對研究對象更為準確地描述和表達，從而提高學習性能。

基于此，本文通過情緒表達的不同視角來觀察和分析人類的情感狀態(tài)，提出使用基于多視角判別分析的情感識別。將每個模態(tài)信息看做情感表達的一個獨立視角，通過利用情感標簽的監(jiān)督信息，最大化多個不同模態(tài)情感數(shù)據(jù)之間的一致性，抽取不同模態(tài)下最具有判別性的情感特征，將多模態(tài)情感樣本投影到一個具有判別性的通用空間中，提高情感特征的判別性。

本文的主要貢獻可總結(jié)為如下兩點：1)由于各個模態(tài)的情感數(shù)據(jù)在空間中的分布不同，簡單地將各個模態(tài)的情感特征連接為一個向量進行情感識別，并不能保證情感識別的準確性。本文使用的多視角判別分析方法，充分挖掘了各個模態(tài)對于情感識別的貢獻度，抽取了情感表達的一致性和互補性信息。2)相較于無監(jiān)督的多模態(tài)融合方法，多視角判別分析方法充分利用標簽的監(jiān)督信息，將多模態(tài)情感數(shù)據(jù)映射到情感判別的通用空間，使得映射后的情感數(shù)據(jù)同類樣本之間距離最小，異類樣本之間距離最大，為情感識別提供了有效的情感判別特征。

本文其余部分安排如下：第二章回顧了與本文有關(guān)的相關(guān)工作。第三章介紹了多視角判別分析方法及其在多模態(tài)情感識別上的應(yīng)用。第四章展示了本文提出的方法在情感公開數(shù)據(jù)集DEAP dataset上的結(jié)果，并與現(xiàn)有方法進行了比較和分析。第五章總結(jié)了本文的工作并指出了未來的工作方向。

2 相關(guān)工作

(1)單視角學習與多視角學習

在機器學習領(lǐng)域，某些研究對象只需通過一個特征集來表示，利用單一特征集進行機器學習即稱為單視角學習。而多視角學習研究的目標對象是由多個特征集或視角表示的，每個視角都具有與其他視角相一致性的信息和其他視角不具備的信息，多視角學習問題主要研究如何利用不同特征集或視角提供的信息進行充分有效的學習[5]。

傳統(tǒng)方法處理多視角數(shù)據(jù)時，往往將多個視角的數(shù)據(jù)拼接為一個單一視角的數(shù)據(jù)，而后再采用單視角數(shù)據(jù)方法對數(shù)據(jù)進行處理。然而，由于每個視角的數(shù)據(jù)都具有獨特的統(tǒng)計特性，因此，可能造成在小樣本數(shù)據(jù)上的過擬合或是缺乏合理的物理解釋。因此，需要更好的多視角融合方式以取得較優(yōu)的學習性能?；诖?，本文采用多視角學習方法進行多模態(tài)情感數(shù)據(jù)的特征提取，充分利用多視角情感數(shù)據(jù)在情感表達上的一致性與互補性，建立有效的學習器。

(2)情感模型

選擇適合的情感模型是情感識別研究工作的基礎(chǔ)。Cowie[11]等人在2001 年總結(jié)了大量的在情感識別領(lǐng)域中使用的情感模型。目前，在情感識別領(lǐng)域經(jīng)常使用的模型可分為離散型的情感模型和維度型的情感模型。離散型情感認為情感由有限個基本情感組成。目前，最常使用的離散型情感是Ekman 等人[12]提出的六大基本情感(“Big Six”)，即悲傷、恐懼、驚奇、厭惡、憤怒、高興6種基本情感。

離散型情感模型符合人們認知的常識，也便于在情感識別問題中的建模。然而，隨著情感識別問題研究的深入，學者們發(fā)現(xiàn)離散型情感不能反映情感在表達和傳遞過程中的復雜性和豐富性。因此，維度型情感逐漸受到研究者的關(guān)注。目前,最常用的維度型情感是Arousal-Valence模型[13]，它將情感定義在兩個維度上，橫坐標表示情感狀態(tài)的興奮程度，從低興奮度逐漸過渡到高興奮度，縱坐標表示情感狀態(tài)的愉悅程度，從不喜歡逐漸過渡到喜歡，這使得人們的情感狀態(tài)可以在情感維度模型中表達出來。本文關(guān)注于維度型情感的分析與識別。

(3)情感計算模型

目前，在情感識別上的計算模型主要有用戶依賴模型(User-dependent model)和用戶獨立模型(User-independent model)。早期的情感識別主要關(guān)注于用戶依賴模型的建立，即對單一用戶建立定制化的模型[14]。而用戶獨立模型希望根據(jù)人類情感表達的共性，建立情感識別的泛化模型。在用戶依賴模型中，訓練數(shù)據(jù)和測試數(shù)據(jù)均來自于同一用戶；而在用戶獨立模型中，訓練數(shù)據(jù)和測試數(shù)據(jù)分別來自不同的多個用戶。在實際的應(yīng)用場景中，我們很難做到收集每個用戶的數(shù)據(jù)并建立相應(yīng)的用戶依賴模型。因此，近期的情感識別系統(tǒng)開始從用戶依賴場景過渡到用戶獨立場景。然而，由于被試在情感反應(yīng)上的個體差異性的存在，用戶獨立模型的準確率仍有待提高。本文中，我們通過建立用戶依賴模型和用戶獨立模型來考察本文所使用的方法。

3 多視角判別分析

多模態(tài)信息的互補性表明各個模態(tài)都具有其他模態(tài)不具有的信息。之前的研究也表明采用多模態(tài)信號能夠增強情感識別系統(tǒng)[3,15]。傳統(tǒng)的多模態(tài)情感識別算法簡單地將不同模態(tài)的特征數(shù)據(jù)連接起來后進行情感識別，由于各個模態(tài)之間的量綱不同，很難有效地挖掘情感表達的一致性和潛在的情感判別空間，其識別結(jié)果雖然較單一模態(tài)的情感識別較好，但仍然不能令人滿意。因此，如何使用多模態(tài)生理情感數(shù)據(jù)挖掘情感表達的一致性與互補性，學習出多模態(tài)信號對情感表達的通用判別空間是多模態(tài)情感識別的關(guān)鍵問題。

圖1 基于多視角判別分析的情感特征提取過程Fig.1 Emotional feature extraction based on multi-view discriminant analysis

考慮來自于多個模態(tài)的情感生理數(shù)據(jù)X={xijk∈Rdj|i=1,…,c;j=1,…,ν;k=1,…,nij}，其中，xijk表示第i個類別第j個模態(tài)下的第k個樣本，ν為多模態(tài)個數(shù)，c為情感標簽類別數(shù)，nij為第i個類別第j個模態(tài)下的樣本個數(shù)，dj為第j個模態(tài)下的數(shù)據(jù)維度。

(1)

(2)

(3)

(4)

(5)

Sjr的具體求解過程如下所示：

(6)

(7)

(8)

(9)

因此，公式(1)能夠被重寫為如下形式：

(10)

根據(jù)文獻[13]，公式(10)能夠重寫為如下形式：

(11)

利用上述投影矩陣W，我們可以將多模態(tài)情感生理數(shù)據(jù)投影到情感表達的通用判別空間，從而獲得具有判別性的多模態(tài)情感識別特征。

算法1給出了基于多視角判別分析的情感特征提取過程。

算法1 基于多視角判別分析的情感特征提取Input:多模態(tài)情感數(shù)據(jù):X={xijk∈Rdji=1,…,c;j=1,…,ν;k=1,…,nij},其中xijk表示第i個類別第j個模態(tài)下的第k個樣本,ν為多模態(tài)個數(shù),c為情感標簽類別數(shù),nij為第i個類別第j個模態(tài)下的樣本個數(shù),dj為第j個模態(tài)下的數(shù)據(jù)維度。Output:多模態(tài)數(shù)據(jù)投影矩陣:W=[w?1,…,w?ν]T投影后的情感數(shù)據(jù):Y={yijk=wTjxijki=1,…,c;j=1,…,ν;k=1,…,nij}1.計算SyW=[wT1,…,wTν]S11…S1ν???Sν1…Sνν()w1?wνé?êêêù?úúú=WTSW中的所有模態(tài)情感數(shù)據(jù)的類內(nèi)散度矩陣S,Sjr=∑ci=1(∑nijk=1xiikxTijk-nijnijniμ(x)ijμ(x)ijT),j=r-∑ci=1nijnirniμ(x)ijμ(x)irT,otherwiseì?í?????2.計算SyB=[wT1,…,wTν]D11…D1ν???Dν1…Dνν()w1?wνé?êêêù?úúú=WTDW中的所有模態(tài)情感數(shù)據(jù)的類間散度矩陣D,

Djr=(∑ci=1nijnirniμ(x)ijμ(x)Tir)-1n(∑ci=1nijμ(x)ij)(∑ci=1nirμ(x)ir)T3.根據(jù)公式(w?1,…,w?ν)=arg maxw1,…,wνTr(WTDWWTSW),通過求解廣義特征值方法得到多模態(tài)數(shù)據(jù)投影矩陣W=[w?1,…,w?ν]T;4.計算投影后的情感數(shù)據(jù)Y={yijk=wTjxijki=1,…,c;j=1,…,ν;k=1,…,nij}。

4 實驗

4.1 數(shù)據(jù)庫

本文實驗使用目前公開的多模態(tài)情感數(shù)據(jù)集DEAP數(shù)據(jù)集[16]來分析被試的情感狀態(tài)，以驗證本文所使用的方法。在DEAP數(shù)據(jù)集中，32導腦電信號(EEG)和6通道生理信號(包括眼電(EOG)、肌電(EMG)、皮電(GSR)、呼吸(RSP)、光電脈搏(PPG)和皮膚溫度(ST))用于記錄32名被試在觀看視頻片段(MV)時的情感生理反應(yīng)。每名被試從120個情感誘導視頻中選擇性地觀看40個視頻片段。在觀看情感誘導視頻后需要對Arousal，Valence，Dominance和Liking四個維度的情感進行自我評價。原始的情感標簽按1到9分為9個等級，本文通過設(shè)置閾值為5，將其映射為高水平和低水平。

4.2 腦電信號與生理信號的情感特征提取

本實驗分別對DEAP數(shù)據(jù)集中32導全息腦電信號提取了128維相關(guān)的情感特征，包括每個電極記錄的theta 波(4～8 Hz), alpha波(8～12 Hz), beta波(12～30 Hz)和gamma波(30+ Hz)的譜功率。同時，我們結(jié)合生理信號的底層描述符和統(tǒng)計特征，提取了118維外周生理信號相關(guān)的情感特征。表1介紹了依據(jù)DEAP數(shù)據(jù)集中生理信號提取的全部相關(guān)情感特征。

4.3 實驗設(shè)置

為了驗證多視角判別分析特征抽取的有效性，本文使用Accuracy(ACC)和macro-F1score(F1)作為情感識別性能的兩個評估指標。

? ACC: 平均識別精度，即正確預測的比例，這是最常用的評價指標之一。

? F1: 基于查準率與查全率的調(diào)和平均。

為了驗證多模態(tài)識別與單模態(tài)識別在情感分類中的性能差異，我們選擇隨機森林(RF)[17]、支持向量機(SVM)[18]和K近鄰(KNN)[18]三種常用的分類算法作為對比；同時選取典型相關(guān)分析(CCA)[19]和偏最小二乘(PLS)[20]作為多模態(tài)識別的對比算法，以檢驗多視角判別分析(MDAM)的識別性能。對于多模態(tài)方法抽取的特征我們分別采用串行組合(PR1)和并行組合(PR2)方法來觀察多模態(tài)方法的情感識別性能。上述實驗分別在用戶依賴模型和用戶獨立模型下展開，實驗中使用的基線算法均已進行參數(shù)調(diào)整以達到較優(yōu)的識別性能。

表1 DEAP數(shù)據(jù)庫中基于外周生理信號提取的情感特征

4.4 實驗結(jié)果與分析

4.4.1 用戶依賴模型

表2與表3列出了DEAP數(shù)據(jù)集下基于腦電信號和外周生理信號單模態(tài)數(shù)據(jù)在用戶依賴模型下的情感識別結(jié)果。從表2中可以看出，RF和KNN算法在四種情感維度的平均識別率上取得了最好的結(jié)果，其識別率為0.64；在四種情感的平均F1上，KNN取得了最好的性能，其F1為0.72。表3中，KNN在四種情感的平均識別率上取得了最佳的識別率，其識別精度為0.64；而在四種情感的平均F1上，RF算法取得了最好的性能，其F1為0.72。上述實驗中，SVM在訓練測試時，對時間空間上的消耗較大，RF在干擾信息較多的情況下會出現(xiàn)過擬合現(xiàn)象，而KNN相較于其他兩種方法更加簡單有效，訓練的代價較小。綜上考慮，本文后續(xù)實驗使用KNN進行多模態(tài)情感識別。

對于用戶依賴模型下的多模態(tài)情感識別方法，我們將CCA和PLS兩種多模態(tài)特征抽取方法與本文使用的多視角判別分析方法進行比較。表4給出了用戶依賴模型下，基于多模態(tài)方法的情感識別結(jié)果。為方便對比單模態(tài)情感識別和多模態(tài)情感識別，我們分別將表2和表3中最好的識別結(jié)果也列入表中。對于使用CCA、PLS和多視角判別分析方法抽取的多模態(tài)情感特征，我們分別采用串行組合(PR1)和并行組合(PR2)的方式進行特征融合，并觀察其實驗結(jié)果。

表2 用戶依賴模型下基于腦電信號的情感識別結(jié)果

表3 用戶依賴模型下基于生理信號的情感識別結(jié)果

表4 用戶依賴模型下基于多視角判別分析的情感識別結(jié)果

從表4中可以看出，三種多模態(tài)特征抽取方法結(jié)果明顯優(yōu)于單模態(tài)方法；在基于CCA的多模態(tài)情感識別中，特征串行組合方法在Valence情感維度下取得了最高的F1，其得分為0.76，而特征并行組合的方法在Dominant情感維度下的F1取得了最優(yōu)結(jié)果，其得分為0.77；在基于PLS的多模態(tài)情感識別中，特征串行組合的方法分別在Arousal 和Dominant 情感維度下取得了最高的F1，其得分分別為0.72和0.77，而特征并行組合的方法在Liking情感維度下取得了最高的識別率，其識別精度為0.70；在基于多視角判別分析的情感識別中，特征串行組合方法在Valence和Dominant情感維度下取得了最好的識別精度，其識別率分別為0.67和0.68，在Dominant情感維度下取得了最好的F1，其得分為0.77，在特征并行組合的方法上，除Valence 情感維度下的F1 沒有取得最優(yōu)的性能，在其他所有情感維度及四種情感維度的平均識別性能上均取得了最優(yōu)的性能。

4.4.2 用戶獨立模型

表5和表6列出了DEAP數(shù)據(jù)集上基于腦電信號和生理信號單模態(tài)數(shù)據(jù)在用戶獨立模型下的情感識別結(jié)果。從表5中可以看出，隨機森林和KNN在四種情感維度的平均識別率上取得了最好的結(jié)果，其識別率均為0.63；在四種情感的平均F1 上，SVM算法和K近鄰算法取得了最好的性能，其得分均為0.74。表6中，與基于腦電的情感識別結(jié)果類似，隨機森林和KNN在四種情感維度的平均識別率上取得了最好的結(jié)果，其識別率均為0.63；而在四種情感的平均F1 上，SVM算法取得了最好的性能，其得分為0.75。綜合表5和表6中的結(jié)果，在基于用戶獨立模型的多模態(tài)情感識別上，我們?nèi)匀皇褂肒NN作為單模態(tài)算法的對比算法與多模態(tài)情感識別方法進行對比。

表7列出了DEAP數(shù)據(jù)集上基于多模態(tài)情感數(shù)據(jù)在用戶獨立模型下的識別結(jié)果。表中的前兩行分別表5和表6 中兩種單模態(tài)數(shù)據(jù)下最好的識別結(jié)果。從表7中可以看出，三種多模態(tài)識別方法結(jié)果明顯優(yōu)于單模態(tài)識別方法；其中，在基于PLS的多模態(tài)情感識別中，特征串行組合的方法分別在Liking情感維度下取得了最高的識別精度，其識別率為0.69，而特征并行組合的方法在Dominant情感維度下取得了最高的識別率和F1，其性能分別為0.67和0.78；在基于多視角判別分析的情感識別中，特征串行組合方法在Valence情感維度下識別精度上取得了最佳結(jié)果，在Dominant情感維度下的識別精度和F1取得了最好性能，而特征并行組合的方法在所有情感維度的識別性能下均取得了最好的識別結(jié)果。

表5 用戶獨立模型下基于腦電信號的情感識別結(jié)果

表6 用戶獨立模型下基于生理信號的情感識別結(jié)果

表7 用戶獨立模型下基于多視角判別分析的情感識別結(jié)果

總的來說，人類的情感通過多個模態(tài)表現(xiàn)出來，僅使用單一模態(tài)的情感數(shù)據(jù)進行情感識別，很難保證情感識別的精度。本文使用的多視角判別分析方法，抽取了情感數(shù)據(jù)在不同視角下的一致性和互補性，對多模態(tài)情感數(shù)據(jù)的多個視角建立了本質(zhì)性的聯(lián)系，通過利用多視角之間對于表達上的一致性降低每個視角優(yōu)化目標的搜索空間，并且利用每個視角的獨立信息，形成對情感表達更為準確地描述。從表4和表7中，我們可以看出，多模態(tài)情感識別方法明顯優(yōu)于單模態(tài)情感識別；而在多模態(tài)情感識別方法中，本文采用的方法也優(yōu)于CCA和PLS等無監(jiān)督的多模態(tài)方法，因為多視角判別分析方法充分考慮了情感標簽的監(jiān)督信息，利用情感數(shù)據(jù)的監(jiān)督信息最大化多個視角間的類間散度矩陣與類內(nèi)散度矩陣的比值，找到多個線性變換，將情感數(shù)據(jù)投影到通用的判別性空間，使得投影后的情感數(shù)據(jù)具有更強的判別性，為情感識別提供有效的判別特征。表4和表7的結(jié)果也證明了本文方法在用戶依賴模型和用戶獨立模型下的有效性。

5 結(jié)論

本文從情緒表達的多模態(tài)出發(fā)，將情感表達的各個模態(tài)看作情感表現(xiàn)的不同視角，提出基于多視角判別分析的情感識別，通過使用情感標簽的監(jiān)督信息，抽取多模態(tài)數(shù)據(jù)在情感表達上的一致性和互補性，最大化所有模態(tài)情感數(shù)據(jù)的類內(nèi)距離和類間距離，并尋找到多組投影，將多模態(tài)情感數(shù)據(jù)投影到一個具有判別性的空間中，為情感識別提供了有效的判別特征。實驗結(jié)果表明，多視角判別分析方法優(yōu)于傳統(tǒng)的多模態(tài)識別方法。未來的工作中，在情感模型構(gòu)建方面，將利用生理信號的時序性特點，探究時序性對情感識別準確性的影響，考慮將本文使用的多視角判別分析方法與時序模型相結(jié)合，進一步提高算法分析和處理情感數(shù)據(jù)的能力。