摘 ?要： 語(yǔ)音情感識(shí)別在人機(jī)交互、人工智能（AI）、自然語(yǔ)言處理（NLP）、5G技術(shù)等方面扮演著重要的角色。為了克服單模態(tài)模型語(yǔ)音情感識(shí)別率低和手工調(diào)參的缺點(diǎn)，本文首先在Gaurav Sahu的基礎(chǔ)模型上增加KNN、CNB和Adaboost單模態(tài)模型，提出多模態(tài)組合模型C3;然后應(yīng)用排列組合方法通過計(jì)算機(jī)實(shí)現(xiàn)自動(dòng)組合，克服Gaurav Sahu手工組合存在的不足;最后用超參數(shù)優(yōu)化方法和交叉驗(yàn)證方法對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測(cè)試，解決手工調(diào)參存在的不足。在IEMOCAP數(shù)據(jù)集上對(duì)本文提出的C3進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，C3比Gaurav Sahu提出的多模態(tài)組合模型E2的語(yǔ)音情感識(shí)別性能提升1.56%。

關(guān)鍵詞： 單模態(tài)模型;多模態(tài)組合模型;超參數(shù)優(yōu)化;語(yǔ)音情感識(shí)別;交叉驗(yàn)證;自動(dòng)組合

中圖分類號(hào)： TN912.3 ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.12.013

本文著錄格式：陳軍，王力，徐計(jì). 基于多模態(tài)組合模型的語(yǔ)音情感識(shí)別[J]. 軟件，2019，40（12）：5660+214

Speech Emotion Recognition Based on Multi-modal Combination Model

CHEN Jun1， WANG Li1，2， XU Ji2

（1. College of Big Data and Information Engineerin， Guizhou University， Guiyang 550025， Guizhou;

2. College of Information Engineering， Guizhou Institute of Engineering Application Technology， Bijie 551700， Guizhou）

【Abstract】： Speech emotion recognition plays an important role in human-computer interaction， artificial intelligence （AI）， natural language processing （NLP）， 5G technology and so forth. In order to overcome the shortcomings of low speech emotion recognition rate and manual parameter tuning in single modal model， this paper first proposes a multi-modal combination model C3 by adding KNN， CNB and Adaboost single modal model on the basic models of Gaurav Sahu. Then， the method of permutation and combination is applied to realize automatic combination by computer to overcome the shortcomings of Gaurav Sahu manual combination. Finally， the network model is trained and tested by hyper-parameter optimization method and cross-validation method to solve the shortcomings of manual parameter adjustment. Experiments on IEMOCAP dataset show that the performance of multi-modal combination model C3 is 1.56% better than that of Gaurav Sahu's multi-modal combination model E2.

【Key words】： Single modal model; Multi-modal combination model; Hyper-parameter optimization; Speech emotion recognition; Cross-validation; Automatic combination

0 ?引言

近年來(lái)，在語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域，形成了一種從單模態(tài)分析到多模態(tài)融合的思維[1]。多模態(tài)融合的研究方法引起了不同研究領(lǐng)域和眾多學(xué)者的高度關(guān)注。

有關(guān)研究者對(duì)多模態(tài)特征融合進(jìn)行深層次的研究。Liu[2]等人提出LMF（Low-rank Multimodal Fusion）方法，利用低秩張量進(jìn)行多模態(tài)融合，即對(duì)語(yǔ)言（Language）、視覺（Visual）和聲學(xué)（Acoustic）這三種模態(tài)特征進(jìn)行融合，以提高模型的識(shí)別率。Zadeh[3]等人采用TFN（Tensor Fusion Network）方法對(duì)情感進(jìn)行分析。Sharma[4]等人提出一個(gè)多模態(tài)系統(tǒng)（SVMS），該系統(tǒng)基于面部數(shù)據(jù)和聲學(xué)數(shù)據(jù)對(duì)性別進(jìn)行識(shí)別，其實(shí)質(zhì)是將面部特征和聲學(xué)特征作為兩種特征模態(tài)。

然而有相關(guān)的研究者將多模態(tài)特征融合的思想應(yīng)用在多模態(tài)模型組合上，以探索研究不同組合模型的識(shí)別性能。Ftoon Abu Shaqra[5] 等人組合三個(gè)單模態(tài)模型（Simple Model、Gender-based Model和Age-based Model）得到一個(gè)組合的分類模型（Compound Model），該組合分類模型將三個(gè)單模態(tài)模型中每個(gè)標(biāo)簽的所有預(yù)測(cè)概率集中在一起，然后再對(duì)語(yǔ)音情感數(shù)據(jù)進(jìn)行識(shí)別（識(shí)別的準(zhǔn)確率達(dá)到74%）。Ftoon Abu Shaqra的組合模型將語(yǔ)音的性別、年齡和情感這三種元素聯(lián)系在一起。Gaurav Sahu[6] 提出多模態(tài)模型E1（組合RF、XGP和MLP）和E2（組合RF、XGP、MLP、MNB和LR）并對(duì)語(yǔ)音情感標(biāo)簽進(jìn)行識(shí)別，其思想是通過隨機(jī)森林（RF）、極端梯度提升（XGB）、支持向量機(jī)（SVM）[7，8]、多項(xiàng)式樸素貝葉斯（MNP）、邏輯回歸（LR）、多層感知機(jī)（MLP）和長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）[9]作為單模態(tài)模型，并對(duì)七種單模態(tài)模型進(jìn)行人為組合，得到多模態(tài)模型E2。Gaurav Sahu首先從音頻信號(hào)中抽取8種時(shí)域信號(hào)作為音頻特征，其次從文本信息中抽取TF-IDF（Term Frequency-Inverse Document Frequency）[10]作為文本特征，最后再組合音頻特征和文本特征作為新的特征。

雖然Gaurav Sahu[6]提出的多模態(tài)組合模型E2能夠取得比單模態(tài)模型較好的語(yǔ)音情感識(shí)別效果，但是存在人為組合單模態(tài)模型不全面和手工調(diào)參量大的缺陷，導(dǎo)致整個(gè)模型存在很強(qiáng)的主觀性和識(shí)別率低。

本文在Gaurav Sahu的單模態(tài)模型上增加KNN、CNB和AdaBoost三個(gè)單模態(tài)模型，通過排列組合對(duì)單模態(tài)模型的預(yù)測(cè)概率進(jìn)行排列組合，有效避免人為組合模型存在的主觀性;為有效避免手工調(diào)整超參數(shù)，采用超參數(shù)優(yōu)化方法和交叉驗(yàn)證方法對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測(cè)試，選出最優(yōu)的多模態(tài)組合模型C3。

1 ?相關(guān)工作

1.1 ?數(shù)據(jù)預(yù)處理

（1）音頻序列

語(yǔ)音情感信號(hào)“happy”和“excited”（“sadness”和“frustration”）的頻譜圖非常相似，將“happy”和“excited”（“sadness”和“frustration”）融合為“happy”（“sadness”）。除此之外，忽略了“xxx”和“others”的情感標(biāo)簽。融合后的語(yǔ)音情感標(biāo)簽如表1所示。

表1 ?融合的語(yǔ)音情感標(biāo)簽

Tab.1 ?Fused speech emotion labels

Before Now

anger anger

happy happy

excited

neutral neutral

surprise surprise

sadness sadness

frustration

fear fear

xxx /

other /

（2）文本序列

文本情感分類中存在一些對(duì)分類無(wú)意義的符號(hào)，需要進(jìn)行數(shù)據(jù)預(yù)處理，即去掉文本序列中無(wú)關(guān)的“”、“，”等標(biāo)點(diǎn)符號(hào)，如圖1所示。

圖1 ?文本標(biāo)準(zhǔn)化

Fig.1 ?Texts standardization

1.2 ?語(yǔ)音情感特征提取

從音頻信號(hào)中計(jì)算出8維的音頻特征，從文本信息中計(jì)算TF-IDF作為文本特征，具體如下：

（1）信號(hào)音高[11，12]（Signal Pitch）

在時(shí)域中，自相關(guān)算法被廣泛用于評(píng)估語(yǔ)音信號(hào)的周期性音高[4]。在本文中，使用短時(shí)的自相關(guān)算法，因?yàn)檎Z(yǔ)音信號(hào)的采樣長(zhǎng)度是有限的。短時(shí)自相關(guān)形式被定義為：

（1）

（2）

其中，為序列的延遲，為信號(hào)的幀數(shù)，當(dāng)接近無(wú)窮大，公式（1）變?yōu)殚L(zhǎng)時(shí)自相關(guān)表達(dá)式（2）。公式（1）的最大值對(duì)應(yīng)的等于音高。為了得到音高，對(duì)輸入信號(hào)使用center-clipped[4，5]方法，得到：

（3）

其中，CL為門限值，將其設(shè)置為絕對(duì)輸入信號(hào)的平均值的45%。接下來(lái)，計(jì)算的自相關(guān)函數(shù)，即：

（4）

最后，

（5）

（2）信號(hào)能量[6]（Signal Energy）

可以根據(jù)語(yǔ)音信號(hào)能量特征識(shí)別出其對(duì)應(yīng)的情感。圖2顯示了“happy”信號(hào)和“frustration”信號(hào)的能量，它是根據(jù)均方根能量（Root Mean Square Energy， RMSE）計(jì)算出來(lái)的，其定義如下：

（6）

計(jì)算的平均值和標(biāo)準(zhǔn)差作為模型的另外兩個(gè)特征輸入。

圖2 ?happy（紅色）和frustration（藍(lán)色）

Fig.2 ?Happy （red） and frustration （blue）

（3）Pause[6]

語(yǔ)音信號(hào)中“silent”片段的特征，其值隨情緒信號(hào)的變化而變化，例如，音頻對(duì)話信號(hào)“happy”具有較低的pause值，pause表達(dá)式為：

（7）

其中，是一個(gè)恒定的門限值。

在本文中，使用的音頻特還有音頻信號(hào)的均值（Mean）、標(biāo)準(zhǔn)差（Standard Deviation）和諧波（Harmonics）;文本特征有TF-IDF（Term Frequency- Inverse Document Frequency）。

2 ?多模態(tài)組合模型

計(jì)算RF、XGB、MNP、MLP等10種單模態(tài)模型的預(yù)測(cè)概率。用高等數(shù)學(xué)的排列組合知識(shí)，讓計(jì)算機(jī)對(duì)10種單模態(tài)模型的預(yù)測(cè)概率[13]進(jìn)行自動(dòng)組合（共1013種）求平均值，比如：對(duì)模型RF（預(yù)測(cè)概率為P1）、XGB（預(yù)測(cè)概率為P2）和MNP（預(yù)測(cè)概率為P3）進(jìn)行列表化為[RF， XGB， MNP]，對(duì)其進(jìn)行組合共有4種組合模型，即：[RF， XGB]、[RF， MNP]、[XGB， MNP]和[RF， XGB， MNP]，組合后的預(yù)測(cè)概率分別為：

（8）

（9）

（10）

（11）

在所有的單模態(tài)模型和多模態(tài)模型中，使用混淆矩陣（Confusion Matrix）作為評(píng)估矩陣來(lái)計(jì)算模型的性能。利用accuracy、precision、recall和F-score共同評(píng)估模型的性能。

理想情況下，精確率（precision）和召回率（recall）越高，說明網(wǎng)絡(luò)模型對(duì)語(yǔ)音情感識(shí)別性能就越好，但一般情況下，精確率與召回率的變化是相反的。在實(shí)驗(yàn)中，采用精確率與召回率的調(diào)和值F-score作為模型預(yù)測(cè)性能的最佳度量。如果精確率（precision）和召回率（recall）兩者都很低，則表明該模型識(shí)別率很低，也就是模型不能很好地識(shí)別語(yǔ)音信號(hào)的情感。

對(duì)組合的模型進(jìn)行測(cè)試，根據(jù)多模態(tài)組合模型的混淆矩陣求accuracy、precision、recall、F-score的值，最后求四個(gè)性能之和最大的多模態(tài)組合模型作為最好的模型組合。基于音頻特征、文本特征、音頻特征與文本特征組合后的新特征，識(shí)別性能最好的多模態(tài)模型組合分別是C1、C2、C3。

3 ?模型優(yōu)化

3.1 ?超參數(shù)優(yōu)化

在模型訓(xùn)練中，手動(dòng)調(diào)參是一個(gè)復(fù)雜的過程，如果模型數(shù)量或者模型層數(shù)越多手動(dòng)調(diào)參就越不利于科研工作，而且調(diào)出來(lái)的參數(shù)不一定是最好的。因此在本文中，利用超參數(shù)優(yōu)化方法，即給網(wǎng)絡(luò)模型的某些參數(shù)設(shè)置一定的范圍，在訓(xùn)練時(shí)讓模型本身找到最佳的參數(shù)。另外，為了提高工作效率，在超參數(shù)優(yōu)化時(shí)，還采用三種并行工作方式縮短模型的訓(xùn)練時(shí)間。

3.2 ?交叉驗(yàn)證（Cross Validation）

超參數(shù)優(yōu)化網(wǎng)絡(luò)模型后，第二次對(duì)網(wǎng)絡(luò)模型訓(xùn)練時(shí)最優(yōu)網(wǎng)絡(luò)模型很少出現(xiàn)過擬合現(xiàn)象，但在預(yù)測(cè)模型性能時(shí)，對(duì)測(cè)試數(shù)據(jù)的擬合程度不是很理想。交叉驗(yàn)證方法可以避免測(cè)試數(shù)據(jù)的過度擬合，在研究工作中，采用K-fold交叉驗(yàn)證（K=10），即將數(shù)據(jù)分為10個(gè)子樣本集，其中一個(gè)是驗(yàn)證模型的數(shù)據(jù)，其他子樣本用于訓(xùn)練，交叉驗(yàn)證重復(fù)10次，每個(gè)子樣本一次。該方法的優(yōu)點(diǎn)在于，隨機(jī)生成的子樣本集被重復(fù)用于訓(xùn)練和驗(yàn)證，并且每次都驗(yàn)證一次。

4 ?實(shí)驗(yàn)及結(jié)果分析

4.1 ?實(shí)驗(yàn)數(shù)據(jù)

本文采用了IEMOCAP[14]（Interactive Emotional Dyadic Motion Capture）數(shù)據(jù)集，該數(shù)據(jù)集是在南加州大學(xué)薩爾實(shí)驗(yàn)室建立的，并且包含來(lái)自10位對(duì)話者的對(duì)話，涉及約12小時(shí)的信息（音頻、視頻以及文本）。它標(biāo)有10個(gè)類別的情感標(biāo)簽，即：憤怒（anger）、高興（happy）、悲傷（sadness）、中性（neutral）、驚訝（surprise）、恐懼（fear）、沮喪（frustration）、興奮（excited）、xxx（xxx）和其他（others）。然而，在研究工作中，僅僅利用了六種情感標(biāo)簽。

在計(jì)算并獲取原始語(yǔ)音數(shù)據(jù)集IEMCOP的8維音頻特征時(shí)，如果CPU只有8 GB的內(nèi)存，那么最好讀取1個(gè)session數(shù)據(jù)集，當(dāng)然如果CPU內(nèi)存容量超過16 GB，可以一次性獲得5個(gè)session數(shù)據(jù)集。對(duì)5個(gè)session數(shù)據(jù)集的8個(gè)音頻特征進(jìn)行計(jì)算時(shí)最好是分二到五次計(jì)算，然后將計(jì)算的特征合并在同一個(gè)excel表單中。

4.2 ?模型部署

使用pycharm平臺(tái)部署實(shí)驗(yàn)。網(wǎng)絡(luò)模型來(lái)自Torch包和sklearn包。在整個(gè)實(shí)驗(yàn)中，采用RF、XGB、MNB、LR、MLP、SVM、KNN、AdaBoost、CNB和LSTM作為單模態(tài)模型。組合十個(gè)單模態(tài)模型得到1013個(gè)多模態(tài)模型，再求出1013個(gè)模型中四個(gè)性能（Accuracy、Precision、Recall和F-score）總和最高的模型組合。增加兩個(gè)多模態(tài)模型E11和E21作為實(shí)驗(yàn)對(duì)照組，且E1和E11由單模態(tài)模型RF、XGB、MLP組合而成;E2和E21由RF、XGB、MLP、MNB、LR組合而成，唯一不同的是E1模型和E2模型沒有經(jīng)過超參數(shù)優(yōu)化、交叉驗(yàn)證、并行處理。

4.3 ?實(shí)驗(yàn)結(jié)果

（1）基于音頻特征的模型性能

在表2中，基于音頻特征的所有單模態(tài)模型中，單模態(tài)模型XGB的F-score值最高。在使用超參數(shù)優(yōu)化和交叉驗(yàn)證這兩種方法后的E11，其F-score值高于先前的E1。四種性能之和最高的組合模型C1，其F-score值（60.98%）高于E1接近9.48%。此外，還可以看到學(xué)習(xí)模型LSTM（或MLP）的F-score值低于RF、XGB和KNN，更遠(yuǎn)小于C1。

表2 ?基于音頻特征的模型性能

Tab.2 ?Performance of models based on audio features

Models Accuracy F_score Precision Recall

RF 55.92 56.92 56.86 57.69

XGB 61.54 59.67 59.35 60.28

SVM 30.27 29.01 30.44 30.35

MNB 22.33 9.67 14.09 18.35

LR 30.52 27.06 30.07 28.85

MLP 34.24 35.04 38.04 35.42

AdaBoost 33.27 30.29 34.09 29.68

KNN 56.58 53.79 52.95 56.10

CNB 26.30 18.46 14.06 26.89

LSTM 38.71 37.05 36.47 39.20

E1 56.60 55.70 57.30 57.30

E11 60.79 59.69 59.25 60.43

C1 59.49 60.98 61.51 61.09

C1：組合RF、XGB、MNB和LR

（2）基于文本特征的模型性能

在表3中，基于文本特征序列訓(xùn)練后的LSTM（或MLP）模型，其F-score值得到提升，特別是LSTM的性能（62.75%）超出所有單模態(tài)模型。雖然SVM的Recall值最高，但最終將F-score的值作為模型的真實(shí)性能評(píng)估。此外，組合模型E21的F-score值不僅高于E2而且低于C2。組合的多模態(tài)模型C2（68.01%）的F-score值高于E2（接近3.05%）。

（3）基于音頻特征與文本特征組合的模型性能

在表4中，實(shí)驗(yàn)中發(fā)現(xiàn)單模態(tài)模型XGB的

F-score值高于所有的單模態(tài)模型。多模態(tài)模型E21的F-score值高于E2低于C2。另外，相對(duì)于表3而言，LSTM和MLP模型的四種評(píng)估值仍然保持在60%-70%中。雖然單模態(tài)模型AdaBoost模型的F- score值（37.60%）最低，但與AdaBoost模型組合的多模態(tài)模型C3（XGB+MNB+AdaBoost）的F-score值最高，C3的F-score值高于E2約1.56%。

4.4 ?實(shí)驗(yàn)分析

基于音頻特征的LSTM模型對(duì)情感的識(shí)別力最低，而基于文本特征或者音頻特征與文本特征組合后的LSTM對(duì)情感具有較好的識(shí)別效果。在采用超參數(shù)優(yōu)化和交叉驗(yàn)證方法后，基于音頻特征（或者文本特征）的單模態(tài)模型XGB在所有單模態(tài)模型中對(duì)語(yǔ)音情感識(shí)別具有較好的性能，但是在超參數(shù)優(yōu)化時(shí)，XGB模型的參數(shù)范圍不應(yīng)太大，否則CPU工作線程的數(shù)量將被終止，或者CPU將因內(nèi)存不足而停止工作。

Gaurav Sahu的多模態(tài)模型E1和E2是未經(jīng)超參數(shù)優(yōu)化和交叉驗(yàn)證，E1、E2與經(jīng)過超參數(shù)調(diào)優(yōu)、交叉驗(yàn)證自動(dòng)組合的多模態(tài)模型E11、E21、C1、C2、C3的性能排序（根據(jù)F-score值大小來(lái)排序）分析如表5所示。在同等條件下的多模態(tài)組合模型中，E1、E2識(shí)別性能最低，且基于音頻特征與文本特征組合的多模態(tài)模型組合C3對(duì)語(yǔ)音情感識(shí)別率最高（大約72.92%）。

雖然表5中的C1是音頻特征中最佳的多模態(tài)模型，但是在圖3（a）中，觀察到“anger”、“happy”和“neutral”的識(shí)別率不是很高，特別是多模態(tài)模型C1對(duì)“sad”的識(shí)別能力最低。從圖3（b）中可以看到“anger”、“happy”、“neutral”和“sad”的識(shí)別力在多模態(tài)模型C2中得到明顯提升。在圖3（c）中，多模態(tài)組合模型C3可以較好的識(shí)別“anger”、“happy”、“fear”和“surprise”，另外，“sad”的識(shí)別能力也得到了極大地提高。

表5 ?多模態(tài)模型性能比較

Tab.5 ?Performance comparison of multi-modal models

特征序列 識(shí)別性能排序/

F-score 綜合排序/

F-score

音頻特征 E1

文本特征 E2

音頻特征與文本特征組合 E2

（a）音頻特征，C1 （b）文本特征，C2 （c）音頻特征與文本特征的組合，C3

5 ?總結(jié)

針對(duì)Gaurav Sahu的語(yǔ)音情感識(shí)別模型，存在識(shí)別效果低、手工調(diào)參量大和手工組合單模態(tài)模型的主觀性，提出基于多模態(tài)組合模型C3對(duì)音頻特征與文本特征組合的新特征序列進(jìn)行情感識(shí)別，本文提出的多模態(tài)組合模型C3經(jīng)過超參數(shù)調(diào)優(yōu)、交叉驗(yàn)證和自動(dòng)組合后，其性能（72.92%）優(yōu)于Gaurav Sahu手工組合的多模態(tài)組合模型E2。在未來(lái)的研究工作中，將對(duì)多維特征融合的方法進(jìn)行研究，進(jìn)一步提高語(yǔ)音情感的識(shí)別率。

參考文獻(xiàn)

[1]Soujanya Poria， Erik Cambria， Rajiv Bajpai， er al. A review of affective computing： From unimodal analysis to multimodal fusion. Information Fusion. 2017， 37： 98-125.

[2]Z. Liu， Y. Shen， V. B. Lakshminarasimhan， et al. “Efficient low-rank multimodal fusion with modality-specific factors，” arXiv preprintarXiv： 1806.00064， 2018.

[3]A. Zadeh， M. Chen， S. Poria， et al. “Tensor fusion network for multimodal sentiment analysis，” arXiv preprintarXiv： 1707.07250， 2017.

[4]Sharma， Rajeev， Mohammed Yeasin， et al. “Multi-modal gender classification using support vector machines （SVMs）.” U. S. Patent Application No. 10/271， 911.

[5]Ftoon Abu Shaqra， Rehab Duwairi， Mahmoud Al-Ayyoub.

Recognizing Emotion from Speech Based on Age and Gender Using Hierarchical Models[J]. Procedia Computer Science， 2019， 151.

[6]Gaurav Sahu. “Multimodal Speech Emotion Rcogni-tion and

Ambiguity Resolution，” 2019. 4.

[7]劉夢(mèng)迪. 基于網(wǎng)絡(luò)輿情分析的智能手機(jī)用戶反饋跨文化研究[D]. 清華大學(xué)， 2017.

[8]V. Vapnik， C. Cortes. Support vector networks. Machine Learning， 1995， 20（3）： 273-197.

[9]S. Hochreiter and J. Schmidhuber， “Long short-term memory，” Neural computation， 1997， vol. 9， no. 8， pp. 1735-1780.

[10]程一峰. 基于TF-IDF的音頻和歌詞特征融合模型的音樂情感分析研究[D]. 重慶大學(xué)， 2012.

[11]M. Sondhi， “New methods of pitch extraction，” IEEE Transactions on audio and electroacoustics， 1968， vol. 16， no. 2， pp. 262-266.

[12]Hu， Yakun， Dapeng Wu， et al. “Pitch-based gender identific ation with two-stage classification.” Security and Communication Networks 5.2 （2012）： 211-225.

[13]Ftoon Abu Shaqra， Rehab Duwairi， Mahmoud Al-Ayyoub. Recognizing Emotion from Speech Based on Age and Gender Using Hierarchical Models[J]. Procedia Computer Science， 2019， 151.

[14]Carlos Busso， Murtaza Bulut， Chi-Chun Lee， et al. “Iemocap： Interactive emotional dyadic motion capture database，” Lang uage resources and evaluation， 2008， vol. 42， no. 4， p. 335.