孫韓玉，黃麗霞，張雪英，李 娟

太原理工大學 信息與計算機學院，太原030024

語音情感識別（speech emotion recognition，SER）是實現(xiàn)人機無障礙交流的關鍵技術之一。國內外對語音情感識別的研究主要集中在語音情感數(shù)據(jù)庫構建、語音情感特征提取和識別網(wǎng)絡三大方面[1]。其中，提取與情感相關的特征是情感識別的一大關鍵。目前特征提取的方法可以分為兩大類。一類是手工提取語音信號的低水平特征（low-level descriptors，LLDs）或者整條語句的統(tǒng)計特征（high-level statistic functionals，HSFs）。LLDs特征是在很短時間（如一至兩幀內）內提取的語音特征，主要包括能量、語速、過零率、音調和梅爾頻率倒頻譜系數(shù)（Mel-frequency cepstral coefficients，MFCC）等[2]，HSFs特征是LLDs特征的統(tǒng)計量，如均值、最大值、最小值、方差等。另一類是基于深度神經(jīng)網(wǎng)絡的深度特征[3]。

HSFs特征在基于傳統(tǒng)機器學習的SER技術中發(fā)揮重要作用，但HSFs特征的統(tǒng)計特性會缺失語音信號的上下文信息，導致情感識別率較低[4]。另外，傳統(tǒng)的機器學習需要將語音情感識別拆分成特征提取、特征選擇和識別等多個階段來進行，每個階段結果的好壞都會影響下一階段，從而影響最終的訓練結果。深度神經(jīng)網(wǎng)絡的出現(xiàn)解決了傳統(tǒng)機器學習中所出現(xiàn)的問題[5]。深度神經(jīng)網(wǎng)絡可以輸入二維特征，保留語音信號的上下文信息，并且可以在輸入特征后直接輸出語音情感的識別結果[6]，無需分多個環(huán)節(jié)進行。

針對上述問題，本文提出一種基于自注意力機制的卷積門控循環(huán)神經(jīng)網(wǎng)絡（self-attention convolutional gated recurrent network，SA-CGRU）結構。LLDs特征和語譜圖特征是語音情感特征的不同表示方式，它們之間存在互補性。于是，本文將LLDs特征和語譜圖特征相結合提出一種雙通道SER模型。在這個模型中，兩種類型的特征均通過SA-CGRU網(wǎng)絡提取深層特征，最后再通過有效的決策融合方法，綜合利用兩種特征的優(yōu)勢得到穩(wěn)定的高識別率。

目前很少有研究者通過對損失函數(shù)進行改進來優(yōu)化樣本特征提高語音情感的識別率。因此，本文提出基于一致性相關系數(shù)（concordance correlation coefficient，CCC）[7]的損失函數(shù)改進方法，并結合本文提出的基于自注意力機制的卷積門控循環(huán)神經(jīng)網(wǎng)絡驗證損失函數(shù)改進方法的有效性。

1 相關工作

早些年的語音情感識別流程是提取語音的統(tǒng)計特征，并在進行特征選擇和特征降維后，結合傳統(tǒng)機器學習進行分類。但是直到現(xiàn)在仍不清楚什么樣的特征可以更有效地對情感進行區(qū)分[2]，研究者們對于每種情感特征的重要度也沒有統(tǒng)一的說法。而近些年發(fā)展起來的深度模型可以自動進行深度特征的提取，這解決了傳統(tǒng)機器學習特征選擇的難題。

大多數(shù)研究者利用卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）、長短時記憶網(wǎng)絡（long short term memory network，LSTM）和門控循環(huán)單元（gated recurrent network，GRU）等模型構建有效的識別網(wǎng)絡。文獻[8]使用CNN從語譜圖中學習具有顯著性和區(qū)分性的深層特征并用于情感識別，在RAVDESS數(shù)據(jù)集上取得了81%的平均識別率。但該模型忽略了語音信號本身的時序性，沒有考慮語音信號的時序信息，而LSTM和GRU等循環(huán)網(wǎng)絡模型能夠捕捉語音信號中的時間信息。文獻[9]中對CNN、LSTM和CNN+LSTM三個模型的有效性進行對比分析，結果顯示在輸入相同的情況下CNN+LSTM模型的識別率比單CNN網(wǎng)絡有7%的提升，比單LSTM網(wǎng)絡有9%的提升，證明了LSTM在語音情感識別中的有效性。但是情感通常不是分散在整個語音信號中，而是集中在語音的某個片段，不需要整個語音信號的特征信息。為了關注這些片段，提取情感相關特征，文獻[10]在CNN+GRU網(wǎng)絡中引入傳統(tǒng)注意力機制，與原始網(wǎng)絡相比加權平均識別率有7%的提升。文獻[4]使用局部注意力將注意力集中在語音信號中情感更加突出的部分，并在IEMOCAP語料庫上對該方法進行了評估，結果證明該方法可以對情感進行更準確的預測。自注意力機制是在傳統(tǒng)注意力機制的基礎上改進得到的，自注意力機制是要通過權重矩陣來自發(fā)地找到特征與特征之間的相關性。本文將自注意力機制引入CGRU網(wǎng)絡，通過捕獲語句中不同時刻特征之間的相關性，提升情感的識別效果。

損失函數(shù)是深度神經(jīng)網(wǎng)絡的重要組成部分。在分類問題中常用的損失函數(shù)是交叉熵損失函數(shù)，交叉熵損失函數(shù)通過訓練增加正確標簽的預測概率來改善模型的分類性能。但是交叉熵損失只能對每個樣本的情感類別進行預測，卻不會優(yōu)化樣本特征的類內相關性和類間相關性，致使訓練得到的不同類情感樣本間的特征不具有區(qū)分性，同類情感樣本的特征間相似性也不夠[11]。為此，研究者們對損失函數(shù)做了很多改進。中心損失[12]通過拉近同一類樣本之間的距離，使其相似性變大從而提高特征的可判別性。對比損失[13]將損失值和樣本特征間的歐氏距離相聯(lián)系，訓練使得同類樣本的歐氏距離變小，不同類樣本的歐式距離變大。這些改進算法都有一個核心思想：增大特征類間差異并減小類內差異。

2 雙通道卷積門控循環(huán)網(wǎng)絡

語譜圖特征包含了語音信號的時間頻率信息，LLDs特征代表語音信號的能量、語速、過零率、音調和梅爾頻率倒頻譜系數(shù)等聲學特征的集合。兩種信號以不同形式描述了語音的情感信息，具有互補性。將兩種特征相結合可以構建更有效的語音情感識別模型。

本文提出了一個雙通道SER模型來實現(xiàn)特征聯(lián)合學習。模型總體架構如圖1所示，整體分為三個模塊：語譜圖深度特征學習模塊、LLDs深度特征學習模塊和決策融合模塊。語譜圖深度特征學習模塊和LLDs深度特征學習模塊通過SA-CGRU模型進行特征學習，最后經(jīng)過決策融合取得最終的情感分類結果。語譜圖深度特征提取模塊中的語譜圖統(tǒng)一采用300×40的大小，其中橫軸代表時間，縱軸代表頻率。LLDs深度特征提取模塊中的LLDs特征統(tǒng)一采用300×32的大小，其中橫軸代表時間，縱軸代表每幀提取的特征個數(shù)為32，每一幀的特征向量都是由32種特征拼接得到的。

圖1 雙通道卷積門控循環(huán)網(wǎng)絡結構Fig.1 Dual-channel convolutional gated recurrent network structure

2.1 基于自注意力機制的CGRU模型

情感通常與語句中的某個時刻相關，并不是分散于整個話語表達[14]，因此本文在卷積循環(huán)神經(jīng)網(wǎng)絡的基礎上結合自注意力機制構建了SA-CGRU模型，以此來關注語音信號的關鍵時刻，提取有效的情感特征。

SA-CGRU模型總體結構如圖2所示。首先通過CNN進行深度特征提取，將卷積層、最大池化層、批量歸一化層和ReLU層堆疊構成最小單元進行雙層堆疊。再將所提取的特征沿時間軸輸入BiGRU層，捕捉語音信號的時序特征[15]。將自注意力層的輸出取平均后輸入全連接層，最后通過SoftMax層實現(xiàn)情感分類。

如圖2所示，語譜圖特征和LLDs特征均為二維特征向量。2D-CNN作為一種處理二維特征的深度模型，既可以充分挖掘語譜圖特征的內在聯(lián)系，也可以提取LLDs的深度特征。但這兩種特征又有各自的特點，本文采用不同形狀的卷積核對兩種特征分別訓練。LLDs特征是在每幀語音信號上提取能量、語速、過零率、音調等特征拼接而成的二維特征，每幀語音提取的特征之間沒有太強的關聯(lián)性。矩形卷積核更傾向于學習LLDs特征的時間信息，因此CNN中采用矩形卷積核對LLDs特征進行學習。LLDs作為輸入時，SA-CGRU模型的參數(shù)如表1所示。f、s、c分別代表卷積核大小、步長和卷積核數(shù)量，n_class代表情感的種類。

圖2 SA-CGRU模型結構Fig.2 SA-CGRU model structure

表1 LLDs輸入模型參數(shù)Table 1 LLDs model parameters

語譜圖特征為語音信號的圖像表示，可以直接使用方形卷積核進行深度特征的提取。語譜圖作為輸入時，SA-CGRU模型的參數(shù)如表2所示。

表2 語譜圖輸入模型參數(shù)Table 2 Spectrogram model parameters

2.2 基于一致性相關系數(shù)的損失函數(shù)

一致性相關系數(shù)通常用于度量兩個向量之間的相關性。類內一致性相關系數(shù)越高，特征相似度越高；反之，類間一致性相關系數(shù)越小，特征相似度就越低。為了讓同一類情感的語音的特征差異變小，不同類情感語音的特征差異變大。

本文以一致性相關系數(shù)為基礎提出新的損失函數(shù)——一致性相關損失（CCC-Loss），并與交叉熵損失函數(shù)一起使用得到最終的損失函數(shù)。CCC-Loss將不同類樣本的一致性相關系數(shù)之和與同類樣本的一致性相關系數(shù)之和的比值作為損失，通過訓練將其優(yōu)化使其不斷減小。最后，可以獲得判別性高的情感特征，提高模型的識別效果。

其中CCC的計算公式如式（1）所示：

其中，CCC指一致性相關系數(shù)，x和y代表兩個特征向量，μ和σ分別代表向量的均值和方差。CCC值越接近1，兩個特征向量的相關性就越強。

利用一致性相關系數(shù)計算CCC-Loss的過程如下：

（1）在模型訓練過程中，能夠得到每個批次樣本經(jīng)過全連接層后的特征向量[ ]X1,X2,…,XN。其中，N代表批次大小，XN代表第N個樣本在全連接層得到的特征向量。N個特征向量所對應的情感類別為[ ]

y1,y2,…,yN。（2）計算特征向量[ ]X1,X2,…,XN之間的一致性相關系數(shù)CCC，得到一致性相關系數(shù)矩陣C，如式（2）所示。其中m和n分別代表第m個特征向量和第n個特征向量，CCCmn指第m個樣本和第n個樣本之間的一致性相關系數(shù)。顯然，矩陣中的相同樣本之間CCC=1，并且CCCmn=CCCnm。并不需要考慮相同樣本之間的相關系數(shù)，因此可以將上述矩陣簡化為式（3）：

（3）根據(jù)相關系數(shù)矩陣可以計算出相同類別樣本的相關系數(shù)之和，以及不同類別樣本的相關系數(shù)之和，如式（4）、（5）所示：

其中，I代表N個特征向量的情感類別矩陣，相同情感則為1，不同情感則為0，可用式（6）表示：

（4）相同類別樣本之間的一致性相關系數(shù)之和最大化，能夠增加類內的緊湊型。而不同類別之間的一致性相關系數(shù)之和需要最小化，才能擴大類間的可分離性，從而使得模型的分類更加準確。最終的損失函數(shù)如式（7）所示：

式中，ε為一個極小的常數(shù)，目的是防止分母為0。Lce為交叉熵損失函數(shù)，λ為常數(shù)。

將SA-CGRU模型的最后一層輸出保存使用tsne可視化，可以在平面上繪制特征對特征進行可視化分析。圖3顯示了交叉熵損失函數(shù)監(jiān)督下的特征分布。圖4展示了在交叉熵損失和λ=1時的一致性相關損失共同監(jiān)督下，學習到的深度特征的分布。不同形狀的點表示不同類別的特征。圖3可以看出交叉熵損失函數(shù)可以使不同情感特征相互分離，但特征的類內差異仍然很大。引入新的損失函數(shù)之后，同類特征更加緊湊，不同類特征相互分離，更有利于情感識別。

圖3 交叉熵損失監(jiān)督下的特征分布Fig.3 Feature distribution under supervision of cross-entropy loss

圖4 兩個損失共同監(jiān)督下的特征分布Fig.4 Feature distribution under supervision of two losses

3 實驗與分析

3.1 數(shù)據(jù)集介紹

本文采用兩種語音情感數(shù)據(jù)庫對文中提出的模型進行驗證。第一個數(shù)據(jù)庫是EMODB[16]柏林情感數(shù)據(jù)集，其中包含5位女性和5位男性演員錄制的535條德語語句，共包含7種情感，分別為憤怒、悲傷、快樂、中性、厭惡、恐懼、無聊。第二個數(shù)據(jù)庫是RAVDESS[17]情感數(shù)據(jù)庫，其中包含12位男性和12位女性錄制的1 440個英語語句，共包含生氣、平靜、傷心、高興、中性、厭惡、害怕、驚訝8種情感。第三個數(shù)據(jù)庫是CASIA情感數(shù)據(jù)庫[18]，該數(shù)據(jù)庫的公開部分包含2位男性和2位女性錄制的1 200條中文語句，共包含生氣、害怕、高興、中性、傷心、驚訝6種情感。

3.2 參數(shù)設置

本文搭建的兩個模型均在Pytorch上實現(xiàn)，用Adam方法進行優(yōu)化，模型的學習率為10-4，每個批次的大小為10，模型訓練200個輪次。

3.3 數(shù)據(jù)集劃分

為了提高實驗結果的說服力，避免過擬合。本實驗采用了五折交叉驗證的方法進行訓練。將語音數(shù)據(jù)劃分為近似五等份，取其中一份作為測試集，另外四份作為訓練集，以此重復五次。通過五次交叉驗證實現(xiàn)了對整個數(shù)據(jù)集全部數(shù)據(jù)的測試，完成整體性能評估。

3.4 結果分析

為了驗證本文所提出框架的有效性，以及損失函數(shù)改進的合理性。除了對本文所提出的方法進行實驗外，分別設計了兩組對比試驗，實驗均使用相同的語譜圖特征：

實驗1為了體現(xiàn)自注意力機制對模型的影響，實驗對比了CGRU模型與未改進損失函數(shù)的SA-CGRU模型的分類結果，兩個模型均使用語譜圖作為輸入。

實驗2為了體現(xiàn)改進損失函數(shù)CCC-Loss在SACGRU模型性能提升上的作用，實驗對比了未改進損失函數(shù)的SA-CGRU模型與損失函數(shù)改進后的SA-CGRU模型的識別結果。本實驗分別將LLDs特征和語譜圖特征作為兩個模型的輸入，驗證CCC-Loss的有效性。

實驗3為了展示本文提出的雙通道SA-CGRU+loss模型的性能，實驗對比了單LLDs特征、單語譜圖特征以及雙特征作為輸入時的識別結果。

表3展示了自注意力機制有效性實驗的對比結果。從表中可以看出相較于CGRU模型，SA-CGRU模型的識別率在EMODB、RAVDESS以及CASIA數(shù)據(jù)庫上分別有8.41、6.73和2.50個百分點的提升，證明了自注意力機制能夠有效關注語音信號的情感信息，提升語音情感的識別性能。

表3 自注意力機制有效性實驗Table 3 Experimental results of Self-attention effectiveness單位：%

表4為CCC-Loss有效性實驗對比結果?？梢钥闯霾煌卣鬏斎霑r，CCC-Loss對SA-CGRU模型的識別效果都有提升作用。語譜圖作為輸入時，EMODB數(shù)據(jù)庫的實驗結果有2.62個百分點的提升，LLDs作為特征時有8.59個百分點的提升；不同特征輸入時，RAVDESS數(shù)據(jù)庫上分別有3.18和1.81個百分點的提升；在CASIA數(shù)據(jù)庫上分別有1.5個百分點的提升，這證明了CCCLoss能夠監(jiān)督模型提取更有利于分類的情感特征。

表4 CCC-Loss有效性實驗Table 4 Experimental results of CCC-Loss effectiveness單位：%

表5列出了單語譜圖輸入、單LLDs輸入以及雙通道輸入時的識別結果，用來雙通道SA-CGRU+loss模型的有效性。表5中最后一行與前兩行對比表明了加入決策級融合之后語音情感的識別效果又有所提高。在EMODB數(shù)據(jù)庫上，雙通道輸入時的識別率較融合之前的單語譜圖輸入模型提高了1.87個百分點，較單LLDs輸入模型提高了1.32個百分點；在RAVDESS數(shù)據(jù)庫上，雙通道輸入時的識別率較融合之前的單語譜圖輸入模型提高了1.49個百分點，較單LLDs輸入模型提高了4.68個百分點；在CASIA數(shù)據(jù)庫上，雙通道輸入時的識別率較融合之前的單語譜圖輸入模型提高了2.50個百分點，較單LLDs輸入模型提高了1.58個百分點。

表5 雙通道SA-CGRU+loss模型有效性實驗Table 5 Experimental results of dual-channel SA-CGRU+loss model effectiveness單位：%

在EMODB、RAVDESS以及CASIA數(shù)據(jù) 庫 上對CGRU、SA-CGRU、SA-CGRU+loss以及雙通道SACGRU+loss模型進行五折交叉驗證，模型在每個數(shù)據(jù)庫上的均值和波動程度如圖5所示。圖5（a）展示了不同模型在EMODB數(shù)據(jù)庫上的準確率均值以及波動程度，圖5（b）和圖5（c）分別展示RAVDESS和CASIA數(shù)據(jù)庫上的實驗結果。其中，橫坐標是四個模型，縱坐標是準確率，箱體中的虛線代表每個模型準確率的中位數(shù)；箱體的上下限分別是數(shù)據(jù)的上四分位數(shù)和下四分位數(shù)；箱子的高度在一定程度上反映了數(shù)據(jù)的波動程度；在箱子的上方和下方，又各有一條線，分別表示最高準確率和最低準確率。箱體中的三角形代表每個模型的平均準確率。

圖5 不同模型在三個數(shù)據(jù)庫上的箱型圖Fig.5 Box-plots of different models on three databases

觀察圖5（a）、（b）、（c）均可以看出，從左至右模型的準確率在穩(wěn)步提升，三個數(shù)據(jù)庫均在雙通道SA-CGRU+loss模型上取得了最高的識別結果。同時，觀察箱體的高度可以看出，本文的最終模型在三個數(shù)據(jù)庫上的箱體高度均為最小，這說明雙通道SA-CGRU+loss模型的波動程度最小，穩(wěn)定性最好。

為了進一步顯示模型在不同情感分類時相互之間的混淆程度，本文在圖6列出了雙通道SA-CGRU+loss模型在EMODB數(shù)據(jù)集、RAVDESS數(shù)據(jù)集以及CASIA數(shù)據(jù)集上的混淆矩陣?；煜仃嚹軌蝻@示語音樣本的真實情感標簽和預測情感標簽之間的混淆，矩陣的對角線表示情感預測的準確率。

圖6 雙通道SA-CGRU+loss模型在三個數(shù)據(jù)庫上的混淆矩陣Fig.6 Confusion matrix of dual-channel SA-CGRU+loss model on CASIA database

圖6（a）可以看出EMODB數(shù)據(jù)庫上憤怒、厭惡、恐懼、傷心、中性、無聊六種情感獲得了較高的識別率，其中傷心情感的識別率達到了100.00%，其余情感的識別率均達到90.00%以上。而高興這種情感的識別率較低，20.00%的測試樣本被誤判為憤怒類情感，77.14%的樣本識別正確，這是因為憤怒和高興兩種情緒都是比較激動的情緒，容易引起混淆。圖6（b）可以看出RAVDESS數(shù)據(jù)集上各種情感之間均有不同程度的混淆，其中傷心情感的識別率較低，與其他情感的混淆較為嚴重。圖6（c）中可以看出，驚訝和中性兩種情感的識別率均達到了90.00%以上；害怕和傷心兩類情感的識別率較低且這兩類情感容易混淆，即在害怕這類情感中有9.50%的樣本預測為傷心；同樣在傷心這類情感中有10.00%的樣本被預測為害怕。

表6～8列出了其他算法以及本文提出的模型在三個數(shù)據(jù)集上的性能對比。表6中本文模型的性能均高于其他基線模型在EMODB數(shù)據(jù)庫上的識別率。文獻[19]構建了一種基于CNN、LSTM以及注意力機制的深度網(wǎng)絡模型。該模型通過輸入3D語譜圖特征，提升語音情感的識別效果，該模型的識別率為82.82%。文獻[20]搭建了一個輕量CNN模型，通過調整模型參數(shù)提升語音情感的識別結果。文獻[21]將語音信號直接輸入1D-CNN模型進行訓練，并將語譜圖作為互補特征輸入1D-CNN模型，捕捉更能表示情感的深層特征。

表7展示了在RAVDESS數(shù)據(jù)庫上本文模型與先前研究的對比。文獻[8]搭建了一個無池化層的CNN模型，通過特殊的卷積核來提取判別性特征。文獻[22]通過CNN進行自動特征學習，并采用相關性特征選擇方法CFS增加特征與情感的相關性，模型識別率達到84.63%。本文模型識別率為88.54%，相比較于其他分類器擁有更高的識別率。

表7 RAVDESS數(shù)據(jù)庫上本文模型與其他模型性能對比Table 7 Performance comparison of this model with other models on RAVDESS database

表8展示了CASIA數(shù)據(jù)庫上本文模型與先前研究的對比。文獻[23]提出了一種基于注意力的異構并行神經(jīng)網(wǎng)絡模型，該模型同時提取語音情感的空間譜特征和時間序列特征，模型的準確率為86.02%。文獻[24]在Lenet-5模型的基礎上增加模型深度，進一步提升模型的魯棒性，模型準確率為85.80%。文獻[25]引入AlexNet模型，并將訓練的結果特征圖輸入LSTM訓練提高了模型的識別速度，但模型的識別效果并不理想。本文提出的雙通道SA-CGRU比其他模型中的最優(yōu)模型有4.56個百分點的提升。

表8 CASIA數(shù)據(jù)庫上本文模型與其他模型性能對比Table 8 Performance comparison of this model with other models on CASIA database

綜上所述，本文模型在EMODB、RAVDESS、CASIA三個數(shù)據(jù)庫上的識別效果均優(yōu)于之前研究者的成果，證明了本研究所提出模型的魯棒性和泛化性較好。

4 結束語

如何設計出更有效的語音情感識別模型是語音情感識別領域的一大難題。本文提出一種基于自注意力機制的雙通道卷積門控循環(huán)神經(jīng)網(wǎng)絡模型，該模型綜合利用兩種不同特征的互補特性，獲取更豐富的語音情感信息，提升了語音情感的識別效果。同時為了訓練出區(qū)分性強的情感特征，本文提出一種新的損失函數(shù)CCCLoss，并在多個數(shù)據(jù)庫上進行實驗證明了本文方法的有效性。

未來將對SA-CGRU模型進一步改進，如對LLDs特征和語譜圖進行特征級融合，進一步挖掘兩種特征的互補作用。