史少寒，周曉彥，李大鵬

(南京信息工程大學(xué)電子與信息工程學(xué)院，江蘇 南京 211800)

語(yǔ)音是人類用來進(jìn)行相互交流的重要工具之一。隨著人工智能領(lǐng)域取得突破性發(fā)展，人們?cè)絹碓疥P(guān)注語(yǔ)音信號(hào)處理技術(shù)[1]。對(duì)用戶進(jìn)行語(yǔ)音情感的分析，可以使人機(jī)之間的交互變得更加生動(dòng)和高效。

語(yǔ)音情感識(shí)別的主要過程有提取語(yǔ)音特征和構(gòu)建識(shí)別模型。

就特征的提取而言，目前主要選取的語(yǔ)音特征有能量特征、基音頻率特征、共振峰特征、梅爾倒譜系數(shù)特征(Mel-scale Frequency Cepstral Coefficients，MFCC)等[2]。目前有大量集成現(xiàn)代機(jī)器學(xué)習(xí)算法與音頻信號(hào)處理的技術(shù)被運(yùn)用到了語(yǔ)音情感識(shí)別工作的特征提取[3]。Chen 等[4]使用線性擬合以獲得倒譜系數(shù)來進(jìn)行語(yǔ)音分析。在深度學(xué)習(xí)領(lǐng)域，盧官明等[5]利用卷積神經(jīng)網(wǎng)絡(luò)將更高層次的特征從低層特征中提取出來。也有一部分學(xué)者關(guān)注特征融合，傅升等[6]運(yùn)用遺傳算法將聲學(xué)特征融合進(jìn)行分析，王頗等[7]將發(fā)音動(dòng)作與聲音特征融合進(jìn)行語(yǔ)音分析。但是，在更為細(xì)節(jié)的特征提取中的特征補(bǔ)齊問題上，大都采用了補(bǔ)零的方法，這會(huì)導(dǎo)致無效信息的冗余[8]。

就模型的構(gòu)建而言，目前的主流方法是深度學(xué)習(xí)或者機(jī)器學(xué)習(xí)模型。語(yǔ)音情感識(shí)別中，深度學(xué)習(xí)主要使用卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)或?qū)⒍呓Y(jié)合[9-11]。Sun[12]構(gòu)建的基于性別信息的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Region-based Convolutional Neural Networks，RCNN)成效卓著。也有學(xué)者將運(yùn)用于其他領(lǐng)域的神經(jīng)網(wǎng)絡(luò)遷移至語(yǔ)音情感識(shí)別工作中，Oord 等[13]開創(chuàng)性地提出了因果擴(kuò)張卷積并將其運(yùn)用在了語(yǔ)音序列處理工作中，Tang 等[14]將因果擴(kuò)張卷積的運(yùn)用進(jìn)一步擴(kuò)展到長(zhǎng)語(yǔ)音情感的識(shí)別，Kim 等[15]通過連接卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)與長(zhǎng)短期記憶(Long Short-Term Memory networks，LSTM)網(wǎng)絡(luò)構(gòu)建的CNN-LSTM 模型在柏林語(yǔ)音集上取得了極佳的效果，成為在柏林語(yǔ)音集表現(xiàn)最優(yōu)的模型之一。在機(jī)器學(xué)習(xí)方面，李書玲等[16]使用支持向量機(jī)(Support Vector Machine，SVM)同遺傳算法混用的模型在中文語(yǔ)音集的語(yǔ)音情感識(shí)別工作上取得了不俗的表現(xiàn)。

為避免特征補(bǔ)齊時(shí)補(bǔ)零造成無效信息的冗余，本文對(duì)傳統(tǒng)方法進(jìn)行改進(jìn)，構(gòu)建了一種基于差分整合移動(dòng)平均自回歸模型(Autoregressive Integrated Moving Average，ARIMA)的特征補(bǔ)齊的語(yǔ)音情感算法。該算法首先進(jìn)行數(shù)據(jù)處理，選取需要的特征，并利用ARIMA 模型進(jìn)行特征補(bǔ)齊，消除語(yǔ)音間的差異。然后，通過因果擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)，對(duì)處理完的特征數(shù)據(jù)構(gòu)建最適合的語(yǔ)音情感識(shí)別模型。最后實(shí)驗(yàn)結(jié)果表明:用ARIMA 方法進(jìn)行特征補(bǔ)齊將分類器的上限提高了約6%，準(zhǔn)確率提高2.3%。用因果擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)搭建的模型與卷積神經(jīng)網(wǎng)絡(luò)相比，準(zhǔn)確率提升10%。

1 算法基礎(chǔ)介紹

1.1 ARIMA 算法

差分整合移動(dòng)平均自回歸[17]模型能夠進(jìn)行時(shí)間序列的預(yù)測(cè)，其基本思想是:將被預(yù)測(cè)對(duì)象隨著時(shí)間推移產(chǎn)生的數(shù)據(jù)作為一個(gè)隨機(jī)時(shí)間序列，并建立相應(yīng)的模型對(duì)其進(jìn)行描述，若其被識(shí)別，則能夠預(yù)測(cè)未來值[18]。因此，利用ARIMA 的因果特性可以對(duì)缺失的語(yǔ)音信息進(jìn)行一定的彌補(bǔ)。

ARIMA 算法步驟如圖1 所示。第一，選取觀察值序列，并檢測(cè)序列的平穩(wěn)性。若序列不平穩(wěn)，利用差分運(yùn)算對(duì)其進(jìn)行平穩(wěn)化處理。第二，對(duì)序列進(jìn)行白噪聲檢驗(yàn)。若為白噪聲，則通過補(bǔ)零補(bǔ)齊，不為白噪聲則繼續(xù)進(jìn)行模式識(shí)別。第三，根據(jù)識(shí)別規(guī)則建立模型，觀察自相關(guān)圖、偏自相關(guān)圖或依據(jù)赤池信息準(zhǔn)則[19](Akaike Information Criterion，AIC)確定模型階數(shù)。第四，進(jìn)行模型擬合和模型檢驗(yàn)，若通過檢驗(yàn)，則繼續(xù)進(jìn)行預(yù)測(cè)。第五，對(duì)未來的時(shí)間序列進(jìn)行預(yù)測(cè)。

圖1 ARIMA 算法步驟

1.2 因果擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)并無法直接處理具有因果性的時(shí)間序列，為使卷積能夠處理時(shí)間序列，對(duì)其通常處理圖像的卷積窗進(jìn)行修改，實(shí)現(xiàn)對(duì)時(shí)序信號(hào)的“因果卷積”處理。因果卷積的主要思想是根據(jù)x1…xt和y1…yt-1去預(yù)測(cè)yt，使得yt接近于實(shí)際值。圖2為因果卷積的計(jì)算示意圖。

圖2 因果卷積示意圖

但因果卷積的卷積窗大小有限，導(dǎo)致每一個(gè)卷積層所能探知到的輸入單元有限。若擴(kuò)大卷積窗大小，計(jì)算量會(huì)激增，輸出層的信息也會(huì)變少。因此，Oord等[13]提出因果擴(kuò)張卷積。圖3 為因果擴(kuò)張卷積的示意圖。與因果卷積相比，因果擴(kuò)張卷積在隱藏層與輸出層增加了擴(kuò)張度，其能夠探知到的單元數(shù)沒有減少，輸出張量大小也無區(qū)別，但大大減少了運(yùn)算次數(shù)。在輸出相同的情況下探知范圍也更加龐大。

1.3 長(zhǎng)短期記憶網(wǎng)絡(luò)

長(zhǎng)短期記憶[20]模型對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)進(jìn)行改進(jìn)，采用不同的方法計(jì)算隱藏狀態(tài)，避免了在遞歸神經(jīng)網(wǎng)絡(luò)傳播過程中產(chǎn)生梯度爆炸和梯度消失，能夠?qū)崿F(xiàn)長(zhǎng)時(shí)間的記憶。LSTM 的結(jié)構(gòu)主要有遺忘門、輸入門和輸出門，其計(jì)算過程如下[21]:

首先，以xt作為L(zhǎng)STM 網(wǎng)絡(luò)的輸入，ht為L(zhǎng)STM細(xì)胞單元的隱藏向量。在t時(shí)刻，通過遺忘門對(duì)上個(gè)細(xì)胞單元狀態(tài)Ct-1中的無用歷史進(jìn)行選擇性忘記，控制保留到當(dāng)前細(xì)胞單元狀態(tài)Ct的信息量為:

其次，輸入門決定多少新信息能保存到細(xì)胞單元狀態(tài):

式中:Wf、bf分別為忘記門的權(quán)重和偏置，Wi、bi分別為輸入門的權(quán)重和偏置，是需要訓(xùn)練的參數(shù)。σ為Sigmoid 函數(shù)。

然后，上個(gè)細(xì)胞單元狀態(tài)Ct-1更新為當(dāng)前細(xì)胞單元狀態(tài)Ct:

最后，輸出門決定從當(dāng)前細(xì)胞單元狀態(tài)Ct輸出的最終信息ht:

式中:WC、bC分別為細(xì)胞單元狀態(tài)的權(quán)重和偏置，Wo、bo分別為輸出門的權(quán)重和偏置，同樣，也是需要被訓(xùn)練的參數(shù)。

2 算法流程設(shè)計(jì)

本算法主要包括三部分，第一部分是數(shù)據(jù)處理，描述從語(yǔ)音集中選取和處理語(yǔ)音特征的過程。第二部分是系統(tǒng)模型的構(gòu)建。第三部分是對(duì)系統(tǒng)的分析。本算法流程見圖4。

圖4 語(yǔ)音情感識(shí)別實(shí)驗(yàn)流程

2.1 特征選取

Kim 等[15]提出的CNN-LSTM 模型根據(jù)研究經(jīng)驗(yàn)選取了GeMAP 特征集[22]中的20 個(gè)特征，并在柏林語(yǔ)音集上進(jìn)行實(shí)驗(yàn)取得了非常好的效果，因此，本文所有使用的語(yǔ)音情感識(shí)別模型均使用CNN-LSTM所選取的特征。

2.2 基于ARIMA 方法的特征補(bǔ)齊

在過往的研究中，對(duì)特征沿時(shí)間軸補(bǔ)零或截?cái)?，?huì)造成信息的冗余、丟失[8]。Tang 等[14]對(duì)語(yǔ)音特征利用因果模型建模取得了比較好的效果，說明語(yǔ)音特征的因果性有著相當(dāng)?shù)睦脙r(jià)值。ARIMA 方法正是一種利用序列因果性進(jìn)行特征補(bǔ)齊的算法，其表達(dá)式為ARIMA(p，q，d)，其中p為自回歸系數(shù)，d為對(duì)序列進(jìn)行差分運(yùn)算的次數(shù)，q為移動(dòng)平均系數(shù)。

設(shè)定每一個(gè)特征共提取512 幀，從每一個(gè)語(yǔ)音樣本中提取的一個(gè)512 幀20 維特征矩陣稱為特征參數(shù)圖。對(duì)于特征超過512 幀的語(yǔ)音進(jìn)行截?cái)?，無法達(dá)到的利用ARIMA 進(jìn)行信息補(bǔ)齊。

本文提出一種以ARIMA 模型為基礎(chǔ)的序列補(bǔ)齊方式，整個(gè)算法流程見圖5。

圖5 ARIMA(p，d，q)模型特征補(bǔ)齊流程

對(duì)于一個(gè)特征向量[y]，首先進(jìn)行序列平穩(wěn)判斷，若序列平滑則可進(jìn)入下一步，否則對(duì)其進(jìn)行差分直到滿足平滑的條件。經(jīng)過平滑判定的特征向量在之后要進(jìn)行白噪聲判斷。若序列[y]的自相關(guān)系數(shù)值恒定并且均值恒定，表示序列為純隨機(jī)過程與觀察值之間毫無關(guān)系，此時(shí)無法再繼續(xù)利用ARIMA 方法補(bǔ)齊缺失值，進(jìn)行補(bǔ)零補(bǔ)齊。若不為白噪聲則繼續(xù)進(jìn)行ARIMA 參數(shù)補(bǔ)齊。在進(jìn)行ARIMA 參數(shù)補(bǔ)齊時(shí)，首先要進(jìn)行模式識(shí)別，這里使用Box-Jenkins[23]方法進(jìn)行識(shí)別，即通過序列自相關(guān)與偏相關(guān)函數(shù)的截尾與拖尾性選擇模型。確定好模型的類型后，需要選取合適的p，q值，從而進(jìn)一步確定模型階數(shù)。然后，通過最小二乘法估計(jì)參數(shù)。最后，進(jìn)行Q值檢驗(yàn)，不通過便重新進(jìn)行模式識(shí)別，通過就進(jìn)行模型預(yù)測(cè)填補(bǔ)特征缺失特征。這樣，通過基于ARIMA 模型補(bǔ)齊參數(shù)方法以及截?cái)嗑涂梢詫?duì)柏林?jǐn)?shù)據(jù)集同一提取20×512 大小的特征張量。

2.3 基于因果擴(kuò)張卷積與長(zhǎng)短期記憶網(wǎng)絡(luò)的識(shí)別模型構(gòu)建

語(yǔ)音情感識(shí)別模型應(yīng)注意兩個(gè)問題，一是語(yǔ)音特征作為時(shí)間序列要注意模型的因果性，二是計(jì)算機(jī)對(duì)語(yǔ)音的采樣導(dǎo)致特征由連續(xù)變?yōu)殡x散，而語(yǔ)音本身是有連續(xù)特性，所以要權(quán)衡語(yǔ)音序列離散特性與連續(xù)特性。

首先，用因果卷積提取離散特征。設(shè)定卷積窗大小為(1，N)，對(duì)每一個(gè)特征沿時(shí)間軸進(jìn)行卷積。經(jīng)過這樣的卷積后，得到的輸出張量仍有繼續(xù)精取特征的空間。如圖6 所示，利用擴(kuò)張卷積法對(duì)這二十個(gè)特征進(jìn)行融合，卷積窗設(shè)為(2K，M)，這樣可以讓特征沿著特征類別進(jìn)行整合。由于這一過程使用擴(kuò)張卷積，有擴(kuò)張率L，卷積窗視野能夠達(dá)到(2K+L-1，M)。之后，再對(duì)輸出沿著特征方向卷積即可以獲得較為理想的精簡(jiǎn)高維離散特征。

圖6 因果擴(kuò)張卷積精取離散特征過程

同時(shí)，對(duì)離散特征提取連續(xù)特性能夠體現(xiàn)出語(yǔ)音中的情緒波動(dòng)，這里采用LSTM 網(wǎng)絡(luò)。最后得到的輸出向量既有離散特性又有連續(xù)特性，保證了整個(gè)過程都是端到端的網(wǎng)絡(luò)，未產(chǎn)生割裂感。

本文參考Kim 等[15]提出的CNN-LSTM 模型最終構(gòu)建MYNET(即本文構(gòu)建的模型)模型。此模型的具體參數(shù)見表1。該模型通過因果卷積以及擴(kuò)張卷積等提取離散特征再借由LSTM 模型提取連續(xù)特性，最后由SOFTMAX 分類器進(jìn)行分類。

表1 模型參數(shù)

本文模型訓(xùn)練采用柏林語(yǔ)音集，其有10 個(gè)個(gè)體語(yǔ)音片段。每次訓(xùn)練選取9 個(gè)語(yǔ)音作為訓(xùn)練集，剩余1 個(gè)作為測(cè)試集，共訓(xùn)練10 次，保證每個(gè)個(gè)體都能成為測(cè)試集，訓(xùn)練出分類器1～10。

最后，將兩種輸出向量首位拼接，通過ReLU 函數(shù)激活后，再作為分類器的輸入，從而解決了離散特征和連續(xù)特征維數(shù)不同的問題。

3 系統(tǒng)分析

3.1 模型結(jié)構(gòu)分析

本文構(gòu)建的模型主要由兩個(gè)部分構(gòu)成，先是通過因果卷積提取輸入信號(hào)的離散特征的高維特征，然后利用LSTM 提取高維離散特征的連續(xù)特性，這樣，輸入分類器的特征既是語(yǔ)音信號(hào)的離散特征，又能體現(xiàn)出連續(xù)特性，可以獲得更好的效果。

為了進(jìn)一步對(duì)比模型結(jié)構(gòu)，構(gòu)建連續(xù)特征與離散特征并行提取的模型MYNET2。其特征提取方式和MYNET 相同。另外，構(gòu)建一個(gè)未基于ARIMA 方法，而僅以零進(jìn)行數(shù)據(jù)補(bǔ)齊的MYNET0 模型。

下面，對(duì)MYNET2、MYNET0 進(jìn)行訓(xùn)練測(cè)試，運(yùn)用的方法和參數(shù)都和MYNET 相同，訓(xùn)練結(jié)果見表2。由表看出，MYNET2 的訓(xùn)練效果弱于MYNET，這是由于離散特征與連續(xù)特征維數(shù)不合，融合不佳。普通補(bǔ)零的MYNET0，與基于ARIMA 方法補(bǔ)齊數(shù)據(jù)的MYNET 相比，僅一個(gè)分類器較高，效果較差。

表2 不同模型結(jié)構(gòu)對(duì)比測(cè)試結(jié)果

綜上，使用ARIMA 算法補(bǔ)齊特征，分類測(cè)試準(zhǔn)確率均值提升了2.3%，上限提升了6%，模型表現(xiàn)更穩(wěn)定，有更強(qiáng)的泛用性。

3.2 結(jié)果對(duì)比分析

為進(jìn)一步驗(yàn)證MYNET 模型的有效性，參考徐華南[21]提出的基于具有雙線性特征的BCNN 構(gòu)建的模型與上文提到的一些模型，分別做了以下對(duì)比實(shí)驗(yàn):①CNN-LSTM:Kim 等[15]提出的CNN-LSTM 模型；②SVM:李書玲等[13]提出的SVM 方法分類的模型；③CNN_base:提取出的語(yǔ)音特征僅輸入到CNN網(wǎng)絡(luò)中進(jìn)行語(yǔ)音情感分析；④BCNN_base:在③的基礎(chǔ)上，將CNN 得到的特征通過雙線性池化進(jìn)行融合，得到基于BCNN 空間特征的準(zhǔn)確率；⑤BCNN_BLSTM_base:在③的基礎(chǔ)上，輸入到CNN-BLSTM 網(wǎng)絡(luò)，并結(jié)合④中的BCNN，得到基于BCNN 時(shí)間和空間特征的準(zhǔn)確率。

最終比較結(jié)果匯集于表3。

表3 不同方案對(duì)比測(cè)試結(jié)果

從結(jié)果來看，使用LSTM 能夠顯著提高識(shí)別準(zhǔn)確率。另外，與普通的卷積神經(jīng)網(wǎng)絡(luò)和雙線性卷積神經(jīng)網(wǎng)絡(luò)相比，MYNET 識(shí)別率也較高，與卷積神經(jīng)網(wǎng)絡(luò)相比提升10%，說明因果擴(kuò)張卷積能增強(qiáng)模型的穩(wěn)定性。使用SVM 方法分類的模型，相比于其他方案，識(shí)別率較低。因此，對(duì)于MYNET 模型而言，基于因果擴(kuò)張卷積和LSTM 構(gòu)建情感識(shí)別模型，一定程度上增強(qiáng)了算法的表現(xiàn)力。

3.3 可視化分析

使用van der Maaten 等[24]提出的TSNE 降維法對(duì)SOFTMAX 分類器的輸入特征進(jìn)行降維可視化，做出圖7 所示的情感分類混淆矩陣。由圖可發(fā)現(xiàn)，較為溫和的情緒集中于可視化圖的中間，且它們的分界線在交界處糾纏。極端情緒遠(yuǎn)離溫和情緒簇的中心，但無聊與開心情緒卻與極端情緒有交集。值得注意的是，憤怒情緒的中心離厭惡、恐懼較遠(yuǎn)，但這兩個(gè)情緒的邊界上有被判為憤怒的語(yǔ)音。

圖7 情緒分類可視化

將可視化結(jié)果做數(shù)字化處理，得到圖8 所示的情感分類混淆矩陣，發(fā)現(xiàn)誤判主要集中在悲傷、自然、開心這些溫和情緒簇的邊界。雖然圖7 中憤怒情緒分布較為分散且覆蓋較廣，但圖8 中其誤判只發(fā)生在與無聊之間的判斷。而溫和情緒間分類的錯(cuò)誤占57.4%，可見該模型在溫和情緒間的分類表現(xiàn)乏力。

圖8 情感分類混淆矩陣

綜上，本算法成功構(gòu)建了一個(gè)語(yǔ)音情感識(shí)別模型，但此模型對(duì)溫和情緒判斷的準(zhǔn)確性還有待提高。

4 結(jié)語(yǔ)

本文提出一種基于ARIMA 算法特征補(bǔ)齊的語(yǔ)音情感識(shí)別算法，該方法首先利用ARIMA 算法進(jìn)行特征補(bǔ)齊，然后基于因果卷積網(wǎng)絡(luò)和LSTM 構(gòu)建MYNET 識(shí)別模型，采用柏林語(yǔ)音集進(jìn)行實(shí)驗(yàn)證實(shí)，實(shí)驗(yàn)結(jié)果表明，本方法有效地提高了語(yǔ)音情感識(shí)別的準(zhǔn)確率，增強(qiáng)了模型的表現(xiàn)力和泛用性，但對(duì)溫和情緒判斷的準(zhǔn)確性還有待提高。

通過本文分析可知，EMNET、MYNET 或與其類似的模型架構(gòu)在處理該語(yǔ)音集時(shí)幾乎已是最優(yōu)方案，若要實(shí)現(xiàn)質(zhì)的提升需要徹底摒棄這種模型構(gòu)建思想，采用其他方式。但也可以像Letaifa 等[25]一樣考慮對(duì)語(yǔ)音集進(jìn)行優(yōu)化，如根據(jù)語(yǔ)音的聲學(xué)特性為其增加額外的標(biāo)簽以輔助訓(xùn)練?；蚴菍?duì)于選取的特征進(jìn)行優(yōu)化，例如姚森[26]就運(yùn)用了隨機(jī)森林的方法進(jìn)行特征的選取。