潘慧琳，韓志艷，王樹瑞，姜瀾，龔偉，王雅瓊

（渤海大學(xué)控制科學(xué)與工程學(xué)院，遼寧錦州 121013）

情感識別是一個跨學(xué)科的研究領(lǐng)域，近年來受到越來越多的關(guān)注，比如可以通過語音信號、面部表情信號和生理參數(shù)來進行情感識別。對于語音情感識別，文獻[1]在語音識別中引入錨模型的思想，改進了識別系統(tǒng)的性能。文獻[2]提出了一種新的傅里葉參數(shù)模型，利用語音質(zhì)量的感知內(nèi)容和一階二階的差異來進行獨立于說話人的語音情感識別。文獻[3]研究探討如何使用對抗性多任務(wù)訓(xùn)練來提取訓(xùn)練域與測試域之間的共同表示，并發(fā)現(xiàn)了從未標記的數(shù)據(jù)中提取盡可能多的有用信息是至關(guān)重要的。文獻[4]提出了一種基于子空間學(xué)習(xí)和特征選擇融合的語音情感識別方法，該方法在跨庫條件下具有較好的性能。

目前，語音情感特征主要有語句發(fā)音持續(xù)時間、基因頻率、振幅能量、共振峰、聲門波、諧波噪聲比等，雖然已經(jīng)提出了一些語音情感特征，但是大多是基于語音的韻律特征和音質(zhì)特征，目前還沒有一個人工設(shè)計的最優(yōu)特征集。研究者可能會將越來越多的特征組合在一起，這可能會導(dǎo)致維度過高。此外，語音情感特征很容易受到說話者、內(nèi)容和環(huán)境變化的影響[5-9]。因此，文中提出采用深度學(xué)習(xí)模型自動提取情感的抽象特征，有效地降低了運算量，提高了情感特征參數(shù)的魯棒性[10-16]。

1 系統(tǒng)總體結(jié)構(gòu)及功能

如圖1 所示為該情感識別系統(tǒng)的總體結(jié)構(gòu)框圖，其包括情感信號獲取、情感信號預(yù)處理、語音信號變圖像信號、情感特征參數(shù)的自動提取、獲取組合特征參數(shù)及最終的識別模塊。

圖1 系統(tǒng)的總體結(jié)構(gòu)框圖

1.1 情感信號獲取

首先通過噪聲刺激或觀看影視片段進行情感誘發(fā)，然后利用麥克風(fēng)接收語音數(shù)據(jù)，再通過計算機以11.025 kHz 的采樣頻率和16 bit 的量化精度進行采樣量化獲得相應(yīng)情感狀態(tài)下的語音情感信號。

1.2 語音情感信號預(yù)處理

對獲取的語音情感信號進行預(yù)處理，包括預(yù)加重、分幀加窗和端點檢測。預(yù)加重采用一階數(shù)字預(yù)加重濾波器實現(xiàn)，預(yù)加重濾波器的系數(shù)取值為0.93～0.97；分幀加窗以幀長256 點的標準進行分幀，并對分幀后的數(shù)據(jù)加漢明窗處理；端點檢測利用基于能量和鑒別信息的語音端點檢測算法進行。

1.3 語音情感信號變圖像信號

獲取語音情感信號的時域波形圖，然后對波形圖像素灰度值進行歸一化處理，將圖像歸一為像素灰度值為0方差為1的圖像，作為第一通道圖像信號。

獲取預(yù)處理后語音情感信號的語譜圖，然后對語譜圖像素灰度值進行歸一化處理，將圖像歸一為像素灰度值為0 方差為1 的圖像，作為第二通道圖像信號。獲取語譜圖的具體方法：將預(yù)處理后的語音情感信號進行快速傅里葉變換，得出相應(yīng)的語譜圖。

1.4 用殘差式深度卷積神經(jīng)網(wǎng)絡(luò)提取情感特征

1.4.1 第一通道情感特征參數(shù)提取

1）建立殘差式深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。包括卷積層、最大池化層、殘差塊、平均池化層和全連接層。這里殘差塊包括兩種類型的子殘差塊，分別是ResNet-34 和ResNet-50。

殘差式深度卷積神經(jīng)網(wǎng)絡(luò)首先經(jīng)過卷積層，卷積核大小為7×7，步長為2，再經(jīng)過最大池化層，卷積核大小為3×3，步長為2；其次經(jīng)過殘差塊，該殘差塊包含兩種類型的子殘差塊，分別是ResNet-34 和ResNet-50，此兩種殘差塊數(shù)量均為2；最后經(jīng)過平均池化層和全連接層。具體結(jié)構(gòu)如圖2 所示。

圖2 第一通道殘差式深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2）采用梯度下降算法訓(xùn)練建立好殘差式深度卷積神經(jīng)網(wǎng)絡(luò)。

3）將第一通道圖像信號作為訓(xùn)練好的殘差式卷積神經(jīng)網(wǎng)絡(luò)的輸入，其輸出即為第一通道情感特征參數(shù)。

1.4.2 第二通道情感特征參數(shù)提取

1）建立殘差式深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括卷積層、最大池化層、殘差塊、平均池化層和全連接層。這里的殘差塊包括3 種類型的子殘差塊，分別是ResNet-34、ResNet-50 和ResNet-101。

首先經(jīng)過卷積層，卷積核大小為7×7，步長為2，再經(jīng)過最大池化層，卷積核大小為3×3，步長為2；其次經(jīng)過殘差塊，該殘差塊包含3 種類型的子殘差塊，分別是ResNet-34、ResNet-50 和ResNet-101，此3 種殘差塊數(shù)量均為1；最后經(jīng)過平均池化層和全連接層；

2）采用梯度下降算法訓(xùn)練建立好殘差式深度卷積神經(jīng)網(wǎng)絡(luò)。

3）將第二通道圖像信號作為訓(xùn)練好的殘差式卷積神經(jīng)網(wǎng)絡(luò)的輸入，其輸出即為第二通道情感特征參數(shù)。

1.5 獲取組合特征參數(shù)

將第一通道情感特征參數(shù)和第二通道情感特征參數(shù)順序組合起來獲得組合特征參數(shù)，其中前30 個特征為第一通道情感特征參數(shù)，后30 個為第二通道情感特征參數(shù)。

1.6 采用深度信念網(wǎng)絡(luò)進行識別

該文的深度信念網(wǎng)絡(luò)包括4 個隱含層，每層的每個單元連接到每個相鄰層中的每個單元，沒有層內(nèi)連接，即使用多個受限玻爾茲曼機堆疊而成。

訓(xùn)練深度信念網(wǎng)絡(luò)的具體方法為：

1）訓(xùn)練第一個受限玻爾茲曼機，其聯(lián)合概率分布由能量函數(shù)指定，如式（1）所示：

其中，P(v,h;θ)為第一個受限玻爾茲曼機的聯(lián)合概率，v為M維的可見層向量，M是可見層的神經(jīng)元個數(shù)，h為N維的隱含層向量，N是隱含層的神經(jīng)元個數(shù)，θ={a,b,W}，W為權(quán)重矩陣，b為可見層的偏置向量，a為隱含層的偏置向量，Z(θ)為配分函數(shù)的歸一化常數(shù)，如式（2）所示：

其中，E(v,h;θ)為能量函數(shù)，公式為：

其中，Wij是可見層的第i個神經(jīng)元和隱含層的第j個神經(jīng)元之間的對稱權(quán)值，bi是可見層的第i個神經(jīng)元的偏置，aj是隱含層的第j個神經(jīng)元的偏置，vi是可見層向量的第i個元素，hj是隱含層向量的第j個元素。

2）訓(xùn)練第二個受限玻爾茲曼機，并將第一個受限玻爾茲曼機的隱含層作為第二個受限玻爾茲曼機的可見層，并依此添加任意多層繼續(xù)擴展，其中每個新的受限玻爾茲曼機對前一個受限玻爾茲曼機的樣本建模。

2 對比實驗結(jié)果與分析

為證明該文方法的情感識別效果，將采用傳統(tǒng)方式進行特征提取，并用三層小波神經(jīng)網(wǎng)絡(luò)進行識別的語音情感識別結(jié)果與該文單通道和雙通道條件下的語音情感識別結(jié)果進行對比。訓(xùn)練樣本集和測試樣本集均包含每種情感的1 000條語句。采用傳統(tǒng)方式進行特征提取并用三層小波神經(jīng)網(wǎng)絡(luò)進行識別的情感識別正確率如表1 所示。僅采用第一通道圖像信號進行識別的情感識別正確率如表2 所示。僅采用第二通道圖像信號進行識別的情感識別正確率如表3所示。該文方法情感識別正確率如表4所示。

表1 傳統(tǒng)方式進行識別的正確率

表2 僅采用第一通道信號識別的正確率

表3 僅采用第二通道信號識別的正確率

表4 該文方法識別的正確率

由表1～4 可以看出，僅通過采用傳統(tǒng)方式進行特征提取并用三層小波神經(jīng)網(wǎng)絡(luò)進行識別的平均識別正確率是84.2%；僅通過采用第一通道圖像信號進行識別的平均識別正確率是91.2%；僅通過采用第二通道圖像信號進行識別的平均識別正確率是91.3%。該文方法的平均識別正確率是95.3%，識別結(jié)果明顯提高。

3 結(jié)論

從實驗結(jié)果可以看出，直接從語音信號中提取傳統(tǒng)特征參數(shù)，然后送分類器進行識別的識別效果不是很好，因為它直接提取語音的韻律特征和音質(zhì)特征，但這些特征參數(shù)并不能全面地代表語音情感特征。而表2、表3 和表4 的識別結(jié)果明顯有所提高，這是因為這3 種情況均先將語音信號變成圖像信號來處理，并采用殘差式深度卷積神經(jīng)網(wǎng)絡(luò)來提取特征參數(shù)，充分利用了深度學(xué)習(xí)模型可提取抽象特征的優(yōu)勢，有效地提高了特征參數(shù)的魯棒性。尤其是表4 采用了雙通道的方式進行識別，情感特征參數(shù)考慮得更加全面，更加接近人類情感識別的過程。