摘""要：維度語音情感識別是語音識別技術的重要研究方向，提取最能表達語音情感的特征碼并構建具有模型泛化性和魯棒性的聲學模型是語音情感識別的重要研究內容。同時其觸及領域具備較強的多樣性，心理學、模式識別以及認知科學等均屬于其研究范圍，而這些模塊是其研究的重點，開展研究的目的主要是為了讓機器具備人類情感，促使人機交互更加自然靈活。基于此，該文闡述了在情感心理學的研究基礎上，分析情感語音數(shù)據(jù)庫與數(shù)據(jù)標注，并對情感分類與回歸加以探索，希望可以為維度語音情感識別提供新的思路。

關鍵詞：維度語音""情感模型""識別""算法

中圖分類號：TN912.34""""""""""""文獻標識碼：A

The"Research"Review"of"Dimensional"Speech"Emotion"Recognition

ZHANG"Cheng"""SHI"Lei"""ZHAO"Huiran

（City"Institute，"Dalian"University"of"Technology，"Dalian，"Liaoning"Province，116000"China）

Abstract："Dimensional"speech"emotion"recognition"is"an"important"research"direction"of"speech"recognition"technology，"and"it"is"an"important"research"content"of"speech"emotion"recognition"to"extract"the"feature"code"that"can"best"express"speech"emotion"and"build"an"acoustic"model"with"model"generalization"and"robustness."At"the"same"time，"the"fields"it"touches"have"a"strong"diversity，"psychology，"pattern"recognition"and"cognitive"science"belong"to"its"research"scope，"these"modules"are"the"focus"of"its"research，"and"the"main"purpose"of"the"research"isnbsp;mainly"to"make"machines"have"human"emotions"and"promote"human-computer"interaction"to"be"more"natural"and"flexible."Based"on"this，"this"paper"expounds"the"analysis"of"the"emotion"speech"database"and"data"annotation"on"the"basis"of"the"research"of"emotion"psychology，"and"explores"the"emotion"classification"and"regression，"hoping"to"provide"new"ideas"for"dimensional"speech"emotion"recognition.

Key"Words："Dimensional"speech;"Emotional"model;"Recognition;"Algorithm

人工智能在組建期間，情感是占據(jù)著重要的位置，賦予計算機人類情感，使其可以像人類一樣傳遞感情，而這也正是當下急需處理的問題，情感計算概念是由國外研究學者提出的，其促使計算機科學進入新的發(fā)展時期，到目前為止，是文本、人臉以及肢體行為等情感式研究的主流[1]。語言作為人類發(fā)音器官，其可以發(fā)出對社會發(fā)展有價值的聲音，其不僅是表示語言的一種符號，同時還是各種語言信息的載體，涵蓋與音高、響度以及韻律等與聲學有關的信息。情感信息相較于人臉情感識別而言，語言信息存在時序性以及蘊含大量上下文信息的特點，同文本相比較，語音可利用聲學屬性使情感輕度得以改變，肢體行為情感的交互往往會觸及諸多心理學，在表達相應情感過程中，通常會有較大的不確定性，所以，在提取特征以及情感分類等方面依然存在較大的困難，使用率也較低[2]。

1"情感心理學研究基礎

1.1"OCC情感模型

關于評估理論的研究較多，但其中李海峰、陳婧、馬琳[3]在研究中所建立的OCC模型產生了較大的影響，在離散認知情感模型中，OCC模型情感模型相較于其他模型來講具備完善性，并且該種模型是首次將計算機作為研究目標而形成的新型模型。OCC模型對幾十種情感類型加以概述，且產生了相應層級，例如智能體agents、目標object等，為了實現(xiàn)分類系統(tǒng)的完整性，采用以下步驟進行，5個步驟分別為：第一，歸納事件、行為以及目標，并加以分類；第二，量化受到影響的情感度；第三，將已有的情感與新情感之間進行交互；第四，在情感表達中呈現(xiàn)情感狀態(tài)；第五，表達情感。

1.2"Roseman評價理論

20世紀90年代中期，Roseman[4]是一名心理學專家，而事件評估因素和計算架構正是Roseman提出的，其主要利用相互作效用對情感加以識別。意外、動機、控制度以及可能性等屬于評價因素，在評價的不同因素中，在諸多評價因素中，控制度和動機兩種因素最為重要，比如若環(huán)境和目標兩者間存在差異時，通常會導致生氣或后悔等負面情緒出現(xiàn)，Roseman[5]結合評價因素提出相應的基礎情緒，如高興、希望、自豪以及喜歡等屬于積極情感，輕視、悲痛、傷心、擔心以及挫折等屬于消極情緒范圍，欲望以及驚訝等其他類型的情感可將事件的誘因作為基礎，從而明確其屬于積極情感還是消極情感。Roseman所建立的事件評價情感模型在今后的研究中逐漸得到了優(yōu)化和完善。

現(xiàn)在，研究學者對基礎情感并沒有形成統(tǒng)一的共識，大多數(shù)學者認為基礎情感為：憤怒、厭惡、高興、悲傷和驚訝，Ortony等人員對該些觀點進行了整理，詳見表1。

2""情感語音數(shù)據(jù)庫與數(shù)據(jù)標注

2.1""情感語音數(shù)據(jù)庫

在對情感分類以及回歸算法開展研究過程中，數(shù)據(jù)庫是其研究的基礎?，F(xiàn)在，情感語音數(shù)據(jù)庫的數(shù)量逐漸增長，然而，該些數(shù)據(jù)庫劃分的標準尚未統(tǒng)一。為進一步降低其理解的難度，研究者將情感描述作為著手點并對語音數(shù)據(jù)庫加以劃分，即離散情感數(shù)據(jù)庫、維度情感數(shù)據(jù)庫。表2、表3呈現(xiàn)的是從不同的方面分析理算數(shù)據(jù)庫和維度情感數(shù)據(jù)庫。

上述兩個表格將激發(fā)方法作為基礎來區(qū)分數(shù)據(jù)，其將數(shù)據(jù)劃分為不同的類型，分別為自然型數(shù)據(jù)集、表演型數(shù)據(jù)庫、引導型數(shù)據(jù)庫3種，以上數(shù)據(jù)可類型中，將收集得到的語言樣本進行比較，自然型數(shù)據(jù)庫所獲得的語音樣本與自然溝通一致性較高，然而，自然數(shù)據(jù)庫建立的難度也相對較高，為此其數(shù)量較少，F(xiàn)AUAIBO和VAM為常用數(shù)據(jù)庫[5]。表演型數(shù)據(jù)在對語言樣本采集過程中，離不開經驗豐富的表演者，表演者依照特定的情景或語言進行相關表演；引導型數(shù)據(jù)量相對較多，其在收集語言樣本期間，塑造一個安靜的氛圍，采用對話誘導以及播放視頻等方法，促使研究目標充分地表達自身情感。不難發(fā)現(xiàn)，離散情感數(shù)據(jù)庫和維度情感數(shù)據(jù)庫分別隸屬于不同的類型。

另外，觀察以上兩個表格可以發(fā)現(xiàn)，大多數(shù)數(shù)據(jù)庫區(qū)分了性別因素和語言類型，研究人員在設計智能推理模型期間，對這些語言信息特點給予了充分利用，這給個性化人機交互奠定了基礎。將離散情感與維度情感有機融入產生的數(shù)據(jù)庫，降低了研究人員理解和應用的難度性，例如FAUAIBO。依據(jù)語音、姿態(tài)以及表情等創(chuàng)建多模態(tài)數(shù)據(jù)庫，促使信息維度得以有效擴展，例如SAVEE、IEMO-CAP。環(huán)境存在喧雜性，其也是最接近自然的，在此種環(huán)境中收集樣本，其難度性不言而喻，而識別算法魯棒性同樣面臨著新的挑戰(zhàn)。

2.2""數(shù)據(jù)標注

在判斷情感類型期間，若使用離散情感數(shù)據(jù)主要以標準人員投票為主，其對專業(yè)性較高的判斷工具使用頻率并不高。維度情感數(shù)據(jù)在SAM系統(tǒng)的協(xié)助的前提下，對PAD模型取值進行量化處理，F(xiàn)EELTRACE量化VA模型維度取值。ANNEMO每次知識對1個維度加以標記，其結果具有較高的準確性。與此同時，情感標準同樣需要專業(yè)的標準人員，同時在開展標準過程中，要求其精神處于高度集中的狀態(tài)。大部分數(shù)據(jù)庫通常會將標注的數(shù)據(jù)實施相應的處理，如插值以及標準化等，這樣可顯著減少標注者自身給標注結果造成的影響。

近些年，語言情感數(shù)據(jù)庫呈現(xiàn)了豐富的發(fā)展趨勢，情感描述能力得到了顯著提升，并且標注數(shù)據(jù)需求也在迅速拓展，在當前開展的研究中，在當前的研究中，運用模塊設計來收集各種高質量的數(shù)據(jù)標注性能集成為研究的關鍵內容。除此之外，為了對弱標注有進一步的了解和掌握，有關人員對其展開了深入的探究，在對公共信息樣本提取過程中，采用半監(jiān)督法進行，對無標注的樣本深入了解，實現(xiàn)對數(shù)據(jù)庫的充分使用。

3""情感分類與回歸

結合情感特征的差異，將常用識別算法分為兩種類型：類型一，情感分類算法；類型二，情感回歸算法。

3.1"情感分類算法

在對情感分類計算方法使用階段，將目標樣本融入差異化的離散情感中，一般采用Support"Vectorma-chines（SVM）即支持向量機、Hidden"Markov"Model（HMM），即隱馬爾可夫模型以及DCNN。

在對非線性、小樣本以及高緯度模式識別期間，支持向量機凸顯了一定的優(yōu)越性，優(yōu)越其具備較強得的泛化性，因此普遍用于情感分類中。半定規(guī)劃多核支持向量機可有效改善分類算法的魯棒性。韓文靜、李海峰、阮華斌等[6]研究人員將DCNN作為研究工具，利用PCA對光譜圖來區(qū)分情感類型，此次研究結果證實，此種方式同支持向量機對比，其更為理想。陳逸靈、程艷芬、陳先橋等[7]學者在研究過程中建立混合分離器，在構建混合模型時將深度神經網絡（Gaussian"mixture"model-deep"neural"network，GMM-DNN）以及高斯混合模型給予融合，從分類性能角度而言，其顯著優(yōu)于SVM和MLP，即便不處于安靜的環(huán)境中，其情感分類質量和效率依然具備理想性。

上述介紹的計算方法主要是運用語言信號來強化情感分類的精準度，值得注意的是，將不同的模特特點加以滲入，可顯著增強情感分類的魯棒性，提升其可靠度。我國研究學者陳師哲等人依據(jù)語言模特以及機體面部表情，并使用支持向量機以及隨機森林將文化之間的差異給予縮減，從而降低其對情感分類的干擾程度。劉穎等研究人員在結合語言雙模特的基礎上，依據(jù)面部表情，使用CMM顯著提高了分類準確性。

3.2""情感回歸算法

情感回歸算法在使用階段，其將試驗目標的維度情感融入至多維度坐標空間中，SVR（Support"Vector"Regression）是情感回歸方法之一，近年來，研究人員在情感回歸中持續(xù)應用了深度學習技術，在使用期間取得了一定的研究成果，例如LSTM、DANN等。Cheng"Y等學者在開展的研究中，利用CNNLSTM來深入了解具備特征，在提取局部特征期間采用LSTM進行，同時在全連接層完成對VA模型的情感測定，將DBN、CNN等算法加以改善不可學習多種深度特征。在IEMOCAP數(shù)據(jù)庫中該種方式在判斷與目標人員有關信息的正確占比為89.2%，與目標研究人員無關信息判斷的正確占比為52.13%，其與DBN和CNN兩種方法所獲得的結果對比來講，正確性較高。Abdel"W等在將情感與元數(shù)據(jù)庫進行結合階段，運用對抗神經網絡，即Domainad-versarial"Neural"Nnetwork（DANN），結合獲得的源域以及目標域的統(tǒng)一特性，促使PAD模型情感回歸得以實現(xiàn)，強化其魯棒性。

4""結語

對識別語音情感的深入研究，是實現(xiàn)人機交互不可或缺的重要內容，其可促進人工智能、人機交互以及計算機等領域深入發(fā)展，同時對信號處理以及控制等多方面學科發(fā)展存在不可忽視的價值。賦予情感機器人社交、情緒監(jiān)督等能力，并充分使用情感維度空間描述模型，同以往離散情感模型相對比，其描述情感不僅更加精準，且可顯著提升情感標簽的正確性，賦予其無限的情感描述能力。

參考文獻

[1]宋文軍.基于神經網絡和注意力機制的語音情感識別研究[D].長春：長春理工大學，2021.

[2]李海峰，陳婧，馬琳，等.維度語音情感識別研究綜述[J].軟件學報，2020，31（8）：2465-2491.

[3]呂惠煉.基于CNN和BLSTM的特征融合的語音情感識別研究[D].桂林：廣西師范大學，2020.

[4]Tamara"Mohoric.Test"of"Understanding"Emotions：Construction"and"Validation"within"Roseman's"Model"of"Emotions[J].Psychological"Topics，2018，25（2）："223"–"243.

[5]Ira"J.Roseman.Appraisal"Determinants"of"Emotions："Constructing"a"More"Accurate"and"Comprehensive"Theory[J].Cognition"amp;"Emotion，1996，10（3）："241-278.

[6]韓文靜，李海峰，阮華斌，等.語音情感識別研究進展綜述[J].軟件學報，2014，25（1）：37-50.

[7]陳逸靈，程艷芬，陳先橋，等.PAD三維情感空間中的語音情感識別[J].哈爾濱工業(yè)大學學報，2018，50（11）：160-166.

[8]張會云，黃鶴鳴，李偉.面向情感變化檢測的語音情感數(shù)據(jù)庫[J].計算機仿真，2021，38（9）：448-455.

[9]薛艷飛，毛啟容，張建明.基于多任務學習的多語言語音情感識別方法[J].計算機應用研究，2021，38（4）：1069-1073.