劉洋 秦海波

【摘要】在航天飛行環(huán)境應(yīng)激因素的影響下，航天員容易出現(xiàn)煩躁、焦慮、緊張、低警覺等情緒改變，這些改變會在語音中有所體現(xiàn)，通過語音情緒識別技術(shù)可以監(jiān)測航天員的情緒變化。基于載人航天應(yīng)用的實(shí)際需求，本研究建立了應(yīng)激情緒語料庫，并通過特征提取、高斯混合模型（GMM）方法搭建了語音情緒識別模型和軟件平臺，對該模型下語音情緒識別準(zhǔn)確度進(jìn)行了驗(yàn)證。

【關(guān)鍵詞】語音 情緒 識別 載人航天 GMM

【中圖分類號】R853 【文獻(xiàn)標(biāo)識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2018.17.008

航天飛行環(huán)境中存在著諸如密閉、限制、超重、失重、高工作負(fù)荷、高風(fēng)險(xiǎn)和睡眠剝奪等應(yīng)激因素，在這些因素的影響下，航天員容易出現(xiàn)煩躁、焦慮、緊張、低警覺等情緒改變，進(jìn)而影響航天員的工作效率，甚至?xí)：ζ渖硇慕】?、?dǎo)致操作失誤，影響任務(wù)的順利完成[1]。因此，人的因素已經(jīng)被普遍認(rèn)為是制約未來航空、航天飛行任務(wù)的重要因素，而應(yīng)激情緒又是其中的關(guān)鍵。

言語作為人們交流的最主要方式，既包含語義信息內(nèi)容，也包含了說話人的情緒、情緒狀態(tài)，即言語表情。言語的語義、韻律等各層次都能反映個體內(nèi)心的情緒狀態(tài)。高工作負(fù)荷、緊急狀態(tài)、噪聲、振動、超重、失重等應(yīng)激因素引起的煩躁、焦慮、緊張等應(yīng)激情緒，也會在語音中有所體現(xiàn)。如果能夠通過語音及時(shí)客觀地監(jiān)測航天員的情緒狀態(tài)變化，地面心理支持人員就可以有針對性地給予航天員心理支持和疏導(dǎo)，從而降低負(fù)性情緒帶來的不良影響。

本文對當(dāng)前載人航天領(lǐng)域語音情緒識別的研究進(jìn)展，基于高斯混合模型（GMM）方法搭建語音識別模型，以及該語音情緒識別準(zhǔn)確度驗(yàn)證等進(jìn)行了介紹。

語音情緒識別原理

人們的語音信息不僅包含了語義信息，同時(shí)也攜帶了情感信息，不同情緒下的語音信號特征參數(shù)存在差別。如一個人憤怒時(shí)，講話的速率會變快、音量會變大、音調(diào)會升高等，此外已經(jīng)研究驗(yàn)證語速、振幅、基頻和共振峰等參數(shù)特征，均與情緒變化有關(guān)系。通過數(shù)據(jù)處理，將能夠反映情感變化的語音參數(shù)從語音中提取并量化出來，構(gòu)造這些參數(shù)與情緒分類的函數(shù)。

語音情緒識別分為兩個步驟，一是模型的訓(xùn)練，通過對情緒分類已知的語音特征分析，提出有效的參數(shù)和權(quán)值，構(gòu)造語音情緒數(shù)據(jù)的判別分類模型，常見的語音情緒識別方法有神經(jīng)網(wǎng)絡(luò)法、隱馬爾可夫模型（Hidden Markov Model，HMM）法、高斯混合模型（Gaussian Mixture Model， GMM）法等。神經(jīng)網(wǎng)絡(luò)法是較早用于語音情緒識別中的一種方法，通過對基本情緒類別進(jìn)行分析，得出了高興等正面情緒和煩躁等負(fù)面情緒識別的難易程度，但識別率較低，平均識別率只有50%;HMM法由于采用短時(shí)時(shí)序特征，受到文本信息變化的影響較大，例如，共振峰是一種常用的語音情緒特征，但是受到音位信息影響嚴(yán)重;GMM法是近年來說話人識別和語種識別中比較成功的方法，能夠擬合任意的概率密度函數(shù)分布，建模能力強(qiáng)，但其對訓(xùn)練數(shù)據(jù)依賴性較強(qiáng)。二是利用所建立分類器模型進(jìn)行語音情緒識別。這個過程如圖1所示。

載人航天環(huán)境下語音情緒識別研究進(jìn)展

相比實(shí)驗(yàn)室環(huán)境，載人航天實(shí)踐中存在著噪音和失重等因素的干擾[2]，航天飛行下語音情緒識別需要對相應(yīng)的因素進(jìn)行研究。針對航天噪聲，需要針對性涉及方法進(jìn)行端點(diǎn)檢測及降噪處理。載人航天器噪聲主要來源為環(huán)控生保系統(tǒng)，噪聲頻帶集中于200～500Hz、2000～2100Hz和3800～4100Hz三個窄帶內(nèi)。李皖玲等使用了對相應(yīng)頻帶的噪聲直接過濾，使用相鄰頻帶的語音信息相關(guān)性對過濾掉的頻帶進(jìn)行數(shù)據(jù)回填的方法，取得了很好的效果[3]。針對失重等因素，高慧等通過對72h心理隔絕及睡眠剝奪實(shí)驗(yàn)，密閉艙60d實(shí)驗(yàn)，以及頭低位60d模擬失重實(shí)驗(yàn)的語音特征研究發(fā)現(xiàn)，在應(yīng)激環(huán)境下，煩躁情緒與基頻變化具有一致性，音節(jié)時(shí)長、短時(shí)能量的變化與時(shí)間節(jié)點(diǎn)有關(guān)[4]。高慧等采用基于Teager能量算子的非線性特征，運(yùn)用HMM技術(shù)，對實(shí)驗(yàn)獲取的平靜—煩躁情緒平均識別率為98.6%[5]。

高斯混合模型

高斯混合模型（GMM）法是近年來說話人識別和語種識別中比較成功的方法，能夠擬合任意的概率密度函數(shù)分布，建模能力強(qiáng)。GMM是M成員密度的加權(quán)和，可以用如下形式表示：

情緒語音數(shù)據(jù)庫建立

人類聲音中蘊(yùn)含的情緒信息，受到無意識的心理狀態(tài)變化的影響，以及社會文化習(xí)慣導(dǎo)致的有意識的控制。對自然語音情緒識別的研究不適合采用表演數(shù)據(jù)，需要通過誘發(fā)（Induced）的方式采集自然度較高的數(shù)據(jù)。

本項(xiàng)目采用計(jì)算機(jī)游戲進(jìn)行情緒誘發(fā)，通過游戲中畫面和音樂的視覺、聽覺刺激，提供一個互動的、具有較強(qiáng)感染力的人機(jī)交互環(huán)境，能夠有效誘發(fā)出被試的正面與負(fù)面情緒。特別是在游戲勝利時(shí)，被試由于在游戲虛擬場景中的成功與滿足，被誘發(fā)出喜悅等正面情緒;在游戲失敗時(shí)，被試在虛擬場景中受到挫折，容易引發(fā)煩躁等負(fù)面情緒;在游戲過程中，一些具有挑戰(zhàn)性的游戲情節(jié)往往能引發(fā)被試的應(yīng)激情緒。

在游戲前，讓被試平靜地讀出指定的文本內(nèi)容，錄制平靜狀態(tài)的語音。在每次游戲失敗后，要求被試說出指定的文本內(nèi)容，錄制負(fù)面應(yīng)激情緒狀態(tài)的語音。在游戲進(jìn)行到一半時(shí)，暫停游戲，要求被試用說出指定的文本語句內(nèi)容，錄制語音。為了便于對數(shù)據(jù)進(jìn)行檢驗(yàn)，在每次錄制情緒語音后，讓被試填寫情緒的主觀體驗(yàn)，在實(shí)驗(yàn)結(jié)束后，根據(jù)被試的情緒主觀體驗(yàn)表，剔除主觀體驗(yàn)與誘發(fā)目標(biāo)情緒不一致的語音數(shù)據(jù)，必要時(shí)進(jìn)行適當(dāng)?shù)难a(bǔ)錄。為了保證所采集的情緒語料的可靠性，對采集的語音情緒數(shù)據(jù)進(jìn)行了主觀聽辨與評選，每句樣本由10名未參與錄音的人員進(jìn)行評測。

針對在長期載人航天環(huán)境以及其它類似的高強(qiáng)度特殊作業(yè)環(huán)境中面臨的實(shí)際問題，選擇了具有實(shí)際應(yīng)用價(jià)值的語音情緒，采集了“煩躁”或“應(yīng)激”情緒狀態(tài)下的語音情緒數(shù)據(jù)，建立了一個中文的實(shí)用語音情緒數(shù)據(jù)庫，即應(yīng)激語料庫。如表1所示。

語音特征提取、軟件編制

通過文獻(xiàn)和經(jīng)驗(yàn)，我們采用了74個指標(biāo)作為語音情緒研究的特征指標(biāo)（feature），具體包括語句發(fā)音持續(xù)時(shí)間、語速等時(shí)間相關(guān)參數(shù);平均振幅、最大振幅、基音相關(guān)參數(shù)、平均基音頻率、最大基音頻率、基音變化率等能量相關(guān)參數(shù);第一共振峰均值、最大第一共振峰、第一共振峰變化率等共振峰相關(guān)參數(shù)[7]。

在Windows7與Microsoft Visual Studio 2008環(huán)境下，采用標(biāo)準(zhǔn)的C++語言編制軟件，編制了用于情緒語音分析的基本函數(shù)庫，包括了一部分常用的信號處理、矩陣計(jì)算、參數(shù)估計(jì)、概率統(tǒng)計(jì)、語音信號處理、文件輸入輸出等功能，軟件具有單個語音文件的讀入功能、批量識別、時(shí)域波形顯示、頻譜圖顯示、播放語音文件、長時(shí)段語料分割、模型訓(xùn)練、情緒識別等功能。

驗(yàn)證試驗(yàn)

為了保證程序模型的準(zhǔn)確和實(shí)用性，驗(yàn)證試驗(yàn)材料采用了與模型建立不同的標(biāo)準(zhǔn)語料，分別從中文標(biāo)準(zhǔn)庫（CASIA漢語情緒語料庫）和德文標(biāo)準(zhǔn)庫（Berlin Database of Emotional Speech）進(jìn)行篩選，把情緒種類已知的應(yīng)激語料與平靜語料混合（4：1，總數(shù)100句），令識別模型自動檢出平靜和應(yīng)激的語句數(shù)目，結(jié)果發(fā)現(xiàn)：應(yīng)激和平靜兩種語料的識別率之和為100%。程序運(yùn)行結(jié)果穩(wěn)定，軟件計(jì)算過程正確。

通過比對，該模型對德文標(biāo)準(zhǔn)庫應(yīng)激情緒的識別率為91%，中性情緒識別正確率為60%，總識別正確率為85%，總識別錯誤率為15%;對中文語料庫的應(yīng)激情緒識別率為86%，對中性情緒率為55%，總識別正確率為78%，總識別錯誤率為22%。

結(jié)語

在總結(jié)近年來國內(nèi)外自動語音情緒識別研究的基礎(chǔ)上，我們研究了針對非特定說話人、非特定文本的語音情緒識別算法，并且開發(fā)了基于高斯混合模型的語音情緒識別軟件。語音情緒識別對于航天員情緒監(jiān)測具有重要的意義，由于GMM存在對訓(xùn)練樣本依賴性，在后續(xù)應(yīng)用中可以通過對特定人語音樣本的學(xué)習(xí)，提高實(shí)際應(yīng)用的準(zhǔn)確性。同時(shí)也可以考慮結(jié)合多模態(tài)的語音情緒識別，進(jìn)一步提高準(zhǔn)確率。

（本文系中國航天醫(yī)學(xué)工程預(yù)先研究項(xiàng)目成果，項(xiàng)目編號：2014SY54A0001）

注釋

[1] 秦海波、白延強(qiáng)、吳斌等：《載人航天飛行中的情緒研究進(jìn)展》，《航天醫(yī)學(xué)與醫(yī)學(xué)工程》，2012年第25卷第4期，第302～306頁。

[2] 高慧、周篤強(qiáng)、黃端生：《噪聲對說話人語音的影響》，《航天醫(yī)學(xué)與醫(yī)學(xué)工程》，1999年第12卷第1期，第72～75頁。

[3] 李皖玲、梁吳迪、張?zhí)煜妫骸痘陔[馬爾可夫模型的語音識別技術(shù)在載人航天器上的應(yīng)用》，《航天器環(huán)境工程》，2013年第30卷第4期，第441～445頁。

[4] 劉志剛、黃端生、鄭素賢：《頭低位臥床模擬失重對漢語語音特征的影響》，《航天醫(yī)學(xué)與醫(yī)學(xué)工程》，2000年第13卷第3期，第171～173頁。

[5] 高慧、陳善廣、安平等：《模擬航天環(huán)境下一種應(yīng)激情緒的語音識別研究》，《航天醫(yī)學(xué)與醫(yī)學(xué)工程》，2010年第23卷第4期，第248～252頁。

[6] 高慧、蘇廣川、陳善廣：《不同情緒狀態(tài)下漢語語音的聲學(xué)特征分析》，《航天醫(yī)學(xué)與醫(yī)學(xué)工程》，2005年第18卷第5期，第350～354頁。

[7] Sreenivasa Rao Krothapalli， Shashidhar G. Koolagudi， Emotion Recognitionusing Speech Features， Springer， 2013.

責(zé) 編/馬冰瑩