張瀟丹 包永強 奚 吉 趙 力 鄒采榮

(1東南大學水聲信號處理教育部重點實驗室，南京210096)

(2南京工程學院通信工程學院，南京211167)

在禁止大聲喧嘩的部分場所中，耳語音是人們進行語言交流的主要方式之一.耳語音的早期研究主要停留在語音基礎(chǔ)研究和醫(yī)學工作需要上.隨著科學技術(shù)的快速發(fā)展，關(guān)于耳語音的研究開始轉(zhuǎn)向其他方面，如耳語音的語音增強研究［1］、耳語音的語音識別研究［2-3］等.傳統(tǒng)的耳語音信號識別僅限于語義信息的識別而忽略了情感信息的識別.耳語音情感識別的研究是對語音情感識別的有效補充，具有廣泛的應(yīng)用前景.目前，世界上關(guān)于耳語音情感識別方面的研究還很欠缺，可以借鑒已有的語音情感識別的研究成果來進行耳語音情感識別研究;但是由于發(fā)音特點的獨特性，其識別方法與語音情感識別還是有所區(qū)別的.

BP神經(jīng)網(wǎng)絡(luò)具有很強的魯棒性和自學習自適應(yīng)性，適用于處理復雜的、具有非線性和不確定性的對象.近年來，利用群智能優(yōu)化算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)的方法備受關(guān)注.文獻［4］利用混合蛙跳算法(SFLA)來優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，進行語音情感識別，并證實其識別結(jié)果優(yōu)于BP神經(jīng)網(wǎng)絡(luò).但是SFLA算法［5-7］在進化后期搜索速度慢且出現(xiàn)早熟收斂現(xiàn)象，對于多峰值函數(shù)尋優(yōu)這種較復雜的問題，很難搜索到最優(yōu)解.針對SFLA算法存在的缺點，本文提出了一種基于分子動力學模擬與云模型理論的改進混合蛙跳算法(MD-CM-SFLA);然后將其與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，設(shè)計出一種MD-CMSFLA神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用到耳語音情感識別中.實驗結(jié)果表明，MD-CM-SFLA神經(jīng)網(wǎng)絡(luò)能夠明顯提升耳語音情感識別率.

1 MD-CM-SFLA算法

1.1 基本原理

根據(jù)SFLA算法的更新策略可知，最差個體可在局部最優(yōu)個體或者全局最優(yōu)個體的吸引下，不斷朝著更優(yōu)的方向進化;其余個體并不對最差個體的進化產(chǎn)生任何影響.因此，在分子動力學模型中僅需要考慮最差個體和最優(yōu)個體之間的吸引力;它們之間的距離越大，吸引力就越強.將種群中的青蛙個體等效成分子，僅考慮當前迭代中子群體的最差個體Xw與全局最優(yōu)個體Xg之間的吸引力，該吸引力隨距離的增加而增強.兩分子間的作用力可表示為

式中，λ為比例系數(shù);r為Xw和Xg之間的位移矢量則表示分子間距離.假設(shè)各分子的質(zhì)量m相等且為1，則最差個體的加速度矢量為

選擇Swope等［8］提出的Velocity-Verlet算法來求解更新后最差個體的位置、速度和加速度，可得

式中，r(K)，v(K)和a(K)分別表示當前時刻最差個體的位置、速度和加速度;r(K+1)，v(K+1)和a(K+1)表示更新后最差個體的位置、速度和加速度;rg表示全局最優(yōu)個體位置.

云模型是一種自然語言值表示的定性概念及其定量數(shù)據(jù)之間的不確定性轉(zhuǎn)換模型，主要反映了客觀世界事物或人類知識中概念的模糊性和隨機性［9］.正態(tài)云模型是一個遵循正態(tài)分布規(guī)律、具有穩(wěn)定傾向的隨機數(shù)集.云模型的數(shù)字特征可用期望Ex、熵En、超熵H三個數(shù)值來表征，它們反映了定性概念的定量特性.生成云滴的算法稱為云發(fā)生器.基本云發(fā)生器的算法步驟如下:①生成一個以En為期望值、H為標準差的正態(tài)隨機數(shù)E'n;②生成一個以Ex為期望值、E'n為標準差的正態(tài)隨機數(shù)x;③ 計算y=exp(－(x－Ex)2/(2(E'n)2)).(x，y)完整地反映了這一次定性定量轉(zhuǎn)換的全部內(nèi)容.

本文將Velocity-Verlet算法引入到SFLA算法中，采用式(3)～(6)作為局部深度搜索的更新策略.同時，引入具有隨機性和穩(wěn)定傾向性的云模型理論，利用基本云發(fā)生器來代替原更新策略中的隨機更新操作，提出MD-CM-SFLA算法.其具體步驟如下:

①隨機初始化青蛙種群和青蛙個體的速度變量，設(shè)置MD-CM-SFLA算法參數(shù).

②計算每只青蛙個體的適應(yīng)度值.

③將當前所有青蛙個體按照適應(yīng)度值從優(yōu)到劣進行排序，并劃分子群體.

④對當前子種群的最差個體Xw按照式(3)～(6)進行更新.如果更新后的個體適應(yīng)度值優(yōu)于更新前，則用更新后的個體取代更新前個體Xw;反之，則利用正態(tài)云發(fā)生器生成新個體.其中，Ex=Xw;En=Ω/c1，Ω表示變量搜索范圍;He=En/c2，c1，c2均為常數(shù).

⑤當所有子種群完成以上的更新操作后，若滿足全局混合迭代次數(shù)，進化過程結(jié)束，輸出全局最優(yōu)值;否則，將全部的青蛙個體重新混合，轉(zhuǎn)至步驟③.

對于c1和c2的取值范圍，文獻［9］進行了分析.借鑒其分析結(jié)果，取c1為種群大小，c2=10.

1.2 收斂性證明

定理1MD-CM-SFLA算法的種群序列{tk，k≥0}是有限齊次馬爾可夫鏈，其中k表示迭代次數(shù).

證明本文中初始化種群是有限的，且算法中的更新策略均與迭代次數(shù)無關(guān)，因此tk+1僅與tk有關(guān)，即{tk，k≥0}是有限齊次馬爾可夫鏈.證畢.

定理2MD-CM-SFLA算法的馬爾可夫鏈序列的種群最優(yōu)值序列是單調(diào)不減的.

證明在MD-CM-SFLA算法中，只有最優(yōu)個體的適應(yīng)度值超過原最優(yōu)個體時，原最優(yōu)個體才會被取代，這樣保證了每代擁有的最優(yōu)個體都不差于前一代.證畢.

定理3MD-CM-SFLA算法以概率1收斂.

證明設(shè)種群為狀態(tài)空間S中的某個點，sj∈S為S中的第j個狀態(tài)，f為S上的適應(yīng)度函數(shù)，f∧為全局最優(yōu)值為最優(yōu)解集.MD-CM-SFLA算法的狀態(tài)轉(zhuǎn)移由馬爾可夫鏈來描述表示處于狀態(tài) sj的第k代種群 tk，隨機過程{tk}的轉(zhuǎn)移概率設(shè) I=，由定理2 可得

設(shè)pj(k)為種群tk處于狀態(tài)sj的概率，由馬爾可夫鏈的性質(zhì)可得

1.3 數(shù)值仿真實驗

為了驗證MD-CM-SFLA算法的優(yōu)化性能，采用國際上常用的4種標準測試函數(shù)Sphere函數(shù)、Griewank函數(shù)、Ackley函數(shù)和Rastrigin函數(shù)對其進行性能分析，函數(shù)的具體表達式參見文獻［10］.然后，對比了MD-CM-SFLA算法、SFLA算法和文獻［10］中MMT-PSO算法的優(yōu)化性能.其中，MDCM-SFLA算法的參數(shù)設(shè)置如下:種群規(guī)模為200，子群體規(guī)模為20，子群體數(shù)為10，局部深度搜索迭代次數(shù)為20，全局混合迭代次數(shù)為150，比例系數(shù)為4.SFLA算法中優(yōu)化Ackley函數(shù)時全局混合迭代次數(shù)為200，優(yōu)化其他3種函數(shù)時為1 000，其余參數(shù)同MD-CM-SFLA算法.為了驗證參數(shù)變化對算法性能的影響，分別將維數(shù)取為10，20，30，對每個函數(shù)獨立運行50次.3種算法的尋優(yōu)結(jié)果比較見表1.表中的平均值表示50次獨立實驗所得解的平均適應(yīng)度值;標準差反映了算法的穩(wěn)定性.圖1為MD-CM-SFLA算法和SFLA算法的函數(shù)尋優(yōu)對比圖，圖中A表示平均最優(yōu)適應(yīng)度值.

表1 3種算法尋優(yōu)結(jié)果比較

圖1 2種算法的函數(shù)收斂曲線對比圖

圖1反映了算法的收斂過程.由表1可知，在相同的求解維數(shù)下，MD-CM-SFLA算法的求解精度和穩(wěn)定性明顯優(yōu)于其他2種算法.結(jié)合表1和圖1可知，隨著維數(shù)的增加，算法的優(yōu)化性能逐漸變差，這是因為求解維數(shù)的增加導致搜索空間變大，算法更易陷入局部最優(yōu).對于MD-CM-SFLA算法而言，求解維數(shù)的變化對其優(yōu)化性能的影響不大，表明算法對于參數(shù)不敏感，易于使用.由圖1可知，MD-CM-SFLA算法的收斂速度和求解精度明顯優(yōu)于SFLA算法.在圖1(b)和(d)中，MD-CM-SFLA算法的收斂曲線出現(xiàn)截斷，表示已搜索到全局最優(yōu)解，而SFLA算法則出現(xiàn)早熟現(xiàn)象.由此可知，MDCM-SFLA算法的各項改進機制使算法具有高效的搜索性和跳出局部極值的能力;與SFLA算法相比，MD-CM-SFLA算法具有更強的全局搜索能力、更高的搜索精度、更快的收斂速度和更好的魯棒性.

2 MD-CM-SFLA神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)常用的學習算法是BP算法.該算法是基于梯度信息來調(diào)整連接權(quán)值的，因而極易陷入局部極值點，而且在高維輸入時，易出現(xiàn)“維數(shù)災(zāi)”問題，影響收斂速度.本文提出的MD-CMSFLA算法是一種群體智能優(yōu)化算法，其全局優(yōu)化性保證了算法可以有效地對解空間進行搜索，不易陷入局部最優(yōu)，能夠快速收斂，尋優(yōu)精度高，而且算法具有較強的通用性，對問題的具體形式和領(lǐng)域知識依賴性不強，其固有的并行性保證了算法能夠較快地尋找到最優(yōu)解或滿意解.因此，在進行BP神經(jīng)網(wǎng)絡(luò)訓練時，本文使用MD-CM-SFLA算法對網(wǎng)絡(luò)的隨機初始參數(shù)、輸入層與隱含層的連接權(quán)值、隱含層與輸出層的連接權(quán)值以及各閾值進行優(yōu)化，從而提高了神經(jīng)網(wǎng)絡(luò)的收斂速度和學習能力.具體的訓練步驟如下:

①隨機初始化青蛙種群.每個青蛙個體中的維數(shù)信息依次表示輸入層與隱含層的連接權(quán)值、隱含層與輸出層的連接權(quán)值以及各閾值.

②計算個體的適應(yīng)度值.適應(yīng)度函數(shù)定義為

式中，J(k，i)為第i個個體第k次迭代后的適應(yīng)度值;M為訓練集的樣本數(shù);ym，i為第i個個體中第m個樣本輸入時的網(wǎng)絡(luò)目標輸出值為第 i個個體第k次迭代后第m個樣本輸入時的網(wǎng)絡(luò)實際輸出值;N為最大迭代次數(shù).

③采用MD-CM-SFLA算法的迭代尋優(yōu)步驟對青蛙個體進行更新.當進化過程結(jié)束時，返回全局最優(yōu)解，訓練結(jié)束.

3 耳語音情感特征

3.1 耳語音情感數(shù)據(jù)庫的建立

目前，對耳語音情感識別的研究還處于初級階段.參照國際著名語料庫建立的規(guī)范，以表演的方式獲取耳語音情感數(shù)據(jù)，創(chuàng)建一個包括高興、生氣、悲傷和平靜的耳語音情感數(shù)據(jù)庫.錄音選擇在安靜的實驗室內(nèi)進行，采樣頻率為16 kHz.共10名大學生參與錄制，其中5名為男性，5名為女性.錄音語料分為單詞、短句和段落3種類型.其中，單詞包括名詞和動詞各10個;短句包括陳述句19句，疑問句、感嘆句和祈使句各2句;段落6個.語料都具有比較高的情感自由度，每位表演者用耳語音對所有語料分別重復3遍，再用正常音朗讀1遍(用于后期對比).通過聽辨實驗，保留1 250條語句作為訓練和測試所用的數(shù)據(jù)庫.

3.2 耳語音情感特征參數(shù)提取

耳語音和正常音的發(fā)音方式有所不同.耳語音中塞音、塞擦音和清擦音的聲母部分與正常音的發(fā)音方式基本類似;但元音和濁輔音在發(fā)音時，不產(chǎn)生聲帶振動、沒有基頻，這與正常音的發(fā)音方式不同.因此，適用于正常音情感識別的一些特征參數(shù)并不適合進行耳語音情感識別.目前，關(guān)于耳語音聲學特征參數(shù)的分析主要集中于音高、能量、聲調(diào)、共振峰、音長、Mel域參數(shù)、語速等方面.本文主要提取的用于耳語音情感識別的特征參數(shù)包括音長、語速、基于TEO變換后的4種改進的12階MFCC、第1，2，3共振峰的均值、最大值、最小值、中值和標準差.

4 耳語音情感識別實驗

本實驗從數(shù)據(jù)庫中總共選取了1 000條語句(高興、生氣、悲傷和平靜4種情感各250條)，其中訓練語句200條(4種情感各50條)，識別語句800條(4種情感各200條).采用OCON方法組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，每種待識別的情感對應(yīng)一個子神經(jīng)網(wǎng)絡(luò)模型，將所有子神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果通過判決策略，產(chǎn)生最終的識別結(jié)果.令每個子神經(jīng)網(wǎng)絡(luò)的輸出為vz，分別采用每種情感對應(yīng)的情感語料對子神經(jīng)網(wǎng)絡(luò)進行訓練，輸出值為每種情感的似然函數(shù)，最終的輸出結(jié)果可判決為z*=argmax(vz)，其中z*為語音情感類別.基于BP神經(jīng)網(wǎng)絡(luò)和MDCM-SFLA神經(jīng)網(wǎng)絡(luò)的耳語音情感識別結(jié)果分別見表2和表3.

表2 基于MD-CM-SFLA神經(jīng)網(wǎng)絡(luò)的耳語情感識別率 %

表3 基于BP神經(jīng)網(wǎng)絡(luò)的耳語情感識別率 %

由表2和表3可知，MD-CM-SFLA神經(jīng)網(wǎng)絡(luò)的平均識別率為77.5%，而BP神經(jīng)網(wǎng)絡(luò)的平均識別率為72.3%，表明MD-CM-SFLA神經(jīng)網(wǎng)絡(luò)的學習能力明顯優(yōu)于BP神經(jīng)網(wǎng)絡(luò).在所考慮的4種情感中，耳語音對高興、悲傷、平靜情感的識別率相對較好.悲傷、生氣情感容易出現(xiàn)相互誤判，且識別率不理想，而這2種情感和高興情感出現(xiàn)誤判的情況相對較少.高興、生氣這2種情感在激活維上坐標接近，在效價維上則距離較遠，說明識別這2種情感時只要將對應(yīng)于效價維的特征參數(shù)選擇恰當，便可獲得高的識別率.反觀生氣、悲傷2種情感，它們在效價維上坐標接近，在激活維上則距離較遠，因此識別這2類情感時需要有合適的激活維參數(shù).本文在識別中所采用的特征參數(shù)主要是效價維參數(shù).由于耳語音發(fā)音方式的特殊性，不存在基音這一重要的激活維參數(shù)，因此在識別生氣、悲傷這2種情感時效果不理想.

5 結(jié)語

本文針對SFLA算法在進化后期存在早熟收斂的缺陷，通過分子動力學模擬種群的進化策略，結(jié)合正態(tài)云模型云滴的隨機性和穩(wěn)定傾向性特點，提出了一種MD-CM-SFLA算法，并從數(shù)學上證明了該算法的全局收斂性.將該算法與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，設(shè)計出一種MD-CM-SFLA神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于耳語音情感識別中.實驗結(jié)果表明，MD-CM-SFLA神經(jīng)網(wǎng)絡(luò)相對于BP神經(jīng)網(wǎng)絡(luò)具有明顯的優(yōu)勢，在相同的測試條件下，其平均識別率較BP神經(jīng)網(wǎng)絡(luò)提高5.2%.由此表明，利用MDCM-SFLA算法優(yōu)化神經(jīng)網(wǎng)絡(luò)學習的權(quán)值和閾值，可以快速地實現(xiàn)網(wǎng)絡(luò)的收斂，獲得較好的學習能力.

References)

［1］Tao Zhi，Zhao Heming，Wu Di，et al.Speech enhance-ment based on modified mel masking model and speech absence probability in whispers ［J］.Acta Acustica，2009，34(4):370-377.

［2］王敏，趙鶴鳴，張慶芳.基于瞬時頻率估計和特征映射的漢語耳語音話者識別［J］.數(shù)據(jù)采集與處理，2011，26(6):686－690 Wang Min，Zhao Heming，Zhang Qingfang.Speaker identification with Chinese whispered speech based on instantaneous frequency estimation and feature mapping［J］.Journal of Data Acquisition ＆Processing，2011，26(6):686-690.

［3］Wang Min，Zhao Heming.Whispered speaker identification based on multiband demodulation analysis and instantaneous frequency estimation ［J］.Acta Acustica，2010，35(4):471-476.

［4］余華，黃程韋，張瀟丹，等.混合蛙跳算法神經(jīng)網(wǎng)絡(luò)及其在語音情感識別中的應(yīng)用［J］.南京理工大學學報，2011，35(5):659-663.Yu Hua，Huang Chengwei，Zhang Xiaodan，et al.Shuffled frog-leaping algorithm based neural network and its application in speech emotion recognition［J］.Journal of Nanjing University of Science and Technology，2011，35(5):659-663.(in Chinese)

［5］Alireza R V，Ali H M.Solving a bi-criteria permutation flow-shop problem using shuffled frog-leaping algorithm［J］.Soft Computing，2008，12(5):435-452.

［6］Eusuff M M，Lansey K E.Shuffled frog-leaping algorithm:a mimetic meta-heuristic for discrete optimization［J］.Engineering Optimization，2006，38(2):129-154.

［7］Alireza R V，Ali H M.A hybrid multi-objective shuffled frog-leaping algorithm for a mixed-model assembly line sequencing problem ［J］.Computers＆ Industrial Engineering，2007，53(4):642-666.

［8］Swope W C，Andersen H C，Berens P H，et al.A computer simulation method for the calculation of equilibrium constants for the formation of physical clusters of molecules:application to small water clusters［J］.Journal of Chemical Physics，1982，76(1):637-649.

［9］戴朝華，朱云芳，陳維榮，等.云遺傳算法及其應(yīng)用［J］.電子學報，2007，35(7):1419-1424.Dai Chaohua，Zhu Yunfang，Chen Weirong，et al.Cloud model based genetic algorithm and its application［J］.Acta Electronica Sinica，2007，35(7):1419-1424.(in Chinese)

［10］徐星，李元香，姜大志，等.一種基于分子動理論的改進粒子群優(yōu)化算法［J］.系統(tǒng)仿真學報，2009，21(7):1904-1907.Xu Xing，Li Yuanxiang，Jiang Dazhi，et al.Improved particle swarm optimization algorithm based on theory of molecular motion［J］.Journal of System Simulation，2009，21(7):1904-1907.(in Chinese)