韓志艷，王 健

（渤海大學(xué) 遼寧 錦州 121000）

基于神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)聲韻母可視化方法

韓志艷，王 健

（渤海大學(xué) 遼寧 錦州 121000）

為了克服現(xiàn)有語(yǔ)音可視化方法的局限性，該文提出了一種基于神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)聲韻母可視化方法，通過(guò)集成不同的語(yǔ)音特征進(jìn)入一幅圖像中為聾啞人創(chuàng)造了語(yǔ)音信號(hào)的可讀模式。采用小波神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行位置信息映射和顏色信息獲取，由于小波神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)可設(shè)計(jì)性、收斂精度可控性和收斂速度快的優(yōu)點(diǎn)，有效地提高了漢語(yǔ)聲韻母的正確編碼率。而且將圖像分為12個(gè)不同顏色的顯示區(qū)域，每個(gè)顯示區(qū)域內(nèi)的音具有相似的發(fā)音特點(diǎn)和相同的發(fā)音部位，這就更好地利用了聾啞人對(duì)色彩刺激的視覺(jué)記憶能力較強(qiáng)的優(yōu)點(diǎn)。與現(xiàn)有方法相比，具有很好的魯棒性和易懂性。

語(yǔ)音可視化；神經(jīng)網(wǎng)絡(luò)；語(yǔ)音信號(hào)；漢語(yǔ)聲韻母；特征提取；主成分分析

語(yǔ)音是語(yǔ)言的聲學(xué)表現(xiàn)，是人類交流信息最自然、最有效、最方便的手段。而對(duì)聾啞人來(lái)說(shuō)，語(yǔ)言交流變成一件很難實(shí)現(xiàn)的事情，一部分聾啞人不能說(shuō)話是因?yàn)樗麄兊穆?tīng)覺(jué)器官遭到破壞，不能將語(yǔ)音信息采集到大腦[1-2]。研究表明，人類聽(tīng)覺(jué)系統(tǒng)和視覺(jué)系統(tǒng)是兩個(gè)性質(zhì)不同的并具有互補(bǔ)性的信息系統(tǒng)，視覺(jué)系統(tǒng)是一個(gè)高度并行的信息接收和處理系統(tǒng)，人類眼球中視網(wǎng)膜上的數(shù)百萬(wàn)個(gè)錐狀細(xì)胞通過(guò)纖維狀神經(jīng)組織與大腦相連，形成一個(gè)高度并行的信道，視覺(jué)信道接受信息的速率是很高的，據(jù)測(cè)量和估算，看電視時(shí)的信息接收速率大致可達(dá)到2×104 b/s，這比聽(tīng)覺(jué)系統(tǒng)聽(tīng)語(yǔ)音時(shí)的信息接收速度高出上千倍，因此人們相信人類所獲得的信息有70%是通過(guò)視覺(jué)獲得的說(shuō)法。所以對(duì)于聾啞人來(lái)說(shuō)，這無(wú)疑就是一個(gè)很大的助手，聽(tīng)覺(jué)的缺陷由視覺(jué)來(lái)補(bǔ)償，語(yǔ)音不僅能聽(tīng)見(jiàn)，還可以通過(guò)多種其他形式使聾啞人“看”見(jiàn)[3-5]。

1947年R.K.Potter和G.A.Kopp等人就提出了一種可視化方法—語(yǔ)譜圖，隨后有不同的語(yǔ)音研究專家開(kāi)始研究改進(jìn)這種語(yǔ)音可視化方法，比如在1976年L.C.Stewart等人提出了有色譜圖和1984年G.M.Kuhn等人提出了對(duì)聾人進(jìn)行訓(xùn)練的實(shí)時(shí)的語(yǔ)譜圖系統(tǒng)，以及1986年P(guān).E.Stern、1998年F.Plante和2008年R.Steinberg等人也提出了許多語(yǔ)譜圖的改進(jìn)方法，但是顯示的語(yǔ)譜圖的專業(yè)性很強(qiáng)，而且很難辨別記憶。尤其是對(duì)于同一個(gè)語(yǔ)音不同的人來(lái)說(shuō)，甚至是同一個(gè)語(yǔ)音同一個(gè)人來(lái)說(shuō)都有可能造成語(yǔ)譜圖的變化，對(duì)于不同環(huán)境下錄制的語(yǔ)音信號(hào)其魯棒性能更為不好。

此外，還有一些學(xué)者對(duì)人的發(fā)音器官的運(yùn)動(dòng)變化以及面部表情的變化來(lái)實(shí)現(xiàn)語(yǔ)音可視化，有效地剖析了人的發(fā)音過(guò)程，但就其語(yǔ)音可懂度而言，還難以達(dá)到理想效果，除極少數(shù)專家以外，人們很難直接通過(guò)觀察發(fā)音器官的運(yùn)動(dòng)和面部表情的變化而準(zhǔn)確地感知語(yǔ)音。因此，該文提出了一種基于神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)聲韻母可視化方法，與現(xiàn)有方法相比，具有很好的魯棒性和易懂性。彌補(bǔ)了用語(yǔ)譜圖來(lái)進(jìn)行可視化很難辨別和記憶的缺點(diǎn)。無(wú)論是聽(tīng)力受損人群還是普通人，經(jīng)過(guò)一段時(shí)間的專門訓(xùn)練，都可以直觀地辨識(shí)出該可視化圖像所對(duì)應(yīng)的發(fā)音，并和健全人進(jìn)行交流。

1 可視化系統(tǒng)總體結(jié)構(gòu)

如圖1所示為本可視化系統(tǒng)的總體結(jié)構(gòu)框圖，其包括語(yǔ)音信號(hào)獲取、語(yǔ)音信號(hào)預(yù)處理、語(yǔ)音特征提取、PCA降維、神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)、位置信息映射、顏色信息獲取及圖像合成。首先對(duì)獲取的語(yǔ)音信號(hào)進(jìn)行預(yù)處理及特征提取，然后用主成分分析法PCA對(duì)獲取的語(yǔ)音特征參數(shù)進(jìn)行降維處理，再通過(guò)神經(jīng)網(wǎng)絡(luò)獲得相應(yīng)的位置信息和顏色信息，最后通過(guò)圖像合成模塊生成可視化圖像，實(shí)現(xiàn)對(duì)23個(gè)聲母和24個(gè)韻母的可視化。

圖1 系統(tǒng)總體結(jié)構(gòu)圖

2 可視化方法具體實(shí)施

2.1 語(yǔ)音信號(hào)獲取及預(yù)處理

利用麥克風(fēng)輸入語(yǔ)音數(shù)據(jù)，然后以11.025 kHz的采樣頻率、16 bit的量化精度進(jìn)行采樣量化，獲得相應(yīng)的語(yǔ)音信號(hào)。然后利用一階數(shù)字預(yù)加重濾波器對(duì)獲取的語(yǔ)音信號(hào)進(jìn)行預(yù)加重處理，其中利用的預(yù)加重濾波器的系數(shù)取值范圍為0.93～0.97之間。接下來(lái)以幀長(zhǎng)256點(diǎn)的標(biāo)準(zhǔn)進(jìn)行分幀處理，并對(duì)分幀后的語(yǔ)音信號(hào)加漢明窗處理，再利用短時(shí)能零積法進(jìn)行端點(diǎn)檢測(cè)。

2.2 語(yǔ)音特征提取及PCA降維

步驟1：計(jì)算共振峰特征

采用基于Hilbert-Huang變換的方法來(lái)估算預(yù)處理后的語(yǔ)音信號(hào)共振峰頻率特征，得到每幀信號(hào)的共振峰特征值F1，F(xiàn)2，F(xiàn)3，F(xiàn)4。具體由快速傅里葉變換（FFT）初步估計(jì)出的語(yǔ)音信號(hào)的各階共振峰頻率確定相應(yīng)帶通濾波器的參數(shù)，并用該參數(shù)對(duì)語(yǔ)音信號(hào)作濾波處理，對(duì)濾波后的信號(hào)進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）得到一族固有模態(tài)函數(shù)（IMF），按能量最大原則確定出含有共振峰頻率IMF，計(jì)算出該IMF的瞬時(shí)頻率和Hilbert譜即得到語(yǔ)音信號(hào)的共振峰頻率參數(shù)[6]。

步驟2：計(jì)算WPTC特征參數(shù)

根據(jù)小波包變換在各分析頻段的恒Q（品質(zhì)因數(shù)）特性與人耳聽(tīng)覺(jué)對(duì)信號(hào)的加工特點(diǎn)相一致的特點(diǎn)，結(jié)合小波包對(duì)頻帶的多層次劃分，并根據(jù)人耳感知頻帶的特點(diǎn)，自適應(yīng)地選擇相應(yīng)頻帶，計(jì)算出基于小波包變換的語(yǔ)音信號(hào)魯棒特征參數(shù)（WPTC）：WPTC1～WPTC20[7]。

步驟3：計(jì)算PMUSIC-MFCC特征參數(shù)

為改善語(yǔ)音可視化的魯棒性，采用多信號(hào)分類法（Multiple Signal Classification，MUSIC）的譜估計(jì)技術(shù)并在其中引入感知特性，計(jì)算出基于MUSIC和感知特性的魯棒特征參數(shù)（PMUSIC-MFCC）：PMUSIC-MFCC1～PMUSIC-MFCC 12[8]。

步驟4：計(jì)算Mel頻率倒譜系數(shù)

根據(jù)人耳對(duì)不同頻率語(yǔ)音的感知特性，提出了Mel頻率的概念，從而計(jì)算出Mel頻率倒譜系數(shù)（MFCC）：MFCC1～MFCC 12。具體將經(jīng)過(guò)預(yù)處理后的每幀語(yǔ)音信號(hào)進(jìn)行離散傅里葉變換得到線性頻譜，并通過(guò)Mel頻率濾波器組得到Mel頻率，然后取對(duì)數(shù)并進(jìn)行離散余弦變換得到Mel頻率倒譜系數(shù)。

用主成分分析法PCA對(duì)上述語(yǔ)音特征參數(shù)進(jìn)行降維處理[9-11]，將初始的48維特征向量降為12維特征向量。

2.3 神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

小波神經(jīng)網(wǎng)絡(luò)是以小波基函數(shù)為神經(jīng)元激勵(lì)函數(shù)的前饋網(wǎng)絡(luò)模型，它作為一種前向神經(jīng)網(wǎng)絡(luò)，與基于Sigmoid函數(shù)的BP網(wǎng)絡(luò)和徑向基 （RBF）網(wǎng)絡(luò)相比，具有結(jié)構(gòu)可設(shè)計(jì)性、收斂精度可控性和收斂速度快等優(yōu)點(diǎn)[12-14]。該文中小波神經(jīng)網(wǎng)絡(luò)采用3層結(jié)構(gòu)，如圖2所示，其具體的設(shè)計(jì)步驟和學(xué)習(xí)算法參照文獻(xiàn)[15]。

圖2 小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.4 位置信息映射

將PCA降維后的語(yǔ)音特征參數(shù)作為神經(jīng)網(wǎng)絡(luò)的輸入，神經(jīng)網(wǎng)絡(luò)的輸出即為相應(yīng)的位置信息，神經(jīng)網(wǎng)絡(luò)的輸出層有6個(gè)神經(jīng)元，均采用二進(jìn)制編碼，共有64個(gè)不同的碼，按著由左到右、由上到下的順序依次對(duì)應(yīng)著圖像中的一個(gè)位置并用“0”、“1”組合進(jìn)行編碼，如圖3所示，只用前47個(gè)碼，依次對(duì)應(yīng)著a o e i u ü y w an en in un ün j q x b p m f d t n l ang eng ing ong zh ch sh r g k h z c s ai ei ui ao ou iu ie üe er。如000000代表第一行第一列的那個(gè)位置，對(duì)應(yīng)著韻母a，000001代表第一行第二列的那個(gè)位置，對(duì)應(yīng)著韻母o，以此類推。

圖3 位置信息映射示意圖

2.5 顏色信息獲取

神經(jīng)網(wǎng)絡(luò)的輸出將特征編成64個(gè)不同的碼，其中只用前47個(gè)碼，按著由左到右、由上到下的順序，每個(gè)碼對(duì)應(yīng)一個(gè)位置，通過(guò)給屏幕相應(yīng)位置的RGB賦值，來(lái)獲取顏色信息。該文將圖像分成12個(gè)不同顏色的顯示區(qū)域，每個(gè)顯示區(qū)域內(nèi)的音具有相似的發(fā)音特點(diǎn)或相同的發(fā)音部位。如碼000000，000001，000010，000011，000100，000101為1區(qū)，即單韻母區(qū)，設(shè)定R=0.95，G=0.75，B=0.68，顏色為桃紅色；碼000110，000111為2區(qū)，即y w區(qū)，設(shè)定R=0，G=0.95，B=0，顏色為綠色；碼 001000，001001，001010，001011，001100為3區(qū)，即前鼻韻母區(qū)，設(shè)定 R=0.52，G=0.38，B=0.76，顏色為藍(lán)紫色；碼001101，001110，001111為4區(qū)，即舌面前音區(qū)，設(shè)定 R=0.25，G=0.52，B=0.18，顏色為深綠色；碼010000，010001，010010為5區(qū)，即雙唇音區(qū)，設(shè)定R=0.12，G=0.98，B=0.76，顏色為藍(lán)綠色；碼010011為6區(qū)，即唇齒音區(qū)，設(shè)定R=0，G=0，B=0.55，顏色為藍(lán)色；碼010100，010101，010110，010111為7區(qū)，即舌尖中音區(qū)，設(shè)定R=0.75，G=0，B=0.55，顏色為紫色；碼011000，011001，011010，011011為8區(qū)，即后鼻韻母區(qū)，設(shè)定R=0.75，G=0，B=0，顏色為紅色；碼011100，011101，011110，011111為9區(qū)，即舌尖后音區(qū)，設(shè)定R=0.98，G=0.96，B=0，顏色為黃色；碼100000，100001，100010為10區(qū)，即舌根音區(qū)，設(shè)定R=0.87，G=0.87，B=0.79，顏色為灰白色；碼100011，100100，100101為11區(qū)，即舌尖前音區(qū)，設(shè)定 R=0.74，G=0.42，B=0，顏色為褐色；碼100110，100111，101000，101001，101010，101011，101100，101101，101110為12區(qū)，即復(fù)韻母區(qū)，設(shè)定R=1，G=1，B=1，顏色為白色。

2.6 圖像合成

圖像合成時(shí)，把位置信息與顏色信息融合在一幅圖像中在顯示屏上顯示。具體為先獲得位置信息，然后在相應(yīng)的位置上添加顏色信息，獲得相應(yīng)的語(yǔ)音圖像。

3 仿真實(shí)驗(yàn)及結(jié)果分析

如圖4（a）所示，聲母p的圖像位置在第三行第二列的位置，編碼為010001，顏色為藍(lán)綠色。如圖4（b）所示，韻母o的圖像位置在第一行第二列的位置，編碼為000001，顏色為桃紅色。如圖4（c）所示，y與I，w與u兩者發(fā)音很相似，語(yǔ)譜圖也十分類似，很難辨識(shí)，而該文提出的方法卻很容易區(qū)分開(kāi)。

用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)數(shù)據(jù)取自3歲到60歲的人群中，錄音環(huán)境很隨機(jī)，隨著人所在的位置隨時(shí)錄音，這樣就可以使系統(tǒng)更加具有實(shí)用性。實(shí)驗(yàn)數(shù)據(jù)是由10個(gè)人發(fā)的1 000個(gè)音組成，其中400個(gè)用來(lái)作為測(cè)試數(shù)據(jù)，其余用來(lái)作訓(xùn)練數(shù)據(jù)。數(shù)據(jù)采樣頻率為11.025 kHz，量化精度為16 bit，語(yǔ)音的幀長(zhǎng)取為256個(gè)采樣點(diǎn)，幀移為80個(gè)采樣點(diǎn)。為了驗(yàn)證該文方法的魯棒性和可行性，在測(cè)試集的每個(gè)語(yǔ)音中手工加入了噪聲，構(gòu)成信噪比為10dB，5dB，0dB，-5 dB的含噪語(yǔ)音信號(hào)。并把該文方法同語(yǔ)譜圖方法進(jìn)行了比較研究，系統(tǒng)初步測(cè)試結(jié)果如表1所示。

圖4 語(yǔ)音可視化圖像

表1 兩種可視化方法的性能比較

由表1可以看出，用語(yǔ)譜圖方法進(jìn)行可視化的平均正確識(shí)別率為23.68%，而該文方法的平均正確識(shí)別率卻達(dá)到了89.85%，這就更充分地證明了該文方法的有效性和可行性。

4 結(jié) 論

該文結(jié)合聲韻母的發(fā)音特點(diǎn)提出了一種新的語(yǔ)音可視化方法，原理淺顯易懂，計(jì)算量少，做出的圖形也易于識(shí)別，可以讓使用這種方法的聽(tīng)力障礙者接受很少時(shí)間的簡(jiǎn)單訓(xùn)練，根據(jù)訓(xùn)練者大腦自身反饋和極強(qiáng)的視覺(jué)識(shí)別功能，就可以進(jìn)行語(yǔ)音的辨識(shí)。而且該文采用小波神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行位置信息映射和顏色信息獲取，小波神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)可設(shè)計(jì)性、收斂精度可控性和收斂速度快的優(yōu)點(diǎn)，有效地提高了漢語(yǔ)聲韻母的正確編碼率。

[1]劉妍秀，孫一鳴，楊華民.基于歸一化算法的噪音魯棒性連續(xù)語(yǔ)音識(shí)別[J].吉林大學(xué)學(xué)報(bào)：理學(xué)版，2015，53（3）:519-524.

[2]Smith A.The present status of hearing impairment in the world and protective strategies[J].Chinese Scientific Journal of Hearing and Speech Rehabilitation，2004（6）:8-9.

[3]王楓，胡旭君.聽(tīng)力障礙兒童與正常兒童視覺(jué)記憶能力比較研究[J].中國(guó)特殊教育，2001（4）:32-34.

[4]陳琦.聽(tīng)力障礙兒童聲母發(fā)音訓(xùn)練分析 [J].當(dāng)代教育實(shí)踐與教學(xué)研究，2015（3）:98.

[5]陳汝琛，姚佳，高忠華.基于語(yǔ)音識(shí)別技術(shù)的聾啞人視覺(jué)輔助語(yǔ)音訓(xùn)練系統(tǒng)[J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào)，1996，15（4）:360-364.

[6]黃海，陳祥獻(xiàn).基于Hilbert-Huang變換的語(yǔ)音信號(hào)共振峰頻率估計(jì) [J].浙江大學(xué)學(xué)報(bào)，2006，40（11）:1926-1930.

[7]韓志艷，王健，倫淑嫻，等.基于小波包變換的語(yǔ)音信號(hào)魯棒特征提取 [C]//第29屆中國(guó)控制會(huì)議論文集，USA:IEEE，2010:2832-2837.

[8]Han Z Y，Wang J，Wang Xu et al.Robust feature extraction for speech recognition based on perceptually motivated MUSIC and CCBC[J].ChineseJournalofElectronics，2011，20（1）:105-110.

[9]Hoang T，Tran H L，Huynh B H N.Proposed combination of PCA and MFCC feature extraction in speech recognition system:The International Conference on Advanced Technologies for Communications，2014[C]//USA:IEEE，2014:697-702.

[10]Wu Q，Zhang L Q，Shi G C et al.Robustmultifactor speech feature extraction based on Gabor Analysis[J].IEEE Transactions on Audio，Speech，and Language Processing，2011，19（4）:927-936.

[11]Bavkar S，Sahare S.PCA based signal channel speechenhancementmethodforhighlynoisyenvironment:The International Conference on Advances in Computing，Communications and Informatics，2013 [C]//Mysore:IEEE，2013:1103-1107.

[12]Mcloughlin I，Zhang H M，Xie Z P et al.Robust sound eventclassification using deep neural networks[J].IEEE Transactions on Audio，Speech， and Language Processing，2015，23（3）:540-552.

[13]Malfait N，F(xiàn)onlupt P，Centelles L et al.Different neural network are involved in audiovisual speech perception depending on the context[J].Journal of Cognitive Neuroscience，2014，26（7）:1572-1586.

[14]韓志艷，倫淑嫻，王健.基于遺傳小波神經(jīng)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別 [J].計(jì)算機(jī)技術(shù)與發(fā)展，2013，23（1）:75-78.

[15]韓志艷，倫淑嫻，王健.語(yǔ)音信號(hào)魯棒特征提取及可視化技術(shù)研究[M].沈陽(yáng):東北大學(xué)出版社，2012.

Visualization method for Chinese vowel sound based on neural network

HAN Zhi-yan，WANG Jian
（Bohai University，Jinzhou 121000，China）

In order to overcome the limitation of speech visualization.This paper proposed a novel speech visualization method for Chinese vowel sound based on neural network.It created readable patterns by integrating different speech features into a single picture.It used wavelet neural network to map location information and color information.Because the wavelet neural network has the advantages of structure designability，convergence precision controllability and rapid convergence，that effectively improve the correct rate of Chinese vowel sound encoding.The image was divided into 12 different color display areas，the speech for each display area have similar pronunciation characteristics and the same pronunciation articulation.That make full use of the advantages of deaf people of visual identification ability and visual memory ability for color.Compared with the existing method，this method has good robustness and understandability.

speech visualization；neural network；speech signal；Chinese vowel sound；feature extraction；principal component analysis（PCA）

TN101

：A

：1674－6236（2017）05-0005-04

2016-05-19稿件編號(hào)：201605192

國(guó)家自然科學(xué)基金資助（61503038；61403042）

韓志艷（1982—），女，內(nèi)蒙古赤峰人，博士，副教授。研究方向：情感識(shí)別、情感可視化。