楊 瑤， 陳 曉，b

（南京信息工程大學(xué)a.電子與信息工程學(xué)院；b.江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京210044）

0 引 言

說(shuō)話人識(shí)別是通過(guò)對(duì)說(shuō)話人語(yǔ)音信號(hào)分析自動(dòng)確定說(shuō)話人是誰(shuí)的過(guò)程［1-2］。由于語(yǔ)音特征的特殊性，很難在目前實(shí)驗(yàn)中看到關(guān)于語(yǔ)音的案例或?qū)嶒?yàn)。然而，語(yǔ)言在極大程度上增加了人們的交流互動(dòng)，深入語(yǔ)音信號(hào)的研究也越來(lái)越受到人們的關(guān)注［3］。神經(jīng)網(wǎng)絡(luò)是由若干個(gè)神經(jīng)元組成的一個(gè)錯(cuò)綜復(fù)雜的網(wǎng)絡(luò)系統(tǒng)，是一種既有多層式的，又不斷向前進(jìn)行反饋的網(wǎng)絡(luò)，廣泛運(yùn)用于各個(gè)方面，很強(qiáng)的非線性能力、容錯(cuò)能力、泛化能力和自適應(yīng)能力，且其是通過(guò)逆?zhèn)鞑ニ惴▉?lái)實(shí)現(xiàn)的，所以又被稱為誤差逆向傳播神經(jīng)網(wǎng)絡(luò)［4］。神經(jīng)網(wǎng)絡(luò)的研究范圍較廣，體現(xiàn)了許多學(xué)科結(jié)合交叉的特點(diǎn)。而人工智能課程實(shí)驗(yàn)，可以幫助學(xué)生更好地探討人工智能算法和系統(tǒng)的運(yùn)行和實(shí)現(xiàn)過(guò)程。目前高校在教學(xué)過(guò)程中，都相對(duì)比較重視實(shí)際動(dòng)手的操作能力，只有開(kāi)展相對(duì)的實(shí)驗(yàn)課程，讓學(xué)生更好地參與到整個(gè)教學(xué)過(guò)程中，主動(dòng)思考，從而提高學(xué)習(xí)能力和創(chuàng)新能力［5］。

本文設(shè)計(jì)了說(shuō)話人的語(yǔ)音識(shí)別實(shí)驗(yàn)，采用BP 神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)音信號(hào)進(jìn)行分類。實(shí)驗(yàn)過(guò)程中采取實(shí)驗(yàn)者的訓(xùn)練語(yǔ)音和測(cè)試語(yǔ)音，先對(duì)輸入語(yǔ)音進(jìn)行預(yù)處理，提取特征參數(shù)MFCC，BP 算法對(duì)語(yǔ)音特征向量進(jìn)行訓(xùn)練，進(jìn)而獲得有效的網(wǎng)絡(luò)權(quán)值［6］。用訓(xùn)練好的BP 神經(jīng)網(wǎng)絡(luò)對(duì)說(shuō)話人的語(yǔ)音歸類，從而識(shí)別出說(shuō)話人身份。實(shí)驗(yàn)時(shí)既可用訓(xùn)練好的網(wǎng)絡(luò)直接進(jìn)行說(shuō)話人識(shí)別的驗(yàn)證性實(shí)驗(yàn)，也可作為創(chuàng)新性實(shí)驗(yàn)，由學(xué)生自行設(shè)計(jì)并編程實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行說(shuō)話人識(shí)別。實(shí)驗(yàn)訓(xùn)練和測(cè)試樣本也可以由學(xué)生自行采集完成。

1 實(shí)驗(yàn)基本原理

1.1 說(shuō)話人識(shí)別原理

表示語(yǔ)音信號(hào)個(gè)性的特征參數(shù)有LPCC、LPC、MFCC和DWTC［7］。對(duì)語(yǔ)音信號(hào)可以通過(guò)兩方面進(jìn)行分析：①時(shí)域過(guò)程中的語(yǔ)音信號(hào)。運(yùn)用短時(shí)間內(nèi)的能量函數(shù)判斷一段語(yǔ)音信號(hào)中有、無(wú)聲音的區(qū)間，判斷該聲音的清濁。②結(jié)合以上幾個(gè)特征參數(shù)判斷語(yǔ)音信號(hào)起始點(diǎn)和終止點(diǎn)的位置，進(jìn)行對(duì)能量的門(mén)限調(diào)整，就是實(shí)現(xiàn)對(duì)各端點(diǎn)進(jìn)行檢測(cè)的過(guò)程。而后，在頻域的范圍內(nèi)對(duì)語(yǔ)音進(jìn)行分析處理，則需要分析信號(hào)的頻譜值、倒譜值、功率譜值以及將不同頻率的振幅中最高的那個(gè)點(diǎn)進(jìn)行連接；并且在頻域過(guò)程中，實(shí)驗(yàn)經(jīng)常采用通過(guò)帶通濾波器的方法和對(duì)其進(jìn)行傅里葉的變換方法進(jìn)行分析處理［8］。

說(shuō)話者身份確認(rèn)的實(shí)驗(yàn)過(guò)程就是從說(shuō)話者的一段語(yǔ)音中，提取出表現(xiàn)其特征的參數(shù)，將參數(shù)進(jìn)行一定的處理分析，從而得出測(cè)試者的身份。根據(jù)實(shí)驗(yàn)者聲音處理的目的不同，可以分為對(duì)實(shí)驗(yàn)者的辨認(rèn)和對(duì)實(shí)驗(yàn)者的確認(rèn)，一個(gè)說(shuō)話者的識(shí)別系統(tǒng)可以分成①訓(xùn)練過(guò)程，②測(cè)試過(guò)程，如圖1 所示。

圖1 說(shuō)話人識(shí)別典型結(jié)構(gòu)

1.1.1 數(shù)據(jù)預(yù)處理

首先將語(yǔ)音信號(hào)數(shù)字化，隨后對(duì)輸入的語(yǔ)音信號(hào)進(jìn)行預(yù)加重、去噪、分幀、加窗以及端點(diǎn)檢測(cè)等處理［9］。

（1）預(yù)加重。為了使參與實(shí)驗(yàn)的語(yǔ)音信號(hào)更加穩(wěn)定，處于高低的頻率之間，也可以減少噪聲所帶來(lái)的影響。

（2）分幀。將一大段信號(hào)分解成一小段一小段的操作過(guò)程，稱這一小段為“幀”，通常情況下幀的長(zhǎng)度為（10 ～30）×106s［10］。

（3）加窗。使信號(hào)能夠在一定的范圍內(nèi)，讓整個(gè)語(yǔ)音系統(tǒng)的語(yǔ)音信號(hào)更加連續(xù)，并且在進(jìn)行加窗的操作后，讓原本沒(méi)有周期的語(yǔ)音信號(hào)能夠表現(xiàn)出部分的周期特征。對(duì)可移動(dòng)的有限長(zhǎng)度窗口進(jìn)行加權(quán)。

（4）檢測(cè)端點(diǎn)。端點(diǎn)檢測(cè)主要分兩步走，①先通過(guò)一定的操作方法分割出語(yǔ)音信號(hào)中無(wú)聲、有聲部分；②選取有聲部分片段作為處理的實(shí)驗(yàn)對(duì)象，根據(jù)語(yǔ)音信號(hào)的個(gè)性特征進(jìn)行判斷，從而確定其起始點(diǎn)和終止點(diǎn)。

1.1.2 提取MFCC參數(shù)

提取特征［11］的任務(wù)是去掉所輸入語(yǔ)音信號(hào)里無(wú)用的冗余信息，并從輸入的一段說(shuō)話人語(yǔ)音信號(hào)中提取可代表其個(gè)性特征的參數(shù)，本文主要涉及的特征參數(shù)是梅爾倒譜系數(shù)（Mel Frequency Cepstrum Coefficient，MFCC）［12］。MFCC的提出是以聽(tīng)覺(jué)的模型為基礎(chǔ)，不同于LPCC和LPC，且根據(jù)研究表明，MFCC參數(shù)的性能是超越LPCC的。實(shí)驗(yàn)提取MFCC主要過(guò)程［13］為：①用mel 濾波器進(jìn)行實(shí)驗(yàn)需要的處理步驟，將各系數(shù)進(jìn)行歸一處理；②對(duì)倒譜的提升窗口也歸一；③由輸入語(yǔ)音信號(hào)實(shí)施起始點(diǎn)和最終點(diǎn)；④處理大段語(yǔ)音信號(hào)，分成一小部分的語(yǔ)音片段，并求各部分的參數(shù)；⑤合并參數(shù)的一階差分值和所求值；⑥取出合適范圍內(nèi)的MFCC系數(shù)。

MFCC特征區(qū)分于其他倒譜特征的顯著特點(diǎn)是其擁有不均勻劃分的頻率軸，MFCC 系數(shù)的計(jì)算步驟如下［14］：①先輸入待實(shí)驗(yàn)的語(yǔ)音；②提取的實(shí)驗(yàn)者待測(cè)試的信號(hào)，對(duì)其進(jìn)行預(yù)加重、分幀、加窗處理；③對(duì)一小段一小段的信號(hào)進(jìn)行傅里葉變換從而得到語(yǔ)音信號(hào)的線性頻譜值；④對(duì)上一步所求的頻譜通過(guò)mel 濾波器組生成mel頻譜，并且對(duì)其進(jìn)行平方求值，則能夠得到能量譜的值，用K 帶通濾波器進(jìn)行實(shí)驗(yàn)步驟，得出其輸出功率譜為X（K）；⑤MFCC參數(shù)的求解是通過(guò)對(duì)其做反離散余弦變換，M一般取12 ～16。

1.2 BP神經(jīng)網(wǎng)絡(luò)算法原理

BP神經(jīng)網(wǎng)絡(luò)［15-16］就是將輸入的信號(hào)通過(guò)中間隱含層對(duì)輸出層所做出的反應(yīng)。BP 算法主要由工作信號(hào)的正向傳播和誤差信號(hào)的反向傳播組成［17］。

（1）正向傳遞工作信號(hào)過(guò)程。輸入的語(yǔ)音信號(hào)經(jīng)過(guò)前兩層的處理，將結(jié)果傳到輸出層，倘若輸出的實(shí)際值與期望值不一致時(shí)，則轉(zhuǎn)向誤差的逆?zhèn)鞑ァ?/p>

（2）誤差信號(hào)逆?zhèn)鞑ミ^(guò)程。將其輸出層得出的輸出結(jié)果反饋給輸入層和隱含層，并把產(chǎn)生的誤差分給所有的神經(jīng)元，主要目的是為了反復(fù)求權(quán)值和閾值，直至它與BP算法求出的誤差相對(duì)應(yīng)。

設(shè)輸入節(jié)點(diǎn)、隱含層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)分別用j、k、i表示，計(jì)算權(quán)值和偏置的表達(dá)式如下：

根據(jù)梯度下降法原理，前兩層的權(quán)值和偏置可表示為：

實(shí)驗(yàn)時(shí)構(gòu)建BP神經(jīng)網(wǎng)絡(luò)需要對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行設(shè)置，從而完成訓(xùn)練過(guò)程。實(shí)驗(yàn)過(guò)程為：

（1）網(wǎng)絡(luò)初始化。第1 層表示樣本各分量的值。令3 層的節(jié)點(diǎn)數(shù)表示為m、l、n，并且各兩層之間連接的權(quán)值設(shè)為wjk、wki，使第1 個(gè)輸入的初始閾值為a，輸出的閾值為b。

隱含層

（2）隱含層輸出。設(shè)輸入的數(shù)據(jù)為x，且前兩層之間的可連接權(quán)值為wjk，隱含層閾值為a，則該層的輸出相當(dāng)于輸入的數(shù)據(jù)經(jīng)

（3）輸出層輸出。設(shè)后兩層之間的連接權(quán)值為wki，閾值為b，根據(jù)上述所求的輸出，從而計(jì)算最后一層的輸出

（4）網(wǎng)絡(luò)錯(cuò)誤率的計(jì)算。由上述的步驟可得出輸出的預(yù)測(cè)值，并設(shè)定此網(wǎng)絡(luò)輸出的期望值為Y，網(wǎng)絡(luò)所產(chǎn)生的錯(cuò)誤率

（5）更新權(quán)值。根據(jù)步驟（4）所產(chǎn)生的數(shù)據(jù)不斷地更迭計(jì)算網(wǎng)絡(luò)間的連接權(quán)值

（6）更新閾值。根據(jù)錯(cuò)誤率計(jì)算網(wǎng)絡(luò)各節(jié)點(diǎn)的閾值

（7）返回（2）。進(jìn)行不斷地循環(huán)，直至該網(wǎng)絡(luò)計(jì)算的錯(cuò)誤率符合原本所要達(dá)到的要求。

2 實(shí)驗(yàn)方案設(shè)計(jì)

2.1 實(shí)驗(yàn)步驟

（1）利用已建立好的語(yǔ)音庫(kù)，主要包括p 個(gè)實(shí)驗(yàn)者的q遍錄音，前r遍用于訓(xùn)練，后q-r遍用于測(cè)試。

（2）將語(yǔ)音數(shù)據(jù)的幅度進(jìn)行歸一化操作，整合到［-1，1］之間，對(duì)常數(shù)的取值進(jìn)行設(shè)置，并于計(jì)算過(guò)零率、計(jì)算短時(shí)能量、調(diào)整能量門(mén)限后，進(jìn)行端點(diǎn)檢測(cè)的步驟，找出語(yǔ)音信號(hào)的起始點(diǎn)和終止點(diǎn)，從而完成對(duì)語(yǔ)音數(shù)據(jù)的預(yù)處理。

（3）將mel濾波器組系數(shù)歸一化，對(duì)倒譜進(jìn)行處理，增強(qiáng)其窗口，不斷地穩(wěn)定參數(shù)的高階、中階和低階的分量，從而增加參數(shù)的各方面性能。

（4）通過(guò)預(yù)加重濾波器對(duì)語(yǔ)音信號(hào)進(jìn)行分幀，將一大段的語(yǔ)音信號(hào)分為多個(gè)小段的信號(hào)，對(duì)每一小段的信號(hào)進(jìn)行參數(shù)求值，合并了一階參數(shù)和參數(shù)本身，去掉高低兩個(gè)值，進(jìn)行刪選，從而提取出符合范圍內(nèi)特征參數(shù)MFCC的值。

（5）對(duì)訓(xùn)練后的數(shù)據(jù)進(jìn)行疊加，把第i 份訓(xùn)練數(shù)據(jù)組織為x，對(duì)每個(gè)輸出進(jìn)行編碼，每個(gè)類別用N個(gè)數(shù)字來(lái)表示，并且定義神經(jīng)網(wǎng)絡(luò)和設(shè)置神經(jīng)網(wǎng)絡(luò)的輸入范圍，從而開(kāi)始對(duì)train 文件夾中的語(yǔ)音進(jìn)行訓(xùn)練，并且訓(xùn)練幀的類型分類，從而建立語(yǔ)音模板庫(kù)。

（6）讀入test 文件夾下的語(yǔ)音文件，計(jì)算幀的長(zhǎng)度，提取MFCC參數(shù)的特征值并進(jìn)行歸一化處理，每1幀可算出24 維度特征，對(duì)每1 幀求類別并得到每幀的類型，通過(guò)對(duì)這一類別進(jìn)行索引，從而可得到這一類別的幀數(shù)，幀數(shù)的得票越多，就為哪一實(shí)驗(yàn)者的語(yǔ)音信號(hào)。

2.2 測(cè)試結(jié)果

在Matlab 軟件中導(dǎo)入mytrain. m 和mytest. m 函數(shù)，并對(duì)mytest.m函數(shù)開(kāi)啟運(yùn)行操作，訓(xùn)練train 文件下的語(yǔ)音文件載入時(shí)都可以被系統(tǒng)識(shí)別出各個(gè)語(yǔ)音所屬人的身份。實(shí)驗(yàn)過(guò)程中則需要用train 文件夾中的語(yǔ)音進(jìn)行訓(xùn)練，通過(guò)訓(xùn)練完成后對(duì)test 下的語(yǔ)音文件進(jìn)行測(cè)試環(huán)節(jié)。

2.2.1 訓(xùn)練部分

BP網(wǎng)絡(luò)訓(xùn)練設(shè)置如下：

hiden ＝15；

net ＝newff（pr，［hiden，typenum］，｛＇logsig＇，＇purelin＇｝，

＇trainrp＇）；net.trainParam.goal ＝1e-4；

net.trainParam.epochs ＝3000；

即迭代次數(shù)3 000 次，誤差目標(biāo)為10-4，利用train 函數(shù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)。本文所構(gòu)建的BP 網(wǎng)絡(luò)是由24個(gè)輸入、15 個(gè)隱藏和7 個(gè)輸出組成，并且選擇Sigmoid激活函數(shù)。

選擇訓(xùn)練p個(gè)人的各自r 段語(yǔ)音，仿真訓(xùn)練結(jié)果如圖2 所示。繪制出訓(xùn)練的錯(cuò)誤率曲線如圖3 所示。

圖2 說(shuō)話者訓(xùn)練樣本界面

圖3 訓(xùn)練誤差曲線

由圖3 可知，信號(hào)經(jīng)過(guò)3 000 次迭代，誤差為0.080 219，且接近于0。本次測(cè)試的梯度為0.001 267，錯(cuò)誤識(shí)別率為0，如圖4 所示。

2.2.2 實(shí)驗(yàn)數(shù)據(jù)

利用alltest.m計(jì)算該系統(tǒng)的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表1 所示。

由表1 可知，BP神經(jīng)網(wǎng)絡(luò)適用于小范圍內(nèi)語(yǔ)音數(shù)量的計(jì)算，所采取的數(shù)據(jù)庫(kù)越大，則其準(zhǔn)確率越低，失真度就會(huì)隨之增加。

圖4 誤差梯度和錯(cuò)誤識(shí)別率

表1 系統(tǒng)準(zhǔn)確率

3 結(jié) 語(yǔ)

設(shè)計(jì)了基于神經(jīng)網(wǎng)絡(luò)的說(shuō)話人識(shí)別實(shí)驗(yàn)，利用MFCC和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別的操作過(guò)程。由實(shí)驗(yàn)結(jié)果可知，這兩者的結(jié)合可以有效縮小識(shí)別的時(shí)間，從而大大提高了識(shí)別率，說(shuō)話人的身份識(shí)別獲得了較好的效果。通過(guò)實(shí)驗(yàn)的設(shè)計(jì)和完成，可以讓學(xué)生更深入的了解說(shuō)話人識(shí)別的整體流程，也可以讓學(xué)生更加靈活地理解神經(jīng)網(wǎng)絡(luò)的工作原理，從而提高學(xué)生的動(dòng)手能力。