王致垚
摘 要:語(yǔ)音識(shí)別技術(shù)飛速發(fā)展,在現(xiàn)實(shí)生活中扮演著越來(lái)越重要的角色,語(yǔ)音識(shí)別簡(jiǎn)單來(lái)說(shuō)就是讓計(jì)算機(jī)理解人的語(yǔ)音,它有兩大研究領(lǐng)域:語(yǔ)種識(shí)別和說(shuō)話(huà)人識(shí)別。說(shuō)話(huà)人識(shí)別是指計(jì)算機(jī)能夠識(shí)別出語(yǔ)音來(lái)自那個(gè)說(shuō)話(huà)人,在身份驗(yàn)證等眾多領(lǐng)域有很廣泛的應(yīng)用。本文著重探究哪種細(xì)微聲音對(duì)說(shuō)話(huà)人識(shí)別的效果好,這些細(xì)微聲音有“嗯”“嘖嘖”“清嗓子”“清鼻子”等,最后進(jìn)行人機(jī)大戰(zhàn),得出機(jī)器的準(zhǔn)確率普遍比較高的結(jié)論。
關(guān)鍵詞:語(yǔ)音識(shí)別;說(shuō)話(huà)人識(shí)別;高斯混合模型;深度學(xué)習(xí)
中圖分類(lèi)號(hào):TP391 文獻(xiàn)標(biāo)志碼:A
0 前言
隨著移動(dòng)互聯(lián)網(wǎng)的興起,手機(jī)APP的廣泛應(yīng)用以及移動(dòng)電子商務(wù)的需求,人們對(duì)安全保密系統(tǒng)的要求也越來(lái)越高。除了傳統(tǒng)的密碼輸入方式外,基于生物特征的身份認(rèn)證(如指紋、虹膜、掌紋以及人臉等)成為目前最主要的研究方向。在這其中,語(yǔ)音信號(hào)是用于個(gè)人身份辨識(shí)和確認(rèn)的一種有效的生物特征,其技術(shù)在生物識(shí)別中占有重要地位。
語(yǔ)音信號(hào)處理是用數(shù)字信息技術(shù)處理語(yǔ)音,可以分為語(yǔ)音合成、語(yǔ)音識(shí)別、語(yǔ)音編程和說(shuō)話(huà)人識(shí)別。說(shuō)話(huà)人識(shí)別是指從語(yǔ)音信號(hào)中提取說(shuō)話(huà)人的特征,并對(duì)說(shuō)話(huà)人進(jìn)行識(shí)別的研究領(lǐng)域。說(shuō)話(huà)人識(shí)別實(shí)際上是一個(gè)模型識(shí)別問(wèn)題。而基于Kaldi的GMM i-vector說(shuō)話(huà)人識(shí)別系統(tǒng)則是其中比較新穎的技術(shù)。本文探討的是利用i-vector說(shuō)話(huà)人識(shí)別系統(tǒng)來(lái)處理一些比較特殊的問(wèn)題。
1 說(shuō)話(huà)人識(shí)別研究的目的及意義
信息輸入方式的變化,也是由于生物識(shí)別技術(shù)的發(fā)展。說(shuō)話(huà)人識(shí)別技術(shù)能夠更加快捷便利的確定說(shuō)話(huà)人的身份,能夠應(yīng)用于說(shuō)話(huà)人核對(duì),(例如語(yǔ)音類(lèi)別身份證)電子設(shè)備,信息系統(tǒng)的安全工作,刑偵技術(shù)的人員追蹤,公安、軍事、機(jī)密的防護(hù)等眾多領(lǐng)域、將會(huì)在電腦、手機(jī)、汽車(chē)、電子鎖等電子產(chǎn)品上有眾多應(yīng)用
說(shuō)話(huà)人識(shí)別也叫做聲紋識(shí)別,屬于生物識(shí)別技術(shù)的一種。相對(duì)于傳統(tǒng)認(rèn)證,具有安全、保密、不易偽裝、不會(huì)遺忘或丟失,方便等優(yōu)點(diǎn)。比起其他的生物識(shí)別技術(shù),說(shuō)話(huà)人識(shí)別更有廉價(jià)、簡(jiǎn)潔輕便、應(yīng)用廣泛、易于操作和接受等優(yōu)點(diǎn)。
2 說(shuō)話(huà)人識(shí)別發(fā)展概述
1876年貝爾(Bell)發(fā)明了電話(huà)。1952年Davis等人在貝爾實(shí)驗(yàn)室研制出第一個(gè)10個(gè)英語(yǔ)字母的語(yǔ)音識(shí)別設(shè)備。1956年Cooley和Tukey提出了離散傅里葉變換的快速算法(FFT算法)。20世紀(jì)80年代,人們應(yīng)用非線(xiàn)性技術(shù)提出了梅爾頻率倒譜系數(shù)(MFCC),MFCC是最實(shí)用的語(yǔ)音特征參數(shù)。在20世紀(jì)90年代后期,高斯混合模型(GMM,在HMM的基礎(chǔ)上被提出)被應(yīng)用到了說(shuō)話(huà)人識(shí)別,GMM成了現(xiàn)在說(shuō)話(huà)人識(shí)別的基礎(chǔ)。21世紀(jì)后,人們?cè)诟咚够旌夏P偷幕A(chǔ)上提出了高斯混合模型—通用背景模型(GMM—UBM),克服了外部環(huán)境的干擾。GMM—UBM成為目前說(shuō)話(huà)人識(shí)別領(lǐng)域最為經(jīng)典的建模方法。
1997年,IBM 將ViaVoice應(yīng)用于商業(yè)。2011年iPhone手機(jī)上出現(xiàn)了Siri語(yǔ)音助手服務(wù),語(yǔ)音識(shí)別技術(shù)在生活中普及開(kāi)來(lái)?,F(xiàn)在幾乎身邊的電子設(shè)備如手機(jī)、電腦、iPad都會(huì)具備語(yǔ)音識(shí)別功能。
3 說(shuō)話(huà)人識(shí)別的研究方法
3.1 說(shuō)話(huà)人識(shí)別的基本流程
說(shuō)話(huà)人識(shí)別實(shí)際上是一個(gè)模型識(shí)別類(lèi)型,其基本原理是將識(shí)別目標(biāo)說(shuō)話(huà)人形成的特征模型與訓(xùn)練好的特征模型進(jìn)行匹配。根據(jù)匹配的距離或概率近似度來(lái)判斷說(shuō)話(huà)者是訓(xùn)練模型中的哪個(gè)人(說(shuō)話(huà)人辨認(rèn)),或是否是被申明的人(說(shuō)話(huà)人確認(rèn))。
3.1.1 預(yù)處理
預(yù)處理指令可以使輸入的語(yǔ)音信號(hào)在不同的執(zhí)行環(huán)境中方便被修改或翻譯。大致分為預(yù)加重、分幀加窗和端點(diǎn)檢測(cè)。
3.1.2 特征提取
特征提取是在音頻中提取能夠代表說(shuō)話(huà)人語(yǔ)音特征的信息,消除無(wú)用的信息。從而有利于后續(xù)的特征比較,提取的特征能夠直接辨別說(shuō)話(huà)人身份,充分體現(xiàn)不同語(yǔ)音間的差異。
3.1.3 訓(xùn)練過(guò)程:訓(xùn)練模型、模型參數(shù)儲(chǔ)存
根據(jù)提取的特征參數(shù)建立說(shuō)話(huà)人的模型,建立訓(xùn)練過(guò)程的模型。建立模型的方法分為模板匹配法和概率統(tǒng)計(jì)模型法。并將模型進(jìn)行儲(chǔ)存,作為識(shí)別過(guò)程中的匹配模板。
3.1.4 測(cè)試過(guò)程:匹配得分,決策判斷
將待測(cè)試的語(yǔ)音文件的特征參量與已建立的模型庫(kù)進(jìn)行對(duì)比、匹配和識(shí)別,計(jì)算出來(lái)得分,查看相似性的最大值,根據(jù)相似性匹配說(shuō)話(huà)人。
值得一提的是,如果被測(cè)試的音頻文件不屬于已知的說(shuō)話(huà)人模型。(閉集情況)系統(tǒng)不能隨意抽取相似得分的最大值,因?yàn)檫@樣會(huì)將陌生說(shuō)話(huà)人誤判為模型庫(kù)中的某一說(shuō)話(huà)人。應(yīng)當(dāng)確定一個(gè)適當(dāng)大小的閾值,判斷測(cè)試語(yǔ)音是否屬于已經(jīng)建立模型的說(shuō)話(huà)人。若測(cè)試得分低于閾值則系統(tǒng)判斷測(cè)試音頻不屬于任何一個(gè)說(shuō)話(huà)人模型。
3.2 說(shuō)話(huà)人識(shí)別的傳統(tǒng)方法
在提取特征之后,要進(jìn)行模型訓(xùn)練。在模型匹配方面,大體分為模板匹配法和概率統(tǒng)計(jì)模型法。
可是在實(shí)際應(yīng)用中,常常會(huì)受到周邊噪聲的干擾,對(duì)基于GMM的說(shuō)話(huà)人識(shí)別系統(tǒng)要求便有所增加,因此要訓(xùn)練準(zhǔn)確的高斯混合模型需要很多語(yǔ)音數(shù)據(jù),而每一個(gè)訓(xùn)練說(shuō)話(huà)人的語(yǔ)音又不夠,因此UBM通用背景模型便被提出來(lái)了。在眾多語(yǔ)音數(shù)據(jù)中訓(xùn)練好一個(gè)和說(shuō)話(huà)人特征無(wú)關(guān)的通用背景模型來(lái)模擬實(shí)際的外部環(huán)境,通過(guò)自適應(yīng)算法來(lái)得到目標(biāo)的說(shuō)話(huà)人模型。
4 細(xì)微聲音識(shí)別實(shí)驗(yàn)
4.1 實(shí)驗(yàn)原理
說(shuō)話(huà)人識(shí)別是一類(lèi)典型的模式識(shí)別類(lèi)型,包括說(shuō)話(huà)人模型訓(xùn)練和測(cè)試語(yǔ)音打分判決兩個(gè)階段。
訓(xùn)練階段:對(duì)每個(gè)使用系統(tǒng)的說(shuō)話(huà)人預(yù)留充足的語(yǔ)音;對(duì)預(yù)留語(yǔ)音提取聲學(xué)特征;根據(jù)提取的聲學(xué)特征訓(xùn)練得到說(shuō)話(huà)人模型;將每個(gè)說(shuō)話(huà)人模型存入說(shuō)話(huà)人模型庫(kù)中。
測(cè)試階段:系統(tǒng)獲取待測(cè)試識(shí)別的語(yǔ)音;與訓(xùn)練階段相同,提取測(cè)試語(yǔ)音的聲學(xué)特征;將測(cè)試語(yǔ)音的聲學(xué)特征與說(shuō)話(huà)人模型庫(kù)進(jìn)行比對(duì),根據(jù)預(yù)先定義的相似性準(zhǔn)則,在說(shuō)話(huà)人模型上進(jìn)行打分判別;最終得到測(cè)試語(yǔ)音的說(shuō)話(huà)人身份。
本實(shí)驗(yàn)基于Kaldi的GMM i-vector說(shuō)話(huà)人識(shí)別系統(tǒng)主要由4個(gè)步驟組成:數(shù)據(jù)列表準(zhǔn)備(scp文件)、特征提取(MFCC提取特征及vad)、模型訓(xùn)練(UBM、T-matrix訓(xùn)練和i-vector提?。?、打分判決(Cosine、LDA、PLDA),其流程如圖1所示。
4.2 實(shí)驗(yàn)過(guò)程及結(jié)果分析
實(shí)驗(yàn)測(cè)試中,首先采集了網(wǎng)站上20人的細(xì)微聲音判別記錄見(jiàn)表1,同一種細(xì)微聲音中,讓測(cè)試人員去聽(tīng)該聲音是否是同一個(gè)人發(fā)出的,每個(gè)人聽(tīng)3組同種細(xì)微聲音,最后提交表單,得到該20人的測(cè)試記錄錯(cuò)誤率。由于網(wǎng)站上會(huì)對(duì)每個(gè)測(cè)試者選擇的音頻有記錄,然后將測(cè)試的音頻全部取出來(lái),同種細(xì)微聲音的音頻放在一起,然后利用圖1所示的i-vector模型對(duì)細(xì)微聲音進(jìn)行判別,從而得出機(jī)器對(duì)該細(xì)微聲音的錯(cuò)誤率,其結(jié)果見(jiàn)表2。
從實(shí)驗(yàn)結(jié)果來(lái)看,4種細(xì)微聲音中,“嗯”的識(shí)別錯(cuò)誤率最低,也就是“嗯”相對(duì)其他3種,其識(shí)別效果更好;另外從人機(jī)測(cè)試結(jié)果來(lái)看,細(xì)微聲音中對(duì)“嗯”“嘖嘖”“清嗓子”的識(shí)別準(zhǔn)確率,機(jī)器明顯優(yōu)于人類(lèi),然而對(duì)“清鼻子”的識(shí)別準(zhǔn)確率,人類(lèi)優(yōu)于機(jī)器,由于不同測(cè)試者清鼻子變化多樣,人類(lèi)可以根據(jù)語(yǔ)境及背景聲音是否一致來(lái)判斷是否為同一個(gè)人發(fā)出來(lái)的,而機(jī)器不可以這樣判斷,這個(gè)實(shí)驗(yàn)結(jié)果也是在合理范圍內(nèi)的。
結(jié)語(yǔ)
說(shuō)話(huà)人識(shí)別是語(yǔ)音識(shí)別的熱點(diǎn)之一。本文首先介紹了說(shuō)話(huà)人識(shí)別研究的目的和意義以及發(fā)展概述。重點(diǎn)研究了基于Kaldi的GMM i-vector說(shuō)話(huà)人識(shí)別系統(tǒng),對(duì)說(shuō)話(huà)人識(shí)別系統(tǒng)的工作過(guò)程及其工作原理進(jìn)行了深刻的闡述,并著重探究了4種細(xì)微聲音的識(shí)別,通過(guò)人機(jī)測(cè)試的對(duì)比,得出了機(jī)器的識(shí)別效果明顯比人類(lèi)的識(shí)別正確率要高的結(jié)果。由于本實(shí)驗(yàn)探討的是在特殊情況下的說(shuō)話(huà)人識(shí)別(嗯、嘖嘖、清嗓子、清鼻子),因此探討了基于i-vector說(shuō)話(huà)人識(shí)別系統(tǒng)在各種極端情況下的工作情況。或許以后說(shuō)話(huà)人識(shí)別不再需要說(shuō)出一大段文字,而是直接發(fā)出幾種聲音就可以實(shí)現(xiàn)識(shí)別。
參考文獻(xiàn)
[1]談建慧.基于深度學(xué)習(xí)的語(yǔ)音識(shí)別研究[D].廣西:桂林電子科技大學(xué),2016.
[2]陳強(qiáng).基于GMM的說(shuō)話(huà)人識(shí)別系統(tǒng)研究與實(shí)現(xiàn)[D].湖北:武漢理工大學(xué),2010.
[3]周利鋒.人工神經(jīng)網(wǎng)絡(luò)的概念[J].醫(yī)學(xué)信息(上旬刊),1998(11):8-10.
[4]馬平.基于i-vector的穩(wěn)健說(shuō)話(huà)人識(shí)別研究[D].新疆:新疆大學(xué),2016.