張椏童，何 凌，張 婷，尹 恒，李 楊

（1.四川大學(xué) 電氣信息學(xué)院，四川 成都610065；2.成都航空職業(yè)技術(shù)學(xué)院 國(guó)有資產(chǎn)管理處，

四川 成都610100；3.四川大學(xué) 華西口腔醫(yī)院，四川 成都610041）

0 引 言

腭裂語(yǔ)音的主要表現(xiàn)有共振異常、過(guò)高鼻音、鼻漏氣和代償性構(gòu)音等［1］。臨床上，由結(jié)構(gòu)性腭咽閉合功能不全引起的高鼻音的診斷最為重要。但是，目前高鼻音的診斷主要是針對(duì)高鼻音存在與否的判定，沒(méi)有對(duì)高鼻音等級(jí)進(jìn)行詳細(xì)的區(qū)分。此外，判定的方式大部分是通過(guò)語(yǔ)音師的主觀評(píng)估，這種方式受到語(yǔ)音師的主觀因素和周圍環(huán)境的客觀因素影響，會(huì)給判定結(jié)果帶來(lái)一定的影響。因此，高鼻音自動(dòng)識(shí)別算法的研究在臨床上具有重大意義。

腭裂語(yǔ)音序列治療最早由英國(guó)的Copper醫(yī)師提出，此后，唇腭裂的治療及診斷發(fā)展迅速。高鼻音作為腭裂語(yǔ)音評(píng)估和輔助治療的主要因素，引起了國(guó)內(nèi)外廣泛的關(guān)注［2－5］。Talkin等［6－7］從時(shí)域和頻域角度對(duì)基音頻率的提取進(jìn)行了一系列研究，發(fā)現(xiàn)基音頻率在語(yǔ)音信號(hào)處理方面具有實(shí)用意義；Maier等［8］將聲調(diào)特征值、24 維Mel倒譜系數(shù) （MFCC）和Teager能量算子作為特征參數(shù)，結(jié)合隱馬爾科夫模型 （HMM）進(jìn)行了腭裂兒童的高鼻音識(shí)別，獲得了70%的識(shí)別率。

本文基于語(yǔ)音發(fā)聲模型，對(duì)腭裂語(yǔ)音高鼻音特性進(jìn)行分析。腭裂語(yǔ)音中高鼻音的產(chǎn)生，是由于腭咽閉合不全，導(dǎo)致口腔氣流溢入鼻腔。因此，高鼻音特性主要來(lái)自語(yǔ)音的口鼻腔，即語(yǔ)音信號(hào)的輻射模型，故設(shè)想包含輻射模型的特征參數(shù)在腭裂語(yǔ)音高鼻音等級(jí)的識(shí)別中具有優(yōu)勢(shì)。針對(duì)此，本文分別提出了基于激勵(lì)模型、聲道模型和綜合聲學(xué)參數(shù) （基于輻射模型）的特征參數(shù)，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，高鼻音等級(jí)識(shí)別率最高的是基于綜合聲學(xué)參數(shù)的MFCC高鼻音識(shí)別算法。

1 語(yǔ)音信號(hào)的數(shù)學(xué)模型

通過(guò)對(duì)發(fā)音器官和語(yǔ)音產(chǎn)生機(jī)理的分析，將語(yǔ)音生成系統(tǒng)分為了3個(gè)部分：激勵(lì)系統(tǒng)、聲道系統(tǒng)和輻射系統(tǒng)［9］。

1.1 激勵(lì)模型

該模型由濁音激勵(lì)和清音激勵(lì)組成。當(dāng)發(fā)濁音時(shí)，聲帶的不斷閉合產(chǎn)生間歇的脈沖波，其數(shù)學(xué)表達(dá)式如下所示

式中：N1——斜三角波上升部分的時(shí)間，N2——下降部分的時(shí)間。

單個(gè)斜三角波的z變換的表達(dá)式如下所示

式中：c——常數(shù)。

整個(gè)濁音激勵(lì)表示如下所示

由此可以看出，濁音激勵(lì)波是一個(gè)以基音周期為周期的斜三角脈沖串。

1.2 聲道模型

聲道模型常見的有兩種：聲管模型和共振峰模型。共振峰模型把聲道看作一個(gè)諧振腔，共振峰即為這個(gè)腔體的諧振頻率。諧振腔可以改變?cè)菊Z(yǔ)音的頻譜特性，在諧振頻率上能量加強(qiáng)，其它頻率上能量衰弱，有一定的濾波作用。能夠決定元音的音質(zhì)，也反映了聲腔的頻率特性。

一般情況下，元音用前3 個(gè)共振峰表示，輔音用前5個(gè)共振峰表示。

元音因發(fā)音的口腔相對(duì)穩(wěn)定，可以全極點(diǎn)模型來(lái)模擬，其傳輸函數(shù)如下所示

式中：N——極點(diǎn)個(gè)數(shù)，G——幅值因子，ak——常系數(shù)。

輔音因發(fā)音時(shí)，口腔有一定的突變，故用零極點(diǎn)模型來(lái)模擬，其表示如下所示

1.3 輻射模型

該模型與嘴型有關(guān)，一般情況下，表達(dá)式如下所示

綜上，語(yǔ)音信號(hào)的數(shù)學(xué)模型可以用激勵(lì)模型、聲道模型和輻射模型串聯(lián)起來(lái)表示，如圖1所示。

圖1 語(yǔ)音信號(hào)數(shù)學(xué)模型

其傳輸函數(shù)如下所示

該模型為 “短時(shí)模型”，本文利用該模型與人體語(yǔ)音產(chǎn)生的相關(guān)性，分別提取了基于該模型特性的腭裂語(yǔ)音高鼻音特征參數(shù)，進(jìn)行高鼻音等級(jí)的自動(dòng)識(shí)別。特征參數(shù)分別為基音 （激勵(lì)模型）；共振峰 （聲道模型）；短時(shí)能量和Mel倒頻譜系數(shù) （綜合聲學(xué)參數(shù)）。

2 腭裂語(yǔ)音高鼻音等級(jí)自動(dòng)識(shí)別系統(tǒng)

本文的腭裂語(yǔ)音高鼻音等級(jí)自動(dòng)識(shí)別系統(tǒng)分為訓(xùn)練階段和識(shí)別階段兩部分。訓(xùn)練階段主要是提取數(shù)據(jù)庫(kù)中腭裂語(yǔ)音的基音、共振峰、短時(shí)能量、Mel倒頻譜系數(shù)特征參數(shù)，分別得到各自的訓(xùn)練模型參數(shù)集。識(shí)別階段，利用K－最近鄰算法進(jìn)行高鼻音等級(jí)的自動(dòng)識(shí)別和判定。本文的系統(tǒng)框架如圖2所示。

圖2 高鼻音自動(dòng)識(shí)別系統(tǒng)流程

2.1 預(yù)處理

腭裂語(yǔ)音信號(hào)的預(yù)處理是指通過(guò)預(yù)濾波、A/D 轉(zhuǎn)換、預(yù)加重和分幀加窗等處理，得到干凈的短時(shí)平穩(wěn)數(shù)字語(yǔ)音信號(hào)。本文實(shí)驗(yàn)數(shù)據(jù)來(lái)自于專業(yè)的語(yǔ)音室，通過(guò)coolpro2軟件剪輯得到待處理的數(shù)字語(yǔ)音信號(hào)，通過(guò)漢明窗進(jìn)行分幀加窗。

2.2 特征參數(shù)提取

腭裂語(yǔ)音高鼻音特征參數(shù)的提取是將不同高鼻音程度的腭裂語(yǔ)音特征信息提取出來(lái)，為等級(jí)自動(dòng)識(shí)別系統(tǒng)提供級(jí)別特征相對(duì)穩(wěn)定的識(shí)別參數(shù)。其作為腭裂語(yǔ)音高鼻音等級(jí)自動(dòng)識(shí)系統(tǒng)中最重要的一環(huán)，提取參數(shù)的優(yōu)劣很大程度上決定了系統(tǒng)識(shí)別率的高低。本文高鼻音特征參數(shù)分別是基于語(yǔ)音數(shù)學(xué)模型的參數(shù)。

2.2.1 基于激勵(lì)模型的特征參數(shù)

本文針對(duì)語(yǔ)音信號(hào)的激勵(lì)模型，提取了基音頻率作為高鼻音特征參數(shù)?；纛l率的檢測(cè)使用的是倒譜法。首先，對(duì)分幀后的腭裂語(yǔ)音信號(hào)進(jìn)行線性預(yù)測(cè)分析，得到線性預(yù)測(cè)系數(shù)ai，并將ai構(gòu)成逆濾波器A（z）；然后由逆濾波器對(duì)原分幀語(yǔ)音信號(hào)譜特征進(jìn)行處理，便得到預(yù)測(cè)余量信號(hào)ε（n）；再對(duì)預(yù)測(cè)余量信號(hào)進(jìn)行DFT 變換、取對(duì)數(shù)，并將高頻分量置為零；最后進(jìn)行IDFT 變換，得到原信號(hào)的倒譜。即根據(jù)倒譜中的基音信息檢測(cè)出基音頻率。

該算法具有較強(qiáng)的魯棒性圖3 為成人 （Female）不同高鼻音等級(jí)腭裂患者同一語(yǔ)音段 “吃蛋糕”的基音頻率圖。

2.2.2 基于聲道模型的特征參數(shù)

本文針對(duì)語(yǔ)音信號(hào)的激勵(lì)模型，采用LPC 線性預(yù)測(cè)法提取共振峰，作為高鼻音特征參數(shù)，具體步驟：

（1）對(duì)原始信號(hào)進(jìn)行加窗分幀，幀長(zhǎng)為20ms，幀移為10ms。再對(duì)分幀后的語(yǔ)音信號(hào)進(jìn)行重采樣，減小采樣率，方便對(duì)信號(hào)的后期處理。

圖3 不同高鼻音等級(jí)基音頻率

（2）通過(guò)對(duì)預(yù)處理后信號(hào)求取12階線性預(yù)測(cè)濾波器系數(shù)，得到基于聲道模型的全極點(diǎn)濾波器傳遞函數(shù)。其公式如下所示

式中：G——線性系統(tǒng)的增益，ai——線性預(yù)測(cè)濾波器系數(shù)，p 代表線性預(yù)測(cè)濾波器階數(shù)。

（3）采用牛頓－拉夫遜算法對(duì)傳遞函數(shù)的分母多項(xiàng)式求根，得到共振峰的值，如式 （9）所示。再將求得的根從小到大依次排列，依次為F1、F2、F3、F4、F5

式中：θi——極點(diǎn)的相位角，T——采樣周期。

圖4為成人 （Female）不同高鼻音等級(jí)腭裂患者同一語(yǔ)音段 “蹺蹺板”的線性預(yù)測(cè)器頻譜包絡(luò)圖，包絡(luò)中的極值所對(duì)應(yīng)的頻率即為共振峰頻率。

2.2.3 基于綜合聲學(xué)參數(shù)的特征參數(shù)

考慮到腭裂最直接影響的是語(yǔ)音信號(hào)的輻射模型，故本文在輻射模型的基礎(chǔ)上，提取了兩種基于綜合聲學(xué)參數(shù)的特征參數(shù)，即短時(shí)能量和Mel倒頻譜系數(shù)。

（1）短時(shí)能量：短時(shí)能量是語(yǔ)音信號(hào)處理中最基本的短時(shí)參數(shù)，它反映了各個(gè)等級(jí)下的高鼻音語(yǔ)音信號(hào)的時(shí)域特性［10］。本文的具體步驟：

1）通過(guò)預(yù)處理，得到了每20ms一幀的腭裂語(yǔ)音信號(hào)x （n）。

2）利用式 （10）求解每一幀的能量

式中：x（n）——加窗分幀后的語(yǔ)音信號(hào)，w（m＋n）——窗函數(shù)，M——幀長(zhǎng)。

圖4 不同高鼻音等級(jí)共振峰

3）采用補(bǔ)零的方法將不同幀數(shù)的語(yǔ)音進(jìn)行統(tǒng)一幀數(shù)。

最終，得到了統(tǒng)一幀數(shù)的不同等級(jí)的腭裂語(yǔ)音信號(hào)的短時(shí)能量模型參數(shù)。圖5為成人 （Female）不同高鼻音等級(jí)腭裂患者同一段語(yǔ)音 “爬樓梯”的能量圖。

圖5 不同高鼻音等級(jí)能量

（2）Mel倒頻譜系數(shù)

Mel頻率倒譜分析基于人耳的聽覺(jué)特性［11］，在高鼻音等級(jí)識(shí)別中相對(duì)其它特征參數(shù)具有優(yōu)勢(shì)。本文的具體步驟：

1）利用漢明窗對(duì)腭裂語(yǔ)音信號(hào)進(jìn)行分幀，得到分幀后的語(yǔ)音信號(hào)x（n）。

2）將加窗分幀后的語(yǔ)音信號(hào)進(jìn)行離散傅里葉變換。因FFT 變換點(diǎn)數(shù)過(guò)大會(huì)增大運(yùn)算復(fù)雜度，過(guò)小會(huì)降低頻譜分辨率，故本文選取882點(diǎn)。即得到每幀語(yǔ)音信號(hào)的線性頻譜，如下所示

式中：N——FFT 變換點(diǎn)數(shù)。

3）將上面得到的線性頻譜通過(guò)32個(gè)具有三角形濾波特性的Mel頻譜濾波器組，得到Mel頻譜S（l），如下所示

每個(gè)帶通濾波器的傳遞函數(shù)如下所示

其中，l＝1，2，…，L，L 代表濾波器組中濾波器的個(gè)數(shù)。k代表頻譜，kbi代表帶通濾波器的邊界頻譜值。

4）對(duì)濾波器組的輸出依次作對(duì)數(shù)變換、離散余弦變換，最終得到MFCC系數(shù)，如下所示

綜上，便得到了不同等級(jí)的腭裂語(yǔ)音信號(hào)的32階Mel倒頻譜系數(shù)模型參數(shù)。圖6為成人 （Female）不同高鼻音等級(jí)腭裂患者同一段語(yǔ)音 “爸爸”的MFCC參數(shù)圖。

圖6 不同高鼻音等級(jí)MFCC

2.3 模式識(shí)別

K－最近鄰算法是一種經(jīng)典的模式識(shí)別方法，它在解決不平衡數(shù)據(jù)集的分類問(wèn)題方面具有很大優(yōu)勢(shì)［12］。其基本思想是：測(cè)試樣本 （未知樣本）確定時(shí)，在該樣本的模式空間中尋找出最接近本測(cè)試樣本的K 個(gè)訓(xùn)練樣本 （已知樣本），然后通過(guò)對(duì)尋找到的K 個(gè)最近的樣本進(jìn)行統(tǒng)計(jì)和分析，找到數(shù)量最多的類或相似度最高的類，即把測(cè)試樣本判決給相似度最大的類。

腭裂語(yǔ)音高鼻音數(shù)據(jù)集含有M 類 （本文高鼻音等級(jí)只有4類：正常、輕度、中度和重度），每一類分別記作Ci（1≤i≤M），所有樣本都有N 個(gè)屬性。

（1）計(jì)算測(cè)試樣本與所有訓(xùn)練樣本的距離，如下所示

式中：X——測(cè)試樣本，Y——訓(xùn)練樣本。

（2）在訓(xùn)練樣本中尋找K 個(gè)最近鄰樣本。

（3）利用式 （16）分別計(jì)算上面找到的K 個(gè)訓(xùn)練樣本與本測(cè)試樣本的相似程度

（4）計(jì)算各類最近鄰與測(cè)試樣本的總相似度，如下所示

（5）將測(cè)試樣本按式 （18）判決為相似度最大的類

3 實(shí) 驗(yàn)

3.1 腭裂語(yǔ)音數(shù)據(jù)庫(kù)

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于四川大學(xué)華西口腔醫(yī)院唇腭裂外科語(yǔ)音治療中心。該中心具有近十年的唇腭裂序列治療經(jīng)驗(yàn)，收集了大量的腭裂語(yǔ)音數(shù)據(jù)，建立了 “四川大學(xué)華西口腔醫(yī)院語(yǔ)音矯治室普通話構(gòu)音測(cè)量表”，形成了成熟且完善的評(píng)估流程與評(píng)估機(jī)制。根據(jù)統(tǒng)計(jì)學(xué)原理，為確保高鼻音等級(jí)自動(dòng)識(shí)別的準(zhǔn)確性，本次實(shí)驗(yàn)選用數(shù)據(jù)共80個(gè)病例，分別為成人 （male）40 人，高鼻音等級(jí)正常、輕度、中度、重度各10人；成人 （Female）40人，高鼻音等級(jí)正常、輕度、中度、重度各10人。每個(gè)病例使用了測(cè)量表中的前42個(gè)詞匯進(jìn)行了識(shí)別，即21個(gè)輔音每個(gè)有2個(gè)詞匯。

3.2 實(shí)驗(yàn)結(jié)果及分析

分別對(duì)本文的4種腭裂語(yǔ)音高鼻音等級(jí)識(shí)別算法進(jìn)行高鼻音等級(jí)識(shí)別，高鼻音等級(jí)分為正常、輕度、中度、重度4個(gè)等級(jí)。4 種算法腭裂語(yǔ)音高鼻音等級(jí)識(shí)別結(jié)果見表1，識(shí)別率見表2。

表1 4種算法腭裂語(yǔ)音高鼻音等級(jí)識(shí)別結(jié)果

通過(guò)表2可以看出，高鼻音等級(jí)識(shí)別率最高的算法是MFCC，依次是能量、共振峰、基音。成人 （Female）MFCC識(shí)別率比能量高30.86%，比共振峰高37.11%，比基音高46.95%；成人 （male）MFCC 識(shí)別率比能量高26.83%，比共振峰高35.91%，比基音高41.84%?；诰C合聲學(xué)參數(shù)的特征參數(shù)MFCC 和能量的識(shí)別率均比基于激勵(lì)模型和聲道模型的要高。

表2 4種算法高鼻音等級(jí)識(shí)別率

4 結(jié)束語(yǔ)

本文通過(guò)對(duì)語(yǔ)音信號(hào)發(fā)聲模型的分析，提取了基于不同發(fā)聲模型階段的腭裂語(yǔ)音高鼻音特征參數(shù)，利用K－最近鄰算法進(jìn)行高鼻音等級(jí)自動(dòng)識(shí)別。實(shí)驗(yàn)結(jié)果表明，與臨床意義一致，腭裂語(yǔ)音高鼻音主要影響發(fā)聲的輻射模型，故本文最高的識(shí)別參數(shù)是包含輻射模型的短時(shí)能量和MFCC特征參數(shù)?；贛FCC 參數(shù)的高鼻音等級(jí)識(shí)別率高達(dá)87.40%，具有重要的臨床實(shí)用意義。在以后的研究中，還可以針對(duì)多種腭裂語(yǔ)音的病理表現(xiàn)，如鼻漏氣、輔音缺省、代償構(gòu)音等，建立全面的腭裂語(yǔ)音識(shí)別系統(tǒng)，實(shí)現(xiàn)臨床應(yīng)用。

［1］CHEN Renji.The state and consider about speech therapy of cleft palate in China ［J］.International Journal of Oral Medicine，2012，39 （1）：1－6 （in Chinese）. ［陳仁吉.中國(guó)腭裂語(yǔ)音治療的現(xiàn)狀與思考 ［J］.國(guó)際口腔醫(yī)學(xué)雜志，2012，39（1）：1－6.］

［2］Orozco JR，Uribe JA，Vargas JF.Operador de everglade Teager para la detección de hipernasalidad en nios con labio y paladar hendido［J］.Rev Tecno Lógicas，2011 （2）：27－45.

［3］Murillo S，Orozco JR，Vargas JF，et al.Automatic detection of hypernasality in children ［G］.LNCS 6687：Springer Ber－lin/Heidelberg，2011：167－174.

［4］Little M，Costello D，Harries M.Objective dysphonia quantification in vocal fold paralysis：Comparing nonlinear with classical measures［J］.J Voice，2011，25 （1）：21－31.

［5］Arias－Londoo JD，Godino－Llorente JI，Sáenz－Lechón N，et al.Automatic detection of pathological voices using complexity measures，noise parameters and mel－cepstral coefficients ［J］.IEEE Trans Bio－med Eng，2011，58 （2）：370－9.

［6］Stephen A Zahorian， Hu Hongbing.A spectral/temporal method for robust fundamental frequency tracking ［J］.J Acosut Soc Am，2008，123 （6）：4559－4571.

［7］Stephen A Zahorian，Princy Dikshit，Hu Hongbing.A spectral－temporal method for pitch tracking ［C］//International Conference on Spoken Language Processing，2006.

［8］Maier A K，Honig F，Hacker C，et al.Automatic evaluation of characteristic speech disorders in children with cleft lip and palate［C］//9th Annual Conference on Speech Communication and Association，2008：1757－1760.

［9］ZHONG Linpeng.Studies on the speech signals processing of the speaker recognition system ［D］.Chengdu：University of Electronic Science and Technology of China，2013：10－12 （in Chinese）.［鐘林鵬.說(shuō)話人識(shí)別系統(tǒng)中的語(yǔ)音信號(hào)處理技術(shù)研究 ［D］.成都：電子科技大學(xué)，2013：10－12.］

［10］LIU Qi.Analysis of short－time energy and amplitude of audio signal［J］.Network Security，2011 （9）：78－79 （in Chinese）.［劉琦.語(yǔ)音信號(hào)短時(shí)能量及短時(shí)幅值對(duì)比分析 ［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2011 （9）：78－79.］

［11］LI Yuding.Discussion for Mel cepstrum coefficient of speech signal feature extraction algorithm ［J］.Journal of Higher Correspondence Education，2012，25 （4）：78－80 （in Chinese）.［李玉鼎.語(yǔ)音信號(hào)特征提取中Mel倒譜系MFCC算法的討論 ［J］.高等函授學(xué)報(bào)，2012，25 （4）：78－80.］

［12］Gautam Bhattacharya，Koushik Ghosh，Ananda S Chowdhury.An affinity－based new local distance function and similarity measure for KNN algorithm ［J］.Pattern Recognition Letters，2012，33 （3）：356－363.