陳 彧，黃金峰，陳彥婷

（1.天津理工大學(xué)a.聾人工學(xué)院，b.馬克思主義學(xué)院，天津 300384；2.筑波大學(xué) 人類綜合科學(xué)學(xué)術(shù)院，日本茨城縣 305-8577）

病理語音是指罹患各類聽力言語等相關(guān)疾病的 人群因自身發(fā)音障礙而產(chǎn)出的異常語音[1]。其中，耳聾特別是學(xué)語前耳聾（語前聾）是造成病理語音現(xiàn)象的主要疾病之一。由于耳聾發(fā)生在語言能力形成之前，語前聾人的聽皮質(zhì)無法獲取聽覺刺激并形成刺激與意義之間的聯(lián)系，致使這一群體極易在實(shí)現(xiàn)聽力通道重構(gòu)、接受言語康復(fù)后仍然面臨嚴(yán)重的病理語音問題，從而對其人際交往、接受教育、融入社會等帶來嚴(yán)峻地挑戰(zhàn)。

病理語音評測是評估人工助聽、輔聽工具使用和言語康復(fù)訓(xùn)練工作效果的重要方法。目前，病理語音評測主要有兩條路徑，即基于言語治療師聽辯的主觀評估[2-3]和基于語音聲學(xué)測量的客觀評估[4-5]。當(dāng)前，主觀評估主要依靠言語治療師個體性的主觀評測，缺乏多人評測結(jié)果的綜合比對，具有較強(qiáng)的主觀性。而客觀評估雖已在參數(shù)選取和測評方面取得了一定進(jìn)展，但仍缺乏可靠的及將主、客觀評估結(jié)合起來的病理語音評測工具。

鑒于目前國內(nèi)外尚未有針對漢語的病理語音的評估工具，本項(xiàng)目組開發(fā)了一套病理語音規(guī)模主觀評測系統(tǒng)，分別邀請多人使用該系統(tǒng)對一組包括語前聾兒病理語音和健聽兒童正常語音等語音數(shù)據(jù)開展主觀評測，將主觀評測結(jié)果與病理語音的聲學(xué)測量數(shù)據(jù)進(jìn)行比對，以檢驗(yàn)使用該系統(tǒng)的規(guī)模主觀評測結(jié)果的評測效果，為改進(jìn)該系統(tǒng)、并進(jìn)一步設(shè)計(jì)將主、客觀評估結(jié)合起來的評測工具提供思路。

1 病理語音規(guī)模主觀評測系統(tǒng)

在特定語言社團(tuán)中，作為非專家的母語者具有天然的語音質(zhì)量評判能力。因此，在邀請非專家評測者開展發(fā)音質(zhì)量評判時，當(dāng)評判者達(dá)到一定數(shù)量，所做判斷將更為收斂、且評判結(jié)果存在較好的客觀性。

基于這一理念，課題組利用Matlab（版本號：2019a）[6]開發(fā)了病理語音規(guī)模主觀評測系統(tǒng)（speech subjective evaluation system traintng model，SSEST）。其中，該系統(tǒng)使用了Voicebox工具箱進(jìn)行語音信號處理，采用了Guide工具模塊進(jìn)行用于交互的圖形界面設(shè)計(jì)，目前系統(tǒng)版本為2.6，語音主觀評測系統(tǒng)主界面如圖1所示。

圖1 語音主觀評測系統(tǒng)主界面Fig.1 The main interface of subjective assessment system of speech sound

目前，該系統(tǒng)有“評測人信息錄入”、“設(shè)置評測參數(shù)”和“導(dǎo)入訓(xùn)練材料”3個主菜單組成。其中，“評測人信息錄入”菜單用以錄入評測人姓名、年齡和有無病理評測經(jīng)驗(yàn)等背景信息；“設(shè)置評測參數(shù)”用以設(shè)置空白界面顯示時長、評測音播放次數(shù)和提示音等；“導(dǎo)入訓(xùn)練材料”用以導(dǎo)入訓(xùn)練和評測材料的位置索引信息文件，導(dǎo)入該文件后，系統(tǒng)自動對評測語音數(shù)據(jù)進(jìn)行隨機(jī)亂序。依次完成3個菜單的設(shè)置后，系統(tǒng)會自動生成一個評測人數(shù)據(jù)集以記錄評測人的數(shù)據(jù)。評測過程中所有設(shè)置菜單被鎖定，均將無法再行修改并自動進(jìn)入語音主觀評測環(huán)節(jié)。

評測開始后，軟件界面右側(cè)會出現(xiàn)評測開始時間、當(dāng)前評測項(xiàng)目等信息，并提供播放和提交等操作選項(xiàng)；界面左側(cè)上半部分出現(xiàn)待評測項(xiàng)目寬帶語譜圖，用以展示語音的聲學(xué)特征；下半部分則出現(xiàn)評測者在聽辯后所需回答的問題。其中，主要問題包括輸入所聽到的音節(jié)讀音拼寫、給所聽到音節(jié)的聲韻調(diào)分別打分等。聲、韻和調(diào)打分取值范圍從最差至最好依次為1-5分，如“無法分辨”則賦值為0分。在每次評測任務(wù)過程中，評測人都可以通過點(diǎn)擊“再次播放”按鈕來反復(fù)聽辯評測語音，以得到最準(zhǔn)確的評測結(jié)果，提高評測數(shù)據(jù)的準(zhǔn)確性和可靠性。

在評測過程中，評測者可以隨時關(guān)閉系統(tǒng)退出評測，已完成的評測結(jié)果會自動保存在評測人數(shù)據(jù)集中以便再次展開評測。下次評測開始時，評測會自動讀取評測人數(shù)據(jù)集，并從有記錄的最后一條完成評測項(xiàng)目的下一條項(xiàng)目開始。當(dāng)評測完成全部評測項(xiàng)目后，系統(tǒng)會出現(xiàn)評測完成的提示信息。

2 病理語音數(shù)據(jù)的主、客觀評測

2.1 評測材料

評測材料為項(xiàng)目組所構(gòu)建的語前聾兒病理語音數(shù)據(jù)庫中的語音數(shù)據(jù)。該庫收集了天津市殘疾人康復(fù)中心、中國聽力語言康復(fù)研究中心（原中國聾兒康復(fù)研究中心）的28名語前聾兒、語前聾兒年齡為5歲6個月至6歲6個月，接受人工耳蝸植入3年左右、參與言語康復(fù)2年左右，除耳聾外無其他殘疾及認(rèn)知功能缺陷。健聽兒童與語前聾兒匹配，信陽市一所無聽力私立幼兒園的24名健聽兒童的發(fā)音數(shù)據(jù)（無言語疾病及其他認(rèn)知功能缺陷）。在語前聾兒病理語音數(shù)據(jù)庫中，每名兒童各有7 044條發(fā)音數(shù)據(jù)，內(nèi)容為包含漢語普通話全部21個聲母、39個韻母和4個聲調(diào)并兼顧聲韻調(diào)平衡分布的雙音節(jié)詞語。各條發(fā)音數(shù)據(jù)的探測目標(biāo)為前字或后字，探測目標(biāo)之外的另一音節(jié)，則是為照顧兒童語言特點(diǎn)而添加的前后綴成分如“小”、“子”等以增加發(fā)音詞表的自然度。

針對52名兒童的366 288條待評測發(fā)音數(shù)據(jù)，項(xiàng)目組分別開展了主、客觀評測。其中，主觀評測通過將數(shù)據(jù)導(dǎo)入病理語音規(guī)模主觀評測系統(tǒng)開展，客觀評測則通過提取發(fā)音人頂點(diǎn)元音的共振峰參數(shù)進(jìn)行評測。

2.2 主觀評測

主觀評測共招募20名評測人，9男11女，年齡18歲至21歲（Mean=19.42，Std=0.99），均為具有一定評測經(jīng)驗(yàn)的病理語言康復(fù)專業(yè)大學(xué)生，無聽覺和言語障礙史。評測工作在滄州師范學(xué)院滄州市兒童研究所的實(shí)驗(yàn)室中開展，評測人使用相同型號的實(shí)驗(yàn)主機(jī)、耳機(jī)等硬件設(shè)備，使用相同的操作系統(tǒng)環(huán)境和病理語音規(guī)模主觀評測系統(tǒng)版本。評測工作不設(shè)時間限制，評測人根據(jù)各自的節(jié)奏開展評測工作。最終，評測人完成全部評測工作的時間大致在2周至6周之間。

完成主觀評測后，將打分結(jié)果導(dǎo)出評測系統(tǒng)?？紤]到主觀評分中的人際差異，首先將每位評測人的全部評分結(jié)果利用公式（1）將原始評分轉(zhuǎn)換為Z-Score數(shù)據(jù)[7]，其計(jì)算公式為：

式中，x為某評測人就某條發(fā)音數(shù)據(jù)的原始評分，μ為該評測人總體樣本空間的評分均值，σ則為其總體樣本空間的標(biāo)準(zhǔn)差，z為該條發(fā)音數(shù)據(jù)經(jīng)過轉(zhuǎn)換的Z-Score值。

完成數(shù)據(jù)轉(zhuǎn)換后，就各條發(fā)音數(shù)據(jù)求取20名評測人的評測結(jié)果的平均值，得到54名發(fā)音人各7 044條發(fā)音數(shù)據(jù)評分。進(jìn)而就每名發(fā)音人求取全部元音發(fā)音數(shù)據(jù)評分均值A(chǔ)ll，以及各發(fā)音人以頂點(diǎn)元音[a]、[i]、[u]單獨(dú)為韻母音節(jié)的數(shù)據(jù)評分均值Corner，共得到52名發(fā)音人兩組數(shù)據(jù)評分均值的數(shù)據(jù)，主觀評測Z-Score數(shù)據(jù)的描述性統(tǒng)計(jì)結(jié)果，如表1所示。

表1 主觀評測Z-Score數(shù)據(jù)的描述性統(tǒng)計(jì)結(jié)果Tab.1 The descriptive statistical results of Z-Score data of subjective assessment

2.3 客觀評測

元音空間的計(jì)算分析是病理語音客觀評測的常用方法。在某特定語言中，通過測量其元音系統(tǒng)中的頂點(diǎn)元音的前兩個共振峰數(shù)據(jù)，計(jì)算相關(guān)聲學(xué)指標(biāo)，從而達(dá)到客觀評測元音發(fā)音情況的目的。目前，元音空間計(jì)算的聲學(xué)指標(biāo)主要有3個評測參數(shù)，元音空間面積（vowel space area，VSA）、共振峰中心化比率（formant centralization ratio，F(xiàn)CR）和元音發(fā)音指數(shù)（vowel articulation index，VAI）[8]。

利用Praat（版本號：6.1.52）[9]提取語音數(shù)據(jù)中單獨(dú)以頂點(diǎn)元音為[a]、[i]、[u]韻母的元音共振峰數(shù)據(jù)，分別計(jì)算52名發(fā)音人[i]、[a]、[u]的前兩個共振峰均值數(shù)據(jù)F1i、F2i、F1a、F2a、F1u、F2u。進(jìn)而，運(yùn)用公式（2）-（4）分別求取了各發(fā)音人的VSA、FCR和VAI數(shù)據(jù)，所得到的客觀評測參數(shù)的描述性統(tǒng)計(jì)結(jié)果，如表2所示。

表2 客觀評測參數(shù)的描述性統(tǒng)計(jì)結(jié)果Tab.2 The descriptive statistical results of objective evaluation parameters

3 效果驗(yàn)證

為驗(yàn)證評測的客觀性，可以將前文得到的主、客觀評測數(shù)據(jù)結(jié)合起來開展相關(guān)分析。一方面，可以檢測主、客觀評測內(nèi)部各參數(shù)的相關(guān)性；另一方面，可以通過考察主、客觀評測數(shù)據(jù)間的關(guān)聯(lián)，驗(yàn)證規(guī)模主觀評測結(jié)果的客觀性。

將All、Corner、VSA、FCR、VAI數(shù)據(jù)代入R（版本號：4.0.5）環(huán)境[10]，采用Hmisc包[11]計(jì)算各參數(shù)之間的相關(guān)性和顯著水平，得到主、客觀參數(shù)量之間相關(guān)性系數(shù)及顯著性結(jié)果，如表3所示。主、客觀參數(shù)的相關(guān)分析結(jié)果，如圖2所示，則藉由corrplot包[12]實(shí)現(xiàn)。

圖2 主、客觀參數(shù)的相關(guān)分析結(jié)果Fig.2 The correlation analysis results of subjective and objective parameters

由表3和圖2可見，在客觀評測數(shù)據(jù)方面，F(xiàn)CR分別與VSI、VAI存在強(qiáng)負(fù)相關(guān)，VSI與VAI之間存在強(qiáng)正相關(guān)關(guān)系；在主觀評測數(shù)據(jù)方面，All與Corner存在強(qiáng)正相關(guān)關(guān)系；在主、客觀評測數(shù)據(jù)方面，除All與VSA處于邊緣顯著水平（p=0.069）的弱相關(guān)外，其余參數(shù)之間均呈現(xiàn)顯著的中等相關(guān)關(guān)系[13]。對比兩組主觀評測參數(shù)可以發(fā)現(xiàn)，Corner與VSA、VAI、FCR的相關(guān)系數(shù)r的絕對值分別為0.304、0.356、0.383，均大于All與3個客觀參數(shù)間相關(guān)系數(shù)的絕對值，表明Corner與3個客觀參數(shù)間表現(xiàn)出了更強(qiáng)的相關(guān)關(guān)系。

對于上述相關(guān)分析的結(jié)果，可以有以下3點(diǎn)考慮：

1）All與Corner存在強(qiáng)正相關(guān)關(guān)系，說明即使在數(shù)據(jù)規(guī)模較小的情況，頂點(diǎn)元音韻母數(shù)據(jù)評分均值仍然具有良好的代表性和穩(wěn)定性，可以有效地反映全體韻母的主觀評測結(jié)果的全貌。因此，在更大規(guī)模數(shù)據(jù)的情況下，Corner參數(shù)將具有更好的魯棒性，從而替代All參數(shù)，以實(shí)現(xiàn)病理語音快速、準(zhǔn)確的主觀評測的目標(biāo)。

2）3個客觀參數(shù)不僅彼此間存在強(qiáng)相關(guān)性，而且與All相比，三者與Corner參數(shù)也顯示出了更強(qiáng)的相關(guān)性?？紤]到這些元音空間的客觀參數(shù)可以通過映射發(fā)音生理空間邊界來反映語音發(fā)音質(zhì)量[14]，而Corner參數(shù)又可以代表全部元音韻母發(fā)音質(zhì)量的主觀評測結(jié)果，主觀評測結(jié)果和客觀評測結(jié)果之間所存在的一致關(guān)系，一方面顯示出基于非專家評測者的規(guī)?；饔^評測存在較好的客觀性，另一方面也展現(xiàn)出將主、客觀評測參數(shù)結(jié)合起來，開展病理語音自動評測的可能性。

3）All參數(shù)與3個客觀參數(shù)具有一定的相關(guān)性但相關(guān)程度不如Corner參數(shù)的原因可能在于：Corner與客觀參數(shù)都是與頂點(diǎn)元音直接相關(guān)的，而All參數(shù)則反映了全部元音韻母發(fā)音質(zhì)量的主觀評測結(jié)果。一般而言，頂點(diǎn)元音是各種語言元音系統(tǒng)中最先和最易于掌握的元音[15]。因此，在現(xiàn)有的主觀評測結(jié)果數(shù)據(jù)中，以頂點(diǎn)元音單獨(dú)做韻母的主觀評測得分應(yīng)該明顯高于某些韻母特別是復(fù)雜韻母的得分?？赡苷悄切┲饔^評測得分較低的韻母的存在，造成All與基于頂點(diǎn)元音的客觀參數(shù)的相關(guān)關(guān)系不如Corner的結(jié)果。

4 結(jié)論

隨著經(jīng)濟(jì)社會和科學(xué)技術(shù)的快速發(fā)展，病理語音檢測工作日益繁重，開發(fā)和完善針對漢語普通話的病理語音自動評估工具成為當(dāng)前相關(guān)領(lǐng)域的重點(diǎn)工作之一。本文簡要介紹了項(xiàng)目組開發(fā)的一套病理語音規(guī)模主觀評測系統(tǒng)，利用該系統(tǒng)對語前聾兒、健聽兒童等語音數(shù)據(jù)開展主觀評測，根據(jù)評測結(jié)果提取的All和Corner參數(shù)，將其與語音數(shù)據(jù)的客觀評測參數(shù)VSA、VAI、FCR開展了相關(guān)分析，并對相關(guān)分析的結(jié)果進(jìn)行了比對分析。結(jié)果表明，基于非專家評測者的規(guī)模主觀評測具有良好的客觀性，主觀評測參數(shù)特別是Corner參數(shù)具備作為病理語音規(guī)模主觀評測系統(tǒng)參數(shù)的潛力，并有可能與客觀參數(shù)一起，成為病理語音自動評測的指標(biāo)之一。這一結(jié)果，為進(jìn)一步改進(jìn)病理語音規(guī)模主觀評測系統(tǒng)、并進(jìn)而設(shè)計(jì)將主、客觀評估結(jié)合起來的評測工具提供了研究思路。