程 振，蔣 作，潘文林，馬孟星

(1.云南民族大學 電氣信息工程學院,云南 昆明 650500;2.云南民族大學 數(shù)學與計算機科學學院,云南 昆明 650500)

口吃是一種交流障礙，世界衛(wèi)生組織將其定義為：“一種言語節(jié)奏的紊亂，即口吃者因為不自主的聲音重復、延長或中斷，無法準確表達自己所想表達的內容”.口吃主要表現(xiàn)在說話過程中句子開頭的發(fā)音困難，患者說話節(jié)律異常，表達不暢，整個過程中反復停頓.世界上約有1%的人受口吃困擾，給患者在工作和社交造成極大不便.口吃在2.5～6歲之間的兒童發(fā)病率高達5%，其中20%的兒童口吃患者，因沒有被正確對待和治療，會逐步發(fā)展為成年階段的口吃，最終成為終生口吃.因此，在兒童早期發(fā)現(xiàn)并解決語言障礙問題則至關重要.目前臨床醫(yī)學和心理學對兒童口吃做了大量的研究，其工作集中在兒童患者口吃的病因、病理機制、心理疏導、口吃矯正方法等方面.

然而在自然語言處理領域，針對兒童口吃語音識別研究及相應語料資源的構建較少.為解決稀缺口吃語料庫的問題，文中對21名5～8歲的兒童進行了語音采集，再使用語音合成技術將該數(shù)據(jù)集合成兒童口吃語料庫，并對該語料庫進行標注.然后基于語料庫，使用ResNet模型識別口吃語段，并對識別結果進行分析.

1 相關工作

醫(yī)學領域對于兒童口吃的理論研究十分深入，為自然語言處理的領域奠定了基礎，但是兒童口吃語料資源的匱乏限制了兒童口吃類型識別的研究.因此，國內外研究者對口吃語音語料庫的構建和口吃語音識別展開了相應的研究.

1.1 口吃語料庫構建研究現(xiàn)狀

1995年，Howell等[1]創(chuàng)新地開啟口吃自動識別研究，并于2009年創(chuàng)建了倫敦大學學院口吃演講檔案—UCLASS.UCLASS包含139名參與者的音頻樣本，參與者是患有不同嚴重程度的口吃患者，年齡在8到18歲之間.目前大多數(shù)的口吃研究都圍繞該語料庫展開[2]，但因其標注只包含采集時的地點、性別等信息，未對語音內口吃發(fā)生的時間和類型進行標注，對口吃類型的檢測效果甚微.最近, Kourkounakis Tedd等[3]在2020年創(chuàng)建了LibriStutter語料庫，該語料庫是由加拿大女王大學的AIIM實驗室創(chuàng)建，并對該語料庫進行了口吃類型的標注和相應的識別研究.

針對漢語口吃語料庫的工作較少，F(xiàn)ang[4]使用了由天津醫(yī)科大學提供的50個口吃患者的400段口吃語音作為研究數(shù)據(jù).Zhang等[5]采集了由北京林教授言語訓練中心的59名口吃患者的錄音作為研究數(shù)據(jù).由于以上的口吃研究語料不針對兒童口吃研究，不能直接用于兒童口吃識別工作，因此文中將構建一個基于兒童語音的口吃語料庫.

1.2 口吃識別研究現(xiàn)狀

早期的研究中，研究者們集中在區(qū)分口吃的可行性上，對一組特定的口吃詞進行訓練和測試.Howell等[6]第一次嘗試使用一組預定的單詞訓練人工神經(jīng)網(wǎng)絡定位口吃，從這些數(shù)據(jù)中提取音頻的自相關特征、光譜信息和包絡參數(shù)，每一個都被用作一個完全連接的人工神經(jīng)網(wǎng)絡(ANN)的輸入.結果表明該模型在嚴重口吃下的分類效果最好，最大檢測率為82%.Ravikuma等[7]使用了多種音節(jié)重復分類器，包括隱馬爾可夫模型(HMM)和使用梅爾頻率倒序系數(shù)(MFCC)特征的支持向量機(SVM)[8].在使用支持向量機對15名參與者進行口吃類型分類時獲得了最佳結果，準確率達到94.35%.在中國口吃檢測研究中，Zhang等[9]通過建立HMM的發(fā)音質量評估框架，并基于改進的算法使重復性口吃的檢測錯誤率降低18%.在Chee[10]發(fā)表的口吃識別研究綜述中表明，限于當時技術條件和算力的匱乏，HMM在口吃識別研究領域表現(xiàn)最佳.

近年，隨著計算機算力的提升，自動語音識別(ASR)和自然語言處理(NLP)等深度學習技術的發(fā)展，深度學習在口吃分類和識別方面效果顯著，逐漸成為口吃研究者采用的主流手段.其中Heeman[11]將語言病理學家的注釋與對應詞合并，將基線提升了7.5%.Kourkounakis等[3]在2020年使用的FluentNet對LibriStutter語料庫的檢測準確率達到了86.7%，在多類型口吃檢測中達到最優(yōu).

傳統(tǒng)的語音識別需要提取MFCC等特征信息訓練聲學模型，然后根據(jù)語言中詞與詞的關系訓練語言模型，保證得出正確語法的句子.但由于口吃語音的特殊性和受計算機視覺圖像識別的啟發(fā)，本文將只關注聲學模型上的特征，將語音轉換成語譜圖，使用ResNet模型對語譜特征提取并識別.

2 兒童口吃語料庫構建

本文首先對兒童語音進行實地采集，然后采用語音合成技術生成口吃類型語音，再將其隨機填充到采集的兒童語音中，模擬真實口吃語音，最后對構建口吃語音及真實口吃語音的語譜圖進行相似度分析.

2.1 語音采集

本文研究所用語料是與書丸子教育有限公司合作，對21名幼兒園兒童進行語音采集所得.每名兒童被要求朗讀一段幼兒園教材的文章，語音以 16 kHz 采樣率、16 bit 量化的wav格式保存.

2.2 語料構建

本文構建的兒童口吃語料庫是在正常兒童語音的基礎上進行合成口吃語音類型的填充，填充類型包括重復音、延長音和感嘆詞.其中語音的重復不僅是狹義上的語音重復即快速重復某一部分，而是廣義上的語音重復，即可以將語音進行重復再細分[12]，具體的細分規(guī)則為[13]：音節(jié)重復(part-word repetition,PW)、字的重復(word repetition,WR)、短語重復(phrase repetition,PH).表1總結了語料庫的數(shù)據(jù)類型，并給出每個類型的例子.

表1 數(shù)據(jù)類型

本文通過對所有說話者的音頻進行上述口吃類型的生成，對于給定的音頻文件，在每4秒的語音窗口中隨機插入一種口吃類型，并進行相應的標注.兒童口吃語料庫具體構建方法如下：

1)音節(jié)重復的構建：實驗將樣本中隨機挑選出的一個字的前一小部分重復1～3次.據(jù)VAN BORSEL J[14]研究表明音節(jié)的重復很少出現(xiàn)在詞的結尾，為保持聽起來自然，每個重復聲音之間會隨機添加100～300 ms 的空隙.

2)聲音拖長的構建：將被隨機選中的字的后20%拉長5倍.由于將時間拉伸應用于音頻會導致音高下降，因此需移動音高來重新調整，使其與原始音頻保持一致.

3)感嘆詞的構建：其與上述情況不同，它需要添加原始音頻中沒有的填充詞(例如：“嗯”，“啊”)，因此不能從現(xiàn)有的語音中產(chǎn)生.本文將從收集的多個常用填充詞樣本中分離出單個感嘆詞并進行保存，從而形成一個感嘆詞庫.為模擬感嘆詞類型的口吃，實驗從此庫中隨機選取感嘆詞插入語音中.同時為使語音聽起來更加自然，在感嘆詞后再加入一個短暫的間隙；最后使用與拖長音相同的調整音高方法匹配感嘆詞和原始音頻的音高.

為實現(xiàn)模擬自然口吃的最優(yōu)效果，本文通過上述步驟確保每種口吃類型被安插于語音中，并對每個生成的語音進行標注，使每個音頻文件都有一個相應的CSV文件記錄該音頻的標注信息，最終獲得具有125段語音的兒童口吃語料庫.圖1并排顯示了LibriStutter語料庫和構建的兒童口吃語料庫相同口吃類型的語譜圖，為體現(xiàn)兩者類型相似度，本文隨機各抽取100個生成的樣本并計算對應語譜圖的感知哈希相似度及漢明距離[15]的平均值，如表2所示.

圖1 語譜圖的對比

表2 LibriStutter和兒童口吃語料庫的感知哈希相似度及漢明距離的平均值

3 實驗

基于LibriStutter語料庫和構建的兒童口吃語料庫，本文將對口吃的3種類型：重復(R)、拖長(P)、感嘆詞(I)和正常語音(N)進行識別.為完成對口吃的分類，首先將音頻轉換生成語譜圖，然后將其輸入ResNet模型中，最后實現(xiàn)口吃識別.流程如圖2所示.

圖2 口吃識別流程圖

3.1 任務定義以及數(shù)據(jù)劃分

本文將兒童口吃的識別任務建模為識別各類口吃的任務.輸入語譜圖數(shù)據(jù)M={m1,m2,…,mn},則模型需預測對應的標簽N={n1,n2,…,nn}，其中ni∈{RPIN}.R代表對應口吃的重復段，P代表口吃的延長段，I代表口吃的感嘆詞，N代表正常語音.

因為聲音是時變的短時平穩(wěn)信號，所以可以對語音信號進行連續(xù)的短時傅里葉變換，將語音波形信號轉換成語譜圖，如圖3所示.標注F-5-003_R含義為第5個女生(female)的第3段音頻中的重復類(R)口吃，其中橫軸表示時間，縱軸表示頻率，顏色的深淺代表能量的大小.

圖3 F-5-003_R語譜圖示例

為訓練此次實驗的模型，需對語音進行分段處理，如若將整段語音直接進行語譜圖變化，將整段語音映射到固定大小語譜圖后，每個詞對應的特征分辨率將非常小，又因口吃持續(xù)時間不定，據(jù)統(tǒng)計一個詞的發(fā)聲時長約為 400 ms，對語音段經(jīng)過 0.7 s、1 s、1.5 s和 2 s 等不同時長的切割嘗試，最終確定2秒的段長最為適合，這樣的時間間隔中既會包括口吃也會有正常語音，又不會因為時間過長而導致特征失真.將語音按時間剪切成相應的語音段，最終剪切出LibriStutter語料庫中的口吃語音段 8 838 個，兒童口吃語料庫中的語音段879個，共計 9 717 個2秒的語音段.最終將裁剪后的LibriStutter語料庫和兒童口吃語料庫的語音段分別進行標注并導出，各選取其中的60%作為訓練集，20%作為開發(fā)集，20%作為測試集.口吃語音及標簽的對應關系如圖4所示.

注：聲音重復(黃色)，延長音(綠色)，感嘆詞(紫色)

3.2 模型設計

本實驗采用ResNet模型[16]對語譜圖進行特征提取，其模型由一系列殘差塊組成，如圖5(a)所示，每個殘差塊可由(式1)表示為：

xl+1=h(xl)+F(xl,Wl).

(1)

表3 網(wǎng)絡模型參數(shù)表

圖5 殘差塊結構及殘差網(wǎng)絡結構圖

(2)

當數(shù)據(jù)進行反向傳播時，使用優(yōu)化函數(shù)為隨機梯度下降法(SGD)，其中梯度更新步驟如(式3)所示：

(3)

其中，J(w)是代價函數(shù)，N是樣本個數(shù)，x(i)是第i個樣本，y(i)是x(i)相對應的目標，α是學習率.

3.3 驗結果與分析

本文實驗均基于TensorFlow1.14框架用Python語言實現(xiàn)，實驗環(huán)境：16 GB 內存的Windows10操作系統(tǒng)；CPU 為Intel(R)Core(TM)i3-4160 CPU @ 3.60 GHz；GPU為 8 GB 顯存的NVIDIA GeForce GTX 1070 Ti.

訓練前，使用PIL庫的Image.open函數(shù)將圖片讀取并resize成100×100×3的尺寸大小，再將圖片轉換成計算機便于讀取的二進制npy文件.訓練過程中，設置模型的參數(shù)為：批次數(shù)32，輪次100；選擇SGD作為參數(shù)更新方法，其中學習率 為2×10-3，衰減率為5×10-3，動量為0.9.經(jīng)過100次網(wǎng)絡迭代后模型趨于收斂.

由于使用神經(jīng)網(wǎng)絡模型識別口吃的研究工作相對較少，本文對神經(jīng)網(wǎng)絡模型的構建進行探索，本次實驗分別使用AlexNet、VGG-16 以及ResNet模型，為體現(xiàn)實驗準確性和對比的目的實驗模型都使用上述相同的超參數(shù)，對兒童口吃語料庫和LibriStutter兩個語料庫分別進行實驗，其結果如表4所示.根據(jù)表中的實驗結果可得，ResNet最終測試準確率穩(wěn)定在93.07%和91.19%，表現(xiàn)均優(yōu)于其他2種模型，檢測準確率比FluentNet提升4.49%.

表4 口吃分類平均準確率

圖6為ResNet在兒童口吃語料庫和LibriStutter兩個語料庫上的訓練情況，圖中兒童口吃語料庫用橙色實線表示，LibriStutter語料庫用藍色實線表示.從圖6(a)中可發(fā)現(xiàn)，在訓練初期，交叉熵驗證損失值較高，且存在明顯的震蕩，但隨著迭代次數(shù)的增加，2個語料庫的損失值均逐漸收斂.從圖6(b)中可得，在初期的迭代過程中仍存在震蕩，但分別在第25次迭代和第10次迭代之后，兒童口吃語料庫和LibriStutter庫兩個語料上的交叉熵驗證準確率趨于穩(wěn)定.從圖中訓練情況可知，ResNet網(wǎng)絡在兒童口吃類型識別中能夠較好地提取語譜圖特征.

圖6 基于ResNet模型的口吃語譜圖交叉驗證準確率及損失變化折線圖

4 結語

本文為解決國內可用口吃語料庫稀缺和輔助口吃類型識別問題，構建了兒童口吃語料庫.使用該語料庫和LibriStutter庫的語音作為實驗數(shù)據(jù)，以 2 s 為間隔切割語音并轉為語譜圖，對卷積神經(jīng)網(wǎng)絡識別口吃類型進行探究.實驗結果表明，隨著卷積神經(jīng)網(wǎng)絡深度的增加，模型能夠有效的獲取語譜圖中的特征信息，在增加網(wǎng)絡深度時使用ResNet模型殘差結構的捷徑反饋方式不僅能有效防止梯度消失和梯度爆炸的問題，還能夠提高網(wǎng)絡識別精度，在中文口吃數(shù)據(jù)集上的檢測準確率達到了93.07%，在LibriStutter數(shù)據(jù)集上檢測準確率比FluentNet提升了4.49%.在接下來的工作中，將對數(shù)據(jù)資源做進一步的擴充，以保證模型的穩(wěn)健性和可靠性，并基于該資源對兒童口吃識別進行深入研究.