孫陳影， 沈希忠

(上海應(yīng)用技術(shù)大學(xué) 電氣與電子工程學(xué)院， 上海 201418)

快速的城市化對(duì)人類(lèi)社會(huì)提出了嚴(yán)峻的挑戰(zhàn)，如何建設(shè)高宜居和可持續(xù)發(fā)展的城市是一個(gè)值得重視的問(wèn)題。物聯(lián)網(wǎng)技術(shù)的進(jìn)步使我們能夠收集大量與環(huán)境和居民活動(dòng)有關(guān)的城市聲學(xué)數(shù)據(jù)，如兒童游戲，道路交通，甚至開(kāi)槍射擊等。通過(guò)研究動(dòng)態(tài)聲音視角的內(nèi)容，可以更好地了解影響公民日常生活的聲音問(wèn)題，從而為提高城市生活質(zhì)量奠定基礎(chǔ)[1-2]。

目前，隱馬爾可夫模型(hidden markov model, HMM)和人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)是語(yǔ)音識(shí)別的常用方法，但是在優(yōu)化模型搭建、提高識(shí)別率等方面有較大的局限性[3-4]。近年來(lái)，隨著循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)的出現(xiàn)和進(jìn)一步的研究，其在語(yǔ)音識(shí)別領(lǐng)域的應(yīng)用越來(lái)越廣泛[5-7]。例如各種識(shí)別、機(jī)器翻譯等領(lǐng)域, 還被用于各類(lèi)時(shí)間序列預(yù)報(bào)或與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合處理計(jì)算機(jī)視覺(jué)問(wèn)題。然而，RNN自身存在的梯度消失的問(wèn)題尚未得到很好地解決。文獻(xiàn)[8]中描述了RNN的形式，給出了相應(yīng)的參數(shù)估計(jì)方法，分析了其在語(yǔ)音識(shí)別方面的優(yōu)缺點(diǎn)；文獻(xiàn)[9]中研究了RNN在人類(lèi)情感分析中的識(shí)別能力，實(shí)驗(yàn)結(jié)果表明，該方法在性別獨(dú)立實(shí)驗(yàn)中取得了92%的情感識(shí)別準(zhǔn)確率，優(yōu)于以往使用相同實(shí)驗(yàn)數(shù)據(jù)的方法；文獻(xiàn)[10]中提出了基于大詞匯量會(huì)話電話語(yǔ)音識(shí)別的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory, LSTM)體系結(jié)構(gòu)，證明了LSTM在語(yǔ)音識(shí)別任務(wù)的聲學(xué)建模中有很好的表現(xiàn)。

本文采用Mel頻率倒譜系數(shù)(Mel-frequency cepstral coefficients, MFCC)對(duì)城市聲音數(shù)據(jù)進(jìn)行特征提取。為了進(jìn)一步提高語(yǔ)音識(shí)別的準(zhǔn)確率，同時(shí)解決RNN梯度消失的問(wèn)題，本文搭建LSTM神經(jīng)網(wǎng)絡(luò)和門(mén)控循環(huán)單元(gated recurrent unit, GRU)神經(jīng)網(wǎng)絡(luò)并對(duì)其組成的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。通過(guò)實(shí)驗(yàn)分析，與基本的RNN網(wǎng)絡(luò)相比，降低了損耗，提高了語(yǔ)音識(shí)別的準(zhǔn)確率。

1 特征提取

20世紀(jì)80年代，Davis等[11]首次提出了MFCC，MFCC參數(shù)是從生物學(xué)角度模擬人耳對(duì)語(yǔ)音的感知而提出的，受噪聲等干擾信息的影響小，同時(shí)識(shí)別率較高，是被用的最多的特征參數(shù)。通過(guò)人耳對(duì)語(yǔ)音的感知性能的大量研究顯示，人耳的感知能力與頻率是非線性的關(guān)系，在頻率小于1 kHz時(shí)，人耳聽(tīng)到的頻率與數(shù)學(xué)上的頻率是同步增減的，而當(dāng)頻率大于1 kHz時(shí)，人耳聽(tīng)到的頻率與數(shù)學(xué)上的頻率不存在同比例增減的關(guān)系，而是對(duì)數(shù)關(guān)系，將人耳感受到的頻率定義為Mel頻率。Mel頻率與線性頻率的轉(zhuǎn)換關(guān)系式為

(1)

Mel頻率與數(shù)學(xué)上的頻率關(guān)系如圖1所示。

圖1 Mel頻率與線性頻率的關(guān)系圖Fig.1 Diagram of Mel frequency and linear frequency

MFCC參數(shù)的提取流程如圖2所示，提取步驟具體如下：①端點(diǎn)檢測(cè)，目的是從語(yǔ)音信號(hào)中確定說(shuō)話人的開(kāi)始和結(jié)束位置，去掉完全靜音的部分，留下真正有效的說(shuō)話人語(yǔ)音信息；②預(yù)處理，預(yù)處理細(xì)分預(yù)加重、分幀和加窗；③快速傅里葉變換，通過(guò)FFT將處理域從時(shí)域轉(zhuǎn)換到頻域；④計(jì)算譜線能量，對(duì)每一幀信號(hào)計(jì)算譜線能量；⑤進(jìn)行Mel濾波器組濾波，Mel濾波器組結(jié)構(gòu)如圖3所示；⑥離散余弦變換，先對(duì)上一步的Mel濾波器中的輸出結(jié)果取對(duì)數(shù)，然后再做離散余弦變換，使每一維信號(hào)都保持自己的獨(dú)立性，同時(shí)降維，得到Mel頻率的倒譜系數(shù)；⑦求取差分參數(shù)，語(yǔ)音信號(hào)一部分是時(shí)不變的就是靜態(tài)的，另一部分是時(shí)變的就是動(dòng)態(tài)的。把動(dòng)、靜態(tài)特征結(jié)合起來(lái)能有效提高系統(tǒng)的識(shí)別性能。

圖2 MFCC參數(shù)提取流程圖Fig.2 Flow chart of MFCC parameters extraction

圖3 Mel濾波器組結(jié)構(gòu)圖Fig.3 Structure of Mel filter group

維數(shù)選取根據(jù)實(shí)驗(yàn)網(wǎng)絡(luò)和降維的需要，本文采用的MFCC參數(shù)的維數(shù)是40維，13維MFCC系數(shù)、13維一階差分參數(shù)、13維二階差分參數(shù)和幀能量。本文未涉及與其他特征提取方法的比較。

2 基于RNN的改進(jìn)

RNN是一種以序列數(shù)據(jù)為輸入，在演進(jìn)方向進(jìn)行循環(huán)，全部節(jié)點(diǎn)按鏈?zhǔn)竭B接組成閉合回路的神經(jīng)網(wǎng)絡(luò)。RNN通過(guò)每層之間的節(jié)點(diǎn)連接來(lái)記憶之前的信息，然后利用這些信息影響后續(xù)節(jié)點(diǎn)的輸出。RNN可充分利用序列數(shù)據(jù)中的語(yǔ)義信息和時(shí)序信息，圖4所示為RNN的簡(jiǎn)化結(jié)構(gòu)圖。

循環(huán)單元的狀態(tài)引入了其上一個(gè)時(shí)間步的真實(shí)值，使用基于上下文連接的RNN由于訓(xùn)練時(shí)將學(xué)習(xí)樣本的真實(shí)值作為輸入，因此是一個(gè)可以逼近學(xué)習(xí)目標(biāo)任意形式概率分布的生成模型。循環(huán)體狀態(tài)與最終輸出的維度通常不同，RNN需要一個(gè)全連接神經(jīng)網(wǎng)絡(luò)來(lái)完成將當(dāng)前時(shí)刻的狀態(tài)轉(zhuǎn)化為最終的輸出。RNN在每個(gè)時(shí)刻都有一個(gè)輸出， 因此RNN的總損失是所有時(shí)刻(或部分時(shí)刻)上的損失函數(shù)的總和。

圖4 基本RNN的簡(jiǎn)化結(jié)構(gòu)圖Fig.4 Simplified structure of the basic RNN

從理論上講RNN可以很好地解決序列數(shù)據(jù)的訓(xùn)練問(wèn)題，但是同時(shí)又存在梯度消失的問(wèn)題，尤其是當(dāng)序列很長(zhǎng)的時(shí)候。所以，基本RNN模型通常不能直接用于應(yīng)用領(lǐng)域。在語(yǔ)音識(shí)別，手寫(xiě)識(shí)別以及機(jī)器翻譯等NLP領(lǐng)域應(yīng)用比較廣泛的是LSTM模型，基于RNN模型的一個(gè)特例。

2.1 LSTM

RNN的最重要目的是學(xué)習(xí)長(zhǎng)期的依賴(lài)性，但是理論和實(shí)踐表明很難學(xué)習(xí)并長(zhǎng)期保存信息。為了解決這個(gè)問(wèn)題，使用了一種特殊隱式單元LSTM[12](見(jiàn)圖5)。

圖5 LSTM的簡(jiǎn)化結(jié)構(gòu)圖Fig.5 Simplified structure of LSTM

由圖5可見(jiàn)，LSTM比基本RNN復(fù)雜很多。序列索引位置t時(shí)刻，LSTM和RNN一樣有隱藏狀態(tài)h(t)，但是LSTM多了一個(gè)隱藏狀態(tài)，稱(chēng)為細(xì)胞狀態(tài)(cell state)，記為C(t)。LSTM中還有門(mén)控結(jié)構(gòu)(gate)，一般包括輸入門(mén)、遺忘門(mén)和輸出門(mén)3種。則在每個(gè)序列索引位置的過(guò)程為：

(1) 遺忘門(mén)是以一定的概率控制是否忘記上一層的隱藏細(xì)胞狀態(tài)，其公式為

f(t)=σ(Wfh(t-1)+Ufx(t)+bf)

(2)

(2) 輸入門(mén)處理當(dāng)前序列位置的輸入，由兩部分組成，兩者的結(jié)果相乘來(lái)更新細(xì)胞狀態(tài)。

i(t)=σ(Wih(t-1)+Uix(t)+bi)

(3)

a(t)=tanh(Wah(t-1)+Uax(t)+ba)

(4)

(3) 細(xì)胞狀態(tài)C(t)取決于前面的遺忘門(mén)和輸入門(mén)的結(jié)果，即

C(t)=C(t-1)⊙f(t)+i(t)⊙a(bǔ)(t)

(5)

(4) 更新輸出門(mén)輸出：

(5) 更新當(dāng)前序列索引預(yù)測(cè)輸出：

(8)

LSTM作為RNN的特例，結(jié)構(gòu)較為復(fù)雜。通過(guò)LSTM可以有效避免RNN的梯度消失問(wèn)題，但是LSTM的歷經(jīng)時(shí)間會(huì)很長(zhǎng)，不夠高效，而且對(duì)于小型數(shù)據(jù)集來(lái)說(shuō)結(jié)果不夠理想。

2.2 GRU神經(jīng)網(wǎng)絡(luò)

LSTM的提出是為了克服RNN無(wú)法很好地處理遠(yuǎn)距離依賴(lài)地問(wèn)題，GRU是LSTM的一個(gè)變體。GRU保持了LSTM的效果同時(shí)又使結(jié)構(gòu)更加簡(jiǎn)單。圖6所示為GRU的簡(jiǎn)化結(jié)構(gòu)，只有2個(gè)門(mén)，重置門(mén)和更新門(mén)，即圖中的r(t)和z(t)。

圖6 GRU的簡(jiǎn)化結(jié)構(gòu)圖Fig.6 Simplified structure of GRU

圖7 城市聲音數(shù)據(jù)集中聲音類(lèi)的分類(lèi)Fig.7 Classification of sound classes in urban sound data sets

在每個(gè)序列索引位置的過(guò)程為：

(1) 重置門(mén)以一定的概率控制前一時(shí)刻信息，有利于得到時(shí)序數(shù)據(jù)中的短期依賴(lài)關(guān)系，即

r(t)=σ(Wr·[h(t-1),x(t)])

(9)

(2) 更新門(mén)控制前一時(shí)刻的狀態(tài)信息被代入到當(dāng)前狀態(tài)中，有助于得到時(shí)序數(shù)據(jù)中的長(zhǎng)期依賴(lài)關(guān)系

z(t)=σ(Wz·[h(t-1),x(t)])

(10)

(3) 候選隱含狀態(tài)用重置門(mén)來(lái)控制隱含狀態(tài)。重置門(mén)決定了是否丟棄與后來(lái)無(wú)關(guān)的過(guò)去隱含狀態(tài)，即重置門(mén)控制過(guò)去有多少信息被遺忘

(11)

(4) 隱含狀態(tài)h(t)使用更新門(mén)z(t)來(lái)對(duì)上一個(gè)隱含狀態(tài)h(t-1)和候選隱含狀態(tài)進(jìn)行更新。更新門(mén)決定過(guò)去的隱含狀態(tài)在當(dāng)前時(shí)刻的重要性?？梢越鉀QRNN的梯度衰減問(wèn)題，并且更好地得到時(shí)序數(shù)據(jù)中間隔較大的依賴(lài)關(guān)系，即

(12)

(5) 更新當(dāng)前序列索引預(yù)測(cè)輸出：

(13)

GRU通過(guò)分析LSTM架構(gòu)中哪些部分是真正需要的而進(jìn)行改進(jìn)，將遺忘門(mén)和輸入門(mén)合成了一個(gè)更新門(mén)。同樣還混合了細(xì)胞狀態(tài)和隱藏狀態(tài)。最終的模型比標(biāo)準(zhǔn)的 LSTM 模型要簡(jiǎn)單。理論上與LSTM相似，可以達(dá)到和LSTM相同的效果甚至更好。在實(shí)驗(yàn)的過(guò)程中使用了GRU深度神經(jīng)網(wǎng)絡(luò)，將結(jié)果與前2種作對(duì)比。

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

為了驗(yàn)證所提出的方法，本文使用UrbanSound8K[13]數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，該數(shù)據(jù)集包含10個(gè)類(lèi)別的城市聲音和 8 732 個(gè)真實(shí)世界的聲音。10種聲音類(lèi)別的簡(jiǎn)要分類(lèi)如圖7所示，分別為空調(diào)、汽車(chē)?yán)取和螒?、狗吠、鉆探、發(fā)動(dòng)機(jī)、槍聲、重錘、警笛和街頭音樂(lè)?？梢?jiàn)，該數(shù)據(jù)集包含了典型的城市噪聲和與城市生活高度相關(guān)的突發(fā)事件聲音，因此該數(shù)據(jù)集適合于測(cè)試城市語(yǔ)音分類(lèi)算法。此外，還給出了如圖8所示表示事件類(lèi)的樣本數(shù)量。該數(shù)據(jù)集還提供了10個(gè)交叉驗(yàn)證集，確保訓(xùn)練和測(cè)試分割之間沒(méi)有重疊。

圖8 每種聲音類(lèi)的樣本數(shù)量Fig.8 Sample size per sound class

3.2 網(wǎng)絡(luò)搭建

循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要在結(jié)構(gòu)(輸入數(shù)據(jù)的格式、層的數(shù)量和大小)和學(xué)習(xí)超參數(shù)(學(xué)習(xí)速率、動(dòng)量、批處理大小、退出概率、應(yīng)用正則化的數(shù)量)2個(gè)方面做出許多決策。由于訓(xùn)練一個(gè)完整的模型需要時(shí)間，因此對(duì)所有可能的組合進(jìn)行詳細(xì)的評(píng)估是不可能的。因此，最有前途的模型選擇必須基于對(duì)最重要的因素(隱藏層數(shù)、學(xué)習(xí)率、dropout)進(jìn)行有限的驗(yàn)證。

(1) 對(duì)于數(shù)據(jù)集的語(yǔ)音特征提取，本文采用MFCC，利用librosa實(shí)現(xiàn)，從數(shù)據(jù)集中提取MFCC特征集。

(2) 對(duì)于隱含層數(shù)量的選擇，主要從準(zhǔn)確率、損失值及時(shí)間這三方面考慮。在其他參數(shù)不變的情況下，更改隱含層數(shù)量。由圖9可見(jiàn)，整個(gè)過(guò)程時(shí)間基本沒(méi)有差別，但對(duì)于準(zhǔn)確率和損失來(lái)說(shuō)，在隱層數(shù)量為3時(shí)結(jié)果最為理想。

圖9 隱含層數(shù)量對(duì)比Fig.9 Comparison of the number of hidden layers

圖10 Dropout參數(shù)對(duì)比圖Fig.10 Dropout parameter comparison chart

(3) 本文實(shí)驗(yàn)在訓(xùn)練時(shí)加入dropout。在預(yù)測(cè)時(shí)，會(huì)使用所有的單元，這相當(dāng)于組合所有的模型，所以dropout可以有效地防止訓(xùn)練中出現(xiàn)參數(shù)擬合過(guò)度的問(wèn)題，同時(shí)組合訓(xùn)練能獲得更好的組合模型。經(jīng)由圖10對(duì)比，可以看到dropout不同時(shí)的效果，整個(gè)過(guò)程時(shí)間基本沒(méi)有差別，但對(duì)于準(zhǔn)確率和損失來(lái)說(shuō)，dropout為50%時(shí)效果最佳。

(4) 進(jìn)一步處理是通過(guò)隱藏層，每層300個(gè)節(jié)點(diǎn)數(shù)，節(jié)點(diǎn)數(shù)太多會(huì)增加訓(xùn)練的時(shí)間以及訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，出現(xiàn)“過(guò)擬合”的現(xiàn)象。

(5) loss函數(shù)使用交叉熵。交叉熵作為損失函數(shù)的好處是在梯度下降時(shí)能避免均方誤差損失函數(shù)學(xué)習(xí)速率降低的問(wèn)題。

(6) 經(jīng)過(guò)上面的實(shí)驗(yàn)，本文網(wǎng)絡(luò)的主要參數(shù)如下：輸入維度40；輸出維度10；隱藏層3層；隱層單元數(shù)300；dropout參數(shù)0.5。網(wǎng)絡(luò)結(jié)構(gòu)第1層為特征參數(shù)輸入層，即Mel參數(shù)集。2、3、4三層為本文所述神經(jīng)網(wǎng)絡(luò)層，每層300個(gè)單元，dropout為50%。最后一層為全連接輸出層，與softmax結(jié)合分類(lèi)輸出。網(wǎng)絡(luò)結(jié)構(gòu)如圖11所示。

圖11 深度循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.11 Deep recurrent neural network structure

3.3 實(shí)驗(yàn)結(jié)果分析

本文的主要目的是通過(guò)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)完成對(duì)城市語(yǔ)音數(shù)據(jù)集UrbanSound8K的分類(lèi)。主要實(shí)現(xiàn)方法為深度RNN(RNNs)、深度LSTM(LSTMs)和深度GRU(GRUs)。實(shí)驗(yàn)在Ubuntu14.04，TensorFlow環(huán)境下實(shí)現(xiàn)，如圖12所示。

圖12 RNNs、LSTMs和GRUs的語(yǔ)音分類(lèi)的準(zhǔn)確率和損失Fig.12 Accuracy and loss of speech classification for RNNs, LSTMs and GRUs

由圖12可見(jiàn)，基本RNNs、LSTMs和GRUs的訓(xùn)練和測(cè)試結(jié)果，將最后的結(jié)果列在表1中。

表1 RNNs、LSTMs和GRUs的訓(xùn)練和測(cè)試結(jié)果

Tab.1 Training and test results of RNNs, LSTMs and GRUs

網(wǎng)絡(luò)類(lèi)別耗時(shí)/min損失準(zhǔn)確率/%RNNs訓(xùn)練30.672.21423.94測(cè)試30.672.23621.78LSTMs訓(xùn)練60.621.69976.14測(cè)試60.621.76369.82GRUs訓(xùn)練20.531.49396.81測(cè)試20.231.60885.87

從時(shí)間上看LSTMs耗時(shí)是RNNs和GRUs的2倍，且GRUs相對(duì)RNNs來(lái)說(shuō)具有更大的優(yōu)勢(shì)，可以節(jié)省很多時(shí)間。從損失loss上看RNNs消耗較大，LSTMs和GRUs相比還是GRUs的效果好。從準(zhǔn)確率上看RNNs的準(zhǔn)確率太低，LSTMs也只達(dá)到了80%左右，GRUs相對(duì)來(lái)說(shuō)效果最好，訓(xùn)練效果可以達(dá)到96%。由上可知，GRUs在損失和準(zhǔn)確率上比LSTMs更好，尤其是在時(shí)間方面GRUs最快速。經(jīng)過(guò)上面的實(shí)驗(yàn)對(duì)比，基于本文選取的數(shù)據(jù)集，GRUs在時(shí)間上更加節(jié)省，同時(shí)準(zhǔn)確率有所提升，損失下降，實(shí)現(xiàn)效果最好。

對(duì)于本數(shù)據(jù)集的研究，使用相同的特征參數(shù)提取方法，與文獻(xiàn)[13]中使用的深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比，該網(wǎng)絡(luò)的準(zhǔn)確率為83.5%。經(jīng)對(duì)比，本文的方法在準(zhǔn)確率上優(yōu)于文獻(xiàn)[14]中的深度卷積神經(jīng)網(wǎng)絡(luò)。

4 結(jié) 語(yǔ)

本文通過(guò)搭建LSTM和GRU深度神經(jīng)網(wǎng)絡(luò)分別對(duì)基于Mel頻率倒譜系數(shù)(MFCC)提取UrbanSound8K數(shù)據(jù)集的特征參數(shù)，進(jìn)行語(yǔ)音識(shí)別的訓(xùn)練和測(cè)試。實(shí)驗(yàn)結(jié)果表明，本文采用的LSTMs和GRUs在損失和準(zhǔn)確率方面比基本RNNs要好，并有效地解決了RNN的梯度消失問(wèn)題。其中對(duì)于本文采用的數(shù)據(jù)集，GRUs表現(xiàn)更好，簡(jiǎn)潔且更加高效。但是，本文搭建的深度神經(jīng)網(wǎng)絡(luò)仍然還有局限性，在以后的學(xué)習(xí)中可以繼續(xù)優(yōu)化或者結(jié)合其他網(wǎng)絡(luò)進(jìn)行優(yōu)化。由上述實(shí)驗(yàn)表明，城市聲音的分類(lèi)，對(duì)研究城市聲音對(duì)居民的影響，提高城市生活的質(zhì)量有很大的意義。