鄭 皓，趙庶旭，屈睿濤

(蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070)

1 概 述

從20世紀(jì)末開始，城市居民的機(jī)動(dòng)車持有量和駕駛員的數(shù)量在大幅增加，城市交通呈日漸繁忙的趨勢(shì)，交通擁堵現(xiàn)象也變得越來越嚴(yán)重。眾所周知，除了機(jī)動(dòng)車尾氣排放對(duì)大氣環(huán)境造成的影響，機(jī)動(dòng)車的鳴笛聲也給城市環(huán)境造成了越來越大的影響。再加上部分駕駛員環(huán)境保護(hù)意識(shí)淡薄，以至于汽車的違法鳴笛在城市區(qū)域頻繁發(fā)生，對(duì)市民的正常生活造成了惡劣的影響。保持道路交通的安全、暢通、有序，遏制汽車違法鳴笛行為的上升勢(shì)頭，成為交管和環(huán)境保護(hù)部門函待解決的重要問題。因此，相關(guān)執(zhí)法部門也頒布了相應(yīng)的法律法規(guī)來禁止或者限制機(jī)動(dòng)車在醫(yī)院、居民區(qū)、學(xué)校等城市人口密集區(qū)鳴笛，但是這一規(guī)定在具體執(zhí)行中卻遭到了巨大的困難，人工執(zhí)法來判斷違法鳴笛車輛不僅效率低，且浪費(fèi)了大量的人力物力，換來的是較低的可靠性和大量的誤判，可行性不高。

同濟(jì)大學(xué)孫懋珩團(tuán)隊(duì)2010年提出了一種基于麥克風(fēng)陣列和閉式球形差值算法的汽車?guó)Q笛聲識(shí)別系統(tǒng)，用于協(xié)助相關(guān)執(zhí)法部門準(zhǔn)確有效地鎖定違法鳴笛車輛的位置[1-3]。

近年來國(guó)內(nèi)部分城市也開始引入汽車違法鳴笛識(shí)別系統(tǒng)對(duì)違法鳴笛行為進(jìn)行監(jiān)控，例如北京協(xié)和醫(yī)院西門的“電子警察監(jiān)管”系統(tǒng)、沈陽(yáng)的“聲吶電子警察”系統(tǒng)等。但是這些只能單方面地確定目標(biāo)車輛的位置，且準(zhǔn)確性不高，存在較多誤判。特別是針對(duì)部分司機(jī)拒不承認(rèn)鳴笛行為的現(xiàn)象，不能給出有力的證據(jù)。所以要對(duì)鳴笛識(shí)別系統(tǒng)的識(shí)別結(jié)果進(jìn)行人工復(fù)核，將識(shí)別到的目標(biāo)車輛鳴笛聲與鳴笛聲識(shí)別系統(tǒng)捕捉到的聲音信號(hào)加以匹配和鑒別，進(jìn)一步提升汽車?guó)Q笛聲定位的準(zhǔn)確性。

傳統(tǒng)的鑒別方法主要有基于GMM-HMM的概率模型算法[4]、支持向量機(jī)等。

在深度學(xué)習(xí)的研究上，2011年，Hinton等[5-6]提出了使用深度信念網(wǎng)絡(luò)在電話語音中提取深層特征，對(duì)電話語音進(jìn)行識(shí)別，給出僅19.4%的錯(cuò)誤率。2012年，Andrew等[7]提出一種順序深度信念網(wǎng)絡(luò)模型(SDBN)，其在所有隱藏層及輸出層使用固有的順序模型，使得潛在變量可以模擬長(zhǎng)距離現(xiàn)象，在TIMIT電話識(shí)別實(shí)驗(yàn)中效果較好。2015年，周曉敏等[8]提出了一種基于小波矩和BP網(wǎng)絡(luò)的聲音識(shí)別方法，用于噪聲環(huán)境下的聲音識(shí)別，并取得了不錯(cuò)的效果。2017年，陳秋菊等[9]提出了一種基于優(yōu)化正交匹配追蹤和深度置信網(wǎng)絡(luò)的聲音識(shí)別方法，用于不同環(huán)境聲音影響下的聲音識(shí)別，并且能夠有效地識(shí)別各種不同環(huán)境下的聲音事件。因此深度學(xué)習(xí)技術(shù)在聲音識(shí)別問題中有著巨大的優(yōu)勢(shì)。

GMM模型作為一個(gè)使用時(shí)間較長(zhǎng)的傳統(tǒng)模型，存在很多缺點(diǎn)，例如：需要對(duì)數(shù)據(jù)的狀態(tài)做出假設(shè)；需人工選擇特征參數(shù)且不易于多種特征的組合；不能接受較大維度的數(shù)據(jù)輸入，計(jì)算復(fù)雜；判決準(zhǔn)確率不高。

因此，文中提出一種基于深度信念網(wǎng)絡(luò)的識(shí)別方法。結(jié)合深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性建模能力和特征提取能力，對(duì)識(shí)別到的目標(biāo)車輛加以鑒別，以提高識(shí)別的準(zhǔn)確性，從而提高人工復(fù)核的效率，對(duì)鳴笛識(shí)別系統(tǒng)的識(shí)別結(jié)果提供科學(xué)有力的支持。

2 數(shù)據(jù)預(yù)處理

2.1 預(yù)處理

通過麥克風(fēng)陣列采集到的汽車?guó)Q笛聲音頻信號(hào)是模擬信號(hào)，需要對(duì)其進(jìn)行采樣和量化，獲得可用于計(jì)算機(jī)處理的數(shù)字音頻信號(hào)。此過程通過麥克風(fēng)和計(jì)算機(jī)聲卡完成，采用Cool Edit Pro 2.1軟件完成對(duì)汽車?guó)Q笛聲信號(hào)的采集并獲得音頻信號(hào)片段，用于后期的處理。

2.2 特征提取

2.2.1 梅爾頻率倒譜系數(shù)

梅爾頻率倒譜系數(shù)[10](Mel-frequency cepstrum coefficients，MFCC)的分析是根據(jù)人的聽覺機(jī)理，基于濾波器組的頻率分析，濾波器組的帶寬間隔約為臨界子帶的間隔。期望獲得更好的聲音特性，MFCC分析依據(jù)的聽覺機(jī)理有兩個(gè)。

(1)人的主觀感知頻域的劃定不是線性的，如式1所示：

Fmel=1 125log(1+f/700)

(1)

其中，F(xiàn)mel是以梅爾(Mel)為單位的感知頻率；f是以Hz為單位的實(shí)際頻率。

(2)臨界帶(critical band)。頻率群相應(yīng)于人耳基底膜分成許多很小的部分，每一部分對(duì)應(yīng)一個(gè)頻率群，對(duì)應(yīng)于同一頻率群的那些頻率的聲音，在大腦中是疊加在一起進(jìn)行評(píng)價(jià)的。按臨界帶的劃分，將聲音在頻域上劃分成一系列頻率群組成了濾波器組，即Mel濾波器組。

2.2.2 MFCC的提取過程

MFCC的提取過程如圖1所示。

圖1 MFCC提取流程

(1)信號(hào)預(yù)處理。

預(yù)處理的部分包括預(yù)加重、分幀和加窗函數(shù)三個(gè)步驟。

預(yù)加重：預(yù)加重處理其實(shí)就是將音頻信號(hào)通過一個(gè)高通濾波器，目的是提升信號(hào)的高頻部分，使信號(hào)的頻譜變得更平坦，保持在低頻到高頻的整個(gè)頻帶中，能用同樣的信噪比求頻譜。高通濾波器的傳遞函數(shù)一般設(shè)為：

H(z)=1-αz-1

(2)

其中，α的值介于0.9～1.0之間，通常取0.97。

分幀：現(xiàn)在成熟的信號(hào)處理技術(shù)往往分析的都是時(shí)不變信號(hào)即穩(wěn)態(tài)信號(hào)，由于音頻信號(hào)是一個(gè)準(zhǔn)穩(wěn)態(tài)信號(hào)，把它切分成較短的幀，在每幀中可將其看作穩(wěn)態(tài)信號(hào)，可以用處理穩(wěn)態(tài)信號(hào)的方法來處理。同時(shí)，為了使一幀與下一幀之間的參數(shù)能較平穩(wěn)地過渡，在相鄰兩幀之間有互相重疊的部分。

加窗函數(shù)：加窗函數(shù)的目的是為了減少信號(hào)在頻域中的泄漏。對(duì)比矩形窗和漢明窗可以看出，矩形窗的主瓣寬度小于漢明窗，具有較高的頻譜分辨率，但是矩形窗的旁瓣峰值較大，因此各譜線之間的相互干擾較為嚴(yán)重。相比之下，雖然漢明窗的主瓣寬度較寬，約為矩形窗的一倍多，但是它的旁瓣衰減較大，具有更平滑的低通特性，能在較高的程度上反映短時(shí)信號(hào)的頻率特性，適合處理頻譜表現(xiàn)復(fù)雜，存在多個(gè)頻率分量的信號(hào)。所以文中選擇對(duì)每一幀信號(hào)加漢明窗。信號(hào)χ(n)經(jīng)過預(yù)處理后為χi(m)，其下標(biāo)i表示分幀后的第i幀。

(2)快速傅里葉變換(FFT)。

對(duì)每一幀信號(hào)進(jìn)行FFT變換，從時(shí)域數(shù)據(jù)轉(zhuǎn)變?yōu)轭l域數(shù)據(jù)，如下：

X(i,k)=FFT[χi(m)]

(3)

(3)計(jì)算譜線能量。

對(duì)每一幀F(xiàn)FT后的數(shù)據(jù)計(jì)算譜線能量，如下：

E(i,k)=[X(i,k)]2

(4)

(4)計(jì)算通過Mel濾波器的能量。

將求出的每幀譜線能量通過Mel濾波器，并計(jì)算在Mel濾波器中的能量。在頻域中相當(dāng)于把每幀的能量譜E(i,k)(其中i表示第i幀，k表示頻域中的第k條譜線)與Mel濾波器的頻域響應(yīng)相乘并相加，如下：

(5)

(5)計(jì)算DCT倒譜。

把Mel濾波器的能量取對(duì)數(shù)后計(jì)算DCT，如下：

其中，S(i,m)是由上一步求出的Mel濾波器能量；m是指第m個(gè)Mel濾波器(共有M個(gè))；i表示第i幀；n是DCT后的譜線。

2.2.3 梅爾頻率倒譜系數(shù)差分系數(shù)

上一節(jié)得到的是靜態(tài)的MFCC系數(shù)，只能表征音頻譜的即時(shí)信息。實(shí)驗(yàn)表明，音頻譜的動(dòng)態(tài)信息中也包含了很重要的成分，可以對(duì)聲音信號(hào)加以區(qū)分，可以提高對(duì)汽車?guó)Q笛聲音的識(shí)別準(zhǔn)確率。音頻倒譜的動(dòng)態(tài)信息可以用來表征聲音信號(hào)的特征參數(shù)隨時(shí)間變化的規(guī)律。這里引入MFCC的一階差分和二階差分系數(shù)，來表示音頻信號(hào)的動(dòng)態(tài)特征。然后將原始的MFCC特征和MFCC動(dòng)態(tài)特征組合作為特征向量進(jìn)行訓(xùn)練和識(shí)別，可以明顯提高識(shí)別性能。

2.3 特征表示

由特征參數(shù)的曲線表示可以看出，同一輛汽車?guó)Q笛聲不同幀的特征參數(shù)存在一定的相似性，不同汽車?guó)Q笛聲的特征參數(shù)很明顯具有一定的差異性，通過這種差異性，將不同汽車的鳴笛聲加以區(qū)分，并將同一輛汽車的鳴笛聲作匹配處理，從而對(duì)現(xiàn)有的汽車違法鳴笛識(shí)別系統(tǒng)做一個(gè)準(zhǔn)確性的驗(yàn)證，以進(jìn)一步提高其識(shí)別的準(zhǔn)確性。

3 DBNs網(wǎng)絡(luò)模型

3.1 人工神經(jīng)網(wǎng)絡(luò)的組成

與生物神經(jīng)網(wǎng)絡(luò)類似，人工神經(jīng)網(wǎng)絡(luò)的基本計(jì)算單元是人工神經(jīng)元，一般是由多個(gè)輸入和一個(gè)輸出組成的非線性單元，可以有反饋輸入和閾值參數(shù)，同時(shí)能夠與其他神經(jīng)元連接。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”；為了方便對(duì)人工神經(jīng)網(wǎng)絡(luò)的描述，在整個(gè)網(wǎng)絡(luò)中，把單個(gè)的人工神經(jīng)元稱為網(wǎng)絡(luò)“節(jié)點(diǎn)”。人工神經(jīng)元是對(duì)生物神經(jīng)元的一種形式化描述，它抽象地模仿了生物神經(jīng)元的信息處理過程，并用數(shù)學(xué)語言來描述生物神經(jīng)元處理信息的過程。為了直觀地對(duì)生物神經(jīng)元的結(jié)構(gòu)和功能進(jìn)行模擬，采用結(jié)構(gòu)圖的方式，將人工神經(jīng)元模型結(jié)構(gòu)表示出來。

3.2 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

文中用到的深度信念網(wǎng)絡(luò)(deep belief networks，DBNs)相比于傳統(tǒng)的GMM-HMM模型有很多優(yōu)點(diǎn)，包括不需要對(duì)輸入數(shù)據(jù)的狀態(tài)做假設(shè)，易于多種特性的組合，使用更多的數(shù)據(jù)來約束一個(gè)參量，以取得更好的識(shí)別結(jié)果。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)包含多個(gè)隱層，即由多個(gè)RBM堆疊而成，相鄰兩層節(jié)點(diǎn)之間的關(guān)系為全連接，采用無監(jiān)督的預(yù)訓(xùn)練方法對(duì)權(quán)值w進(jìn)行初始化，最后一個(gè)隱層和輸出層之間用softmax網(wǎng)絡(luò)連接，通過誤差反向傳播算法(back propagation，BP)對(duì)整個(gè)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。

RBM(restricted Boltzmann machines)是一種隨機(jī)神經(jīng)網(wǎng)絡(luò)[11-13]，它借鑒了統(tǒng)計(jì)物理學(xué)思想。神經(jīng)元狀態(tài)變化引入了統(tǒng)計(jì)概率。圖2為RBM的結(jié)構(gòu)，由一個(gè)輸入層和一個(gè)隱層組成，之間由權(quán)值w連接。

圖2 RBM結(jié)構(gòu)

單個(gè)神經(jīng)元結(jié)構(gòu)如圖3所示，包含多個(gè)輸入和一個(gè)輸出，參數(shù)包括和每個(gè)輸入所連接的權(quán)值w以及偏量b。而單個(gè)神經(jīng)元的輸入和輸出所對(duì)應(yīng)的激活函數(shù)為Pj(bj,Wij)，如下：

(7)

其中

(8)

圖3 神經(jīng)元結(jié)構(gòu)

3.3 網(wǎng)絡(luò)模型的訓(xùn)練

(1)訓(xùn)練RBM，訓(xùn)練的目的是由初始化權(quán)值w到確定性權(quán)值w，由輸入數(shù)據(jù)結(jié)合權(quán)值和偏量計(jì)算出p的值，當(dāng)p的值大于一個(gè)隨機(jī)值時(shí)，神經(jīng)元u更新為1，否則為0，即神經(jīng)元的開和關(guān)。

(2)根據(jù)隱層H的值計(jì)算出重建數(shù)據(jù)，希望輸入數(shù)據(jù)和重建數(shù)據(jù)相差越來越小，即兩者做差，更新權(quán)值w。

(3)只有當(dāng)?shù)谝粋€(gè)RBM完成訓(xùn)練之后，得到了H層的值，才可以進(jìn)行下一個(gè)RBM的訓(xùn)練。接下來就是用有監(jiān)督的反向傳播算法微調(diào)每層之間的權(quán)值w，如圖4及式9-11所示。

(9)

(10)

(11)

圖4 DBN網(wǎng)絡(luò)結(jié)構(gòu)

圖4為文中所用的網(wǎng)絡(luò)結(jié)構(gòu)圖。首先由2.2節(jié)所述方法提取汽車?guó)Q笛聲的MFCC特征參數(shù)，以及它的一、二階差分；將該特征參數(shù)作為網(wǎng)絡(luò)的輸入層(Input)輸入網(wǎng)絡(luò)，對(duì)第一層RBM進(jìn)行訓(xùn)練，得到第一個(gè)隱層(Hidden layer 1)的參數(shù)，包括連接各神經(jīng)元的權(quán)重以及到各個(gè)神經(jīng)元的偏量。將第一個(gè)隱層作為第二個(gè)RBM的輸入，逐層進(jìn)行訓(xùn)練。最后在第三個(gè)隱層下方加入softmax網(wǎng)絡(luò)作為輸出層(Output)對(duì)輸入數(shù)據(jù)進(jìn)行分類。

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)過程

共采集了10輛不同汽車個(gè)體的鳴笛聲樣本。樣本數(shù)據(jù)來自蘭州軍鼎車輛檢驗(yàn)中心，數(shù)據(jù)采集的先后順序隨機(jī)，分別是：

(1)宇通(一)，大客；

(2)大眾朗逸，轎車；

(3)金杯，輕型封閉貨車；

(4)中聯(lián)重型載貨專項(xiàng)作業(yè)車；

(5)大眾桑塔納，轎車；

(6)宇通(二)，大客；

(7)豐田，中型普通客車；

(8)大眾帕薩特(一)，轎車；

(9)江淮，中型普通客車；

(10)大眾帕薩特(二)，轎車。

將每輛汽車的鳴笛聲數(shù)據(jù)視為一個(gè)類，因此實(shí)驗(yàn)中數(shù)據(jù)包含10個(gè)類，每一類均包含1 000條樣本數(shù)據(jù)，該樣本數(shù)據(jù)均出自同一輛汽車，即所有樣本個(gè)數(shù)為1 000*10=10 000個(gè)。

樣本分幀：?jiǎn)蝹€(gè)數(shù)據(jù)樣本時(shí)長(zhǎng)均為0.05 s，約2 230個(gè)采樣點(diǎn)(采樣頻率為44.1 kHz，數(shù)據(jù)位數(shù)16位，單聲道)，256點(diǎn)分為一幀，兩幀之間重復(fù)長(zhǎng)度為128點(diǎn)，即單個(gè)樣本共分為16幀，即構(gòu)成一個(gè)連續(xù)16幀的特征塊，將這些特征塊作為深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本的輸入。

MFCC參數(shù)：以每幀為單位提取特征參數(shù)，取前12階，即每幀數(shù)據(jù)的特征參數(shù)為12維，所以每個(gè)樣本共包含12*16=192維特征參數(shù)，作為DBN網(wǎng)絡(luò)的輸入層。

標(biāo)簽的選擇：文中用到的數(shù)據(jù)種類可分為10個(gè)類，即需要十個(gè)標(biāo)簽對(duì)樣本數(shù)據(jù)進(jìn)行標(biāo)注。

訓(xùn)練模型：

DBN輸入層：192維特征參數(shù)；

DBN輸出層：10維(10個(gè)標(biāo)簽)；

訓(xùn)練集：每個(gè)類取800條樣本數(shù)據(jù)作為訓(xùn)練集，共800*10=8 000條樣本；

驗(yàn)證集：每個(gè)類取100條樣本數(shù)據(jù)作為驗(yàn)證集，共100*10=1 000條樣本；

測(cè)試集：每個(gè)類取100條樣本數(shù)據(jù)作為測(cè)試集，共100*10=1 000條樣本。

將MFCC及其一階差分的組合作為特征參數(shù)進(jìn)行輸入，進(jìn)行上述實(shí)驗(yàn)。

將MFCC和其一階差分，二階差分的組合作為特征參數(shù)進(jìn)行輸入，進(jìn)行上述實(shí)驗(yàn)。

4.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)結(jié)果可信性標(biāo)準(zhǔn)，用識(shí)別錯(cuò)誤率(EER)來衡量，EER越低，表示識(shí)別效果越好。EER的計(jì)算方法如下：

(16)

其中，Nf表示識(shí)別錯(cuò)誤數(shù)據(jù)條數(shù)；N表示實(shí)驗(yàn)數(shù)據(jù)總數(shù)。

分別將MFCC，MFCC+一階差分，MFCC+一、二階差分作為特征進(jìn)行識(shí)別，第二行代表每種特征參數(shù)識(shí)別的錯(cuò)誤率，可以看出MFCC及其一階差分，二階差分的組合特征準(zhǔn)確率較高。

在選取的特征統(tǒng)一的情況下，選取的特征塊所包含的幀數(shù)對(duì)識(shí)別準(zhǔn)確率也存在一定的影響，當(dāng)特征塊幀數(shù)在16幀時(shí)識(shí)別效果較好。

圖5為不同特征組合與不同的測(cè)試聲音長(zhǎng)度對(duì)識(shí)別錯(cuò)誤率的影響?？梢钥闯?，當(dāng)輸入特征選擇36維MFCC，即MFCC與其一階，二階差分的組合時(shí)，測(cè)試聲音長(zhǎng)度越長(zhǎng)，識(shí)別的錯(cuò)誤率越低，識(shí)別效果越好。

圖5 特征組合與測(cè)試長(zhǎng)度對(duì)準(zhǔn)確率的影響

在選取16幀的情況下，MFCC+dtm+dtmm組合特征為輸入數(shù)據(jù)的實(shí)驗(yàn)結(jié)果，與同樣幀數(shù)下GMM模型的錯(cuò)誤率進(jìn)行比較，錯(cuò)誤率明顯降低，識(shí)別效果顯著提高。結(jié)果見表1。

表1 DBN與傳統(tǒng)GMM的準(zhǔn)確率對(duì)比 %

所以基于DBN模型的識(shí)別方法可以解決傳統(tǒng)模型的缺點(diǎn)且顯著提高識(shí)別效果。

5 結(jié)束語

提出了一種基于深度信念網(wǎng)絡(luò)的聲音識(shí)別方法，用于城市交通汽車?guó)Q笛聲識(shí)別。該方法通過深度信念網(wǎng)絡(luò)，提取和學(xué)習(xí)汽車?guó)Q笛聲MFCC特征參數(shù)中的深層特征，從而建立更精確的網(wǎng)絡(luò)模型來對(duì)汽車?guó)Q笛聲加以匹配和鑒別。實(shí)驗(yàn)結(jié)果表明，該方法能準(zhǔn)確地將不同汽車個(gè)體的鳴笛聲加以匹配，相比于傳統(tǒng)GMM模型，效率更高，識(shí)別效果更好。解決了現(xiàn)有的汽車違法鳴笛識(shí)別系統(tǒng)中存在大量誤判的現(xiàn)象，且為人工復(fù)核提供了科學(xué)有力的支撐，對(duì)今后的各種汽車違法鳴笛識(shí)別系統(tǒng)的準(zhǔn)確性驗(yàn)證具有重要的意義。