曹 毅 ，黃子龍，張 威，劉 晨，李 巍

(1. 江南大學(xué)機(jī)械工程學(xué)院，江蘇 無錫 214122； 2.江蘇省食品先進(jìn)制造裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫 214122； 3. 蘇州工業(yè)職業(yè)技術(shù)學(xué)院，江蘇 蘇州 215104)

現(xiàn)代社會中構(gòu)建智慧城市綜合體是城市發(fā)展的一個(gè)重要趨勢，利用龐大的傳感器網(wǎng)絡(luò)收集目標(biāo)城市的交通狀況、噪音水平等音頻數(shù)據(jù)，并對其進(jìn)行數(shù)據(jù)分析后用以指導(dǎo)城市設(shè)計(jì)和技術(shù)決策，是當(dāng)前智慧城市的熱門研究方向之一[1]。智慧城市綜合體未來必將城市聲音事件信息采集和分類研究納入其中，構(gòu)建視聽物聯(lián)網(wǎng)，從而進(jìn)一步提高智慧城市綜合體的智能感知水平。城市聲音事件分類研究主要應(yīng)用于噪音監(jiān)控、城市安防、聲景評定、多媒體信息檢索等方面[2-6]。

針對城市聲音事件分類，國內(nèi)外諸多學(xué)者分別采用支持向量機(jī)、BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等算法開展了前瞻性研究[7-12]。其中，文獻(xiàn)[7]提供了城市聲音事件分類的標(biāo)準(zhǔn)數(shù)據(jù)集UrbanSound8k，并使用支持向量機(jī)模型制定了基線準(zhǔn)確率71.00%，后續(xù)該領(lǐng)域開展研究的算法與模型，在該數(shù)據(jù)集測試的分類準(zhǔn)確率是評價(jià)性能的重要參考之一。通過局部特征和全局特征融合，基于卷積神經(jīng)網(wǎng)絡(luò)，文獻(xiàn)[8]開展了音頻特征融合的研究，其分類準(zhǔn)確率為77.36%。通過提取80維FBANK特征，基于BP神經(jīng)網(wǎng)絡(luò)模型，文獻(xiàn)[9]分類準(zhǔn)確率為79.23%。通過數(shù)據(jù)增廣，基于深層卷積神經(jīng)網(wǎng)絡(luò)模型，文獻(xiàn)[10]在四個(gè)數(shù)據(jù)集開展研究，其模型分類準(zhǔn)確率為81.50%。隨著卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步發(fā)展，擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)中間隔性的卷積核代替?zhèn)鹘y(tǒng)池化處理，其能保留更多特征信息；文獻(xiàn)[11]使用60維梅爾語譜圖特征在擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)開展研究，其模型的分類準(zhǔn)確率為78.00%。而文獻(xiàn)[12]通過使用伽馬通聽覺特征，以及優(yōu)化的激活函數(shù)leaky relu進(jìn)一步優(yōu)化擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)，最終其模型的分類準(zhǔn)確率可達(dá)81.90%。

綜上所述，針對城市聲音事件分類盡管諸多學(xué)者開展了較為深入的研究，但不難發(fā)現(xiàn)：①當(dāng)前國內(nèi)對城市聲音事件分類以及應(yīng)用的研究相對欠缺；②已有模型分類準(zhǔn)確率不夠高，且泛化能力不夠強(qiáng)。文獻(xiàn)[13]提出了密集卷積神經(jīng)網(wǎng)絡(luò)(Dense Convolutional Network, DenseNet)，其在避免梯度消失的前提下通過大量的特征信息重用，在圖像識別領(lǐng)域證明，相較于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)性能更加優(yōu)秀，但該模型在音頻分類領(lǐng)域尚無較為系統(tǒng)的研究與運(yùn)用。因此，筆者在已有研究模型的基礎(chǔ)上，首先將具有特征重用的DenseNet運(yùn)用于城市聲音分類領(lǐng)域；其次為進(jìn)一步提升分類準(zhǔn)確率、泛化能力，基于N階馬爾可夫模型思想改進(jìn)而設(shè)計(jì)一種新的網(wǎng)絡(luò)模型，從而提出了一種基于N階密集卷積神經(jīng)網(wǎng)絡(luò)的城市聲音事件分類模型。

1 DenseNet和N階馬爾可夫模型

1.1 DenseNet

DenseNet網(wǎng)絡(luò)結(jié)構(gòu)中每一層的輸入來自前面所有層的輸出，其Dense Block中每層均以密集連接的方式連接到后續(xù)所有層[13-14]，一個(gè)具有i層的Dense Block結(jié)構(gòu)，其密集連接數(shù)目為i×(i+1)/2。設(shè)Dense Block結(jié)構(gòu)中有i層特征圖層，從第1層到第i層的輸入記作x0,x1,x2, …,xi，則

(1)

式中，[x0,x1,…,xi-1]表示使用合并級聯(lián)層將前面特征圖層輸入進(jìn)行通道數(shù)合并級聯(lián)，Hi(·)函數(shù)是使用批量標(biāo)準(zhǔn)化、激活函數(shù)、卷積操作后的結(jié)果[13]。其中合并級聯(lián)是DenseNet網(wǎng)絡(luò)設(shè)計(jì)中很重要的一種操作，用于將卷積特征提取框架的特征融合或輸出層信息的融合，增加了圖像訓(xùn)練時(shí)的原始特征，更有利于提高模型的分類準(zhǔn)確率。

1.2 N階馬爾可夫模型

馬爾可夫模型是一種統(tǒng)計(jì)模型，廣泛應(yīng)用在語音識別、自然語言處理等領(lǐng)域。其當(dāng)前狀態(tài)的轉(zhuǎn)移依賴于前N個(gè)狀態(tài)，且與之前的歷史狀態(tài)無關(guān)的離散時(shí)間隨機(jī)過程，稱之為N階馬爾可夫模型[15]，定義如下：

p(xt|xt-1,xt-2, … ,x1)=p(xt|xt-1,xt-2,…,xt-N) 。

(2)

當(dāng)前運(yùn)用較為廣泛的N階馬爾科夫模型為其子模型一階和二階，即其當(dāng)前狀態(tài)僅與前一個(gè)狀態(tài)有關(guān)，為一階馬爾可夫模型；當(dāng)前狀態(tài)僅與前兩個(gè)狀態(tài)有關(guān)，為二階馬爾可夫模型，如圖1和圖2所示。

雖然N階馬爾科夫模型的時(shí)間和狀態(tài)都是離散的，當(dāng)前運(yùn)用較為成功的領(lǐng)域在語音識別，而音頻分類和語音識別初始樣本相同，且提取特征方式、網(wǎng)絡(luò)訓(xùn)練過程類似；當(dāng)前運(yùn)用于圖像識別較為成功的DenseNet模型，已證明層與層之間通過密集連接實(shí)現(xiàn)特征重用可改善梯度消失問題，有效提高準(zhǔn)確率。兩者方法原理上均強(qiáng)調(diào)對前面已有的狀態(tài)或特征進(jìn)行利用。因此，該文以N階馬爾科夫模型的有針對性、規(guī)律性的N階有關(guān)連接思想，對DenseNet中的密集連接改進(jìn)，將兩者優(yōu)點(diǎn)結(jié)合運(yùn)用于城市聲音事件分類領(lǐng)域。

圖1 一階馬爾可夫模型示意圖

圖2 二階馬爾可夫模型示意圖

為設(shè)計(jì)出一種更適合音頻分類的網(wǎng)絡(luò)模型,進(jìn)一步提高該領(lǐng)域分類準(zhǔn)確率、泛化能力，以N階狀態(tài)有關(guān)連接為改進(jìn)思想，密集連接卷積神經(jīng)網(wǎng)絡(luò)為研究對象，提供一種新的改進(jìn)方案。即通過有針對性和規(guī)律性裁剪密集連接，卷積神經(jīng)網(wǎng)絡(luò)中當(dāng)前層僅與前N層進(jìn)行有關(guān)連接，在結(jié)合N階馬爾科夫模型和DenseNet兩者特點(diǎn)下，設(shè)計(jì)出一種更適合音頻分類模型，即N階密集卷積神經(jīng)網(wǎng)絡(luò)[16]。

2 N-DenseNet網(wǎng)絡(luò)模型

2.1 N階有關(guān)連接

值得指出的是，①N階馬爾可夫模型中時(shí)間和狀態(tài)都是離散的，N階有關(guān)連接表示當(dāng)前狀態(tài)僅與前N個(gè)狀態(tài)有關(guān)連接；②卷積神經(jīng)網(wǎng)絡(luò)層與層之間需依靠前向傳播連接才能進(jìn)行數(shù)據(jù)運(yùn)算，且層與層之間非離散，故當(dāng)前層前向傳播傳遞到下一層的連接可定義為零階連接?；诖?，為更直觀地表示N-DenseNet中層與層有關(guān)連接，且實(shí)現(xiàn)對N-DenseNet中有關(guān)連接數(shù)的量化評價(jià)，基于N階馬爾可夫模型定義如下：

(1) 層與層之間的有關(guān)連接僅限為使用Concatenation層的連接；

(2) 在卷積神經(jīng)網(wǎng)絡(luò)中層與層之間前向傳播連接為N-DenseNet模型的零階連接。

N階有關(guān)連接可定義為第N+1層的輸入與前N層的輸出有關(guān)，且使用Concatenation層進(jìn)行連接，如圖3所示。設(shè)Block結(jié)構(gòu)中有l(wèi)個(gè)特征圖層，從第1個(gè)特征圖層到第l個(gè)特征圖層的輸入記作x1,x2, … ,xl。在N-DenseNet模型中的零階連接，其為卷積層前向傳播通過卷積核規(guī)律性地掃過輸入特征，在感受野內(nèi)對輸入特征做矩陣元素乘法求和并疊加偏差量，其定義為

(3)

式中，求和∑表示卷積層的前向傳播過程，Xl-1、Xl表示第l層特征圖的輸入與輸出；表示卷積運(yùn)算，w表示

圖3 N-DenseNet模型Block示意圖

核函數(shù)，b表示偏置值，X(i,j)對應(yīng)特征圖上的像素；k為特征圖的通道數(shù),m、n為卷積核尺寸大小。當(dāng)前層使用Concatenation層進(jìn)行N階有關(guān)連接時(shí)，即當(dāng)前層的輸入來自前N層的輸出，其定義為

(4)

式中，H(·)函數(shù)是用Concatenation進(jìn)行通道數(shù)合并級聯(lián)、經(jīng)Conv、BN、ReLU操作后的輸出結(jié)果。在音頻分類中輸入為幀數(shù)和特征系數(shù)的二維特征圖，基于N階馬爾科夫模型，對DenseNet的密集連接進(jìn)行改進(jìn)后主要運(yùn)用一階和二階DenseNet模型，1-DenseNet中當(dāng)前層的輸入僅與前一層的輸出有關(guān)，其定義為

(5)

2-DenseNet中當(dāng)前層的輸入僅與前兩層的輸出有關(guān)，即對前兩層特征圖Concatenation合并，其定義為

(6)

2.2 特征信息重用

由DenseNet和N-DenseNet結(jié)構(gòu)對比可知，兩者的共同點(diǎn)均是特征圖層重用，形式上均使用Concatenation層進(jìn)行通道數(shù)合并級聯(lián)；其不同點(diǎn)在于N-DenseNet使用的是有針對規(guī)律性、N階有關(guān)連接。為實(shí)現(xiàn)對N-DenseNet中有關(guān)連接數(shù)的精確量化評價(jià)，以及探究N階有關(guān)連接方法減少特征信息重用情況，對Concatenation層連接的運(yùn)算過程定義如下。模型中X(i,j)表示特征圖的輸入，、b、k定義同前。在一個(gè)l層的Block結(jié)構(gòu)中，使用Concatenation層連接，則運(yùn)算量定義為

(7)

式中，∑表示運(yùn)算疊加，l×(l-1)/2是Block中Concatenation操作的層數(shù)；k表示當(dāng)前層與前N層進(jìn)行通道數(shù)合并級聯(lián)；理論上每減少一次層與層之間的Concatenation連接，在具有密集連接的模型中可約減少數(shù)據(jù)運(yùn)算量級106。因此，通過有針對性減少層與層Concatenation有關(guān)連接數(shù)，可理論上提升模型的收斂速度和效率。

為進(jìn)一步比較N-DenseNet和DenseNet的特征圖層重用情況，基于特征圖層層數(shù)L，以有關(guān)連接數(shù)為評價(jià)標(biāo)準(zhǔn)，DenseNet和N-DenseNet的比較如表1所示。

表1 DenseNet與N-DenseNet特征重用對比

由表1可得以下結(jié)論：

(1) 對于給定層數(shù)L=5，1-DenseNet、2-DenseNet有關(guān)連接數(shù)相對于DenseNet模型減少50%左右。

上述研究表明，N-DenseNet模型在避免梯度消失的前提下，可有效減少特征圖層之間連接，極大減少特征信息的重用，模型的收斂速度更快，效率相對更高；且與DenseNet模型應(yīng)有相近的分類準(zhǔn)確率。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)計(jì)

為進(jìn)一步驗(yàn)證N-DenseNet模型，利用城市聲音事件標(biāo)準(zhǔn)數(shù)據(jù)集UrbanSound8K[7]和IEEE AASP聲音場景和事件檢測分類挑戰(zhàn)賽數(shù)據(jù)集Dcase2016[17]開展城市聲音事件研究，其實(shí)驗(yàn)平臺配置為Window10系統(tǒng),CPU為i7-8750H，顯卡GTX1060,內(nèi)存16 GB；keras+TensorFlow作為深度學(xué)習(xí)框架。

3.1.1 梅爾頻率倒譜系數(shù)特征提取

梅爾頻率倒譜系數(shù)(Mel-frequency cepstral coefficients，mfcc)是當(dāng)前語音識別和音頻識別應(yīng)用最廣泛的特征提取方案之一[18-19]，其具體提取流程如下：

(1)音頻文件數(shù)據(jù)預(yù)處理，其具體包括采樣與量化、預(yù)加重處理和加窗。實(shí)驗(yàn)中UrbanSound8K數(shù)據(jù)集樣本統(tǒng)一幀數(shù)為174，Dcase2016數(shù)據(jù)集樣本幀數(shù)為323。

(2)音頻幀序列時(shí)域和頻域分析，其具體包括快速傅里葉變換、梅爾濾波器組、對數(shù)譜、離散余弦變換。

(3) mfcc一階差分(mfcc_d)和二階差分(mfcc_d_d)的特征提取。

在斯各格蘭德本人看來，她既非雕塑家，也非畫家，甚至不算攝影師。道格拉斯·克林普(Douglas Crimp，美國作家、策展人和藝術(shù)史學(xué)家。)曾將她的作品現(xiàn)象定義為一種多藝術(shù)形式的“雜交”。更準(zhǔn)確地說，斯各格蘭德屬于這樣的一代藝術(shù)家：他們將原本從雕塑與繪畫領(lǐng)域獲取的學(xué)院派技術(shù)應(yīng)用到自1980年代初開始興起的“舞臺攝影”中。攝影師可以去尋找或是創(chuàng)造自己想要拍攝的東西。

(4) mfcc特征向量序列的輸出，實(shí)驗(yàn)中UrbanSound8K[174,174]、Dcase2016[323,174]。

3.1.2 模型結(jié)構(gòu)設(shè)計(jì)

步驟1 特征輸入，輸入模型后進(jìn)行一層卷積操作以提取更多特征和一次池化處理以壓縮圖層尺寸。

步驟2 基于圖3構(gòu)建N-DenseBlock結(jié)構(gòu)，將特征向量序列輸入連續(xù)的m個(gè)N-DenseBlock和過渡層(Transition Layer)中，其中N-DenseBlock結(jié)構(gòu)是對特征信息進(jìn)行有針對性重用，Transition Layer層中1×1卷積層降維處理、2×2最大池化層進(jìn)一步壓縮尺寸以減少網(wǎng)絡(luò)參數(shù)。

步驟3 特征向量序列扁平化，將最大池化后二維數(shù)據(jù)扁平化為一維數(shù)據(jù)，輸入全連接層進(jìn)行分類處理。

步驟4 分類結(jié)果經(jīng)過向量歸一化Softmax處理后輸出具體類別。

實(shí)驗(yàn)中分別搭建了DenseNet-16、1-DenseNet-16、2-DenseNet-16以及2-DenseNet-22模型，其中，DenseNet-16模型中16表示網(wǎng)絡(luò)深度；本實(shí)驗(yàn)中Block個(gè)數(shù)m=3，對于每個(gè)Block結(jié)構(gòu)中特征圖層層數(shù)，1-DenseNet-16中為3(1-DenseBlock中初始Input為x1)，2-DenseNet-22中為4。

3.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證N-DenseNet模型相較于DenseNet訓(xùn)練時(shí)的收斂速度更快，且具有良好的分類準(zhǔn)確率和泛化能力，分別利用UrbanSound8K和Dcase2016數(shù)據(jù)集在實(shí)驗(yàn)平臺上開展城市聲音事件分類研究。

3.2.1 模型訓(xùn)練

基于已搭建的4種模型，對于給定卷積層數(shù)(16)、卷積核尺寸、通道數(shù)、優(yōu)化器adam、Batch size為32等，表2分別給出了訓(xùn)練輪數(shù)為50的情況下DenseNet、1-DenseNet、2-DenseNet模型的各項(xiàng)指標(biāo)，圖4、圖5給出了損失值及分類準(zhǔn)確率隨訓(xùn)練輪數(shù)的變化曲線。

表2 訓(xùn)練模型的各項(xiàng)指標(biāo)

由表2、圖4、圖5可得以下結(jié)論：

(1)1-DenseNet和2-DenseNet相較于DenseNet用于訓(xùn)練模型的總參數(shù)量分別減少0.17%、5.04%；模型大小分別減少0.03MB、0.98MB。

(2)N-DenseNet模型的訓(xùn)練時(shí)間更少，其中1-DenseNet、2-DenseNet相對于DenseNet分別減少6.5%、18%，即模型的效率相對更高。

(3)N-DenseNet中1階、2階模型相較于傳統(tǒng)DenseNet，其有關(guān)連接數(shù)減少33.33%，精簡網(wǎng)絡(luò)結(jié)構(gòu)，更有針對高效融合前面特征信息，因此，收斂速度更快，趨于收斂所需要的輪數(shù)更少，趨于收斂的分類準(zhǔn)確率略有提升。

上述研究也進(jìn)一步證明，N-DenseNet模型采用N階有關(guān)連接代替密集連接，其中本實(shí)驗(yàn)里1-DenseNet通過減少H(·)函數(shù)中特征圖層xl，而2-DenseNet減少了合并級聯(lián)函數(shù)H(·)的使用，兩者更有針對性地對前面特征圖層進(jìn)行特征重用，一定程度上可緩解無差別密集連接的特征冗余現(xiàn)象。以上也證明了N-DenseNet模型確實(shí)可有效減少特征圖層間的連接，更有針對性利用特征信息重用，模型訓(xùn)練時(shí)間更短，收斂速度更快，且收斂效果更好。

圖4 損失值變化曲線

圖5 準(zhǔn)確率變化曲線

3.2.2 分類準(zhǔn)確率

為探索N-DenseNet模型的分類準(zhǔn)確率，基于1-DenseNet和2-DenseNet模型，使用UrbanSound8K測試集數(shù)據(jù)測試模型的分類準(zhǔn)確率，并分別與DenseNet和已有的研究成果模型對比，其實(shí)驗(yàn)結(jié)果如表3所示。

表3 N-DenseNet模型與不同模型準(zhǔn)確率對比

由表3表明：

(1)在兩種不同的高維mfcc特征方案下，128mfcc+23mfcc_d+23mfcc_d_d(174mfcc)特征方案的分類準(zhǔn)確率相比128mfcc更高，對模型的分類準(zhǔn)確率提高約為0.70%。

(2)1-DenseNet、2-DenseNet模型相較于DenseNet，在128mfcc下準(zhǔn)確率分別提高約1.87%、1.32%，在174mfcc下準(zhǔn)確率分別提高約2.63%、2.17%。

(3)在UrbanSound8K數(shù)據(jù)集下，1-DenseNet、2-DenseNet模型最佳分類準(zhǔn)確率約為83.63%、83.27%。

(4)1-DenseNet、2-DenseNet模型準(zhǔn)確率比使用SVM[7]的Baseline分別約提高12.62%、11.17%，相較于D-CNN-ESC[12]分別約提高1.73%、1.37%。

上述研究也進(jìn)一步證明，N-DenseNet模型在避免梯度消失的前提下，相比DenseNet和已有研究成果模型，具有更高的分類準(zhǔn)確率。

3.2.3 泛化能力

機(jī)器學(xué)習(xí)的目的是使學(xué)得的模型能很好地適用于“新樣本”，模型在先前未預(yù)測到的輸入上表現(xiàn)良好的能力被稱為泛化能力，通常度量模型在測試集上的性能，來評估模型的泛化能力。為探索N-DenseNet模型的泛化能力，在UrbanSound8K數(shù)據(jù)集實(shí)驗(yàn)后增加Dcase2016數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)?；?-DenseNet和2-DenseNet模型，使用測試集的分類準(zhǔn)確率這一指標(biāo)評價(jià)模型的泛化能力，其實(shí)驗(yàn)結(jié)果如表4和圖6、圖7所示。

表4 N-DenseNet模型不同數(shù)據(jù)集分類準(zhǔn)確率

圖6 1-DenseNet模型acc為83.63%混淆矩陣

圖7 2-DenseNet模型acc為81.03%混淆矩陣

由表4、圖6、7可得以下結(jié)論：

(1)在Dcase2016數(shù)據(jù)集下，1-DenseNet、2-DenseNet模型最佳分類準(zhǔn)確率分別約為80.00%、81.03%。

(2)在UrbanSound8K 和Dcase2016兩個(gè)數(shù)據(jù)集下，1-DenseNet、2-DenseNet模型均高于80.00%，證明了N-DenseNet模型確實(shí)具有良好的泛化能力。

(3) 模型各子類的準(zhǔn)確率也趨于分類準(zhǔn)確率均在80%左右，進(jìn)一步驗(yàn)證了模型分類的穩(wěn)定性。

上述研究也進(jìn)一步證明了N-DenseNet模型具有良好的泛化能力。

綜上結(jié)論表明，N-DenseNet模型相較于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)以及DenseNet，不僅具有更好的分類準(zhǔn)確率，在單個(gè)類別中分類穩(wěn)定性較好，且模型具有良好的泛化能力。

4 結(jié)束語

針對城市聲音事件分類中分類準(zhǔn)確率不夠高，以及模型泛化能力不夠強(qiáng)的問題，首先將DenseNet模型運(yùn)用該領(lǐng)域；然后為更有針對性利用特征信息重用以提升模型的效率，基于N階馬爾可夫模型將密集連接改進(jìn)為N階有關(guān)連接，以此提出更適合城市聲音事件分類模型N-DenseNet；最后為驗(yàn)證模型的正確性，采用N-DenseNet中子模型1-DenseNet和2-DenseNet，基于UrbanSound8K和Dcase2016數(shù)據(jù)集開展城市聲音事件分類研究。實(shí)驗(yàn)結(jié)果表明，N-DenseNet模型相較于DenseNet模型有關(guān)連接數(shù)更少，極大地減少了特征信息重用，訓(xùn)練模型時(shí)收斂速度更快且效果更好；分類準(zhǔn)確率分別約為83.63%、81.03%，相較于DenseNet以及已有研究成果模型具有更高的分類準(zhǔn)確率及良好的泛化能力。