康麗霞，馬建芬+，張朝霞

(1.太原理工大學(xué) 信息與計算機(jī)學(xué)院，山西 晉中 030600； 2.太原理工大學(xué) 物理與光電工程學(xué)院，山西 晉中 030600)

0 引 言

聲學(xué)場景分類(acoustic scene classification, ASC)[1-5]的目的就是識別音頻流的產(chǎn)生環(huán)境。聲學(xué)場景含有眾多聲源，它們在環(huán)境的音頻段中各自具有明顯的非結(jié)構(gòu)化數(shù)據(jù)特征，環(huán)境聲音的跨類和類內(nèi)變化也復(fù)雜多變，單一特征難以對此進(jìn)行表示，針對這一聲學(xué)環(huán)境表征問題，已有學(xué)者[6-9]對不同功能特征組成的多特征信道進(jìn)行了研究，還有研究人員[10]對音頻數(shù)據(jù)不同的通道信息分別進(jìn)行處理，從不同時頻域提取錄制音頻的信息。但是，現(xiàn)有的這些分類方法通常提取聲學(xué)場景音頻本身的時頻域特征，而忽略了聲學(xué)事件對于聲學(xué)場景的重要性。此外多數(shù)聲學(xué)場景分類方法[11-14]在分類階段由于使用單一模型會出現(xiàn)一定程度的欠擬合現(xiàn)象。

為了更加全面描述聲學(xué)場景音頻特征，提升分類準(zhǔn)確率，本文提出一種基于多特征后期融合的集成學(xué)習(xí)方法對聲學(xué)場景進(jìn)行分類。針對聲學(xué)場景中所含有的聲學(xué)事件本身特征，提出聲學(xué)事件狀態(tài)似然特征，結(jié)合深度散射譜、譜質(zhì)心倒譜系數(shù)作為網(wǎng)絡(luò)的輸入，該輸入既包含音頻時頻特征又包括主要聲學(xué)事件特征；此外考慮到單模型分類時存在的欠擬合現(xiàn)象，本文利用隨機(jī)森林采取加權(quán)平均疊加的整體策略提高分類精度以及泛化性能。通過實驗對比，進(jìn)一步探討本文方法的性能。

1 聲學(xué)場景分類方法

聲學(xué)特征表示在聲學(xué)系統(tǒng)的性能中起著重要的作用，本文研究單個特征AESL以及DSS、SCMC和其組合對聲學(xué)場景表征的影響，針對不同特征集的組合，采用加權(quán)平均堆疊的方法進(jìn)行ResNet評分融合，圖1所示為本文提出的ASC框圖。在訓(xùn)練階段，進(jìn)行單個聲學(xué)特征提取，并將其特征向量和類標(biāo)簽一起輸入分類器ResNet，以訓(xùn)練聲學(xué)場景的特征，ResNet輸出當(dāng)前被訓(xùn)練的輸入幀關(guān)于場景目標(biāo)類別的后驗概率估計，之后對各模型的輸出概率進(jìn)行平均疊加，作為特征訓(xùn)練隨機(jī)森林。

圖1 基于多特征后期融合的聲學(xué)場景分類框架

1.1 多特征提取

圖2可視化了從DCASE 2020開發(fā)數(shù)據(jù)集中隨機(jī)選擇的10個場景類別(2個室內(nèi)、5個室外和3個旅行車輛)的10 s持續(xù)時間樣本語譜圖。由圖2可見：在低頻區(qū)域，能量集中度較高。各類的頻譜特征各不相同，且存在類內(nèi)差異。因此，單個特定功能特征不足以對它們進(jìn)行有效地表示和區(qū)分，而利用互補(bǔ)的特定特征可以更全面地表示或捕獲聲學(xué)場景中存在的感知質(zhì)量。AESL、SCMC、DSS等特征的功能描述如下。

圖2 不同場景類別的原始語音語譜

1.1.1 聲學(xué)事件狀態(tài)似然AESL

聲學(xué)事件指由明確的物理聲源產(chǎn)生的特定聲音，是一段單一明確的短時連續(xù)聲音信號，可以引起人們的感知注意，一些聲學(xué)事件只會出現(xiàn)在特定的聲學(xué)場景中，并且每種場景中都會有一些出現(xiàn)可能性高或次數(shù)多的聲學(xué)事件，例如街道類聲學(xué)場景可以包含來往的車輛聲、腳步聲、人們的交談聲等，家中場景可能出現(xiàn)收音機(jī)里的音樂、洗碗機(jī)的嗡嗡聲和孩子們的叫喊等等。因此可以提取聲學(xué)場景中主要聲學(xué)事件的本身特征，建立各聲學(xué)事件模型，并根據(jù)模型匹配待識別的聲學(xué)場景標(biāo)簽。本文在線性預(yù)測倒譜系數(shù)(linear predictive cepstral coefficients, LPCC)的基礎(chǔ)上與聲學(xué)場景建模求取似然估計距離，得到一個似然矩陣作為新的音頻特征——聲學(xué)事件狀態(tài)似然(acoustic event state likelihood, AESL)，進(jìn)而提高語義場景識別分類準(zhǔn)確率。

由于聲學(xué)事件的語音采樣值之間存在相關(guān)性，因此一個采樣值可以通過過去的若干語音采樣值的線性組合來逼近，得到一組唯一預(yù)測系數(shù)，即線性預(yù)測系數(shù)(linear prediction coefficient, LPC)。之后通過倒譜分析將LPC轉(zhuǎn)化為LPCC，以提高特征參數(shù)的穩(wěn)定性?；贚PC分析的倒譜存在一種如式(1)所示的簡單有效的遞推求解方法來得到相應(yīng)的倒譜系數(shù)LPCC，用h(n) 表示

(1)

式中： {a1,a2,…,ap} 是LPC系數(shù)，h(1)=a1，p為預(yù)測器階數(shù)。提取LPCC特征之后在10個聲學(xué)場景求取對數(shù)似然距離，得到一個似然矩陣，形成似然特征集合AELS。將似然估計用到聲學(xué)事件與場景之間，可以衡量整體場景類別的估計標(biāo)簽和真實標(biāo)簽相同的概率，距離值越大代表越相近，也就意味著類別標(biāo)簽估計準(zhǔn)確的概率越大。

1.1.2 譜質(zhì)心幅度系數(shù)SCMC

譜質(zhì)心幅度(spectral centroid magnitude, SCM)[15]包含著類似于共振峰頻率幅度的語音信息，譜質(zhì)心幅度系數(shù)(spectral centroid magnitude coefficients, SCMC)被定義為對數(shù)譜質(zhì)心幅度的離散余弦變換，可以有效捕捉給定子帶中的聲學(xué)場景亮度，已經(jīng)成功應(yīng)用于說話人識別領(lǐng)域。與此同時SCMC還是頻率成分的重心，含有聲音信號的頻率分布和能量分布相關(guān)重要信息。對原始語音信號s(n) 預(yù)處理之后，采用Mel Scale Gabor濾波器組對語音幀的第i個子帶進(jìn)行SCM計算

(2)

式中：A[k] 是語音信號的絕對譜，n[k] 是歸一化率 (0≤n[k]≤1)，ωi(k) 是用于評估第i個子帶質(zhì)心的頻域矩形窗函數(shù)。

接下來利用離散余弦變換(discrete cosine transform, DCT)對SCM值的對數(shù)進(jìn)行求值，并將其轉(zhuǎn)化為特征系數(shù)，進(jìn)而得到SCMC，它以一種更好的方式捕捉給定子帶的加權(quán)平均幅度值。

1.1.3 深度散射譜DSS

不同的聲學(xué)信息存儲在不同的時間尺度中。深度散射網(wǎng)絡(luò)(deep scattering network, DSN)采用原始信號作為輸入生成壓縮表示，即深度散射譜(deep scattering spectrum, DSS)，不僅保留了信號能量，而且確保了時移不變性和對時域形變的穩(wěn)定性，并在高階系數(shù)內(nèi)提供附加信息，解決了梅爾倒譜系數(shù)(mel-frequency cepstral coefficient, MFCC)在高頻下的判斷性能低下問題，已在分類和識別任務(wù)中顯示出了良好的前景[16]。散射表示擅長捕捉不同時間尺度的信息，但實際上，單階散射表示只是MFCC特征的另一種形式，可以在其上級聯(lián)兩個或多個散射層。因此在使用不同時間尺度提取的散射表示用于聲學(xué)場景分類任務(wù)時，首先將一層散射網(wǎng)絡(luò)與MFCC連接起來，然后擴(kuò)展到多層。散射變換在小波模算子|Wm|上迭代，計算m個小波卷積的級聯(lián)，輸出平均散射系數(shù)Smx，如式(3)所示

(3)

式中：φ(t)是時間長度為T的窗函數(shù)，作為低通濾波器，小波集ψλ提取不同時頻尺度下的信息，?代表卷積運算。

聚集0≤m≤l所有散射系數(shù)S得到一個m階的DSS

Sx(t)=(Smx)0≤m≤l

(4)

1.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)ResNet內(nèi)部的殘差塊使用了跳躍連接，可以在網(wǎng)絡(luò)層數(shù)增加的同時提升模型精度。本文將ResNet作為分類器，模型搭建參考了文獻(xiàn)[17]。每個殘差層包含兩個殘差塊，每個殘差塊由批處理歸一化、非線性激活函數(shù)和卷積層組成，其中所有卷積層的核大小都是3×3。當(dāng)殘差層之間發(fā)生下采樣時，采用零填充。輸出層有10個神經(jīng)元(類數(shù))，使用softmax函數(shù)為每個聲學(xué)場景類生成輸出概率值。網(wǎng)絡(luò)訓(xùn)練過程中，ResNet的最大epoch數(shù)為100，Relu作為整個網(wǎng)絡(luò)的激活函數(shù)，Dropout和weight衰減用于正則化避免過擬合；使用ADAM進(jìn)行梯度下降參數(shù)優(yōu)化，初始學(xué)習(xí)率為1×10-4。

1.3 隨機(jī)森林集成

集成學(xué)習(xí)將多個分類器的預(yù)測結(jié)果進(jìn)行組合，是一種常用的后期融合技術(shù)。為了減少單模型分類的誤差，本文選擇加權(quán)平均疊加(averaging and stacking)的整體策略對多模型預(yù)測輸出進(jìn)行處理；為了提高分類模型的泛化性，相比以往只對預(yù)測結(jié)果進(jìn)行加權(quán)平均融合，本文選擇在隨機(jī)森林(random forest, RF)上再次訓(xùn)練各模型預(yù)測輸出。圖3所示為RF集成的流程，從初始音頻數(shù)據(jù)集中提取的特征參數(shù)被輸入3個不同的ResNet分類器并行訓(xùn)練，這3個分類器中的任何一個都包含目標(biāo)預(yù)測輸出，對不同模型的預(yù)測輸出概率進(jìn)行加權(quán)平均并組合創(chuàng)建最終數(shù)據(jù)集，據(jù)此訓(xùn)練元學(xué)習(xí)器RF，生成數(shù)據(jù)集的最終分類結(jié)果。

圖3 隨機(jī)森林集成策略

2 實驗設(shè)置

2.1 數(shù)據(jù)集

實驗中的音頻數(shù)據(jù)來自DCASE 2020中Task1的TAU Urban Acoustic Scenes Mobile數(shù)據(jù)集[18]，共有64個小時，包含23 040個單聲道音頻片段，包含來自10個歐洲城市的錄音，由9種不同的設(shè)備(3個真實設(shè)備A-C和6個模擬設(shè)備S1-S6)在10個不同的聲學(xué)場景(機(jī)場、商場、地鐵站、步行街、公共廣場、交通街、電車、巴士、地鐵和公園)中錄制得到。使用設(shè)備A以44.1 kHz的采樣率和24位分辨率在每個位置錄制5-6分鐘的音頻，并將其分割為多個時長為10 s的片段，來自設(shè)備B-C和S1-S6的數(shù)據(jù)是隨機(jī)選取的同步記錄片段，因此它們都與設(shè)備A的數(shù)據(jù)重疊，但不一定相互重疊。

實驗中所有音頻文件的采樣率均為44.1 kHz，時長10 s，在進(jìn)行特征提取之前對語音進(jìn)行分幀，其中幀長為2048個采樣點，幀移取幀長的一半——1024個采樣點，對分幀后的信號加海寧窗并作快速傅里葉變換，統(tǒng)一轉(zhuǎn)換為一個431幀的頻譜圖。

表1所示為DCASE 2020 Task1A數(shù)據(jù)集中訓(xùn)練和測試子集的音頻數(shù)據(jù)具體分布，開發(fā)數(shù)據(jù)集進(jìn)一步劃分為訓(xùn)練子集和測試子集兩部分，訓(xùn)練子集包含每個設(shè)備記錄的70%的數(shù)據(jù)，其余30%的音頻測試訓(xùn)練結(jié)果，其中設(shè)備S4-S6所提供的數(shù)據(jù)僅用于測試，不出現(xiàn)在訓(xùn)練集，以模擬模型在分類時遇到未經(jīng)訓(xùn)練設(shè)備的情況。

表1 DCASE 2020 Task1A數(shù)據(jù)集中訓(xùn)練和測試子集的音頻分布

2.2 評價指標(biāo)

聲學(xué)場景分類是對各音頻記錄樣本進(jìn)行檢測并為其標(biāo)注場景類別標(biāo)簽，主要采用分類準(zhǔn)確率(accuracy, Acc)作為評價指標(biāo)，多類交叉熵(multi-class cross-entropy)作為補(bǔ)充。

準(zhǔn)確率是一個評估分類模型的主要指標(biāo)，在實際評價過程中，既有整體的分類準(zhǔn)確率，又有每個場景類別的分類準(zhǔn)確率。定義如式(5)所示

(5)

式中：在計算整體分類準(zhǔn)確率時，AccASC代表聲學(xué)場景的整體分類準(zhǔn)確率，Ncorr代表類別預(yù)測正確的樣本總數(shù)，Nall代表所有參與評估的音頻樣本數(shù)；如果分開計算每一類別的分類準(zhǔn)確率，那么AccASC表示該類別的場景分類準(zhǔn)確率，Ncorr表示該類別中成功預(yù)測場景類型的樣本數(shù)，Nall表示該類別的音頻樣本總數(shù)。本文采用整體分類準(zhǔn)確率，即計算聲學(xué)場景分類準(zhǔn)確率的宏觀平均值。

多類交叉熵表示分類器決策的不確定性，10個聲學(xué)場景類別記為X=x1,x2,…,x10， 定義如式(6)所示

(6)

式中：p(xi) 和q(xi) 分別是場景變量X=xi的兩個概率分布，其中p(xi) 是目標(biāo)真實分布，q(xi) 是預(yù)測得到的分布。熵值越小，場景類別就越容易確定，該分類系統(tǒng)就越穩(wěn)定。但是具有最小交叉熵的分類模型在準(zhǔn)確性方面不一定是最佳系統(tǒng)，因此，采用多類交叉熵指標(biāo)作為補(bǔ)充對分類系統(tǒng)進(jìn)行更加全面的評價。

2.3 基線系統(tǒng)BaseLine2020

DCASE 2020官方網(wǎng)站給出了一個關(guān)于聲學(xué)場景分類的基線系統(tǒng)(BaseLine2020)，該系統(tǒng)采用多層感知機(jī)(multilayer perceptron, MLP)進(jìn)行架構(gòu)，Open L3嵌入作為特征表示，隨后是兩個完全連接的前饋層，分別包含512個和128個隱藏單元。模型訓(xùn)練200個epoch，批尺寸大小為64，采用ADAM權(quán)重優(yōu)化器快速更新權(quán)重，學(xué)習(xí)速率為0.001，在每個時期之后，學(xué)習(xí)率將呈指數(shù)下降。使用約30%的原始訓(xùn)練數(shù)據(jù)組成驗證數(shù)據(jù)集進(jìn)行模型選擇，在驗證集上對每個epoch后的模型性能進(jìn)行評價，并選擇性能最佳的模型，最終在開發(fā)集上的整體性能是54.1%。

3 實驗結(jié)果分析

3.1 不同特征性能對比

本文共設(shè)計4組對比實驗，探索不同特征的分類性能表現(xiàn)，包括DSS、SCMC、AELF單個特征以及其特征組合，ResNet作為分類器。表2所示為不同分類系統(tǒng)的特征和模型配置，以及不同系統(tǒng)的分類準(zhǔn)確率和多類交叉熵對比，表3所示為4種分類系統(tǒng)對不同場景類別的分類準(zhǔn)確率。對比實驗E1-E3分別為僅輸入AESL、SCMC、DSS單特征以訓(xùn)練ResNet進(jìn)行分類，BaseLine2020即DCASE2020官方提出的ASC系統(tǒng)，在2.3節(jié)中進(jìn)行具體描述，E4為本文所提分類方法。

表2 4種實驗設(shè)置的對比

表3 不同場景下的分類準(zhǔn)確率對比

結(jié)合表2和表3可知：采用AESL特征作為輸入表示的聲學(xué)場景分類方法效果優(yōu)于SCMC和DSS特征，準(zhǔn)確率相比分別提高2.8%和0.3%；利用AESL和SCMC、DSS特征組合的最終分類在精度上有顯著提高，平均準(zhǔn)確率達(dá)到了65.5%，相比單個特征輸入，準(zhǔn)確率分別提高了4%、6.8%、4.9%，并且遠(yuǎn)高于基線系統(tǒng)給出的54.1%的平均分類準(zhǔn)確率；與其它類別相比，交通街和公園類分類效果更佳。進(jìn)一步觀察可知，采用DSS特征的實驗E3，在準(zhǔn)確率較高的同時，多類交叉熵?fù)p失函數(shù)值也是最大的，即分類系統(tǒng)E3不穩(wěn)定，場景預(yù)測結(jié)果具有較大的不確定性，但E4在E3的基礎(chǔ)上融合其它兩個特征并進(jìn)行集成學(xué)習(xí)之后，準(zhǔn)確率不僅得到了進(jìn)一步提高，損失函數(shù)值也有所降低。

圖4以折線圖的形式直觀展示了不同分類模型在每一類場景下的分類效果。

圖4 各特征對不同場景類別的分類效能對比

由圖4可見：在大部分場景類別中，本文所提出的分類模型與對照模型相比都取得了不同程度的提升，尤其是在公共廣場、電車以及公園場景中；相比基線模型，每一類場景的分類準(zhǔn)確率均有較為明顯的提升，這種提升在機(jī)場、步行街、公共廣場等場景尤為明顯。

為了可以深入分析各場景的分類結(jié)果，本文利用混淆矩陣將測試集中的每一類聲學(xué)場景分類結(jié)果進(jìn)行逐一統(tǒng)計，如圖5所示，其中的數(shù)字即是該類聲學(xué)場景的具體預(yù)測個數(shù)。由圖5可見：每一類聲學(xué)場景的大部分音頻數(shù)據(jù)都得到了正確分類結(jié)果，說明本文提出的針對聲學(xué)場景的多特征后融合分類模型是有效的。公園場景中含有鳥鳴聲、樹葉聲等等相對獨特的事件類型，而AESL特征很好地利用了聲學(xué)事件對于場景分類的優(yōu)勢，從圖2原始語譜圖中也可以看出公園場景在高頻階段亮度較大，有別于其它場景，而SCMC可以很好捕獲這一聲音亮度特性。若不同的聲學(xué)場景中含有相似的聲學(xué)事件，則容易造成不同類別的誤判，例如步行街整體環(huán)境嘈雜，含有腳步聲、說話聲等等，而這與公共廣場、商場等多個場景類似，因此容易被誤判；還有電車、巴士、地鐵同屬交通工具，含有車廂內(nèi)平穩(wěn)行駛聲以及乘客之間的交談聲，那么造成這三者相互誤判的個數(shù)就略多。

圖5 聲學(xué)場景測試集分類結(jié)果-混淆矩陣

3.2 不同方法性能對比

為了驗證本文提出的聲學(xué)場景分類方法可以進(jìn)一步提高分類性能，將提出的方法與3種對比方法的準(zhǔn)確率得分以及多類交叉熵函數(shù)值進(jìn)行比較，3種對比方法分別為文獻(xiàn)[19]所用方法(簡稱為Method_A)，采用注意力機(jī)制的Resnet-18和Openl3嵌入的方法；文獻(xiàn)[20]所用方法(簡稱為Method_B)，采用XGboost算法在兩個CNN上進(jìn)行并行預(yù)訓(xùn)練并對各模型輸出進(jìn)行結(jié)果平均融合；

文獻(xiàn)[21]所用方法(簡稱為Method_C)，在CNN、ResNet以及VGG上進(jìn)行預(yù)訓(xùn)練并對各模型輸出進(jìn)行集成平均；本文提出的方法為Method_D。4種方法均在DCASE 2020中Task1的TAU Urban Acoustic Scenes Mobile數(shù)據(jù)集上進(jìn)行實驗。表4所示為4種方法的分類準(zhǔn)確率以及多類交叉熵函數(shù)值的對比，由表4可知：Method_D相比Method_A的分類準(zhǔn)確率提升了9.6%，比Method_B提升了4.9%，比 Method_C提升了1.2%；Method_D的多類交叉熵相比Method_A降低了0.94，比Method_B降低了0.03，比Method_C降低了4.24。分析可知：應(yīng)用隨機(jī)森林集成的Method_D相比僅對模型預(yù)測結(jié)果進(jìn)行平均融合處理的其它3種對照方法，有更好的整體分類準(zhǔn)確率以及分類泛化性能，驗證了本文所提分類方法的有效性。

表4 4種方法的分類性能對比

4 結(jié)束語

(1)本文提出一種基于多特征后期融合的集成學(xué)習(xí)方法對聲學(xué)場景進(jìn)行分類，使用AESL以及DSS和SCMC這3種互補(bǔ)的光譜特征來表示聲學(xué)場景，分類器統(tǒng)一為ResNet，本文所提的AESL很好地利用了聲學(xué)事件對場景分類的影響，結(jié)合時頻特征有效地提升了分類準(zhǔn)確率；此外，驗證了在語音識別研究領(lǐng)域中使用的DSS和SCMC特征對于聲學(xué)場景分類的有效性。

(2)將ResNet模型并行訓(xùn)練，之后采用平均疊加的整體策略將其集成到同一個隨機(jī)森林模型中作出最終決策。本文在DCASE2020開發(fā)數(shù)據(jù)集上進(jìn)行實驗，最終得到了65.5%的準(zhǔn)確率，相比基線系統(tǒng)提高11.4%，其中，交通街、公園的分類準(zhǔn)確率均達(dá)到80%以上，這表明本文提出的多特征后期融合的方法較單分類器方法在聲學(xué)場景分類上有更好的效果。

在未來的工作中，針對分類準(zhǔn)確率比較低的步行街等場景，將會繼續(xù)探究不同的聲學(xué)特征功能，尋找更好的聲學(xué)事件識別算法來提高聲學(xué)場景分類準(zhǔn)確率。