劉 爽, 沈希忠
(上海應(yīng)用技術(shù)大學(xué) 電氣與電子工程學(xué)院,上海 201418)
聲音事件的識(shí)別和分析,在各個(gè)領(lǐng)域都體現(xiàn)出它的重要研究?jī)r(jià)值。通過(guò)識(shí)別某些動(dòng)物的鳴叫,了解它們的習(xí)性,為進(jìn)一步了解自然提高效率[1];通過(guò)對(duì)風(fēng)雨、雷電等聲音識(shí)別分析,提高對(duì)自然界環(huán)境氣候的認(rèn)識(shí),為天氣預(yù)報(bào)提供有效準(zhǔn)確的信息[2-3];由于不受光照和遮擋物的影響,聲音識(shí)別也廣泛應(yīng)用于安防和軍事等領(lǐng)域[4-5]。特征提取是聲音事件識(shí)別系統(tǒng)中最重要的部分。
經(jīng)驗(yàn)?zāi)B(tài)分解(empirical mode decomposition,EMD)算法是Huang等[6]在1998年針對(duì)故障診斷中很難準(zhǔn)確提取含有故障的特征這一現(xiàn)狀提出的,在很多方面都體現(xiàn)了其優(yōu)越性,但在結(jié)果分析時(shí)發(fā)現(xiàn)模態(tài)會(huì)混疊。Wu等[7-8]提出了集合經(jīng)驗(yàn)?zāi)B(tài)分解(ensemble empirical mode decomposition,EEMD)方法,該方法可在一定程度上抑制模態(tài)混疊現(xiàn)象,但同樣仍然有一定程度的分解誤差。Dragomiretskiy等[9]于2014 年提出了變分模態(tài)分解(variational modal decomposition,VMD)方法,相比于EMD及EEMD等遞歸式的分解模式,VMD是少層數(shù)、高精度的非遞歸、變分形式的分解模態(tài)[10]。VMD方法大多應(yīng)用于故障診斷領(lǐng)域[11-13],隨著VMD與其他算法的結(jié)合,也逐漸應(yīng)用于運(yùn)行可靠性評(píng)估[14]、風(fēng)功率預(yù)測(cè)[15]等研究。
利用VMD和EMD算法對(duì)帶有發(fā)動(dòng)機(jī)信號(hào)、蟬鳴信號(hào)的混合聲音事件信號(hào)進(jìn)行分解,得到本征模態(tài)函數(shù)(intrinsic mode function,IMF)分量,通過(guò)相關(guān)系數(shù)對(duì)各分量合成和拼接,并確定重構(gòu)信號(hào)所屬類(lèi)型,再做多尺度排列熵(multiscale permutation entropy,MPE)的分析,最終完成對(duì)混合聲音事件特征提取的目的,并對(duì)比VMDMPE和EMD-MPE的結(jié)果。
EMD算法將非平穩(wěn)信號(hào)按照其自身的尺度特征變?yōu)槠椒€(wěn)信號(hào),得到具有不同特征尺度的IMF分量。
對(duì)于任一信號(hào)X(t),EMD算法分解流程[16],具體可以描述為:
(1) 用3次樣條曲線分別連接X(jué)(t)上所有極大、極小值點(diǎn),形成上、下包絡(luò)線。將信號(hào)X(t)上下包絡(luò)線均值m1的差記為
h1接 替X(t)成 為新的信號(hào),重復(fù)上述操作,直到hi滿(mǎn)足IMF的2個(gè)條件,成功篩選出IMF1,記作C1。
(2) 將C1分 離出來(lái),得到新信號(hào)r1,即
令r1重 復(fù)(1),直到第n階的殘余信號(hào)rn成為單調(diào)遞增或者單調(diào)遞減函數(shù),即
(3) 原始信號(hào)X(t)可以表示為
式中:rn(t)為 殘量,代表信號(hào)中的平均趨勢(shì);Cj(t)代表信號(hào)從高到低不同頻率段的成分。能量在整個(gè)分解過(guò)程中沒(méi)有損失,可利用分解得到的各IMF分量和殘量來(lái)精準(zhǔn)重構(gòu)原始信號(hào)。
MPE是由Aziz等[17]在改進(jìn)排列熵時(shí)提出,用于分析信號(hào)在不同粒度采樣(即多尺度)下的狀態(tài),能夠在一定程度上實(shí)現(xiàn)抗干擾和抗噪?;舅枷胧嵌喑叨却至;煌瑫r(shí)間序列,然后計(jì)算它們的的排列熵,即MPE[18]。其計(jì)算流程如圖1所示。
圖1 MPE計(jì)算流程圖Fig. 1 Flow chart of MPE
(1) 粗粒化處理時(shí)間序列X={xi,i=1,2,···,N}, 得到粗粒化序列yj(s)
式中:s為尺度因子;N為序列長(zhǎng)度;[N/s]表 示對(duì)N/s取整。
(2) 對(duì)進(jìn)行時(shí)間重構(gòu)得到
式中:m為嵌入維度;τ為延遲時(shí)間;l為 第l個(gè)重構(gòu)分量,l=1,2,···,N?(m?1)τ。
(3) 將時(shí)間重構(gòu)序列按升序排列,可得到符號(hào)序列S(r)=(l1,l1,···,lm), 其中,r=1,2,···,R,且R?m!, 計(jì)算每一種符號(hào)序列出現(xiàn)的概率Pr。
(4)計(jì)算每個(gè)粗?;蛄械呐帕徐?/p>
當(dāng)Pr=1/m!時(shí) ,Hp(m)達(dá) 到 最 大值 ln(m!)。歸一化處理MPE值Hp(m),得到多MPE值,即
式中,Hp(m)為歸一化處理后的排列熵值。
粒 子 群 算 法(particle swarm optimization,PSO)根據(jù)鳥(niǎo)群覓食特性建立模型,主要作用就是尋找得到最優(yōu)的結(jié)果,已經(jīng)應(yīng)用于很多算法的優(yōu)化處理中[19-21]。VMD算法中懲罰因子α和分解層數(shù)K影響著VMD的分解效果,但往往就只判斷K這一個(gè)參數(shù),就會(huì)只得到一種最優(yōu)值。因此,本文利用粒子群算法求解2個(gè)參數(shù)的最優(yōu)值,其中選用的適應(yīng)度函數(shù)的包絡(luò)熵平均值,PSO優(yōu)化VMD參數(shù)過(guò)程如圖2。過(guò)程如下:
圖2 PSO優(yōu)化VMD參數(shù)流程圖Fig. 2 Flow chart of PSO optimization VMD parameters
(1) 初始化PSO的參數(shù),并選擇包絡(luò)熵平均值作為適應(yīng)度函數(shù)。
(2) 以參數(shù)組合[α,K]作為PSO中的粒子,確定粒子的最初位置及移動(dòng)速度。
(3) 在粒子不同的情況下做VMD分解,計(jì)算相應(yīng)的適應(yīng)度值,通過(guò)對(duì)比找到個(gè)體最優(yōu)和群體最優(yōu)值。
(4) 更新粒子的速度和位置。
(5) 計(jì)算最新粒子的適應(yīng)度值,與原適應(yīng)度值比較,將更好的結(jié)果替換成為新的個(gè)體最優(yōu)和群體最優(yōu)值,繼續(xù)下一時(shí)刻的運(yùn)算。
(6) 當(dāng)?shù)螖?shù)達(dá)到最大設(shè)定時(shí)就得到最佳適應(yīng)度值及粒子的位置,否則循環(huán)至步驟(3)迭代。
類(lèi)似如上VMD的流程,得到經(jīng)EMD分解cos信號(hào)的時(shí)域圖,如圖3所示。
圖 3 仿真信號(hào)及其對(duì)應(yīng)EMD處理的時(shí)域圖Fig. 3 Simulation signal and its corresponding EMD processing time-domain diagram
將得到的分量與3種cos信號(hào)關(guān)聯(lián),計(jì)算相關(guān)系數(shù),如表1所示。由表1可知,與這3種cos信號(hào)的相關(guān)系數(shù)最高的是IMF5、IMF4、IMF1與VMD算法的相關(guān)系數(shù)相比,在經(jīng)過(guò)處理得到分量與原信號(hào)的相關(guān)性方面,EMD算法略遜于VMD算法。
表1 EMD得到的各分量與3個(gè)cos信號(hào)的相關(guān)系數(shù)Tab. 1 The correlation coefficients of each component obtained by EMD and the three cosine signals
2.2.1 模態(tài)參數(shù)K的確定
實(shí)際錄制一段包含有混合聲音事件的文件,截取長(zhǎng)度為1.04 s的信號(hào),作為特征提取的樣本信號(hào),利用VMD算法對(duì)其進(jìn)行分解,聲音事件信號(hào)包括發(fā)動(dòng)機(jī)聲音、蟬鳴聲音信號(hào)以及周?chē)h(huán)境聲。由于VMD算法中模態(tài)分量個(gè)數(shù)的多少都會(huì)影響到后面的結(jié)果,太多,會(huì)產(chǎn)生模態(tài)混疊,導(dǎo)致特征模態(tài)函數(shù)沒(méi)有任何物理意義;太少,會(huì)丟掉原本有用的信息。因此,在對(duì)樣本信號(hào)進(jìn)行VMD分解前,要先確定模態(tài)分量個(gè)數(shù)K。本文采用計(jì)算各模態(tài)分量的中心頻率來(lái)確定K值。不同K值下各模態(tài)分量的中心頻率如表2所示??梢钥闯觯寒?dāng)K=4、5、6時(shí),中心頻率存在突然減小的情況,屬于過(guò)度分解狀態(tài),所以選擇K=3。
表2 不同K值對(duì)應(yīng)的中心頻率Tab. 2 The center frequency corresponding to different K values
2.2.2 利用VMD算法分解實(shí)際錄制語(yǔ)音
利用2.2.1確定模態(tài)參數(shù)K=3,用VMD算法對(duì)實(shí)際錄制的這段車(chē)載語(yǔ)音文件進(jìn)行分解,得到圖4。將得到的各分量與發(fā)動(dòng)機(jī)信號(hào)、蟬鳴信號(hào)互相關(guān),得到各相關(guān)系數(shù),如表3所示。
表3 VMD處理的各分量與2種信號(hào)相關(guān)系數(shù)Tab. 3 The correlation coefficients between the VMD components and the two signals
圖4 VMD分解圖Fig. 4 The VMD decomposition diagram
由表3可見(jiàn),與發(fā)動(dòng)機(jī)信號(hào)相關(guān)系數(shù)最高的是IMF1,與蟬鳴信號(hào)相關(guān)系數(shù)最高的是IMF2,因此,表示經(jīng)VMD算法分解得到的3個(gè)分量依次為發(fā)動(dòng)機(jī)信號(hào)、蟬鳴信號(hào)以及周?chē)h(huán)境產(chǎn)生的信號(hào)。
2.2.3 MPE計(jì)算
利用MPE對(duì)上述得到的分量進(jìn)行處理,經(jīng)過(guò)VMD分解和MPE的特征提取后,此特征向量可以在一定程度上區(qū)分信號(hào)。本文取嵌入維數(shù)m=4,提取的尺度因子s=20,結(jié)果如圖5所示。
圖5 嵌入維度m =4, 尺度因子s =20時(shí)MPE分布Fig. 5 MPE distribution when embedding dimension m=4 and scale factor s=20
圖5中,“—”代表IMF1(即發(fā)動(dòng)機(jī)信號(hào)),“”代表IMF2(即蟬鳴信號(hào)),“”代表IMF3(即周?chē)h(huán)境產(chǎn)生的信號(hào))??梢悦黠@看出,嵌入維數(shù)m=4時(shí),發(fā)動(dòng)機(jī)信號(hào)被完全分離出來(lái),蟬鳴信號(hào)和周?chē)h(huán)境產(chǎn)生的信號(hào)的MPE值有部分交疊現(xiàn)象,此時(shí)若根據(jù)MPE值進(jìn)行分類(lèi)識(shí)別不能較好地區(qū)分各個(gè)變量。
2.3.1 利用EMD算法分解實(shí)際錄制語(yǔ)音
利用EMD算法對(duì)2.2.1中錄制的1.04 s的信號(hào)進(jìn)行處理,結(jié)果如圖6所示,IMF分量個(gè)數(shù)是16,將得到的各分量與發(fā)動(dòng)機(jī)信號(hào)、蟬鳴信號(hào)互相關(guān),得到各相關(guān)系數(shù),如表4所示。
圖6 EMD分解圖Fig. 6 The EMD decomposition diagram
由表4可見(jiàn),與發(fā)動(dòng)機(jī)信號(hào)相關(guān)系數(shù)較高的是IMF6~I(xiàn)MF11,與蟬鳴信號(hào)相關(guān)系數(shù)最高的是IMF1~I(xiàn)MF3,將IMF1~I(xiàn)MF3合成一個(gè)信號(hào),記為信號(hào)1,IMF6~I(xiàn)MF11合成一個(gè)信號(hào),記為信號(hào)2,剩余的分量合成一個(gè)信號(hào),記為信號(hào)3,再將得到的3個(gè)信號(hào)與發(fā)動(dòng)機(jī)信號(hào)、蟬鳴信號(hào)互相關(guān),得到相關(guān)系數(shù),如表5所示。
表4 EMD處理的各分量與2種信號(hào)相關(guān)系數(shù)Tab. 4 The correlation coefficients between the EMD components and the two signals
表5 重構(gòu)后分量與2種信號(hào)的相關(guān)系數(shù)Tab. 5 The correlation coefficient between the reconstructed components and the two signals
由表5可見(jiàn),與發(fā)動(dòng)機(jī)信號(hào)相關(guān)系數(shù)較高的是信號(hào)2,與蟬鳴信號(hào)相關(guān)系數(shù)最高的是信號(hào)1,因此,表示經(jīng)EMD算法分解并合理合成得到的3個(gè)信號(hào)依次為蟬鳴信號(hào)、發(fā)動(dòng)機(jī)信號(hào)以及周?chē)h(huán)境產(chǎn)生的信號(hào),將合成的3個(gè)信號(hào)表示如圖7所示。
圖7 EMD重構(gòu)的3個(gè)信號(hào)Fig. 7 3 components reconstructed by EMD
2.3.2 MPE的計(jì)算
利用MPE對(duì)EMD算法分解并合理合成得到的信號(hào)進(jìn)行處理,取嵌入維數(shù)m=4,提取的尺度因子s=20,結(jié)果如圖8所示。圖8中,“—”代表IMF1(即蟬鳴信號(hào)),“”代表IMF2(即發(fā)動(dòng)機(jī)信號(hào)),“”代表IMF3(即周?chē)h(huán)境產(chǎn)生的信號(hào))??梢悦黠@看出,嵌入維數(shù)m=4時(shí),發(fā)動(dòng)機(jī)信號(hào)被完全分離出來(lái),而在尺度因子s=6之后蟬鳴信號(hào)和周?chē)h(huán)境產(chǎn)生的信號(hào)的MPE值就已經(jīng)有部分交疊現(xiàn)象。因此,與VMD-MPE相比,若根據(jù)EMD-MPE進(jìn)行分類(lèi)識(shí)別會(huì)更有難度。
圖8 嵌入維度m =4, 尺度因子s =20時(shí)MPE分布Fig. 8 MPE distribution when embedding dimension m=4 and scale factor s=20
該節(jié)的實(shí)驗(yàn)收集了稍復(fù)雜的混合聲音信號(hào),包括了汽車(chē)發(fā)動(dòng)機(jī)聲音信號(hào)、警報(bào)聲音信號(hào)以及蟋蟀聲音信號(hào)等混合信號(hào),首先利用EMD、VMD以及PSO算法算法改進(jìn)VMD算法中的兩個(gè)參數(shù)后,對(duì)聲音信號(hào)進(jìn)行分解,通過(guò)相關(guān)系數(shù)分析確定每個(gè)分量的類(lèi)型,然后結(jié)合MPE對(duì)分解得到的分量進(jìn)行特征提取,得到MPE分布圖,最后通過(guò)對(duì)比得出實(shí)驗(yàn)結(jié)果。
3.1.1 EMD分解
利用EMD算法分解該節(jié)中的混合聲音,結(jié)果如圖9所示,其相關(guān)系數(shù),如表6所示。
圖9 EMD分解圖Fig. 9 The EMD decomposition diagram
表6 EMD處理的各分量與3種信號(hào)相關(guān)系數(shù)Tab. 6 The correlation coefficients between the EMD components and the three signals
根據(jù)相關(guān)系數(shù)重構(gòu)信號(hào),可以看出,與發(fā)動(dòng)機(jī)信號(hào)相關(guān)最高的是IMF4~I(xiàn)MF10,重組成為信號(hào)1,與警報(bào)聲音信號(hào)相關(guān)最高的是IMF1~I(xiàn)MF3,重組成為信號(hào)2,而蟋蟀聲音信號(hào)沒(méi)有被分解出來(lái),剩余的分量重組成為信號(hào)3,可以認(rèn)為是周?chē)h(huán)境聲音信號(hào),重組后的結(jié)果如圖10所示,相關(guān)系數(shù)如表7所示。
表7 重構(gòu)后的信號(hào)與3種信號(hào)的相關(guān)系數(shù)Tab. 7 The correlation coefficient between the reconstructed signal and the three signals
圖10 EMD重構(gòu)的3個(gè)信號(hào)Fig. 10 3 signals reconstructed by EMD
可以看出,由EMD分解并重構(gòu)后的3個(gè)信號(hào)依次為汽車(chē)發(fā)動(dòng)機(jī)聲音信號(hào)、警報(bào)聲音信號(hào)以及周?chē)h(huán)境信號(hào),而在混合聲音信號(hào)中的蟋蟀聲音信號(hào)并沒(méi)有被EMD算法分解出來(lái)。
3.1.2 VMD分解
首先利用VMD算法預(yù)分解,然后根據(jù)中心頻率的情況確定分解層數(shù)K值,對(duì)于該節(jié)中的混合聲音信號(hào),中心頻率如表8所示,由于K=4時(shí),IMF2與IMF3出現(xiàn)模態(tài)混疊現(xiàn)象,因此選用K=3。
表8 不同K值對(duì)應(yīng)的中心頻率Tab. 8 The center frequency corresponding to different K values
選用K=3,此時(shí)利用VMD算法分解,結(jié)果如圖11所示。
圖11 VMD分解圖Fig. 11 The VMD decomposition diagram
將得到的各分量與汽車(chē)發(fā)動(dòng)機(jī)信號(hào)、警報(bào)聲音信號(hào)、蟋蟀聲音信號(hào)互相關(guān),得到各相關(guān)系數(shù),如表9所示。由表9中相關(guān)系數(shù)的高低可以判斷信號(hào)屬于哪種類(lèi)型,經(jīng)VMD算法分解得到的3個(gè)分量,依次代表汽車(chē)發(fā)動(dòng)機(jī)信號(hào)、警報(bào)聲音信號(hào)、蟋蟀聲音信號(hào)。
表9 VMD處理各分量與3種信號(hào)相關(guān)系數(shù)Tab. 9 The correlation coefficients between the VMD components and the three signals
3.1.3 PSO-VMD分解
利用PSO算法優(yōu)化VMD的懲罰因子和分解層數(shù)2個(gè)參數(shù),以VMD分量包絡(luò)熵平均值作為適應(yīng)度函數(shù),如圖12所示,當(dāng)滿(mǎn)足停止條件時(shí)得到迭代結(jié)果,懲罰因子α=962, 分解層數(shù)K=3。將其帶入VMD算法,結(jié)果如圖13所示,各相關(guān)系數(shù)如表10所示。
表10 PSO-VMD處理的各分量與3種信號(hào)相關(guān)系數(shù)Tab. 10 Correlation coefficients between each componentprocessed by PSO-VMD and the three signals
圖12 PSO算法優(yōu)化VMD參數(shù)圖Fig. 12 PSO algorithm optimization VMD parameter diagram
圖13 PSO-VMD分解圖Fig. 13 PSO-VMD decomposition diagram
因此,可以判斷,經(jīng)PSO優(yōu)化VMD算法參數(shù),分解得到的3個(gè)分量依次代表汽車(chē)發(fā)動(dòng)機(jī)信號(hào)、警報(bào)聲音信號(hào)、蟋蟀聲音信號(hào)。
3.2.1 參數(shù)選擇
首先在VMD算法分解信號(hào)的情況下,假設(shè)尺度因子取s=20的 情況下,比較嵌入維度m的情況,如圖14所示,可以很明顯的看出在m=4時(shí),效果是最好的,3個(gè)分量很容易就能夠區(qū)分出來(lái),因此確定嵌入維度m=4。
嵌入維度確定m=4后 ,確定尺度因子s,如圖15所示,對(duì)比后發(fā)現(xiàn),尺度因子s=20是最合適的值。
圖15 MPE在不同尺度因子下的分布圖Fig. 15 Distribution of MPE at different scale factors
3.2.2 實(shí)驗(yàn)對(duì)比
將EMD、VMD、PSO-VMD分解后得到的分量經(jīng)MPE提取特征,對(duì)比得到的MPE分布圖,如圖16所示。
圖16(a)中的3個(gè)分量很好區(qū)分,但是EMD分解時(shí)并沒(méi)有將蟋蟀聲音信號(hào)分解出來(lái),從某種程度上來(lái)說(shuō),可以認(rèn)定該信息被丟失,而圖16(b)、16(c)中的3個(gè)分量分別代表了汽車(chē)發(fā)動(dòng)機(jī)聲音信號(hào)、警報(bào)聲音信號(hào)、蟋蟀聲音信號(hào),并且對(duì)于區(qū)分各分量一目了然。因此,VMD及PSO-VMD算法優(yōu)于EMD算法。
圖16 不同算法下的MPE分布圖Fig. 16 MPE distribution diagram under different algorithms
本文利用PSO算法改進(jìn)VMD算法,并且將PSO-VMD算法、VMD算法、EMD算法以及MPE應(yīng)用于混合聲音事件的特征提取。
在基本實(shí)驗(yàn)分析中,利用VMD算法和EMD算法對(duì)2種簡(jiǎn)單的混合信號(hào)進(jìn)行分解,一種信號(hào)是存在3個(gè)cos信號(hào)的混合信號(hào),另一種信號(hào)是錄制的一段帶有發(fā)動(dòng)機(jī)信號(hào)、蟬鳴信號(hào)等信號(hào)的混合聲音事件信號(hào),結(jié)合MPE計(jì)算EMD-MPE和VMDMPE的值,并得到分布圖,通過(guò)對(duì)比可以得到VMD算法的結(jié)果優(yōu)于EMD算法。
此外,還利用PSO優(yōu)化VMD算法參數(shù),利用3個(gè)方法對(duì)復(fù)雜的混合聲音信號(hào)做分解,混合聲音信號(hào)包含有汽車(chē)發(fā)動(dòng)機(jī)聲音信號(hào)、警報(bào)聲音信號(hào)、蟋蟀聲音信號(hào)等信號(hào)。利用EMD算法分解該信號(hào)并重組信號(hào),發(fā)現(xiàn)只能得到汽車(chē)發(fā)動(dòng)機(jī)聲音信號(hào)和警報(bào)聲音信號(hào),而蟋蟀聲音信號(hào)沒(méi)有被分解出來(lái),VMD算法和PSO-VMD算法分解穩(wěn)定,3種聲音信號(hào)都被成功分解出來(lái)。在結(jié)合MPE后,可以通過(guò)圖示輕松的看出VMD算法和PSO-VMD算法優(yōu)于EMD算法。