郭 偉,于鳳芹

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫214122)

基于改進時頻比的語音音樂信號分離

郭 偉,于鳳芹

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫214122)

時頻比是混合信號在時頻域幅值特性的比值,利用時頻比尋找混合信號中的單源點,對相應(yīng)的比值構(gòu)成的矩陣求逆可以得到對源信號的估計。針對基于時頻比的盲源分離將信號變換到時頻域后計算量大且對算法有效的時頻窗較少的問題,提出用重復(fù)結(jié)構(gòu)周期內(nèi)的時頻點代替整個時頻域進行單源點的檢測,重復(fù)結(jié)構(gòu)內(nèi)的時頻點在每個周期內(nèi)都有相似的值,通過減少一個周期內(nèi)時頻點的檢測,由單源點對應(yīng)的時頻比恢復(fù)出源信號。用相似系數(shù)矩陣評價分離效果,仿真實驗結(jié)果表明,在達到幾乎相同的相似系數(shù)的情況下,運行時間可減少45.43%,可有效降低運算量。

時頻比;單源點;線性時頻變換;重復(fù)結(jié)構(gòu);節(jié)拍譜;語音音樂信號分離

1 概述

盲源分離是在不知道先驗知識的情況下,根據(jù)源信號統(tǒng)計特性從混合信號分離出源信號的過程,語音和音樂信號的分離可應(yīng)用于說話人的識別與檢測、儀器識別、音樂旋律提取、樂譜轉(zhuǎn)錄等［1］。音樂信號通常都表現(xiàn)出較強的自相似性,因而有一些重復(fù)類型或重復(fù)結(jié)構(gòu),音樂的重復(fù)可表現(xiàn)在旋律、節(jié)奏、歌詞和編曲這4個方面,重復(fù)結(jié)構(gòu)的提取可用于音樂摘要、音樂檢索和音樂恢復(fù)［2］。通過音樂信號任意2個片段之間的相似性組成的二維相似矩陣可視化音樂信號的重復(fù)結(jié)構(gòu),相似矩陣可以通過MFCC、時頻譜圖或音樂信號的特征得到,可用來定位局部跳變點或者計算節(jié)拍譜［3］,節(jié)拍譜最大值對應(yīng)的時間定義為音樂重復(fù)結(jié)構(gòu)的周期,音樂信號在具有重復(fù)結(jié)構(gòu)的時頻塊中具有相似的值［4］。

基于時頻比的盲源分離是通過檢測時頻單源點對應(yīng)的比值恢復(fù)出源信號［5］,文獻［6］提出基于時頻比的算法,對觀測信號進行短時傅里葉變換,計算恒定時間或恒定頻率的相鄰幾個時頻窗的時頻比,用互相關(guān)系數(shù)最大或均方差最小方法尋找單源點。文獻［7］針對時延混合系統(tǒng),提出在恒定時

間情況下的時頻比算法,將方差的均值按升序排列,最小均值對應(yīng)的時頻點就是最佳單源分析域。文獻［8］對觀測信號進行小波包變換增大信號的稀疏程度。文獻［9］利用S變換構(gòu)造時頻比矩陣,獲得多分辨率特性。文獻［10］先去除能量較小的時頻點,再根據(jù)實部與虛部的比值分別相等判斷單源點?；跁r頻比的盲源分離將信號變換到時頻域后,計算量大且對算法有效的時頻窗比較少,本文提出縮小單源分析域的搜索范圍,根據(jù)重復(fù)結(jié)構(gòu)內(nèi)的時頻點在每個周期內(nèi)具有相似的值,選擇包含一個重復(fù)結(jié)構(gòu)周期的時頻域來代替整個時頻域檢測單源點,減少計算量。

2 算法原理

2.1 基于相似矩陣的重復(fù)結(jié)構(gòu)

相似矩陣的自相似性稱為節(jié)拍譜［11］,反映了節(jié)拍的周期性變化規(guī)律,節(jié)拍譜的峰值對應(yīng)著重復(fù)時刻。節(jié)拍譜的計算分為3個步驟:(1)將音頻信號以頻譜等形式表示為特征向量組成的序列; (2)計算2個特征向量之間的相似度,得到相似矩陣;(3)計算相似矩陣的對角線和或自相關(guān),觀察相似矩陣的周期性。本文的節(jié)拍譜是對信號進行短時傅里葉變換,以每幀信號的幅度譜作為特征向量進行相似性計算。對混合信號作短時傅里葉變換,混合信號的幅度譜記作V。利用特征向量的夾角余弦參數(shù)描述相似性,相似矩陣定義為:

其中,V(i)和V(j)分別為第i幀和第j幀特征向量,以角度的余弦參數(shù)作為相似性測度,在向量幅值較小的情況下仍然可以得到較大的相似度。節(jié)拍譜可通過計算相似矩陣對角線方向元素之和得到:

其中,C(0)是主對角線元素之和;C(1)是上對角線元素之和,依次計算C(l)的各個元素。另一種計算節(jié)拍譜更為穩(wěn)健的方法是計算相似矩陣的自相關(guān):

其中,C(k,l)為對稱矩陣,只需按行或者列相加,就可得到節(jié)拍譜C(l);重復(fù)結(jié)構(gòu)的周期定義為節(jié)拍譜中最大值對應(yīng)的時間,記為p,包含重復(fù)結(jié)構(gòu)的時頻塊在每個周期內(nèi)都有相似的值。圖1所示是語音信號、音樂信號和語音音樂的混合信號的節(jié)拍譜。

圖1 3種信號的節(jié)拍譜

圖1(a)中語音信號的節(jié)拍譜沒有周期性的規(guī)律。圖1(b)中音樂信號和圖1(c)中語音音樂的混合信號的節(jié)拍譜周期性地形成了峰值,而且兩者的節(jié)拍譜比較接近。由圖1可以看出,將語音和音樂信號混合之后,混合信號中具有重復(fù)結(jié)構(gòu)。

2.2 基于時頻比改進的盲源分離

在得到時頻比值之后,檢測單源區(qū)域,本文考慮恒定頻率、相鄰時間點構(gòu)成的時頻窗,這些相鄰的時頻窗稱為分析域,計算每一個分析域中的均值:

其中,M為分析域中時頻窗的個數(shù),之后計算方差:

3 算法實現(xiàn)步驟

基于時頻比改進的語音音樂信號盲分離算法具體步驟為:

(1)對混合信號進行短時傅里葉變換,從第一路混合信號開始計算每一路與第一路混合信號的時頻比值。

(2)計算幅度譜V中的各幀信號之間的相似性,得到相似矩陣,利用式(3)計算節(jié)拍譜,得到重復(fù)結(jié)構(gòu)周期p。

(3)以恒定頻率、相鄰時間點的時頻窗為分析域,選取包含一個重復(fù)結(jié)構(gòu)周期p的分析域,將分析域按方差的升序排列,將方差最小對應(yīng)的分析域作為第一個單源區(qū)域,確定分離矩陣的第一列。

(5)對時頻矩陣B求逆,求源信號的估計y=B-1x(t)。

4 仿真實驗結(jié)果與分析

圖2 源信號時域波形圖

對混合信號進行短時傅里葉變換,選取窗長為128的漢明窗,2幀之間的重疊75%,計算混合信號的頻譜。以幅度譜為特征向量,計算每個特征向量之間的相似性,相似矩陣主對角線計算的是每個特征向量的自相似性,相似值最大,為1,越接近于1的值代表對應(yīng)的2個特征向量之間的相似性越大。計算節(jié)拍譜,混合信號周期性地形成了峰值,如圖3所示。

圖3 混合信號的節(jié)拍譜

在第2 398幀處,節(jié)拍譜的峰值最大,此值對應(yīng)的時間為重復(fù)結(jié)構(gòu)的周期。將恒定頻率,相鄰10個時間點的時頻窗作為一個分析域,相鄰分析域的重復(fù)率為50%,一共998個分析域,選取第1個～第480個分析域,這些分析域包含了一個完整的重復(fù)結(jié)構(gòu)周期,然后檢測單源點,在得到全部的時頻比的列后,對時頻比矩陣求逆并求得對源信號的估計,分離信號時域波形如圖4所示,從圖2和圖4的波形對比可以看出,本文方法較好地分離出了源信號。

圖4 分離信號時域波形圖

評價分離效果的性能指標(biāo)有相似系數(shù)矩陣和信干比［13］,第i路分離輸出信號yi與第j路輸入信號sj的相似系數(shù)計算公式如下:

當(dāng)ri,j≈1時,yi是sj的較好估計,由于在盲源分離中,分離信號存在幅度與順序的差異,當(dāng)相似系數(shù)矩陣每行每列都有且僅有一個元素接近于1,其他元素都接近于0時,認為該算法分離效果較為理想。分離后信號與源信號之間信干比(SIR)的定義式為:

將分離信號與源信號之間的差值作為干擾信號,分離后計算出的信干比數(shù)值越大,分離效果越好。

用本文方法進行語音和音樂信號的分離,并與原方法進行比較,實驗結(jié)果如表1所示。

表1 改進前后算法性能對比

理論上時頻比矩陣的值為:

從表1可以看出,改進前后算法時頻比矩陣的值均較為接近理論值,分離效果也比較好,但改進后算法選取了一部分時頻窗進行計算,時間明顯降低。

在語音信號和音樂信號分別以-10 dB,-5 dB, 0 dB,5 dB,10 dB,混合的情況下計算SIR和相似系數(shù)矩陣,實驗結(jié)果如表2所示。

表2 語音音樂信號在不同混合比例下的性能指標(biāo)對比

從表2可以看出,語音-音樂混合比變化時,雖然相似系數(shù)矩陣的值變化不大,但是SIR變化比較明顯,當(dāng)語音-音樂混合比越大,SIR的值越大,分離效果越好。算法主要是尋找單源域?qū)?yīng)的時頻比,當(dāng)信號稀疏性較好時,算法的性能越好,音樂信號在經(jīng)過時頻變換后稀疏性低于語音信號,當(dāng)混合信號中音樂信號的比重越小,混合信號與語音信號就更為接近,信號的稀疏性越好,分離效果也越好。

觀察源信號數(shù)目增加對分離結(jié)果的影響,分別在源信號數(shù)為2個、3個、4個、5個的情況下計算信干比,實驗結(jié)果如表3所示。

表3 不同源信號數(shù)下的分離情況對比

從表3可以看出,當(dāng)源信號的數(shù)目增加時,SIR的值呈下降趨勢,即分離效果越差,因為隨著源信號數(shù)目的增加,信號在時頻域單獨出現(xiàn)的幾率減小,所以在時頻域上從混合信號中尋找單個源信號就更加困難。

5 結(jié)束語

本文利用重復(fù)結(jié)構(gòu)來改進基于時頻比的盲源分離算法,選取包含一個重復(fù)結(jié)構(gòu)周期的分析域代替整個時頻域來檢測單源點。仿真實驗結(jié)果表明,在達到同等分離效果的情況下,改進后算法檢測的時頻窗減少了51.90%,運行時間減少了56.72%,有效地降低了運算量。

［1]Hsu Chao-Ling,Wang Deliang.A Tandem Algorithm for Singing Pitch Extraction and Voice Separation from Music Accompaniment［J］.IEEETransactionson Audio,Speech,and Language Processing,2012,20(5): 1482-1491.

［2]Lie L,Mu Y W.Repeating Pattern Discovery and Structure Analysis from Acoustic Music Data［C］// Proceedings ofthe 6thACMSIGMMInternational WorkshoponMultimediaInformationRetrieval.New York,USA:ACM Press,2004:275-282.

［3]Antoine L,Zafar R.Adaptive Filtering for Music/Voice SeparationExploitingtheRepeatingMusicalStructure［C］//Proceedings of IEEE International Conference on Acoustics,Speech and Signal Processing.Kyoto, Japan:［s.n.］,2012:53-56.

［4]Zafar R,Bryan P.A Simple Music/Voice Separation Method Based on the Extraction of the Repeating MusicalStructure［C］//ProceedingsofIEEE International ConferenceonAcoustics,Speechand Signal Processing.Prague,Czechoslovakia:［s.n.］, 2011:221-224.

［5]Lu Fengbo,Huang Zhitao,Jiang Wenli.Underdetermined Blind SeparationofNon-disjointSignalsinTimefrequency Domain Based on Matrix Diagonalization［J］.Signal Processing,2011,91(7):1568-1577.

［6]Puigt M,Deville Y.Time-frequency Ratio-based Blind Separation Methods for Attenuated and Time-delayed Sources［J］.Mechanical Systems and Signal Processing, 2005,19(6):1348-1379.

［7]Deville Y,Puigt M.Two Time-frequency Ratio-based Blind Source Separation Methods forTime-delayed Mixtures［C］//Proceedings of the 6th International Conference on Independent Component Analysis and Blind Signal Separation.Charleston,USA:［s.n.］, 2006:682-690.

［8]Li Yuanqing,Amari S.Underdetermined Blind Source Separation Based on Sparse Representation［J］.IEEE Transactions onSignalProcessing,2006,54(2): 423-437.

［9]郭 靖,曾孝平.盲源分離的一種時頻比方法［J］.計算機工程與應(yīng)用,2010,46(30):23-29.

［10]任喜順,沈越泓,高 猛,等.基于時頻分析的混合矩陣估計方法［J］.信號處理,2012,28(4):545-553.

［11]尹琦卿,劉若倫.基于節(jié)奏的鼓聲識別［J］.軟件導(dǎo)刊, 2013,12(6):140-143.

［12]Puigt M,Deville Y.Iterative-shift Cluster-based Timefrequency BBS for Fractional-time-delay Mixtures［C］// Proceedings of the 8th International Conference on Independent Component Analysis and Signal Separation.Paraty,Brazil:［s.n.］,2009:15-18.

［13]劉 琚,孫建德,許宏吉.盲信號處理理論與應(yīng)用［M］.北京:科學(xué)出版社,2012.

編輯 顧逸斐

Speech-music Signal Separation Based on Improved Time-frequency Ratio

GUO Wei,YU Fengqin
(School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China)

Time-frequency ratio is the ratio of mixed signals’amplitudes in time-frequency domain.The inversion of the matrix composing of the corresponding time-frequency ratios which is gotten from single source points in mixed signals can obtain the estimate of the source signals.Blind source separation based on time-frequency ratio has a large amount of calculation and small number of effective time-frequency windows after transforming the signals to the timefrequency domain.Time-frequency bins comprising the repeating patterns have similar values at each period.According to this characteristic,analysis zones including a repeating period are used to detect single source points instead of the whole time-frequency domain.Using similarity coefficient matrix as the separation effect standard,simulation experimental results show that the proposed method can reduce 45.43%of time with the same separation accuracy.

time-frequency ratio;single source point;linear time-frequency transform;repeating structure;beat spectrum;speech-music signal separation

郭 偉,于鳳芹.基于改進時頻比的語音音樂信號分離［J］.計算機工程,2015,41(3):287-291.

英文引用格式:Guo Wei,Yu Fengqin.Speech-music Signal Separation Based on Improved Time-frequency Ratio［J］.Computer Engineering,2015,41(3):287-291.

1000-3428(2015)03-0287-05

:A

:TN912.34

10.3969/j.issn.1000-3428.2015.03.054

郭 偉(1989-),女,碩士研究生,主研方向:語音信號處理;于鳳芹,教授。

2014-04-24

:2014-05-25E-mail:xuyixi2012@sina.com