劉 婷, 陳 寧

(華東理工大學(xué)信息科學(xué)與工程學(xué)院,上海 200237)

面向翻唱歌曲識(shí)別的相似度融合算法

劉 婷, 陳 寧

(華東理工大學(xué)信息科學(xué)與工程學(xué)院,上海 200237)

提出了一種面向翻唱歌曲識(shí)別的相似度融合算法。該算法將基于樂理特征的相似度和基于人耳感知特性的相似度融合,通過把基于節(jié)拍跟蹤和瞬時(shí)頻率音級(jí)輪廓(IF-PCP)的最大互相關(guān)相似度、基于和聲音級(jí)輪廓(HPCP)的Qmax相似度、基于耳蝸音級(jí)輪廓(CPCP)的Qmax相似度映射到同一個(gè)多維空間,并計(jì)算其幾何距離來進(jìn)行相似度融合。該算法使得IF-PCP特征的節(jié)拍速度不變性、HPCP特征的和聲優(yōu)勢、CPCP特征的人耳感知特性有效融合。為了驗(yàn)證算法的有效性,采用包含212首不同歌曲共502個(gè)版本的數(shù)據(jù)庫作為測試對象,以平均正確率均值和TOP-N作為測試指標(biāo)對算法性能進(jìn)行測試。測試結(jié)果表明,與基于單一相似度算法相比,該融合算法可提高翻唱歌曲識(shí)別準(zhǔn)確率。

相似度融合; 節(jié)拍追蹤; 瞬時(shí)頻率音級(jí)輪廓; 和聲音級(jí)輪廓; 耳蝸音級(jí)輪廓;Qmax; 翻唱歌曲識(shí)別

隨著互聯(lián)網(wǎng)的快速發(fā)展、云概念的出現(xiàn),海量的音頻信息充斥著人們的生活,從而使得基于內(nèi)容的音樂信息檢索(Music Information Retrieval,MIR)近些年來得到了快速發(fā)展。翻唱歌曲識(shí)別(Cover Song Identification,CSI)作為MIR領(lǐng)域的一個(gè)研究熱點(diǎn)引起了研究者的廣泛關(guān)注。CSI技術(shù)具有重要的研究價(jià)值,比如:音樂版權(quán)的維護(hù)與認(rèn)證、音樂創(chuàng)作輔助、以及多版本音樂的檢索、收集與欣賞等。

翻唱歌曲識(shí)別旨在找到海量音樂信息中同源音樂的不同版本。由于獲取翻唱版本的方式不同,翻唱歌曲可能會(huì)在音色、節(jié)奏、基調(diào)、速度、和聲、歌詞、整體結(jié)構(gòu)等重要音樂要素存在差異甚至完全不同,因此翻唱歌曲識(shí)別成為了一項(xiàng)極具挑戰(zhàn)性的研究工作。

從近10年的研究來看,翻唱歌曲識(shí)別研究主要分為特征提取和相似度計(jì)算兩個(gè)方面。1999年Fujishima[1]首先提出了音級(jí)輪廓(Pitch Class Profile,PCP)的概念,或稱Chroma;文獻(xiàn)[2]用實(shí)驗(yàn)證明了PCP對噪聲以及非音調(diào)的聲音魯棒與絕對音調(diào)、音色、演奏樂器、音量、力度無關(guān);Ellis等[3]在PCP的基礎(chǔ)上提出了基于節(jié)拍跟蹤和瞬時(shí)頻率的PCP(Instantaneous Frequency -Pitch Class Profile,IF-PCP),算法中采用節(jié)拍對齊的方法消除不同音樂在速度方面的差異,獲得了速度不變性;Gomez和Serra[4-5]考慮了諧波的存在,提出了PCP的另一種改進(jìn)算法,采用和聲加權(quán)的方式提取基于和聲的PCP(Harmonic Pitch Class Profile,HPCP);Chen等[6]提出了基于耳蝸聽覺特性的PCP(Cochlear Pitch Class Profile,CPCP),通過在原始PCP模型中引入人耳聽覺感知特性,從而大幅提高了特征在器樂伴奏變化較大情況下的識(shí)別能力。在計(jì)算相似度距離方面,文獻(xiàn)[3]采用計(jì)算兩首音樂Chroma 特征序列的互相關(guān)(Cross-Correlate,CC)系數(shù)并取其峰值作為相似性度量,但計(jì)算代價(jià)高;文獻(xiàn)[4-5]通過構(gòu)造基于HPCP特征的相干遞歸圖(Cross-Recurrence Plot,CRP)并對其進(jìn)行相干遞歸分析(Recurrence Quantification Analysis,RQA)來獲取音樂相似度,稱為Qmax。

不同的特征及相似度算法均有優(yōu)缺點(diǎn),因此對由特定特征與相似度算法結(jié)合得到的相似度進(jìn)行融合,能夠更好地識(shí)別翻唱歌曲。文獻(xiàn)[7]提出將基于Pitch Salience Function[8]特征與基于HPCP特征的相似度進(jìn)行融合,達(dá)到了比單一算法更高的識(shí)別率,然而這種融合算法采用的特征均是基于音樂理論提取的特征,因此存在冗余,而且忽略了音樂中人聲的影響,因此該算法在背景音樂不強(qiáng)的情況下,很難達(dá)到理想的效果。

本文提出的相似度融合算法以3種不同特性的特征為基礎(chǔ),其中基于節(jié)拍跟蹤的IF-PCP運(yùn)用節(jié)拍對齊的方式來消除不同音樂的速度差異,對于節(jié)奏感較強(qiáng)的翻唱歌曲有很好的識(shí)別能力;而HPCP考慮了和聲的存在,采用和聲加權(quán)的方法,因此對由純樂器演奏的音樂有很好的魯棒性,也能更好地識(shí)別此類翻唱歌曲。但以上兩種特征都是基于音樂理論提出的,而在流行歌曲盛行的時(shí)代,大多歌曲都有很多歌手翻唱,為了更好地識(shí)別,本文增加了CPCP特征,該特征運(yùn)用了人耳對聲音的感知特性,因此能夠更好地識(shí)別帶有人聲的翻唱歌曲。該融合算法在特征選擇方面,既考慮了音樂的要素,又考慮了人聲的存在;在相似度選擇方面,本文采用了全局匹配算法最大互相關(guān)以及局部匹配算法Qmax,兩種相似性度量方法既考慮了準(zhǔn)確性又考慮了計(jì)算速度,從而有效提高了翻唱歌曲識(shí)別的準(zhǔn)確率。

1 特征提取及相似度算法

1.1 特征提取

1.1.1 基于節(jié)拍跟蹤的IF-PCP 文獻(xiàn)[3]提出的IF-PCP通過計(jì)算瞬時(shí)頻率頻譜而非短時(shí)傅里葉變換(Short-time Fourier Transform,STFT)得到輸入音頻信號(hào)的頻譜,然后通過頻譜映射[9],將每一幀的能量壓縮到12個(gè)音級(jí)上,解決了PCP因STFT導(dǎo)致頻譜粗糙的問題。之后采用節(jié)拍跟蹤算法[10]獲得節(jié)拍位置,用獲得的節(jié)拍信息對IF-PCP特征分段,得到基于節(jié)拍跟蹤的IF-PCP,從而實(shí)現(xiàn)了Chroma特征的節(jié)拍速度不變性。

1.1.2 HPCP的提取 HPCP考慮了和聲諧波的存在,采用和聲加權(quán)的方式,首先通過STFT得到信號(hào)頻譜,再進(jìn)行峰值檢測處理,對50～5 kHz的各個(gè)峰值的頻譜進(jìn)行白化處理,最后通過頻譜映射將頻譜峰值能量映射到12個(gè)音級(jí)上,得到一個(gè)12維的特征向量。向量中每一維元素的值可以通過式(1)[2]計(jì)算得到。

(1)

其中:ai和fi是第i個(gè)信號(hào)峰的幅值與頻率;w(n,fi)為頻率fi的信號(hào)對于半音音級(jí)n的權(quán)重,w(n,fi)的計(jì)算過程詳見參考文獻(xiàn)[2]。

1.1.3 CPCP的提取 文獻(xiàn)[6]分析了原始PCP中存在的不足:一方面原始PCP中采用傅里葉變換(Fast Fourier Transform,FFT)對頻率進(jìn)行線性分割,而人耳對頻率的感知是成對數(shù)的;另一方面原始PCP中沒有考慮人耳對音樂不同頻率的敏感度不同這一因素。因此文獻(xiàn)[6]提出了改進(jìn)算法(CPCP),彌補(bǔ)了原始PCP的缺陷,從而在音樂背景差異極大的情況下能夠更好地識(shí)別流行歌曲翻唱。該算法首先將音頻信號(hào)進(jìn)行分幀處理,然后進(jìn)行等響應(yīng)曲線濾波、聽覺濾波器組濾波、半波整流和下采樣等模擬人耳聽覺感知特性的操作,最后對所得信號(hào)進(jìn)行音級(jí)譜映射和基于非負(fù)矩陣分解的降維處理,得到CPCP特征向量。

1.2 相似度計(jì)算

1.2.1 互相關(guān) 文獻(xiàn)[3]中計(jì)算了兩個(gè)特征的互相關(guān)系數(shù),并取其峰值作為相似性度量。算法中通過式(2)計(jì)算查詢歌曲Chroma與樣本歌曲Chroma的互相關(guān)矩陣,取矩陣中最大值作為相似度候補(bǔ)。將查詢歌曲的Chroma按照音級(jí)進(jìn)行循環(huán)移位(例如C、#C、D、#D、E、F、#F、G、#G、A、#A、B移位后變成#C、D、#D、E、F、#F、G、#G、A、#A、B、C)得到新的Chroma,接著求循環(huán)移位后的查詢歌曲Chroma與原樣本歌曲Chroma的互相關(guān)矩陣,從而得到一個(gè)新的相似度候補(bǔ)。依次類推進(jìn)行11次循環(huán)移位后得到12個(gè)相似度候補(bǔ),最后取12個(gè)相似度候補(bǔ)中的最大值作為兩首歌曲的相似度。互相關(guān)矩陣的計(jì)算如式(2)所示。

(2)

其中:k是查詢歌曲Q特征矩陣的列數(shù);l是樣本歌曲S特征矩陣的列數(shù);°表示互相關(guān)。

1.2.2 相干遞歸圖(CRP)和Qmax距離的計(jì)算 Qmax距離是計(jì)算音樂X與音樂Y最長特征相似部分時(shí)間段的長度。首先通過CRP[5,11-12]構(gòu)建相似矩陣,相干遞歸圖是一個(gè)二值相似矩陣C,矩陣中的每個(gè)元素通過式(3)[5]計(jì)算得到。

(3)

(1)首先對遞歸矩陣Q進(jìn)行初始化,令Q1,j=Q2,j=Qi,1=Qi,2=0,i=1,…,Nx,j=1,…,Ny。

(2)用動(dòng)態(tài)規(guī)劃方法求得遞歸矩陣Q,Q中的每個(gè)值由式(4)計(jì)算得到,

(4)

(3)根據(jù)式(5)求得Qmax。

(5)

其中i=1,…,Nx,j=1,…Ny。

2 相似度融合算法

2.1 各種單一算法的優(yōu)勢分析

2.1.1 基于節(jié)拍跟蹤的IF-PCP選擇一首節(jié)奏感較強(qiáng)的歌曲‘Addictedtolove’作為實(shí)驗(yàn)對象,分別對由RobertPalmer和TinaTurner演唱的不同版本提取IF-PCP、HPCP、CPCP特征,并計(jì)算得到CRP圖,如圖1所示。比較3個(gè)圖可知,基于節(jié)拍跟蹤的IF-PCP特征提取方法明顯優(yōu)于其他兩種特征,由此可得對于節(jié)奏感比較強(qiáng)的音樂,采用基于節(jié)拍跟蹤的IF-PCP能夠更好地識(shí)別翻唱歌曲。

圖1 Robert Palmer與Tina Turner 演唱的‘Addicted to love’的CRP圖Fig.1 CRP of ‘Addicted to love’ perform by Robert Palmer and Tina Turner

2.1.2 HPCP HPCP因考慮了和聲的存在,對背景音樂如演奏樂器變化比較大的純音樂能夠更好地識(shí)別。為了驗(yàn)證HPCP的有效性,選擇分別由Coldplay與David Garrett演奏的不同版本純音樂‘Viva La Vida’作為實(shí)驗(yàn)對象,這兩首歌曲分別由不同的樂器演奏。圖2顯示了這兩首歌的CRP圖,由圖得知,HPCP特征的識(shí)別準(zhǔn)確率明顯優(yōu)于基于節(jié)拍跟蹤的IF-PCP與CPCP特征,因此對于這種由不同樂器演奏純音樂的翻唱歌曲的識(shí)別來說HPCP更有效。

圖2 Coldplay與David Garrett演唱的‘Viva La Vida’ 的CRP圖Fig.2 CRP of ‘Viva La Vida’ perform by Coldplay and David Garrett

2.1.3 CPCP CPCP由于考慮了人耳的聽覺感知特性,因此能夠很好地識(shí)別帶有人聲的翻唱歌曲。為了驗(yàn)證CPCP的有效性,選擇分別由筷子兄弟和回音哥演唱的“小蘋果”,這兩首歌中人聲部分比較突出。圖3示出了這兩首歌的CRP圖,比較3種特征的效果,圖3(c)圖的效果更好,因此對于有人聲的翻唱歌曲的識(shí)別,CPCP特征更具優(yōu)勢。

圖3 筷子兄弟與回音哥演唱的“小蘋果“ 的CRP圖Fig.3 CRP of ‘Viva La Vida’ perform by Chopsticks Brothers and Echo Brother

2.2 相似度矩陣融合算法

本文通過將各個(gè)特征及相似度進(jìn)行融合,補(bǔ)償各個(gè)特征及相似度算法的缺陷,從而提高翻唱歌曲識(shí)別的準(zhǔn)確率。本文的融合算法框架如圖4所示。算法步驟如下:

(6)

(3)將一首查詢音樂q與音樂庫中某一首音樂s,用不同特征提取算法及相似度計(jì)算方法計(jì)算出的相似度距離組成一個(gè)新的距離向量,如式(7)[7]所示。

(7)

(4)通過幾何方法得到一個(gè)新的相似度矩陣R,R中每一個(gè)元素由式(8)[7]計(jì)算得到。

(8)

圖4 融合算法框架Fig.4 System of fusion algorithm

3 仿真實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)庫

為了驗(yàn)證算法的有效性,實(shí)驗(yàn)中采用的音樂庫包含212首不同歌曲的共502個(gè)版本,在相同條件下,對單個(gè)相似度的原始算法、兩個(gè)相似度融合的算法以及3個(gè)相似度融合的算法作對比。

3.2 實(shí)驗(yàn)采用的評估算法

采用平均正確率均值 (Mean Average Precision,MAP)[5]和TOP-N作為判斷翻唱歌曲識(shí)別能力的標(biāo)準(zhǔn)。

TOP-N是指將CSI的結(jié)果根據(jù)相似度從高到低排列后,返回的相似度列表中排名前N的歌曲中翻唱歌曲的個(gè)數(shù),本文實(shí)驗(yàn)中N=3。

MAP的計(jì)算公式[5]如下:

(9)

式中:N為識(shí)別過程中作為查詢歌曲的數(shù)目,本文實(shí)驗(yàn)中N=502。

(10)

式中:Cq為查詢歌曲q的翻唱版本數(shù)目,本文實(shí)驗(yàn)中其值為2～9;r是相似度列表中的名次;S為識(shí)別結(jié)束后返回的歌曲數(shù)目,本文實(shí)驗(yàn)中S=501;當(dāng)相似度列表在名次r處為查詢歌曲q的翻唱版本,Iq(r)=1,否則Iq(r)=0;Pq(r)是在名次r處的準(zhǔn)確率,

(11)

式中r=1,2,…,501。

3.3 實(shí)驗(yàn)結(jié)果與分析

表1示出了不同算法對翻唱歌曲識(shí)別的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明相似度矩陣融合后,MAP值較單個(gè)相似度算法的MAP值有明顯提高,通過3個(gè)相似度矩陣融合得到的MAP值最高。

表1 不同相似度距離融合的翻唱歌曲識(shí)別結(jié)果Table 1 Cover song identification result of different similarity distance fusion

由表1得到以下結(jié)論:

(1)IF-PCP+CC+HPCP+Qmax的MAP比IF-PCP+CC的MAP提高了21.29%,TOP-3提高了27.16%,對HPCP+Qmax而言,MAP僅提高了0.06%,TOP-3提高了0.98%,但它由兩個(gè)相似度融合,計(jì)算時(shí)間復(fù)雜度會(huì)有大幅提高,而IF-PCP和HPCP兩種特征都是基于音樂理論提取的特征,有一定程度的相似性,因此由兩個(gè)相似的特征計(jì)算得到的相似度的融合不能在保證時(shí)間復(fù)雜度的前提下使翻唱識(shí)別準(zhǔn)確率得到大幅的提高。

(2)HPCP+Qmax+CPCP+Qmax的MAP比HPCP+Qmax的MAP提高了1.18%,TOP-3提高了2.6%,比CPCP+Qmax的MAP提高了2.5%,TOP-3提高了1.95%,IF-PCP+CC+CPCP+Qmax的MAP比IF-PCP+CC的MAP提高了19.05%,TOP-3提高了17.69%,雖然計(jì)算代價(jià)增加,但準(zhǔn)確率有明顯提高,由此可得兩個(gè)不同特性的特征計(jì)算得到的相似度的融合能提高翻唱識(shí)別準(zhǔn)確率。

(3)IF-PCP+CC+HPCP+Qmax+CPCP +Qmax相較于單個(gè)算法而言,MAP提高了2.41%～23.64%,TOP-3提高了3.90%～31.69%;而相較于兩兩融合的算法,MAP值提高了1.23%～4.60%,TOP-3提高了1.91%～11.89%,由此可得3個(gè)特征融合的算法更能提高翻唱歌曲識(shí)別的準(zhǔn)確率。

由此驗(yàn)證本文提出的算法能在一定程度上提高翻唱歌曲識(shí)別準(zhǔn)確率。

4 結(jié)束語

本文提出了一種面向翻唱歌曲識(shí)別的將基于樂理特征的相似度和基于人耳感知特性的相似度融合的算法。算法中融合了IF-PCP特征的節(jié)拍速度不變性、HPCP特征的和聲優(yōu)勢、CPCP特征的人耳感知特性,使得在翻唱形式多樣(演奏樂器不同、演唱者不同、節(jié)拍速度不同等)的音樂庫中相較于單個(gè)特征算法而言,翻唱歌曲的識(shí)別準(zhǔn)確率大幅提高。但本文算法只是在流行歌曲方面有所突破,如何才能讓其適用于更多類型的歌曲,在未來的研究中將尋找更好的融合算法來解決這一問題。另一方面由于采用多種特征提取與相似度計(jì)算方法,導(dǎo)致時(shí)間復(fù)雜度增加,在以后的研究中可以采用GPU并行計(jì)算來提高算法的效率。

[1] FUJISHIMA T.Realtime chord recognition of musical sound:A system using common lisp music[C]//Proceedings of the International Computer Music Association.ICMC.Beijing:[s.n.],1999:464-467.

[2] 張秀,李念祖,李偉.Chroma 特征的魯棒性驗(yàn)證[J].計(jì)算機(jī)科學(xué),2014,41(6A):24-28.

[3] ELLIS D P W,POLINER G E.Identifying cover songs’ with chroma features and dynamic programming beat tracking[C]// IEEE International Conference on Acoustics,Speech and Signal Processing,2007.Honolulu:IEEE,2007:IV-1429-IV-1432.

[5] SERRA J,SERRA X,ANDRZEJAK R G.Cross recurrence quantification for cover song identification [J].New Journal of Physics,2009,11(9):093017.

[6] CHEN Ning,DOWNIE J S,XIAO Haidong,etal.Cochlear pitch class profile for cover song identification [J].Applied Acoustics,2015,99:92-96.

[7] DEGANI A,DALAI M,LEONARDI R,etal.A heuristic for distance fusion in cover song identification[C]// 14th International Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS),2013.USA:IEEE,2013:1-4.

[8] AMATRIAIN X,BONADA J,LOSCOS A,etal.Spectral Processing[M].USA:John Wiley & Sons,2002:373-438.

[9] 王峰.美爾音級(jí)輪廓特征在音樂和弦識(shí)別算法中的應(yīng)用研究[D].太原:太原理工大學(xué),2010.

[10] ELLIS D P W.Beat tracking by dynamic programming [J].Journal of New Music Research,2007,36(1):51-60.

[11] MARWAN N,ROMANO M C,THIEL M,etal.Recurrence plots for the analysis of complex systems[J].Physics Reports,2007,438(5):237-329.

[12] SERRA J.Identification of versions of the same musical composition by processing audio descriptions[D].Barcelona :Pompeu Fabra University,2011.

Similarity Distance Fusion Algorithm in Cover Song Identification

LIU Ting, CHEN Ning

(School of Information Science and Engineering,East China University of Science and Technology,Shanghai 200237,China)

This paper proposes a new similarity distance fusion algorithm that fuses the similarity distance of music theory feature and auditory perceptual feature.In the proposed algorithm,three similarity distances,IF-PCP based on beat tracing with maximum cross-correlation measure,HPCP withQmaxmeasure,and CPCP withQmaxmeasure,are projected in a multi-dimensional space and then the geometric distance as the fusion similarity distance is computed.This algorithm can effectively integrate the beat speed invariance of IF-PCP,the harmonic advantage of HPCP,and the auditory perceptual of CPCP.An experiment on a database with 502 versions of 212 different songs is made in this work.By mean of MAP and TOP-N as the performance indicator of the cover song identification,it is shown that the proposed algorithm in this paper can improve the precision of cover song identification greatly.

similarity distance fusion; beat tracing; IF-PCP; HPCP; CPCP;Qmax; cover song identification

1006-3080(2016)06-0845-06

10.14135/j.cnki.1006-3080.2016.06.015

2015-12-24

國家自然科學(xué)基金(61271349)

劉 婷(1991-)，女，河南人，碩士生，主要研究方向?yàn)橐魳沸畔z索。E-mail: 18964647728@163.com

陳 寧，E-mail：chenning_750210@163.com

TP391

A