肖仲喆，張晶晶，劉弋嘉

(蘇州大學(xué) 光電科學(xué)與工程學(xué)院，江蘇 蘇州 215006)

琵琶是東亞傳統(tǒng)撥弦類弦鳴樂(lè)器，已有2000多年的歷史，一般由木或竹等制成，音箱呈半梨形，上裝4弦，由6個(gè)相、24個(gè)品來(lái)確定音位，音域?qū)拸V.最早被稱為“琵琶”的樂(lè)器大約在中國(guó)秦朝時(shí)期出現(xiàn).發(fā)展至今，琵琶的分類有五弦琵琶、四弦琵琶、南音琵琶、響琶、月琶、高音琵琶、電琵琶和水晶琵琶等.

其名“琵”、“琶”是根據(jù)演奏時(shí)的右手指法得來(lái)的，琵是右手向前彈，琶是右手向后挑.琵琶演奏風(fēng)格分為多種流派，并發(fā)展出了豐富的演奏指法，右手有彈、挑、夾彈、滾、雙彈、雙挑、分、勾、抹、摭、扣、拂、掃、輪、半輪、擊板等指法，左手有揉、吟、帶起、捺打、虛按、絞弦、泛音、推、挽、綽、注等技巧，可演奏多種和音、和弦.

在人工智能方法飛速發(fā)展的今天，對(duì)樂(lè)器的演奏指法的自動(dòng)分析在樂(lè)曲的檢索、鑒賞引導(dǎo)、演奏輔助學(xué)習(xí)等方面均具有重要意義.琵琶作為1種中國(guó)傳統(tǒng)樂(lè)器，對(duì)其進(jìn)行自動(dòng)分析的工作尚在起步階段.已有工作大多集中于對(duì)琵琶聲音的算法合成方面的探討[1-3]，而在指法自動(dòng)識(shí)別、分類方面涉及很少.本文著重于對(duì)若干種典型的琵琶演奏指法進(jìn)行基于機(jī)器學(xué)習(xí)的自動(dòng)識(shí)別.

聲譜圖作為同時(shí)體現(xiàn)聲音信號(hào)的時(shí)域、頻域特征的綜合的可視化表達(dá)方式，能夠保留聲音信號(hào)中的大多數(shù)信息，因此能夠?qū)?shù)字圖像處理方法引入到音頻信號(hào)分析中.聲譜圖相似度可被用于音樂(lè)檢索或音樂(lè)風(fēng)格分析；而將聲譜圖作為圖像，通過(guò)對(duì)其2維頻譜的分析，可以對(duì)語(yǔ)音和音樂(lè)信號(hào)進(jìn)行識(shí)別；多分辨率的聲譜圖也被用于伴奏音樂(lè)與歌唱人聲的分離等[4-8].在對(duì)琵琶演奏指法的自動(dòng)識(shí)別的工作中，我們也使用聲譜圖作為基本信息來(lái)源，并在此基礎(chǔ)上擴(kuò)展為3種對(duì)不同指法的區(qū)分度更明顯的網(wǎng)格圖，從中提取特征進(jìn)行指法的自動(dòng)識(shí)別.

1 琵琶常用演奏指法簡(jiǎn)介

琵琶演奏出的聲音大多為包含豐富諧波的樂(lè)音類聲音，也有部分特殊指法能夠發(fā)出不體現(xiàn)明顯諧波特性的噪音類聲音.我們選取了4種樂(lè)音類演奏指法和3種噪音類演奏指法進(jìn)行分析和自動(dòng)識(shí)別.

4種樂(lè)音類指法為彈、輪指、泛音和掃弦.彈為琵琶演奏的最基本指法，即用右手食指撥弦.輪以右手食指為第1、中指第2、無(wú)名指第3、小指第4，依次向左前方彈出，而后大指為第5由反向挑進(jìn)，得5聲稱1輪.泛音是左手虛按住1根弦同時(shí)右手彈該弦，音量大，且音質(zhì)清脆明亮.掃弦為用右手食指依次快速?gòu)?弦.

3種噪音類指法為絞弦、擊板和摘.絞弦是中指將1弦推進(jìn)去至右側(cè)1根或幾根弦下方，食指將右側(cè)1根或幾根弦身向左拉出壓在左側(cè)的1根推弦上，并用食指按住絞在一起的兩根琴弦，取出中指，然后輪雙弦.擊板是用右手擊打面板.摘是用右手拇指指肉觸弦，中指彈奏.

下面將對(duì)這幾種典型演奏指法產(chǎn)生的聲音樣本進(jìn)行分析處理，并提出網(wǎng)格圖特征用于自動(dòng)識(shí)別.

2 琵琶聲音樣本的分析與特征提取

圖1 琵琶聲音樣本分析與特征提取Fig.1 Analysis and feature extraction of Pipa sound samples

對(duì)琵琶聲音樣本進(jìn)行分析并提取能夠區(qū)分不同指法的特征的流程框圖如圖1所示.

2.1 琵琶演奏聲音樣本的來(lái)源

本文使用的琵琶演奏聲音樣本來(lái)源于中國(guó)音樂(lè)學(xué)院構(gòu)建的中國(guó)音樂(lè)數(shù)據(jù)庫(kù)——CCMusic[9].這個(gè)數(shù)據(jù)庫(kù)的琵琶素材部分包含專業(yè)演奏者用多種琵琶演奏指法錄制的聲音樣本，各指法一般錄制兩遍.本文選取了其中7種演奏指法的聲音樣本，包括4種樂(lè)音類指法： 彈、泛音、輪指、掃弦，3種噪音類指法： 絞弦、擊板、摘.對(duì)這7種指法，從兩遍的聲音樣本中手動(dòng)切分出若干個(gè)演奏單音作為指法自動(dòng)識(shí)別研究中使用的數(shù)據(jù)樣本，各種指法的單音樣本的數(shù)量列于表1.

表1 各種指法的單音樣本的數(shù)量Tab.1 Number of single note samples for each fingering method

2.2 生成歸一化聲譜圖

被切分好的單音樣本首先生成聲譜圖S(t,f)，其中時(shí)間參數(shù)t的取值范圍為對(duì)應(yīng)的單音的持續(xù)時(shí)間，頻率f的取值范圍為0～22050Hz.對(duì)于樂(lè)音類指法，如彈、輪指、泛音，聲譜圖中會(huì)出現(xiàn)清晰的等間隔水平條紋，根據(jù)這些條紋之間的距離可以估算出其基音頻率F0.對(duì)于噪音類指法，如絞弦、擊板、摘，并不存在真正的基音頻率，我們對(duì)其直接賦值為F0=440Hz.掃弦雖然屬于樂(lè)音類演奏指法，但由于具有不同基頻的多根琴弦同時(shí)發(fā)聲，最后疊加的聲音也未能表現(xiàn)出明確、唯一的基音頻率，因此也賦值為F0=440Hz.

經(jīng)過(guò)基音估計(jì)或賦值后，我們?cè)诼曌V圖中選取低頻段的短時(shí)部分作為研究對(duì)象.頻率范圍限定在20倍基音頻率之內(nèi)，f∈[0,20F0]，時(shí)間范圍限定在200倍的基音周期之內(nèi)，t∈[0,200T0]，其中T0=1/F0為基音周期.為了后續(xù)處理的方便，限定了時(shí)間與頻率范圍的局部聲譜圖在時(shí)間、頻率方向均通過(guò)線性插值的方法調(diào)整為500點(diǎn)，成為500×500的方陣，作為歸一化聲譜圖，記為SN(i,j)，i為頻率序號(hào)，j為時(shí)間序號(hào)，i=1,2,…,500，j=1,2,…,500.

選定的7種演奏指法的歸一化聲譜圖樣例如圖2(見第288頁(yè))所示.樂(lè)音類指法如輪指、泛音、彈均表現(xiàn)出清晰的等間隔水平條紋.輪指指法由于存在持續(xù)的擊弦動(dòng)作提供能量，各次諧波均不表現(xiàn)出隨著時(shí)間的明顯衰減，但由于每次擊弦前會(huì)由于義甲與琴弦的接觸使琴弦振動(dòng)發(fā)生短暫的停止，因此在聲譜圖中呈現(xiàn)若干縱向弱能量帶.泛音指法使琴聲能量集中在低頻段，尤其是第2至第5次諧波，而基頻與高于5次的諧波非常微弱且衰減迅速.彈指法為琵琶演奏中的最基本指法，整體表現(xiàn)出低頻能量高于高頻能量，且高次諧波衰減快于低次諧波衰減的現(xiàn)象.噪音類指法如絞弦、擊板、摘，在聲譜圖條紋方面均不能呈現(xiàn)像樂(lè)音類聲譜圖的等間隔水平條紋，但各種指法在不同頻段的衰減速度方面也表現(xiàn)出不同規(guī)律： 絞弦占據(jù)的頻率范圍較寬，擊板、摘的主要能量均集中于較窄頻帶內(nèi)，摘的主要能量所集中的頻段高于擊板.掃作為樂(lè)音類指法，由于多根琴弦同時(shí)發(fā)聲，相當(dāng)于若干個(gè)不同基頻的彈指法進(jìn)行疊加，其能量隨時(shí)間衰減的模式與彈類似，但因?yàn)槎嘟M水平條紋的疊加，反而無(wú)法辨別各水平條紋，使其歸一化聲譜圖在外觀上更趨近于噪音類指法.

為了更方便地表現(xiàn)出各種演奏指法的區(qū)別，我們?cè)跉w一化聲譜圖的基礎(chǔ)上生成了3種不同的網(wǎng)格圖，用于指法自動(dòng)識(shí)別的特征提取.

圖2 7種演奏指法的歸一化聲譜圖Fig.2 Normalized spectrogram of seven fingering methods

2.3 時(shí)頻網(wǎng)格圖

歸一化聲譜圖表現(xiàn)為不同衰減速度的水平條紋，在時(shí)間、頻率方向均插值500點(diǎn).定義歸一化聲譜數(shù)據(jù)與其轉(zhuǎn)置進(jìn)行點(diǎn)對(duì)點(diǎn)相乘的結(jié)果為時(shí)頻網(wǎng)格圖G1(i,j)：

G1(i,j)=SN(i,j)·SN(j,i)i,j=1,2,…,500.

(1)

7種演奏指法的時(shí)頻網(wǎng)格圖如圖3所示.輪指、泛音、彈的時(shí)頻網(wǎng)格圖均呈現(xiàn)出規(guī)則的方格，其中： 輪指由于在較長(zhǎng)時(shí)間內(nèi)不發(fā)生能量衰減，時(shí)頻網(wǎng)格圖整體表現(xiàn)均勻，但由于反復(fù)觸弦時(shí)造成的琴弦短暫不振動(dòng)的過(guò)程使網(wǎng)格清晰程度較低；泛音與彈的時(shí)頻網(wǎng)格圖均表現(xiàn)為從左下向右上的漸變，由于泛音所含的諧波能量集中于第2至第5次諧波，其變化過(guò)程中存在1個(gè)突變點(diǎn)，而彈的變化過(guò)程更為緩慢、均勻.由于在噪音類指法中沒有基音的存在，絞弦、擊板、摘的時(shí)頻網(wǎng)格圖中并不出現(xiàn)規(guī)則方格，而是整體從左下向右上發(fā)生漸變，并存在近似的突變點(diǎn)，其中： 絞弦的突變點(diǎn)位置更靠近網(wǎng)格圖的右上角；擊板的突變點(diǎn)位置更靠近網(wǎng)格圖的左下角；摘的時(shí)頻網(wǎng)格圖則呈現(xiàn)出若干較大方格.掃弦的時(shí)頻網(wǎng)格圖比較特殊，由于多根弦的基頻同時(shí)存在，掃弦的時(shí)頻網(wǎng)格圖在左下部分不能表現(xiàn)出規(guī)則方格，與噪音類的時(shí)頻網(wǎng)格圖比較接近，而由于高頻分量的衰減快于低頻分量的衰減，在右上角表現(xiàn)出樂(lè)音性質(zhì)的規(guī)則方格.

圖3 7種演奏指法的時(shí)頻網(wǎng)格圖Fig.3 Time-frequency grid of seven fingering methods

2.4 時(shí)域網(wǎng)格圖

用于琵琶指法分析的第2種網(wǎng)格圖為時(shí)域網(wǎng)格圖.首先，對(duì)歸一化聲譜圖進(jìn)行頻率方向的求和，得到時(shí)域行向量T：

(2)

時(shí)域行向量T轉(zhuǎn)置為列向量，與T相乘，所得結(jié)果為時(shí)域網(wǎng)格圖G2：

G2=TT·T，

(3)

即

G2(i,j)=T(i)·T(j)i,j=1,2,…,500.

(4)

7種演奏指法的時(shí)域網(wǎng)格圖如圖4所示.輪指為多次擊弦指法，其時(shí)域網(wǎng)格圖與其他6種指法完全不同，表現(xiàn)出清晰的方格，而各方格的寬度、深度的均勻程度則與演奏過(guò)程中各手指擊弦的時(shí)間、力度的均勻程度直接關(guān)聯(lián).其余6種指法的時(shí)域網(wǎng)格圖均表現(xiàn)為從左下向右上的漸變，其中： 樂(lè)音類指法的變化較平緩，按照泛音、彈、掃的順序，變化速度從快到慢；噪音類指法中存在較突然的變化點(diǎn)，絞弦的變化點(diǎn)較靠近右上角，擊板、摘的變化點(diǎn)更靠近左下角，兩者時(shí)域網(wǎng)格圖的特性類似.

圖4 7種演奏指法的時(shí)域網(wǎng)格圖Fig.4 Time-domain grid of seven fingering methods

2.5 頻域網(wǎng)格圖

用于琵琶指法分析的第3種網(wǎng)格圖為頻域網(wǎng)格圖.首先，對(duì)歸一化聲譜圖進(jìn)行時(shí)間方向的求和，得到頻域列向量F：

(5)

頻域列向量F與其轉(zhuǎn)置得到的行向量FT相乘，所得結(jié)果為頻域網(wǎng)格圖G3：

G3=F·FT，

(6)

即

G3(i,j)=F(i)·F(j)i,j=1,2,…,500.

(7)

7種演奏指法的頻域網(wǎng)格圖如圖5所示.輪指、泛音、彈的頻域網(wǎng)格圖表現(xiàn)為均勻的規(guī)則方格，其中： 泛音的左側(cè)、下方(低頻部分)與右上角(高頻部分)的整體能量對(duì)比十分明顯；輪指、彈的左側(cè)、下方與右上角的整體能量對(duì)比較弱，而且輪指在左側(cè)、下方條紋的清晰程度不如彈.噪音類指法的頻域網(wǎng)格圖也表現(xiàn)為方格狀，但方格不均勻.絞弦指法從左下向右上的能量變化較緩慢，而擊板、摘均出現(xiàn)突變，并且擊板的突變點(diǎn)非常靠近左下角，而摘的能量變化會(huì)出現(xiàn)粗網(wǎng)格的反復(fù).掃弦的頻域網(wǎng)格圖在右上角部分與彈相似，但在左側(cè)與下方邊緣有明顯的能量很弱區(qū)域，與其他指法均不相同.

圖5 7種演奏指法的頻域網(wǎng)格圖Fig.5 Frequency-domain grid of seven fingering methods

2.6 特征提取

圖6 從網(wǎng)格圖中提取特征示意圖Fig.6 Illustration on extracting features from grid diagrams

以上3種網(wǎng)格圖在各種指法下均表現(xiàn)出顯著區(qū)別，且其共同特點(diǎn)為從網(wǎng)格圖左下向右上方向存在不同規(guī)律的變化.為了將以上網(wǎng)格圖用于琵琶指法的自動(dòng)識(shí)別，我們沿網(wǎng)格圖左下至右上對(duì)角線方向劃分了不同的計(jì)算區(qū)域，如圖6所示.由于3種網(wǎng)格圖均為左下方變化比右上方更明顯，因此在計(jì)算區(qū)域劃分時(shí)，左下區(qū)域的劃分更加密集，且允許不同的計(jì)算區(qū)域之間有交疊，而右上方的區(qū)域劃分則比較稀疏，每個(gè)區(qū)域較大.根據(jù)各種指法的具體特點(diǎn)，對(duì)時(shí)頻網(wǎng)格圖、時(shí)域網(wǎng)格圖、頻域網(wǎng)格圖共劃分出41個(gè)不同的計(jì)算區(qū)域，每個(gè)計(jì)算區(qū)域的均值與標(biāo)準(zhǔn)差作為指法自動(dòng)識(shí)別的特征使用，共計(jì)82維特征.

3 琵琶指法自動(dòng)識(shí)別與特征評(píng)價(jià)

利用上文提取的82維特征，我們對(duì)7類琵琶指法進(jìn)行了自動(dòng)識(shí)別實(shí)驗(yàn).由于所使用的琵琶單音樣本數(shù)量非常少，而特征維數(shù)遠(yuǎn)高于每類的樣本數(shù)量，為了避免由此引發(fā)的“維數(shù)災(zāi)難”問(wèn)題(curse of dimensionality)，在模型訓(xùn)練過(guò)程中使用了前向順序特征選擇(Sequential Forward feature Selection, SFS)方法進(jìn)行特性選擇[10-11]，挑選出能夠清晰表達(dá)各種指法區(qū)別的維數(shù)最少的特征.

指法自動(dòng)識(shí)別分為3組： 對(duì)7類指法的識(shí)別、對(duì)樂(lè)音類和噪音類指法之間的識(shí)別以及樂(lè)音/噪音類指法內(nèi)部的識(shí)別.分類器選用支持向量機(jī)(Support Vector Machine， SVM)，使用線性核函數(shù).模型訓(xùn)練過(guò)程使用2疊交叉驗(yàn)證，用所有來(lái)自于第1遍演奏的樣本進(jìn)行模型訓(xùn)練，對(duì)第2遍演奏的樣本進(jìn)行識(shí)別，然后交換兩遍樣本再做實(shí)驗(yàn)，獲得對(duì)所有樣本的識(shí)別結(jié)果.

表2 7種指法自動(dòng)識(shí)別的準(zhǔn)確率Tab.2 Automatic recognition accuracy of seven fingering methods

3.1 7種指法自動(dòng)識(shí)別

對(duì)7種指法進(jìn)行自動(dòng)識(shí)別的特征選擇與識(shí)別率列于表2.

由表中數(shù)據(jù)可見，表現(xiàn)最好的單一特征對(duì)于7類指法的自動(dòng)識(shí)別能力不夠，識(shí)別率僅為39.28%，隨著特征數(shù)量的增長(zhǎng)，識(shí)別率也隨之上升，當(dāng)使用6個(gè)特征時(shí)，最佳識(shí)別率已經(jīng)上升到100%.與所使用的琵琶單音樣本數(shù)量比較，數(shù)量最少的指法種類僅包含6個(gè)樣本，使其實(shí)現(xiàn)完美自動(dòng)識(shí)別的特征數(shù)量為6，沒有超過(guò)樣本數(shù)量，能夠在樣本數(shù)量非常少的條件下完成指法的自動(dòng)識(shí)別.

3.2 樂(lè)音類與噪音類指法識(shí)別

盡管掃弦指法屬于樂(lè)音類指法，但是其在歸一化聲譜以及時(shí)頻網(wǎng)格圖中均表現(xiàn)出與噪音類指法類似的特性，因此，在對(duì)樂(lè)音類指法與噪音類指法進(jìn)行區(qū)分時(shí)，我們?cè)O(shè)定了3種實(shí)驗(yàn)?zāi)Ｊ剑?/p>

1) 輪指+泛音+彈 vs. 絞弦+擊板+摘；

2) 輪指+泛音+彈+掃弦 vs. 絞弦+擊板+摘；

3) 輪指+泛音+彈 vs. 絞弦+擊板+摘+掃弦.

即在第1組識(shí)別中不考慮掃弦，第2組識(shí)別中將掃弦歸為樂(lè)音，在第3組識(shí)別中將掃弦歸為噪音.這3組實(shí)驗(yàn)中識(shí)別的準(zhǔn)確率列于表3.

由表3數(shù)據(jù)可見，第1，2組實(shí)驗(yàn)的單一特征最佳識(shí)別率均為90%左右，僅需2個(gè)特征即可使識(shí)別率達(dá)到100%，尤其是第2組的單一特征識(shí)別率更高，說(shuō)明掃弦指法與3種噪音類指法間的區(qū)別比其他樂(lè)音類指法更顯著.第3組實(shí)驗(yàn)的單一特征識(shí)別率明顯低于前2組，僅為76.79%，需要使用5個(gè)特征才能使識(shí)別率達(dá)到100%.因此，盡管掃弦的歸一化聲譜圖與時(shí)頻網(wǎng)格圖中表現(xiàn)出與噪音類似的特性，它仍然是典型的樂(lè)音類指法.

3.3 樂(lè)音類/噪音類內(nèi)部指法識(shí)別

樂(lè)音類或噪音類內(nèi)部的指法識(shí)別結(jié)果列于表4.其中，對(duì)樂(lè)音類內(nèi)部的識(shí)別分為兩種情況，即不包含掃弦其他3類指法的識(shí)別和包含掃弦的4類指法的識(shí)別.

表3 樂(lè)音類與噪音類指法識(shí)別的準(zhǔn)確率Tab.3 Recognition accuracy of fingering method for music and noise

表4 樂(lè)音類/噪音類內(nèi)部指法識(shí)別的準(zhǔn)確率Tab.4 Recognition accuracy of fingering method for music/noise internal

由表4可知，不包含掃弦的樂(lè)音類指法之間具有非常顯著的差異，最佳單一特征的識(shí)別率已經(jīng)達(dá)到100%，而將掃弦并入樂(lè)音類指法間的識(shí)別時(shí)，最佳單一特征的識(shí)別率急劇下降至50%，共需6個(gè)特征的組合才能達(dá)到100%的識(shí)別率，與7類指法識(shí)別時(shí)的情況相同.3種噪音類指法之間的區(qū)別較為明顯，最佳單一特征識(shí)別率達(dá)到90%，僅需2個(gè)特征即可達(dá)到100%識(shí)別率.

4 結(jié) 語(yǔ)

本文對(duì)中國(guó)音樂(lè)學(xué)院錄制的CCMusic數(shù)據(jù)庫(kù)中的琵琶聲音樣本的7種典型演奏指法進(jìn)行了自動(dòng)識(shí)別研究.通過(guò)由歸一化聲譜圖生成的3種不同類型的網(wǎng)格圖，能夠有效體現(xiàn)各種不同指法之間的區(qū)別.利用從網(wǎng)格圖中提取的特征，能夠在自動(dòng)識(shí)別中實(shí)現(xiàn)100%的識(shí)別率，根據(jù)具體參與識(shí)別的不同指法，需要的特征數(shù)量在1到6之間.