李?鏘，李晨曦，關(guān)?欣

基于判決HMM和改進(jìn)Viterbi的鋼琴指法自動(dòng)標(biāo)注方法

李?鏘，李晨曦，關(guān)?欣

(天津大學(xué)微電子學(xué)院，天津 300072)

現(xiàn)有的一階隱馬爾可夫模型(hidden Markov model，HMM)用于鋼琴指法標(biāo)注不能結(jié)合音符序列的長(zhǎng)程信息，導(dǎo)致標(biāo)注結(jié)果存在物理不可彈指法，且演奏效率較低，因此本文提出了一種基于判決隱馬爾可夫模型和改進(jìn)維特比算法的鋼琴指法自動(dòng)標(biāo)注算法．結(jié)合指法規(guī)則的先驗(yàn)知識(shí)，在HMM中引入了判決函數(shù)，從而能夠去除錯(cuò)誤的穿跨指和超出可彈跨度的指法．在預(yù)測(cè)指法路徑時(shí)，改進(jìn)了維特比算法的尋優(yōu)規(guī)則，首先根據(jù)先驗(yàn)知識(shí)對(duì)音符序列進(jìn)行八度分段，并改進(jìn)初始指法的確定方法，最后選擇穿跨指數(shù)最少、演奏效率最高的指法序列為最優(yōu)指法．為了表征算法的性能，文中還提出了不可彈指法占比率和欠合理率兩種新的評(píng)價(jià)指標(biāo)來衡量指法的可彈性和演奏效率．通過實(shí)驗(yàn)驗(yàn)證，文中算法相較于現(xiàn)有標(biāo)注模型在一致率和兩種新的指標(biāo)上提升效果顯著．另外，為了對(duì)比在小數(shù)據(jù)集下傳統(tǒng)方法和深度學(xué)習(xí)方法的性能，還與Bi-LSTM＋CRF進(jìn)行了對(duì)比實(shí)驗(yàn)，訓(xùn)練時(shí)分別采用原始音符序列和音符差分序列，實(shí)驗(yàn)結(jié)果顯示利用音符差分序列可以有效提高標(biāo)注結(jié)果的一致率，由此可見，相較于原始音符序列，指法標(biāo)注和音符差分序列的關(guān)系更密切，從而進(jìn)一步驗(yàn)證了本文算法結(jié)合音符差分信息改進(jìn)HMM的有效性．但現(xiàn)有數(shù)據(jù)量下，深度學(xué)習(xí)模型在不可彈指法率和欠合理率上差于本文算法．

鋼琴指法；判決隱馬爾可夫模型；先驗(yàn)知識(shí)；改進(jìn)維特比算法

指法是鋼琴演奏中最基本最重要的技術(shù)之一.合理的指法即手指的運(yùn)動(dòng)規(guī)律滿足以下兩點(diǎn)：①符合手的生理結(jié)構(gòu)及每個(gè)手指的靈活性等特點(diǎn)；②滿足手指與音符間的關(guān)系．合適的指法可以增加演奏的流暢性，這對(duì)快板(allegro)類樂曲尤為重要．理論上每個(gè)鋼琴譜都存在最佳指法序列，但目前要確定樂譜的理想指法主要依賴經(jīng)驗(yàn)反復(fù)嘗試．因此鋼琴樂譜自動(dòng)指法標(biāo)注可以節(jié)省實(shí)踐時(shí)的探索時(shí)間，消除業(yè)余愛好者早期的演奏障礙，并為職業(yè)鋼琴家提供初始參考指法．如果將該任務(wù)看成鋼琴演奏機(jī)器人運(yùn)動(dòng)規(guī)劃的一部分，實(shí)現(xiàn)指法自動(dòng)標(biāo)注的方法還能推廣至使用類人機(jī)器手的更一般的機(jī)器人操作任務(wù)中．

目前，鋼琴指法自動(dòng)標(biāo)注方法主要有兩類：基于規(guī)則的方法和基于統(tǒng)計(jì)學(xué)習(xí)的方法．文獻(xiàn)[1-9]中將指法規(guī)則和動(dòng)態(tài)規(guī)劃相結(jié)合進(jìn)行標(biāo)注．Parncutt等[1]在1997年設(shè)計(jì)了第1個(gè)鋼琴指法的計(jì)算模型．研究人員將指法標(biāo)注任務(wù)分為短序列和長(zhǎng)序列部分．對(duì)于短序列，模型按照特定規(guī)則對(duì)所有可能的指法進(jìn)行評(píng)估并排序；對(duì)于長(zhǎng)序列，定義指法成本的計(jì)算方法，采用傳統(tǒng)的動(dòng)態(tài)規(guī)劃方法尋找指法成本最低的路徑．該模型后來由Jacobs等[2]進(jìn)行了改進(jìn)，修改了啟發(fā)式算法，并用物理距離替換了原始模型中不精確的半音測(cè)量．Hart等[3]描述了一種簡(jiǎn)化的但更個(gè)性化的方法．Kasimi等[4-5]定義的指法成本包括對(duì)旋律(melodic)的水平測(cè)量以及和聲(harmonic)的垂直測(cè)量，然后使用網(wǎng)格圖來代替音樂片段尋找代價(jià)最小的路徑．Nell?ker等[6]引入更多的規(guī)則來評(píng)估指法序列. Lin等[7]設(shè)計(jì)了一種基于圖形的指法生成器(slicing fingering generation，SFG)，它可以實(shí)時(shí)生成MIDI音符的鋼琴指法，該算法分為兩層，上層的音符處理器檢查輸入的MIDI音符并控制指法生成的進(jìn)度，下層的指法生成層采用動(dòng)態(tài)規(guī)劃的思想生成指法．

Viana等[8]描述了一種混合方法．首先，“專家系統(tǒng)”采用指法中最常見的規(guī)則進(jìn)行編碼，當(dāng)沒有規(guī)則適用時(shí)，轉(zhuǎn)為遺傳算法．其中待彈奏的音符序列對(duì)應(yīng)遺傳算法中的染色體，最大化適應(yīng)度函數(shù)(fitness function)的過程變?yōu)樽钚』爸阜ň嚯x”函數(shù)．基于規(guī)則的方法最普遍的問題是需要處理指法中多個(gè)適用規(guī)則之間潛在的矛盾沖突，難以為各種規(guī)則設(shè)計(jì)一個(gè)合理的權(quán)重來衡量不同規(guī)則在指法確定過程中的重要性．

基于統(tǒng)計(jì)學(xué)習(xí)的方法中，Yonebayashi等[9]使用HMM為指法序列建模，音符對(duì)應(yīng)的手指序號(hào)為待預(yù)測(cè)的指法狀態(tài)，每個(gè)指法狀態(tài)出現(xiàn)的概率取決于前一時(shí)刻指法狀態(tài)和當(dāng)前時(shí)刻的音符輸出．筆者人為估計(jì)轉(zhuǎn)移概率參數(shù)，并使用維特比算法計(jì)算概率最大的指法狀態(tài)序列．但一階HMM的兩個(gè)假設(shè)導(dǎo)致指法標(biāo)注沒有結(jié)合相鄰音符的信息，標(biāo)注結(jié)果會(huì)出現(xiàn)不可彈的指法轉(zhuǎn)換，并且該模型只用于單音序列，不包括和弦．之后Nakamura等[10]提出“合并的HMM”對(duì)未分離左右手聲部的樂譜進(jìn)行自動(dòng)分離和標(biāo)注，模型使用兩個(gè)并行的HMM，將兩者的輸出合并，但效果提升不顯著．Sun等[11]擴(kuò)展一階HMM的參數(shù)實(shí)現(xiàn)了對(duì)樂譜中和弦的標(biāo)注．除鋼琴指法外，HMM也用于搜索最優(yōu)的吉他指法[12-14]．Hori等采用常規(guī)的HMM建模和解碼方法研究吉他指法標(biāo)注，之后結(jié)合實(shí)際彈奏的經(jīng)驗(yàn)，在預(yù)測(cè)指法階段提出了最小化最大動(dòng)作難度的極小極大化維特比算法(minimax viterbi algo-rithm)[13]和維特比算法參數(shù)化系列Lp-Viterbi[14]．

除了基于規(guī)則和統(tǒng)計(jì)學(xué)習(xí)的方法外，鋼琴指法標(biāo)注類似于自然語言處理的時(shí)間序列標(biāo)注問題，近些年來深度學(xué)習(xí)在該領(lǐng)域成果顯著，如在詞性標(biāo)注問題中，使用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(bidirectional long-short-term memory)與條件隨機(jī)場(chǎng)(conditional random field)相結(jié)合(Bi-LSTM＋CRF)[15]，將LSTM的輸出作為狀態(tài)特征函數(shù)，極大化真實(shí)標(biāo)簽序列的得分，取得了目前為止最好的結(jié)果．LSTM對(duì)時(shí)間序列具有長(zhǎng)距離記憶性，并且可以自動(dòng)調(diào)整記憶長(zhǎng)度，丟掉冗余信息，利用強(qiáng)相關(guān)時(shí)刻的信息進(jìn)行預(yù)測(cè)，Bi-LSTM還可以同時(shí)兼顧向前和向后兩個(gè)方向的上下文信息，理論上同樣適用于鋼琴指法標(biāo)注這種需要利用長(zhǎng)度不一的上下文音符信息和指法信息進(jìn)行預(yù)測(cè)的問題．將Bi-LSTM每個(gè)時(shí)刻的輸出作為CRF的狀態(tài)特征函數(shù)得到全局最優(yōu)解．但由于深度學(xué)習(xí)不便于加入先驗(yàn)知識(shí)，完全依賴大量神經(jīng)網(wǎng)絡(luò)參數(shù)的非線性擬合，需要海量、完備的訓(xùn)練數(shù)據(jù)集來保證泛化能力．對(duì)于鋼琴指法問題來說，目前尚缺少公開數(shù)據(jù)集，數(shù)據(jù)數(shù)量有限，這種條件下，本文側(cè)重于對(duì)現(xiàn)有的統(tǒng)計(jì)學(xué)習(xí)方法進(jìn)行改進(jìn)．

有監(jiān)督訓(xùn)練的HMM學(xué)習(xí)了兩指之間轉(zhuǎn)換的概率信息和指號(hào)到音符間一一映射的概率信息，由于現(xiàn)有的一階HMM的齊次馬爾可夫性假設(shè)指法間的依賴時(shí)長(zhǎng)只有一個(gè)時(shí)刻，不考慮長(zhǎng)距離信息，導(dǎo)致標(biāo)注結(jié)果中穿跨指較多，手位更換頻繁，影響演奏效率；觀測(cè)獨(dú)立性假設(shè)音符間相互獨(dú)立，指法確定時(shí)不考慮其他時(shí)刻音符信息，導(dǎo)致出現(xiàn)了不符合手指運(yùn)動(dòng)規(guī)律的不可彈指法．針對(duì)上述問題，筆者結(jié)合鋼琴指法的先驗(yàn)知識(shí)提出了判決HMM和改進(jìn)的維特比算法：首先在模型構(gòu)建時(shí)將轉(zhuǎn)移概率改進(jìn)為判決轉(zhuǎn)移概率，加入音符差分信息修剪不可彈的指法路徑；然后在預(yù)測(cè)時(shí)，將相鄰音程超過一個(gè)八度的前后音符序列分段標(biāo)注，目的是避免局部路徑被修剪后無可選指法路徑的情況，標(biāo)注無法繼續(xù)進(jìn)行；接著修改維特比算法的預(yù)測(cè)規(guī)則，即筆者人為設(shè)定初始時(shí)刻指法狀態(tài)，并且在以不同狀態(tài)結(jié)束的最大概率路徑中，選擇演奏效率最高的路徑為最優(yōu)指法路徑，此外，還提出了錯(cuò)誤指法占比和欠合理率兩個(gè)指標(biāo)衡量標(biāo)注結(jié)果，并在本文的數(shù)據(jù)集上對(duì)比其他現(xiàn)有算法；最后，通過一定量數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證，相較現(xiàn)有標(biāo)注指法算法，性能有了較大的提升，一致率可以達(dá)到66.45%，錯(cuò)誤指法占比降為0，所提出的欠合理率折中地評(píng)價(jià)了演奏效率和舒適度，算法標(biāo)注結(jié)果的欠合理率由17.20%降低至1.84%.另外，為了對(duì)比在小規(guī)模訓(xùn)練數(shù)據(jù)下本文算法與深度學(xué)習(xí)模型的性能，筆者使用同樣的數(shù)據(jù)集在Bi-LSTM＋CRF模型上進(jìn)行了訓(xùn)練和預(yù)測(cè)，一致率僅有55.06%，錯(cuò)誤指法占比為15.92%，不可彈指法為16.30%，原因是音符到指法的一對(duì)多映射種類過多，數(shù)據(jù)集可覆蓋的映射種類太少，網(wǎng)絡(luò)參數(shù)擬合難度太大．因此將原始音符序列修改為音符差分序列進(jìn)行訓(xùn)練，音符差分映射到指法種類數(shù)大大減少，一致率可以達(dá)到67.90%，錯(cuò)誤指法占比為3.00%，不可彈指法占比為5.02%．在當(dāng)前數(shù)據(jù)集數(shù)量的約束下，Bi-LSTM＋CRF在一致率上稍好于傳統(tǒng)方法，但從演奏的可彈性和效率來說，本文的算法優(yōu)于深度學(xué)習(xí)模型.

1?自動(dòng)指法標(biāo)注模型

現(xiàn)有方法的指法標(biāo)注結(jié)果存在3個(gè)問題：一是局部出現(xiàn)了錯(cuò)誤的穿跨指；二是出現(xiàn)超出手指間最大跨度的指法；三是整體彈奏效率不高．針對(duì)上述問題，筆者利用指法規(guī)則先驗(yàn)知識(shí)改進(jìn)了HMM模型和預(yù)測(cè)指法狀態(tài)的方法，整個(gè)指法標(biāo)注模型的原理框圖如圖1所示．將鋼琴指法的先驗(yàn)知識(shí)與隱馬爾可夫模型相結(jié)合，利用先驗(yàn)知識(shí)，在訓(xùn)練階段將模型參數(shù)轉(zhuǎn)移概率改進(jìn)為判決轉(zhuǎn)移概率，使得預(yù)測(cè)時(shí)的不可彈指法路徑被修剪；預(yù)測(cè)時(shí)加入八度分段將待標(biāo)注的音符序列分割成子序列進(jìn)行分段標(biāo)注，并改進(jìn)了維特比算法的初始狀態(tài)確定方法和尋優(yōu)策略．

第1.1節(jié)介紹了常用的指法設(shè)計(jì)規(guī)則，包括正誤穿跨指、可接受的最大音程跨度、手部移位準(zhǔn)則和初始指法確定規(guī)則．第1.2節(jié)提出判決隱馬爾可夫模型．第1.3節(jié)介紹模型的參數(shù)估計(jì)．第1.4節(jié)介紹指法序列的預(yù)測(cè)階段．

圖1?利用指法先驗(yàn)知識(shí)的改進(jìn)HMM方法原理

1.1?指法規(guī)則先驗(yàn)知識(shí)

1.1.1?正確指法轉(zhuǎn)移類型集合

鋼琴樂譜中的音符序列由單音與和弦構(gòu)成．單音符序列基本指法包括順指、穿指、跨指、擴(kuò)指、縮指．順指法即在自然手位下，一個(gè)手指彈奏一個(gè)音符，它是演奏中最常用的基本指法．穿指和跨指即“拇指潛移”和“穿跨拇指”，分別指將1指(拇指)從2、3、4指下面穿過和將2、3、4指從1指上面越過，其他手指間的穿跨不被允許，穿跨指主要發(fā)生在連續(xù)的音符上升或下降時(shí)，作為手位移動(dòng)處的銜接．?dāng)U指和縮指即手指的橫向張開和橫向緊縮，發(fā)生在兩個(gè)指號(hào)差小于或大于音符間音程時(shí)．和弦指法是同一時(shí)刻發(fā)生的順指或擴(kuò)指．

上述5種基本指法包括了所有允許的手指轉(zhuǎn)移組合，其中穿跨指對(duì)指號(hào)有要求，因此5×5個(gè)手指轉(zhuǎn)移組合不全是任意可行的．以右手為例，音符升時(shí)，2、3、4指轉(zhuǎn)移到1指是正確穿指，其他指號(hào)降的情況為錯(cuò)誤穿跨指，如圖2(a)中1指(拇指)從5指(小指)下穿過，即5指轉(zhuǎn)移到1指為錯(cuò)誤穿指；圖2(b)中4指從5指上的跨過，即5指轉(zhuǎn)移4指為錯(cuò)誤跨指；音符降時(shí)，1指轉(zhuǎn)移到2、3、4指是正確跨指，其余指號(hào)升的情況為錯(cuò)誤穿跨指，左手情況與上述相反．

表1總結(jié)了右手音符降(與左手音符升時(shí)情況一致)的正誤指法轉(zhuǎn)移組合，右手音符升(左手音符降)時(shí)的正誤指法轉(zhuǎn)移情況與表1斜對(duì)角鏡像對(duì)稱．筆者利用這一先驗(yàn)知識(shí)保證指法的正確性．

圖2?右手錯(cuò)誤穿跨指示意

表1?左手音符升/右手音符降的正誤指法

Tab.1 Left-handed note up/right-handed note drop posi-tive and false fingering

1.1.2?音程約束先驗(yàn)

合適的指法還需要兩指間具有可承受的音程跨度，Parncutt等總結(jié)了任意兩指在輕松、舒適和可實(shí)現(xiàn)3種彈奏狀態(tài)下可跨越的最大音程差，詳見表2[1].筆者選取舒適狀態(tài)下的最大音程差MaxComf約束可轉(zhuǎn)移的手指選項(xiàng)，超出MaxComf音程跨度的指法組合均視為很吃力的指法，盡量不被使用，最壞情況下不能超過MaxPrac．

表2 兩指在輕松、舒適和可實(shí)現(xiàn)狀態(tài)下的最大音程差

Tab.2 Maximum span of the two fingers in a relaxed，comfortable，and practical state

1.1.3?手部移位先驗(yàn)

穿指、跨指、擴(kuò)指和縮指都發(fā)生了手的移位，一般將穿、跨指導(dǎo)致的移位歸為穿跨式移位，擴(kuò)指和縮指歸為伸縮式移位．還有一種平移式移位，發(fā)生在相鄰音符音程差太大，超出了當(dāng)前手位下1、5指可及的最遠(yuǎn)距離，即使加入穿跨指小范圍地?cái)U(kuò)張可彈跨度也無法繼續(xù)的情況．平移式移位切斷了前后指法的關(guān)聯(lián)性，移位后從頭開始安排后續(xù)指法．

對(duì)整首樂譜指法來說，簡(jiǎn)易自然是良好指法的基本原則，手部移位容易造成演奏的不連貫．必要時(shí)手部移位的原則是移動(dòng)后能在新位置上以自然手位彈奏盡可能多的音符，盡可能減少移位次數(shù)，提高演奏效率．原則上能用伸縮式就不用穿跨式，平移式在相鄰音程差超過八度時(shí)加入．在一首樂譜所有正確、可彈的指法序列中，穿跨式移位最少的指法序列演奏效率最高．平移式移位切斷了前后指法間的相關(guān)性，此時(shí)整個(gè)樂譜指法序列標(biāo)注問題轉(zhuǎn)化為對(duì)子序列的指法標(biāo)注．

1.1.4?初始指法先驗(yàn)

每一段標(biāo)注的初始時(shí)刻指法會(huì)影響整段指法的后續(xù)安排，人工標(biāo)注指法時(shí)往往先根據(jù)前幾個(gè)音符的指位先后確定第1個(gè)時(shí)刻指法，再進(jìn)行后續(xù)標(biāo)注．為了接近人工標(biāo)注的思路，從而提高與人工標(biāo)注結(jié)果的一致率，筆者不利用最大化指法序列概率的方法回溯初始時(shí)刻指法，而是依據(jù)初始音符在前5個(gè)不同音中的音高所處位置，選擇使前5個(gè)音都能以自然手位彈奏的指號(hào)作為初始指法．

1.2?判決隱馬爾可夫模型

由一階HMM的齊次馬爾可夫假設(shè)和觀測(cè)獨(dú)立性假設(shè)得出

給定音符序列時(shí)分母不變，因此HMM的預(yù)測(cè)目標(biāo)變?yōu)?/p>

為了在計(jì)算指法轉(zhuǎn)移概率時(shí)兼顧相鄰時(shí)刻的音符信息，避免不可彈指法的出現(xiàn)，將指法轉(zhuǎn)移概率改進(jìn)為當(dāng)前音符和前一音符下的條件轉(zhuǎn)移概率，即

則預(yù)測(cè)目標(biāo)改進(jìn)為

預(yù)測(cè)目標(biāo)變成

1.3?參數(shù)估計(jì)

參數(shù)學(xué)習(xí)采用有監(jiān)督的方法，利用極大似然法估計(jì)狀態(tài)轉(zhuǎn)移概率和音符觀測(cè)概率．模型不僅處理單音序列也處理含有多音和弦的序列，單音種數(shù)即鋼琴琴鍵數(shù)88，多音和弦考慮在一個(gè)八度內(nèi)的二音至五音和弦，共計(jì)61841種．指法狀態(tài)包括5種單指狀態(tài)和26種多指狀態(tài)．

1.4?預(yù)測(cè)最優(yōu)指法序列

1.4.1?音符序列分段預(yù)處理

此時(shí)對(duì)整個(gè)音符序列搜索指法路徑，會(huì)導(dǎo)致

1.4.2?初始時(shí)刻指法

圖3?初始狀態(tài)受限時(shí)維特比算法路徑搜索示意

2?實(shí)驗(yàn)結(jié)果及分析

2.1?數(shù)據(jù)集

目前尚未有正式公認(rèn)的數(shù)據(jù)集及評(píng)測(cè)指標(biāo)，故自建了數(shù)據(jù)集，采用了Bach 28短篇鋼琴(28首)，Cherny 299(5首)和中國(guó)音樂學(xué)院社會(huì)藝術(shù)水平考級(jí)1～3級(jí)(7首)，共計(jì)40首，左手4000多音符，右手6000多音符．為了驗(yàn)證模型的可靠性，筆者將數(shù)據(jù)集分為5組，進(jìn)行五折交叉驗(yàn)證，并且設(shè)計(jì)了8組實(shí)驗(yàn)來對(duì)比驗(yàn)證筆者方案的改進(jìn)之處．

2.2?數(shù)據(jù)集的特征及參數(shù)選擇

88個(gè)音符輸出的組合數(shù)十分龐大，輸出概率矩陣中的參數(shù)將達(dá)到31×61929≈190×104，其中4音和弦、5音和弦的組合數(shù)目占到了89.8%．對(duì)數(shù)據(jù)集中的音符和指法進(jìn)行統(tǒng)計(jì)，4音和弦和5音和弦出現(xiàn)的概率極低，近似為0，因此筆者刪掉輸出概率矩陣和轉(zhuǎn)移概率矩陣中的4音、5音和弦音符和指法，輸出概率矩陣縮減為(88＋978＋5236)×25≈16×104，條件狀態(tài)轉(zhuǎn)移矩陣為25×25＝625．在單音和2、3指和弦組成的輸出概率參數(shù)矩陣中，2指、3指和弦占到98.6%，然而如圖4所示，筆者的數(shù)據(jù)集中多指和弦十分低頻，且很多位置頻次為0，原因是筆者的模型效果更關(guān)注對(duì)手指轉(zhuǎn)換要求更高的單音序列樂譜，因此訓(xùn)練集中和弦覆蓋不多，后續(xù)需要加入更多帶有和弦的數(shù)據(jù)集．

圖4?右手音符和指法頻次分布

輸出矩陣?yán)碚撋媳椴剂怂幸舴?，但如圖4所示，右手覆蓋的音符Midi號(hào)范圍(21～108)主要集中在右半?yún)^(qū)，左手同樣集中在左半?yún)^(qū)，極少數(shù)會(huì)出現(xiàn)在另半邊區(qū)域，因此左右手模型的輸出概率矩陣待訓(xùn)練參數(shù)又縮減一半．

2.3?評(píng)價(jià)標(biāo)準(zhǔn)

2.3.1?一致率

但指法問題的特殊性在于標(biāo)注具有時(shí)間傳遞性和多態(tài)性．時(shí)間傳遞性即每個(gè)時(shí)刻指法的選擇會(huì)影響后續(xù)時(shí)刻，若某一時(shí)刻標(biāo)注結(jié)果與標(biāo)簽不一致，會(huì)導(dǎo)致后續(xù)一段時(shí)間的標(biāo)注大概率與標(biāo)簽不一致，一致率顯著降低；多態(tài)性即指法有時(shí)會(huì)有多種選擇，如1-3指和1-2指均可的情況并不少見，人工標(biāo)注在面臨這種選擇時(shí)具有一定的隨機(jī)性，沒有嚴(yán)格的挑選標(biāo)準(zhǔn)．若算法在多種可選項(xiàng)中選擇了與人工標(biāo)注不一致的情況，會(huì)導(dǎo)致后續(xù)一段時(shí)間的標(biāo)注結(jié)果和標(biāo)簽產(chǎn)生一個(gè)手指的錯(cuò)位，大大降低一致率，但實(shí)際演奏時(shí)，指法連續(xù)錯(cuò)位一指仍然有可能是可以彈奏的指法序列，因此一致率并不能完全反映標(biāo)注的質(zhì)量．

2.3.2?不可彈指法占比率

2.3.3?欠合理率

2.4?結(jié)果及分析

為了驗(yàn)證判決函數(shù)、八度分段和改進(jìn)維特比算法對(duì)標(biāo)注結(jié)果的影響，本文設(shè)計(jì)了6組對(duì)比實(shí)驗(yàn)和5組現(xiàn)有算法對(duì)比實(shí)驗(yàn)，每組實(shí)驗(yàn)進(jìn)行了五折交叉驗(yàn)證．其中在判決HMM的預(yù)測(cè)階段，由于判決函數(shù)修剪了大量路徑，不分段處理會(huì)產(chǎn)生下一時(shí)刻沒有可選指法的情況，因此判決HMM+Viterbi和判決HMM+改進(jìn)Viterbi的實(shí)驗(yàn)可用數(shù)據(jù)相較其他組有所減少，無法對(duì)比評(píng)價(jià)，如相鄰小節(jié)的音符差超出了一個(gè)八度，不進(jìn)行分段處理找不到合適的銜接指法，因此該種組合未加入對(duì)比實(shí)驗(yàn)．另外，有無判決函數(shù)的HMM參數(shù)不同，導(dǎo)致維特比算法的中間概率計(jì)算方法不同，對(duì)維特比算法的改進(jìn)指初始狀態(tài)和最優(yōu)路徑的確定方法兩個(gè)改進(jìn)之處．5組現(xiàn)有算法的對(duì)比實(shí)驗(yàn)包括對(duì)Original HMM、Fault-tolerant HMM、Merged-output HMM、LSTM＋CRF 4種訓(xùn)練模型和本文的Judgement-HMM，前4種模型均采用原始Viterbi算法進(jìn)行預(yù)測(cè)，判決HMM采用改進(jìn)Viterbi進(jìn)行預(yù)測(cè)．

2.4.1?對(duì)比實(shí)驗(yàn)

為了驗(yàn)證不同改進(jìn)點(diǎn)的作用，筆者設(shè)計(jì)了6組對(duì)比實(shí)驗(yàn)，結(jié)果如圖5所示．A為HMM＋Viterbi，B為HMM＋八度分段＋Viterbi，C為HMM＋改進(jìn)Viterbi，D為HMM＋八度分段＋改進(jìn)Viterbi，E為判決HMM＋八度分段＋Viterbi，F(xiàn)為判決HMM＋八度分段＋改進(jìn)Viterbi．傳統(tǒng)HMM下，分別加入八度分段和使用改進(jìn)維特比算法相較傳統(tǒng)維特比算法，標(biāo)注結(jié)果一致率提升了0.15%和4.37%，不可彈指法占比率分別下降0.08%和1.30%，欠合理率分別下降0.15%和0.25%；將二者聯(lián)合使用一致率提升4.43%，不可彈指法占比降低1.56%，欠合理率下降5.10%.由此可見，改進(jìn)維特比算法較明顯地提升了標(biāo)注的一致率，八度分段提升不明顯，但二者結(jié)合后，欠合理率下降明顯，原因是分段后對(duì)每段子序列搜索演奏效率最高的指法再進(jìn)行組合，比整體搜索的可選路徑更多，效果更好．判決HMM和八度分段聯(lián)合使用時(shí)，相較傳統(tǒng)HMM和八度分段一致率提升9.16%，原因是判決函數(shù)修剪了錯(cuò)誤的穿跨指和超出音程跨度的指法路徑，大大縮小了指法搜索空間，使標(biāo)注結(jié)果更大概率接近人工標(biāo)注結(jié)果，而不可彈指法占比率則從23.50%直接減為0，指法序列完全物理可實(shí)現(xiàn)．再加上對(duì)維特比算法預(yù)測(cè)階段的改進(jìn)，相較未改進(jìn)前一致率提升5.57%，欠合理率下降至1.84%，很接近人工標(biāo)注設(shè)定的穿跨指數(shù)．

圖5?對(duì)比實(shí)驗(yàn)結(jié)果

為了具體說明改進(jìn)點(diǎn)對(duì)指法的益處及本文算法標(biāo)注結(jié)果的性能，并驗(yàn)證一致率指標(biāo)的缺陷，截取了實(shí)驗(yàn)的部分標(biāo)注結(jié)果，如圖6～圖8所示．圖6為Bach 28首短篇鋼琴中Minuet in G major高聲部(右手)兩小節(jié)標(biāo)注結(jié)果，圖6(a)、(b)、(c)分別為Groundtruth、傳統(tǒng)HMM＋Viterbi和判決HMM＋改進(jìn)Viterbi的標(biāo)注結(jié)果．圖6(b)中傳統(tǒng)HMM＋Viterbi標(biāo)注的5指-3指跨越了G4到G5，即一個(gè)八度，在不變換手位的情況下，超出了表2中3指到5指間的最大可彈奏跨度，屬于超出可彈跨度的不可彈指法，且第2小節(jié)的4指-3指為錯(cuò)誤的穿跨指，而圖6(c)中第2小節(jié)3指-2指-1指相較(a)中的4指-3指-2指發(fā)生了連續(xù)1指的錯(cuò)位，從表面上看，圖6(b)、(c)都與Groundtruth不一致，但顯然圖6(c)中的標(biāo)注結(jié)果要較圖6(b)更合理，圖6(b)中第2小節(jié)甚至還存在1-3的跨指.在第2小節(jié)的標(biāo)注結(jié)果中，圖6(b)有3/5的指法與Groundtruth一致，圖6(c)只有2/5的指法與Groundtruth一致，但是在容錯(cuò)范圍內(nèi)圖6(c)更合理，可以看出，一致率不能完全衡量指法標(biāo)注算法的性能．此外，還可以發(fā)現(xiàn)，傳統(tǒng)HMM+Viterbi中不一致指法的前后相關(guān)性不強(qiáng)，而判決HMM＋改進(jìn)Viterbi則容易出現(xiàn)一連串與Ground-truth不一致的標(biāo)注結(jié)果，這將更容易降低一致率．相對(duì)而言，判決HMM＋改進(jìn)Viterbi容易出現(xiàn)一致率極高或極低兩種極端情況，在測(cè)試集中，最高可高達(dá)85%，最低則僅有45%．

圖6 《G大調(diào)小步舞曲》高聲部指法的改進(jìn)算法前后結(jié)果對(duì)比

圖7體現(xiàn)了本文算法去除了超出手指音程跨度的錯(cuò)誤指法．圖7為中國(guó)音樂學(xué)院考級(jí)三級(jí)B組《小草》片段低聲部的兩小節(jié)標(biāo)注結(jié)果，第1小節(jié)最后一個(gè)音符F4到第2小節(jié)第一個(gè)音符B2超出了一個(gè)八度，圖7(a)中在此處進(jìn)行了八度分段，否則會(huì)出現(xiàn)在第1小節(jié)結(jié)束后找不到可轉(zhuǎn)移指法，之后標(biāo)注時(shí)將每一段指法約束在可彈音程范圍內(nèi)；圖7(b)中未加音程約束，使得出現(xiàn)大量超出音程跨度的指法，如圖中5指-4指演奏(MIDI號(hào)50)-A3(MIDI號(hào)57)的MIDI跨度為7，而表2中4-5指間MaxPrac僅為5，同樣地，4指-3指演奏B3-(MIDI號(hào)46)-A3(MIDI號(hào)57)的MIDI跨度為11，而表2中3-4指間的MaxPrac僅為4，這兩處均為超出了手指最大跨度的不可彈指法；反觀圖7(c)中加入音程約束后，由于修剪掉大量不可彈的選項(xiàng)，每一小節(jié)較為容易地實(shí)現(xiàn)了和Groudtruth一樣的標(biāo)注結(jié)果．并且在兩小節(jié)切換處，由于音程超出了一個(gè)八度，兩個(gè)結(jié)點(diǎn)F4-B2的指法并不具有任何相關(guān)性，在Viterbi倒序確定F4指法時(shí)并不應(yīng)該參考B2的指法，圖7(b)中這一過程是無效的標(biāo)注．圖7(c)中加入的八度分段結(jié)合音程約束符合人工標(biāo)注的思路，有效實(shí)現(xiàn)了一致率的提升．

圖7?《小草》低音部指法的改進(jìn)算法前后結(jié)果對(duì)比

為了表征算法對(duì)和弦序列的標(biāo)注性能，圖8截取了中國(guó)音樂學(xué)院考級(jí)1級(jí)自選曲目《賣報(bào)歌》低聲部片段的和弦標(biāo)注指法．由于訓(xùn)練集中和弦的數(shù)據(jù)量很稀疏，基本上一種和弦對(duì)應(yīng)著一種概率為1的指法．因此在標(biāo)注時(shí)，訓(xùn)練集中出現(xiàn)過的和弦可以正確標(biāo)注，如圖8中的和弦標(biāo)注所示．但還有大量和弦在訓(xùn)練集中未覆蓋，為了避免未出現(xiàn)過的和弦所有輸出概率為0，導(dǎo)致無法標(biāo)注，將該類輸出概率均設(shè)為4%，因此和弦的數(shù)據(jù)集不足也一定程度地導(dǎo)致了標(biāo)注結(jié)果的一致率低．

圖8?本文算法和弦標(biāo)注指法結(jié)果

2.4.2?不同算法性能對(duì)比

將本文算法與現(xiàn)有的鋼琴指法自動(dòng)標(biāo)注算法在相同數(shù)據(jù)集上做了對(duì)比，結(jié)果如表3所示，相較現(xiàn)有基于HMM的標(biāo)注算法，本文的改進(jìn)在3項(xiàng)指標(biāo)上都取得了較大的提升，F(xiàn)ault-tolerant HMM[11]在評(píng)價(jià)標(biāo)注結(jié)果時(shí)雖然考慮了指法的容錯(cuò)性，使得指法的一致率有所提高，但沒有關(guān)注標(biāo)注結(jié)果中的不可彈指法；而Merged-output HMM[10]在訓(xùn)練輸出概率和轉(zhuǎn)移概率時(shí)從空間上加入了軸對(duì)稱的限制，彌補(bǔ)數(shù)據(jù)的缺失導(dǎo)致的低一致率，但也沒有考慮標(biāo)注結(jié)果中的不可彈指法．

表3?不同算法的標(biāo)注結(jié)果對(duì)比

Tab.3 Comparison of labeling results of different algo-rithms

另外，為了對(duì)比傳統(tǒng)方法與基于深度學(xué)習(xí)的方法，還與Bi-LSTM＋CRF模型進(jìn)行了比較，圖9為Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖，用LSTM的輸出作為CRF的指法狀態(tài)特征分?jǐn)?shù)，并初始化指法轉(zhuǎn)移特征分?jǐn)?shù)矩陣，目標(biāo)函數(shù)是極小化負(fù)對(duì)數(shù)目標(biāo)序列分?jǐn)?shù)，提高與人工標(biāo)注的一致率．實(shí)驗(yàn)中分別輸入音符序列和音符差分序列進(jìn)行訓(xùn)練，輸入的音符或音符差分?jǐn)?shù)據(jù)均設(shè)為32維的隨機(jī)word-embedding，采用Adam優(yōu)化方法，學(xué)習(xí)率設(shè)為0.01．

圖9 輸入為原始音符序列和音符差分序列的Bi-LSTM+CRF

訓(xùn)練好的模型采用Viterbi算法進(jìn)行指法預(yù)測(cè)，經(jīng)過對(duì)比，使用音符序列訓(xùn)練效果較差，一致率僅有55.06%，使用音符差分序列訓(xùn)練的一致率可以達(dá)到67.90%，較高于判決HMM，由此可見，較之指法和音符的一一映射關(guān)系，指法標(biāo)注和音符差分信息關(guān)系更密切，本文提出的判決HMM恰恰也結(jié)合音符差分信息進(jìn)行指法標(biāo)注．但Bi-LSTM＋CRF仍存在3.00%的不可彈指法，欠合理率5.02%．因此從指法可彈性來看，本文算法優(yōu)于Bi-LSTM＋CRF．

2.4.3?結(jié)果分析

本文提出的方法與人工標(biāo)注的一致率仍有較大差距，分析原因有：一是由于指法的多態(tài)性且多態(tài)情況下沒有明確的甄選標(biāo)準(zhǔn)，人工標(biāo)注和算法均存在隨機(jī)性；二是人工標(biāo)注的最優(yōu)指法權(quán)衡了演奏舒適度和演奏效率，雖然本文的算法考慮了這兩方面因素，但目前尚缺少權(quán)威性的量化指標(biāo)評(píng)價(jià)指法優(yōu)劣；三是數(shù)據(jù)量不足，和弦標(biāo)簽數(shù)據(jù)匱乏．

在傳統(tǒng)方法下，現(xiàn)有一階隱馬爾可夫模型用概率作為優(yōu)化目標(biāo)，模型參數(shù)描述能力有限，未能結(jié)合音符的長(zhǎng)距離序列信息，也無法恰當(dāng)?shù)伢w現(xiàn)演奏舒適度和演奏效率．基于深度學(xué)習(xí)的方法利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性擬合能力可以較為有效地提升一致率，但其優(yōu)化目標(biāo)只專注于提高一致率，指法可彈性仍需要提高．而本文算法在一致率和指法可彈性上做出了平衡．

3?結(jié)?論

(1)本文中提出了一種基于判決隱馬爾可夫模型和改進(jìn)維特比算法的鋼琴指法自動(dòng)標(biāo)注算法．筆者結(jié)合指法規(guī)則的先驗(yàn)知識(shí)，首先在判決HMM中引入兩種判決函數(shù)，有效克服了傳統(tǒng)HMM不能結(jié)合音符序列信息的缺點(diǎn)，去除了錯(cuò)誤的穿跨指和超出可彈跨度的指法．然后在預(yù)測(cè)指法路徑時(shí)，根據(jù)先驗(yàn)知識(shí)對(duì)音符序列進(jìn)行八度分段，并修改初始指法的確定方法，然后選擇穿跨指數(shù)最少、演奏效率最高的指法序列為最優(yōu)指法．通過一定量數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證，相較之前的算法性能有了較大的提升．

(2)但目前受數(shù)據(jù)集規(guī)模的限制，算法還無法覆蓋所有和弦的標(biāo)注，目前在遇到數(shù)據(jù)集中未出現(xiàn)的和弦時(shí)，可以將和弦拆分成單音序列，按照單音標(biāo)注指法組合起來作為和弦指法；并且模型只能標(biāo)注基本指法，一些特殊指法如輪指(同音換指)、黑鍵指法規(guī)則等還需要進(jìn)一步結(jié)合先驗(yàn)知識(shí)或加大相應(yīng)的訓(xùn)練數(shù)據(jù)量．

(3)另外，為了對(duì)比傳統(tǒng)模型和深度學(xué)習(xí)的方法，本文在同樣的數(shù)據(jù)集上，采用Bi-LSTM+CRF構(gòu)建了指法標(biāo)注模型，初步實(shí)驗(yàn)結(jié)果其在一致率上較優(yōu)于本文算法，但仍存在不可彈指法和較多轉(zhuǎn)指，需要加大訓(xùn)練集并修改目標(biāo)函數(shù)以提高指法標(biāo)注性能．

［1］ Parncutt R，Sloboda J A，Clarke E F，et al. An ergonomic model of keyboard fingering for melodic fragments[J]. Music Perception：An Interdisciplinary Journal，1997，14(4)：341-382.

［2］ Jacobs J P. Refinements to the ergonomic model for keyboard fingering of parncutt，sloboda，clarke，raekallio，and desain[J]. Music Perception：An Interdisciplinary Journal，2001，18(4)：505-511.

［3］ Hart M，Bosch R，Tsai E. Finding optimal piano fingerings[J]. The UMAP Journal，2000，21(2)：167-177.

［4］ Kasimi A A，Nichols E，Raphael C. Automatic fingering system(AFS)[C]// 6th International Society for Information Retrieval Conference. London，UK，2005：1-4.

［5］ Kasimi A A，Nichols E，Raphael C. A simple algorithm for automatic generation of polyphonic piano fingerings[C]// 8th International Conference on Music Information Retrieval. Vienna，Austria，2007：355-356.

［6］ Nell?ker E，Lu X. Optimal Piano Fingering for Simple Melodies[EB/OL]. https://kth.diva.portal.org/smash/get/ diva2:768564/FULLTEXT01.PDF，2014-12-04.

［7］ Lin C C，Liu D S M. An intelligent virtual piano tutor[C]// Proceedings of the 2006 ACM international conference on Virtual reality continuum and its applications，New York，USA，2006：353-356.

［8］ Viana A B，Cavalcanti J H F，Alsina P J. Intelligent system for piano fingering learning aid[C]// Proceedings of the 5th International Conference on Control，Automa-tion，Robotics & Vision. Singapore，1998：35-41.

［9］ Yonebayashi Y，Kameoka H，Sagayama S. Automatic decision of piano fingering based on a hidden markov models[C]// International Joint Conference on Artificial Intelligence. Hyderabad，India，2007：2915-2921.

［10］ Nakamura E，Ono N，Sagayama S. Merged-output HMM for piano fingering of both hands[C]// 15th International Society for Information Retrieval Confer-ence. Taipei，China，2014：531-536.

［11］ Sun Haotian，Guan Xin，Xian Jing，et al. Automatic marking of single-tone and chord piano fingering based on hidden Markov model[J]. Journal of Fudan University：Natural Science，2018，57(3)：84-91.

［12］ Hori G，Kameoka H，Sagayama S. Input-output HMM applied to automatic arrangement for guitars[J]. Information and Media Technologies，2013，8(2)：477-484.

［13］ Hori G，Sagayama S. Minimax Viterbi algorithm for HMM-based guitar fingering decision[C]// 17th International Society for Information Retrieval Conference. New York，USA，2016：448-453.

［14］ Hori G，Sagayama S. LP-Viterbi algorithm for automatic fingering decision[C]// Proceedings of the 14th Sound and Music Computing Conference. Banff，Canada，2017：386-390.

［15］ Huang Z，Xu W，Yu K. Bidirectional LSTM-CRF Models for Sequence Tagging[EB/OL]. http: //arxiv.org/ pdf/1508.01991v1.pdf，2015-08-09.

Automatic Fingering Annotation for Piano Score via Judgement-HMM and Improved Viterbi

Li Qiang，Li Chenxi，Guan Xin

(School of Microelectronics，Tianjin University，Tianjin 300072，China)

The existing first-order hidden Markov model(HMM)is used for piano fingering annotation without com-bining long-distance information of the note sequence．Therefore，an automatic piano fingering annotation algorithm based on decision HMM and the improved Viterbi algorithm is proposed．Taking prior knowledge of fingering into consideration，a judgment function was added to the traditional first-order HMM to remove wrong cross fingering and fingering beyond the bulletable span．During the prediction period，the optimization rules of the Viterbi algo-rithm were refined．First，the note sequence was segmented according to octaves，and the initial fingering method was modified．Subsequently，we chose a fingering sequence with the least number of cross fingering and whose performance was as efficient as that during optical fingering．To measure the performance of the proposed algorithm，two new evaluation metrics，the incapable-performing fingering ratio and the unreasonable fingering rate，were introduced to measure the flexibility and efficiency of fingering．Compared with the existing labeling model，the experiments showed that the proposed algorithm improved both the consistency rate and the two new in-dicators．In addition，to compare the performance of traditional methods with deep learning methods in small data sets，Bi-LSTM+CRF was added．The results showed that the inelastic fingering rate and unreasonable rate in deep learning were not as effective as those in the algorithm．

piano fingering；judgement-HMM；prior knowledge；improved Viterbi alogrithm

TP391

A

0493-2137(2020)08-0814-11

10.11784/tdxbz201907001

2019-07-01；

2019-08-20.

李?鏘（1974—??），男，博士，教授，liqiang@tju.edu.cn．Email：m_bigm@tju.edu.cn

關(guān)?欣，guanxin@tju.edu.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61471263)；天津市自然科學(xué)基金資助項(xiàng)目(16JCZDJC31100).

the National Natural Science Foundation of China(No.61471263)，the Natural Science Foundation of Tianjin，China (No.16JCZDJC31100).

(責(zé)任編輯：王曉燕)