一、研究的啟發(fā)及其意義
　　讓計(jì)算機(jī)聽懂樂曲并自動(dòng)生成譜表是我從小的愿望。前不久我仍看到父親邊聽錄音邊記譜，聽一段，記一句，有時(shí)一句需要聽上幾遍，才能記下來，這使得他老人家工作勞累，真想用所學(xué)的計(jì)算機(jī)專業(yè)知識(shí)去幫他解決如此繁雜的事情。另外，在我學(xué)習(xí)揚(yáng)琴的過程中，也遇到類似的難題——在網(wǎng)上學(xué)習(xí)中國(guó)音樂學(xué)院揚(yáng)琴教授項(xiàng)祖華和李玲玲的揚(yáng)琴曲時(shí)，被他們諳熟動(dòng)聽的名曲演奏陶醉，希望找到相應(yīng)的曲譜來練習(xí)，但搜來搜去并無結(jié)果，于是便開始研究識(shí)譜軟件。
　　酷我ＭＰ３伴侶是一款音樂識(shí)別軟件。它應(yīng)用音頻指紋技術(shù)，根據(jù)旋律可準(zhǔn)確識(shí)別歌名、歌手、專輯名等信息。這主要是針對(duì)在網(wǎng)上搜索海量的音樂文件，不具備識(shí)譜功能。目前，有一款曲譜編輯軟件，但它只能識(shí)別電子琴這一種有ＭＩＤＩ音樂接口的音頻，對(duì)ＭＩＤＩ文件可以轉(zhuǎn)換簡(jiǎn)譜或五線譜。但對(duì)于其他樂器（鋼琴或琵琶等民族樂器）產(chǎn)生的音頻文件，就無法轉(zhuǎn)換。比如從網(wǎng)上下載或錄制的樂曲則無法轉(zhuǎn)換并產(chǎn)生相應(yīng)譜表。筆者將能提供這一功能的系統(tǒng)初步命名為基于樂器演奏的樂音識(shí)別系統(tǒng)，并開始了通過計(jì)算機(jī)程序設(shè)計(jì)與數(shù)據(jù)信號(hào)處理的學(xué)習(xí)和研究。
　　此項(xiàng)研究對(duì)所有音樂創(chuàng)作領(lǐng)域的作曲人士和眾多熱愛音樂的人有著重大意義，也將隨著這項(xiàng)研究的完成而節(jié)省大量的精力、時(shí)間、財(cái)力，從而提高工作效率。所以能夠通過使用計(jì)算機(jī)程序來自動(dòng)識(shí)別演奏或演唱的樂曲并自動(dòng)完成樂譜創(chuàng)作，將會(huì)使音樂人創(chuàng)作效率得到很大提高，并能極大地激發(fā)創(chuàng)作靈感，改變目前因?yàn)槭指鍖憳纷V的不便而導(dǎo)致創(chuàng)作效率低甚至影響靈感發(fā)揮的不良狀況。樂音識(shí)別這一技術(shù)在音樂創(chuàng)作中有很重要的實(shí)用價(jià)值。
　　二、國(guó)內(nèi)外研究現(xiàn)狀
　　現(xiàn)有的樂音識(shí)別系統(tǒng)有很多，如《調(diào)音之王》弦樂器體系?穴包括提琴、吉它、古箏、三弦、琵琶、二胡等?雪，樂器聲音測(cè)試，頻譜，聲音標(biāo)準(zhǔn)，檢測(cè)，弦樂器學(xué)習(xí)的好幫手，是一個(gè)完整的自動(dòng)化的樂音識(shí)別系統(tǒng)，但卻沒有樂譜自動(dòng)生成功能；再有《樂音３．０》可通過外接ＭＩＤＩ音源、模擬ＭＩＤＩ鍵盤作曲，但對(duì)于除電子琴外的其他樂器演奏的音源，就無法產(chǎn)生相應(yīng)的樂譜。
　?。玻埃埃的暝凇稑芬糇R(shí)別方法及應(yīng)用》①一文中提出能使計(jì)算機(jī)聽懂樂器（如鋼琴）的演奏并自動(dòng)譜曲，即根據(jù)錄入的鋼琴演奏曲產(chǎn)生相應(yīng)的五線譜表，如圖１所示。另外，在２００９年《樂音音符基頻識(shí)別》②一文中，通過語音信號(hào)的短時(shí)能量和過零率來確定語音的端點(diǎn)以及分割音節(jié)，進(jìn)而通過短時(shí)自相關(guān)函數(shù)法來提取基音周期。
　　
　　在研究樂音識(shí)別技術(shù)及應(yīng)用的基礎(chǔ)上，筆者提出目前該系統(tǒng)的不足之處：五線譜表中無小節(jié)線，也無終止符號(hào)，而且無法滿足只懂簡(jiǎn)譜的廣大用戶的需求，更重要的是，此項(xiàng)研究沒有繼續(xù)完成，也沒有投入使用。就此對(duì)以上問題展開研究，并用另一種有效可行的方法及算法加以驗(yàn)證，從而進(jìn)一步改善原有的樂音識(shí)別系統(tǒng)。
　　目前以樂音音符識(shí)別為目的，并完成自動(dòng)樂曲創(chuàng)作的研究不多，有關(guān)樂音處理方面的研究大多局限在樂音的數(shù)字采樣、濾波、音效處理、編輯等。在音符錄入方面，則一般使用ＭＤＩＩ鍵盤簡(jiǎn)單映射實(shí)現(xiàn)，并不涉及研究的樂音音符?穴音高?雪的識(shí)別。
　　三、樂音識(shí)別系統(tǒng)
　　基于樂器演奏的樂音識(shí)別的過程，是根據(jù)樂器演奏音頻輸入自動(dòng)產(chǎn)生相應(yīng)的音樂譜表?穴簡(jiǎn)譜或五線譜?雪，即通過一系列的信號(hào)和數(shù)據(jù)處理過程將原始音頻信息轉(zhuǎn)換成為符號(hào)表示的樂譜信息，從而實(shí)現(xiàn)樂音識(shí)別的功能。
　　對(duì)樂器演奏信息的獲取和處理有多種方法，可以是一個(gè)在線錄制的樂曲，也可以自己錄制。處理的主要目的是從音頻文件中提取出表達(dá)音樂旋律的特征信號(hào)。對(duì)信號(hào)的處理過程使用時(shí)域方法、頻域方法或時(shí)域頻域相結(jié)合的處理方法進(jìn)行音符分割、音高跟蹤，得到旋律特征數(shù)據(jù)序列，再以特定的組織方式將旋律特征序列作為匹配譜表的輸入，在提前錄制好的單音符數(shù)據(jù)庫中進(jìn)行旋律特征匹配，從而產(chǎn)生相應(yīng)的譜表。
　　本文的工作面向樂音識(shí)別中樂器演奏信號(hào)處理，即對(duì)樂器演奏音頻信號(hào)進(jìn)行處理，獲取旋律特征信息，并將旋律信息表示為一種合理的中間格式，可以直接或變換后用于不同的樂音識(shí)別系統(tǒng)，進(jìn)行譜表的構(gòu)造。
　　樂器演奏音頻處理方法
　　對(duì)樂器演奏音頻信號(hào)的處理方法可以采用一般對(duì)語音信號(hào)分析處理的方法， 但又有所不同：語音信號(hào)處理針對(duì)目的的不同，處理的重點(diǎn)與具體采用的方法也不同。我對(duì)樂器演奏音頻處理的過程分為三個(gè)部分：
　?。保A(yù)處理
　　預(yù)處理部分包括錄音、降噪、整流、低通濾波、計(jì)算短時(shí)幀能量等操作。一般使用聲卡和麥克風(fēng)進(jìn)行錄音采樣來得到數(shù)字化的樂器演奏音頻數(shù)據(jù)。樂器發(fā)聲基頻范圍依據(jù)不同的樂器而不同，基音頻串范圍最寬的是鋼琴，由２７．５Ｈｚ—４１３６Ｈｚ以內(nèi)，綜合考慮系統(tǒng)所需的數(shù)據(jù)精度和計(jì)算復(fù)雜度，確定了預(yù)處理程序音頻采集格式為２２０２５Ｈｚ／８ｂｉｔ／ｍｏｍｏ，數(shù)字化后去除信號(hào)直流分量。
　　目前，筆者對(duì)數(shù)字化的音頻信息只做簡(jiǎn)單低通濾波，因?yàn)槭褂玫氖窃诰€方式將優(yōu)質(zhì)的樂器演奏曲子錄制了其中５秒的一段作為實(shí)驗(yàn)測(cè)試的音頻數(shù)據(jù)。
　　4e2a4f06fb0fa32ceb669ad68815774b第一步：錄音
　　可用Ｗｉｎｄｏｗｓ自帶的“錄音機(jī)”或?qū)ｉT的音頻處理軟件ＣｏｏｌＥｄｉｔ或Ａｄｏｂｅ Ａｕｄｉｔｉｏｎ的錄制即可。
　　第二步：降噪
　　在實(shí)際應(yīng)用環(huán)境中，作曲人士大多使用現(xiàn)場(chǎng)錄制樂器聲音或在線錄音作為輸入數(shù)據(jù)。一般面對(duì)的條件是配置聲卡的個(gè)人電腦和普通的麥克風(fēng)，且無法避免環(huán)境噪聲的干擾。所以，如果是現(xiàn)聲錄音，必須對(duì)輸入信號(hào)做降噪處理。
　　降噪的主要目的是為了有利于后續(xù)的音符分割和音高跟蹤，可以用音頻處理軟件Ｃｏｏｌ Ｅｄｉｔ或Ａｄｏｂｅ Ａｕｄｉｔｉｏｎ中的降噪功能簡(jiǎn)單而有效地對(duì)音頻信號(hào)的噪聲進(jìn)行降噪處理。如果是在線錄制的音頻，由于質(zhì)量高，不降噪也可。
　　由于我們的關(guān)鍵目的是將樂器的樂音轉(zhuǎn)換為樂譜，而樂音與樂譜的一些特性，決定了對(duì)錄制的音頻文件不需太高的要求，只要沒有明顯的噪聲即可。
　　第三步：二次處理
　　音頻信號(hào)進(jìn)一步處理步驟：①對(duì)音頻信號(hào)全波整流；②對(duì)整流信號(hào)進(jìn)行低通濾；③計(jì)算短時(shí)幀能量。
　　選擇一個(gè)合適的幀長(zhǎng)對(duì)音頻信號(hào)進(jìn)行分幀，得到一個(gè)二維矩陣ｆｒａｍｅ（每行對(duì)應(yīng)一幀數(shù)據(jù)，矩陣行數(shù)等于幀數(shù)，列數(shù)等于幀長(zhǎng)）。計(jì)算每一個(gè)短時(shí)能量的公式如下：
　　
　　％計(jì)算門限
　?。牛剑螅酰?穴ｆｒａｍｅ，２?雪／ｌｆ；
　?。裕剑?觹?眼ｓｕｍ?穴Ｅ?雪／ｌｅｎｇｔｈ?穴Ｅ?雪?演；
　?。牵剑纾颍幔洌椋澹睿?穴Ｅ?雪；
　?。ビ?jì)算能量梯度，選取上升快速的點(diǎn)，與高能條件結(jié)合，共同確定特征區(qū)域。
　?。牵恚剑保?觹｛ｓｕｍ［ａｂｓ?穴Ｇ?雪］／ｌｅｎｇｔｈ?穴Ｇ?雪｝；
　?。玻靡纛l特征點(diǎn)的檢測(cè)實(shí)現(xiàn)音符的準(zhǔn)確定位
　　如何準(zhǔn)確、有效地進(jìn)行音符的準(zhǔn)確定位（即音符分割）， 是樂音識(shí)別系統(tǒng)中最困難，也是最為關(guān)鍵的問題。對(duì)于樂器演奏的音符分割的處理相對(duì)簡(jiǎn)化，可以采用語音識(shí)別端點(diǎn)檢測(cè)類似方法。常用的端點(diǎn)檢測(cè)方法有基于能量、基于能量與過零率、基于信息嫡、基于頻域特征等。
　　
　　根據(jù)樂曲的旋律及對(duì)語譜圖（如圖２下半部分所示）的觀察和分析，筆者發(fā)現(xiàn)：語譜圖中表現(xiàn)出所有的音符的音調(diào)都表示出深色的縱向條紋。因此可以采用特征點(diǎn)檢測(cè)的音符分割方法，使用時(shí)域、頻域與最高能量相結(jié)合的方法，既簡(jiǎn)化計(jì)算過程，又可以比較有效而準(zhǔn)確地進(jìn)行音符分割。
　　
　　本系統(tǒng)中實(shí)驗(yàn)所用音頻為普通揚(yáng)琴演奏的一段練習(xí)曲（本文稱為示范曲）。語譜圖的橫坐標(biāo)是時(shí)間，縱坐標(biāo)是頻率，坐標(biāo)點(diǎn)值為語音數(shù)據(jù)能量。由于是采用二維平面表達(dá)三維信息，所以能量值的大小是通過顏色來表示的，顏色深，表示該點(diǎn)的語音能量越強(qiáng)。
　　首先采用基于能量跟蹤的方法作為第一級(jí)，由于有效地進(jìn)行了降噪處理，信號(hào)有較高的信噪比。這種情況下，通過計(jì)算信號(hào)的短時(shí)能量，就可以通過能量跟蹤找到每個(gè)音符語音段的開始及結(jié)束時(shí)間。有了音符分割的數(shù)據(jù)，音高跟蹤的工作也得以簡(jiǎn)化并更加有效。第二級(jí)的音符分割基于音高跟蹤的結(jié)果得到，目的是把第一級(jí)沒有分割開的連奏音符根據(jù)音高顯著變化特征，即基音頻率不同而進(jìn)一步分割開來，這樣，就由兩級(jí)音符分割得到了每個(gè)獨(dú)立音符的起始和結(jié)束時(shí)間?穴以幀序號(hào)表示?雪，由音高跟蹤得到了每個(gè)音符的基音頻率值。
　?、俅_定能量門限值
　　一段樂音音頻中高能的波峰有多個(gè)，高能幀通常是高能波峰的標(biāo)志，也是音符的起點(diǎn)。選擇一個(gè)合適的門限可以篩選出若干高能幀，即可確定出若干音頻信號(hào)特征點(diǎn)（即音符的音高）。為使特征點(diǎn)選擇方法用于多種音頻，門限可取一個(gè)相對(duì)值：即取平均幀能量的若干倍作為能量門限，Ｎ是幀數(shù)；倍數(shù)β越大，得到的特征點(diǎn)就越少。
　　能量門限的取值相當(dāng)關(guān)鍵，若取得過大，則會(huì)漏掉某些弱音，若取得過小，則多出許多同音，這樣的話，產(chǎn)生出來的樂譜
　　就不理想了。因此結(jié)合樂譜中的最小音長(zhǎng)，就可以解決。
　　
　　②梯度門限選擇
　　利用幀能量變化的梯度可以確定能量的變化速度。使用梯度門限與能量門限結(jié)合可以使選擇的重點(diǎn)更穩(wěn)定。
　　
　?。常畼纷V表示
　　計(jì)算出兩個(gè)特征點(diǎn)之間的距離（時(shí)間長(zhǎng)短），就可以確定前一音符的時(shí)值，即音長(zhǎng)（如表１所示，本文以９０拍為例），將其暫存，再取出特征點(diǎn)所在頻率，與音符頻率對(duì)照表（如表２所示，本文以Ｇ調(diào)為例）對(duì)照，將得到的音符序列的音名和音長(zhǎng)按照一定的組織結(jié)構(gòu)將這些數(shù)據(jù)表示成中間格式，進(jìn)行
　　旋律表達(dá)，即可得到譜表。
　　示范曲調(diào)號(hào)、拍號(hào)及速度：
　?。保剑?２／４１＝９０
　　四、系統(tǒng)目標(biāo)
　　通過采用基于Ｍａｔｌａｂ的分析、處理、識(shí)別技術(shù)，并將分析處理識(shí)別結(jié)果封裝成ＤＬＬ文件，通過ＶＢ６．０調(diào)用，功能簡(jiǎn)單、界面直觀、可靠性高。最后在用ＶＢ設(shè)計(jì)的應(yīng)用程序界面上：先打開一個(gè)錄制好的音頻文件，其格式為：２２０５０Ｈｚ采樣率、１６位單聲道的Ｗａｖｅ波形文件（擴(kuò)展名為．ｗａｖ）（其他格式的音頻文件由于本系統(tǒng)目前還未擴(kuò)展其功能，可先通過千千靜聽等一些音頻播放或∑音頻編輯軟件方便轉(zhuǎn)換），顯示播放的聲音波形（本文以Ｇ調(diào)的一段揚(yáng)琴曲為例，預(yù)期結(jié)果如圖３所示），可以單擊“播放”按鈕聽樂音，單擊“轉(zhuǎn)換為樂譜”
　　可以轉(zhuǎn)換成相應(yīng)的樂譜（五線譜與簡(jiǎn)譜均可）。
　　
　　下一步研究：本文提出了基于樂器演奏的樂音識(shí)別系統(tǒng)的研究方法及算法，并使用Ｍａｔｌａｂ與ＶＢ語言結(jié)合設(shè)計(jì)出該系統(tǒng)的前半部分，接下來的工作是：續(xù)實(shí)現(xiàn)并完成其余功能，不斷改善該系統(tǒng)，使之成為一個(gè)適合多種調(diào)式的、多功能的，適合各種樂器，甚至是基于演唱的樂音都能識(shí)別得更完善、更
　　健全的自動(dòng)樂譜生成系統(tǒng)。
　　參考文獻(xiàn)
　　?眼１?演王素立、高潔、孫新德《Ｍａｔｌａｂ混合編程與工程應(yīng)用》，北京：清華大學(xué)出版社2008年版。
　　?眼２?演繆天瑞《律學(xué)》，北京：人民音樂出版社１９９６年版。
　　
　　①徐國(guó)慶、楊丹、王彬潔、文俊浩《樂音識(shí)別方法及應(yīng)用》，《計(jì)算機(jī)應(yīng)用》2005年第4期，第968—970頁。
　　②吳晶晶、孟玲玲《樂音音符基頻識(shí)別》，《電子測(cè)量技術(shù)》2009年第4期，第126—128頁。
　　
　　萬景 玉溪師范學(xué)院信息技術(shù)工程學(xué)院講師（責(zé)任編輯 榮英濤）