陳浩 吳煜祺

摘? 要： 由于受到音樂專業(yè)性強、樂理知識復(fù)雜、變化多樣等因素影響，導(dǎo)致音樂特征識別難度較大，為此設(shè)計基于物聯(lián)網(wǎng)技術(shù)的音樂特征識別系統(tǒng)。系統(tǒng)物理感知層在不同位置布設(shè)聲音傳感器采集音樂原始信號，采用TMS320VC5402數(shù)字信號處理器展開音樂信號分析處理;網(wǎng)絡(luò)傳輸層將處理完成音樂信號，傳輸至系統(tǒng)應(yīng)用層中的音樂信號數(shù)據(jù)庫中;應(yīng)用層中的音樂特征分析模塊，采用動態(tài)時間規(guī)整算法，獲取測試模板和參考模板間最大相似度，實現(xiàn)音樂信號特征識別，并依據(jù)識別結(jié)果識別音樂曲式和音樂情感對應(yīng)音樂特征內(nèi)容。實驗結(jié)果表明，該系統(tǒng)運行穩(wěn)定，可采集到高音質(zhì)音樂信號，且能正確識別音樂曲式特征和情感特征。

關(guān)鍵詞： 音樂特征識別; 物聯(lián)網(wǎng); 系統(tǒng)設(shè)計; 信號采集; 信號處理; 實驗分析

中圖分類號： TN912.34?34; TP311.13? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）10?0043?03

Design of music feature recognition system based on Internet of Things technology

CHEN Hao1， WU Yuqi2

（1. Shiyuan College of Nanning Normal University， Nanning 530226， China; 2. Jiaxing University Nanhu College， Jiaxing 314001， China）

Abstract： In allusion to the influence of strong music specialization， complex music theory knowledge， various changes and other factors， it is difficult to recognize the music features. Therefore， a music feature recognition system based on Internet of Things technology is designed. The sound sensors are equipped at the different locations in the physical perception layer of the system to collect the original music signal. The music signals are analyzed and processed by the digital signal processor TMS320VC5402. The processed music signals are transmitted to the music signal database in the application layer of the system through network transmission layer.? The maximum similarity between the testing template and the reference template is obtained with the music feature analysis module in the application layer and by means of the dynamic time warping algorithm， so as to realize the music signal feature recognition， and identify? the musical form and musical emotion corresponding to the music feature contents according to the recognition results. The experimental results show that the system runs steadily， can collect high?quality music signals， and can identify the musical form features and emotional features correctly.

Keywords： music feature recognition; Internet of Things; system design; signal acquisition; signal processing; experimental analysis

0? 引? 言

音樂特征識別是基于語音識別發(fā)展藝術(shù)，通過音頻信號獲取音樂內(nèi)容，進(jìn)一步得到音樂曲式、情感等音樂特征[1]。音樂特征識別的研究涉及到許多方面，如心理聲學(xué)、樂器分析及樂理知識等。目前音樂識別系統(tǒng)未能大范圍應(yīng)用，是由于缺少有利于提升性能信息的系統(tǒng)整體框架設(shè)計。物聯(lián)網(wǎng)技術(shù)的出現(xiàn)使音樂特征識別系統(tǒng)的實現(xiàn)成為可能[2]。物聯(lián)網(wǎng)技術(shù)通過有線/無線網(wǎng)絡(luò)間信息實時傳遞，實現(xiàn)音樂信號的智能化采集、處理、分析等，其具有感知全面、傳遞可靠、方便快捷等優(yōu)勢[3]。設(shè)計基于物聯(lián)網(wǎng)技術(shù)的音樂特征識別系統(tǒng)，利用物聯(lián)網(wǎng)技術(shù)實現(xiàn)音樂信號的感知、傳輸及識別。

1? 音樂特征識別系統(tǒng)總體結(jié)構(gòu)

基于物聯(lián)網(wǎng)技術(shù)的音樂特征識別系統(tǒng)主要由物理感知層、網(wǎng)絡(luò)傳輸層以及系統(tǒng)應(yīng)用層共同構(gòu)成，系統(tǒng)總體結(jié)構(gòu)框圖如圖1所示[4]。

物理感知層主要包括音樂信號采集模塊和音樂信號處理模塊[5]。其中音樂信號采集模塊通過布設(shè)在不同位置的聲音傳感器采集系統(tǒng)識別所需音樂信號，并將采集到的音樂信號傳輸?shù)揭魳沸盘柼幚砟K，該模塊利用DSP處理器處理音樂信號。網(wǎng)絡(luò)傳輸層通過無線網(wǎng)絡(luò)通信傳輸方式將物理感知層采集并處理完成的數(shù)據(jù)傳輸至系統(tǒng)應(yīng)用層。系統(tǒng)應(yīng)用層匯集音樂信號形成音樂信號數(shù)據(jù)庫，經(jīng)音樂特征分析模塊中的音樂信號特征提取及特征識別分類后，通過LED顯示音樂特征識別結(jié)果[6]。

1.1? 音樂信號采集模塊的設(shè)計

音樂信號采集模塊包括音樂采集子模塊和語音編碼子模塊。音樂采集子模塊由安裝在不同位置的聲音傳感器組成，負(fù)責(zé)采集原始音樂信號。聲音傳感器內(nèi)置對聲音敏感的電容式駐極體話筒，經(jīng)A/D轉(zhuǎn)換器轉(zhuǎn)換后傳輸?shù)秸Z音編碼子模塊。語音編碼子模塊主要負(fù)責(zé)原始音樂信號的高保真無損壓縮，將音樂信號轉(zhuǎn)換為可傳輸?shù)臄?shù)據(jù)信息，然后將其傳輸?shù)揭魳沸盘柼幚砟K[7]。

1.2? 音樂信號處理模塊設(shè)計

音樂信號處理模塊由DSP處理器完成設(shè)計[8]。該模塊采用一款適用于語音信號處理的型號為TMS320VC5402DSP的定點DSP芯片，該DSP芯片運行功耗低，運行速度快，攜帶2個MCBSPS（多通道緩沖串口），能夠連接CODEC（編譯解碼器）實現(xiàn)語音輸入，具備8位增強型主機并行口（HPI8），與主機建立通信連接，內(nèi)含4 KB ROM及16 KB DARAM。其結(jié)構(gòu)如圖2所示。

TMS320VC5402內(nèi)部功能單元如下：

內(nèi)部總線結(jié)構(gòu)由4條地址總線和4條程序/數(shù)據(jù)總線構(gòu)成8條16位總線。特殊功能寄存器含有用于控制、管理、訪問各功能單元的26個特殊功能寄存器。定時器和中斷系統(tǒng)自身攜帶4位預(yù)定標(biāo)的16位定時器。TMS320VC5402DSP存儲器基本空間大小為192 KB，程序空間、數(shù)據(jù)空間、I/O空間大小各占[13]，其中程序存儲空間可拓展至1 MB。TMS320VC5402DSP有BIO和XF兩個通用I/O端口。此外訪問I/O空間可以擴展I/O端口，并且TMS320VC54xDSP的HPI以及MCBSP也能夠配置成通用I/O端口。TMS320VC5402的MCBSP能夠在SPI方式下運行，有利于同串行A/D、串行E2PROM接口。主機口為DSP與外部處理器連接供應(yīng)并行接口，便于DSP與外部處理器間的信息交流。

2? 音樂特征識別

2.1? 音樂信號特征識別

在系統(tǒng)應(yīng)用層中的音樂特征分析模塊采用動態(tài)時間規(guī)整（DTW）算法[9]，通過比較音樂特征測試模板和參考模板間歐氏距離識別音樂信號特征。音樂特征測試模板、參考模板的語音幀遵循DTW算法搜索路徑展開音樂特征匹配。假設(shè)參考模板和測試模板分別表示為：

[S={S（1），S（2），S（m），S（M）}]

[P={P（1），P（2），P（n），P（N）}]

式中：[M，N]分別為參考模板和測試模板內(nèi)包含的語音幀總數(shù);[m，n]分別為[S，P]中任意幀號。歐氏距離的計算方法如下：

[l[P（n），S（m）]=1kr=1K（Hr-H′r）2]? ? ?（1）

式中，[H′，H]分別表示[S，P]的元素。

DTW算法通過搜尋并標(biāo)記最優(yōu)局部路徑，并沿此路徑累計局部距離獲取全局累計距離，獲取最優(yōu)模板匹配相似度，將此路徑作為最優(yōu)路徑。

假設(shè)路徑依次經(jīng)過的格點分別為[（n1，m1）]，…，[（ni，mi）]，[（nN，mM）]，根據(jù)端點約束條件可得到[（n1，m1）=（1，1）]，[（nN，mM）=（N，M）]，為符合斜率約束，斜率選擇區(qū)間為0.5～2.5。

從局部搜索角度出發(fā)，假設(shè)最佳路徑經(jīng)過的格點[（ni，mi）]的上一個格點為[（ni-1，mi）]、[（ni-1，mi-1）]以及[（ni-1，mi-2）]三者之一，假設(shè)始發(fā)點距離這三個格點的部分累計距離分別為[L[（ni-1，mi）]]，[L[（ni-1，mi-1）]]和[L[（ni-1，mi-2）]]，則[（ni，mi）]挑選部分累計距離最小格點繼續(xù)前進(jìn)，以此類推。最終路徑累計距離如下：

[L[（ni，mi）]=l[T（ni，R（mi））]+L[（ni-1，mi-1）]]? ? （2）

故最小累計距離就是測試模板和參考模板的最大相似度，即音樂信號特征識別結(jié)果。

2.2? 音樂特征內(nèi)容識別

2.2.1? 音樂曲式特征提取

音樂旋律一般包括兩個相近樂句，為分析音樂曲式結(jié)構(gòu)采用搜索相近旋律方法，并通過初步識別、重點識別、補充識別三步識別法提升搜索效率和精確度，同時兼顧音樂曲式的節(jié)奏與和聲特點[10]。

1） 依照節(jié)奏和調(diào)性初步識別

依照音樂節(jié)奏和調(diào)性特征初步劃分整首音樂，縮小范圍，為重點識別提供基礎(chǔ)，增加搜索效率。

2） 通過旋律搜索重點識別

依照音樂特點采用3步假設(shè)進(jìn)一步增加相近旋律搜索效率。

假設(shè)一：16個小節(jié)組成一個樂句。該假設(shè)廣泛應(yīng)用于音樂結(jié)構(gòu)研究中，經(jīng)檢驗具備正確性。

假設(shè)二：樂句重點部分為前4個小節(jié)。該假設(shè)采用少量音符表征樂句，且假設(shè)具備正確性。

假設(shè)三：單簧管、小提琴、長笛為眾多樂器中演奏主旋律可能性最大樂器。該假設(shè)有利于快速尋求主旋律音色，是通過旋律搜索重點識別的前提。

基于3步假設(shè)，采用樹狀結(jié)構(gòu)記錄旋律整體輪廓，完成相似旋律搜索。樹狀結(jié)構(gòu)包括4層：第1層為一段旋律，由16個小節(jié)組成;第2 層為旋律前4個小節(jié);第3層為每小節(jié)的3個正拍;第4層為各小節(jié)正拍和半拍。樹狀結(jié)構(gòu)節(jié)奏為[34]拍，主要功能為記錄音樂相對音高。

3） 基于和聲特征補充識別

音樂經(jīng)過初步識別和重點識別之后，可提取到音樂曲式特征，但也會存在例外[11]。因此通過終止一個音樂結(jié)構(gòu)和樂思的和聲補充識別曲式結(jié)構(gòu)，提升搜索精確度。

2.2.2? 音樂情感特征提取

音樂曲式特征提取后，音樂被分割成若干個小樂段。綜合分析每個樂段的速度、旋律、音響等特征，通過模糊分類器提取其中情感特征。最后依照情感結(jié)構(gòu)合理形容音樂情感特征。

3? 實驗分析

采用Visual C++在Windows 2010平臺上模擬本文系統(tǒng)原型驗證本文系統(tǒng)的有效性。系統(tǒng)聲音傳感器收集到某監(jiān)測區(qū)域中3個不同地點的音樂信號如圖3所示。從圖3可以看出，系統(tǒng)采集到的音樂信號曲線平滑，沒有毛刺且未出現(xiàn)信號中斷情況，表明系統(tǒng)運行穩(wěn)定，采集到的音樂信號音質(zhì)較好。依據(jù)圖3采集的音樂信號，采用本文系統(tǒng)識別音樂特征的結(jié)果如表1所示。

分析表1可知，本文系統(tǒng)可以正確識別出音樂的曲式特征和情感特征，在識別范圍內(nèi)的音樂特征識別率可達(dá)100%。

4? 結(jié)? 論

本文設(shè)計基于物聯(lián)網(wǎng)技術(shù)的音樂特征識別系統(tǒng)，系統(tǒng)中的語音信號采集模塊實現(xiàn)不同來源音樂信號采集，并設(shè)置語音編碼子模塊，獲取高保真無損壓縮原始音樂信號等，可提升系統(tǒng)運行速度，降低能耗，極大地提高了音樂特征識別的精度。

參考文獻(xiàn)

[1] 胡昭華，余媛媛.深度卷積神經(jīng)網(wǎng)絡(luò)在音樂風(fēng)格識別中的應(yīng)用[J].小型微型計算機系統(tǒng)，2018，39（9）：1932?1936.

[2] 張善文，黃文準(zhǔn)，尤著宏.基于物聯(lián)網(wǎng)和深度卷積神經(jīng)網(wǎng)絡(luò)的冬棗病害識別方法[J].浙江農(nóng)業(yè)學(xué)報，2017，29（11）：1868?1874.

[3] 趙巧.基于物聯(lián)網(wǎng)的農(nóng)作物試驗基地監(jiān)控管理系統(tǒng)設(shè)計[J].農(nóng)機化研究，2019，41（1）：222?225.

[4] 錢承山，毛海強，張永宏，等.基于物聯(lián)網(wǎng)技術(shù)的校園用電監(jiān)控系統(tǒng)設(shè)計[J].電子器件，2017，40（5）：1266?1271.

[5] 馮勇，蔣高明，吳志明，等.基于物聯(lián)網(wǎng)的經(jīng)編制造執(zhí)行系統(tǒng)關(guān)鍵技術(shù)[J].紡織學(xué)報，2018，39（2）：144?149.

[6] 劉彪，黃蓉蓉，林和，等.基于卷積神經(jīng)網(wǎng)絡(luò)的盲文音樂識別研究[J].智能系統(tǒng)學(xué)報，2019，14（1）：190?197.

[7] 王蒙蒙，關(guān)欣，李鏘.基于魯棒音階特征和測度學(xué)習(xí)SVM的音樂和弦識別[J].信號處理，2017，33（7）：943?952.

[8] 苗靜，楊帆，潘國峰.嵌入式智能音樂播放系統(tǒng)的設(shè)計與實現(xiàn)[J].聲學(xué)技術(shù)，2017，36（4）：357?362.

[9] 杜威，林滸，孫建偉，等.一種基于分層結(jié)構(gòu)的音樂自動分類方法[J].小型微型計算機系統(tǒng)，2018，39（5）：888?892.

[10] 肖曉紅，張懿，劉冬生，等.基于隱馬爾可夫模型的音樂分類[J].計算機工程與應(yīng)用，2017，53（16）：138?143.

[11] 楊曉宇，黃浩，王浩華.基于改進(jìn)的T型關(guān)聯(lián)度在音樂分類中的應(yīng)用[J].數(shù)學(xué)的實踐與認(rèn)識，2017，47（20）：155?163.