摘 要：本文通過(guò)分析圖像與MIDI樂(lè)曲的信息構(gòu)成方式，提出了從圖像三維信息空間到MIDI四維信息空間之間的互映射轉(zhuǎn)換模型，利用MIDI樂(lè)曲的時(shí)序關(guān)系，提出了一種新穎有趣的MIDI信息的彩色圓圈動(dòng)畫(huà)顯示方法。實(shí)驗(yàn)結(jié)果顯示，圖像信息到MIDI信息的映射轉(zhuǎn)換能輔助創(chuàng)作音樂(lè)的動(dòng)機(jī)，MIDI樂(lè)曲的彩色圓圈動(dòng)畫(huà)能形象地展示樂(lè)音的屬性與時(shí)序關(guān)系。

關(guān)鍵詞：RGB圖像；MIDI樂(lè)曲；互映射；彩色圓圈；動(dòng)畫(huà)

0 前言

動(dòng)機(jī)是音樂(lè)的靈魂，動(dòng)機(jī)通過(guò)發(fā)展形成樂(lè)曲，靈感是產(chǎn)生動(dòng)機(jī)的重要因素，在數(shù)字時(shí)代，人們?cè)谔剿骼萌斯ぶ悄芊椒óa(chǎn)生動(dòng)機(jī)，進(jìn)而發(fā)展成樂(lè)曲，計(jì)算機(jī)作曲或者算法作曲技術(shù)的發(fā)展為音樂(lè)的創(chuàng)作提供了一條可行的路線(xiàn)。

1957年由Lejaren Hiller第一次利用計(jì)算機(jī)進(jìn)行音樂(lè)創(chuàng)作，設(shè)計(jì)了作曲系統(tǒng)Illiac Suite；1960年代初期，Robert Baker和Lejaren Hiller設(shè)計(jì)了第一個(gè)自動(dòng)作曲系統(tǒng)MUSICOMP^[1]，而最著名的計(jì)算機(jī)作曲系統(tǒng)則是Iannis Xenakis系統(tǒng)^[2]，它利用統(tǒng)計(jì)與概率方法進(jìn)行輔助設(shè)計(jì)等等。在計(jì)算機(jī)作曲系統(tǒng)中，大量使用了人工智能的方法，如馬爾可夫鏈^[3]、遺傳算法^[4]、高層領(lǐng)域知識(shí)^[5]和神經(jīng)網(wǎng)絡(luò)^[6]等。

音樂(lè)可視化是對(duì)音樂(lè)表達(dá)的一種非主觀(guān)的解釋和判斷，是為理解、分析、比較音樂(lè)的表現(xiàn)力和內(nèi)部結(jié)構(gòu)提供的一種呈現(xiàn)技術(shù)^[7]。它綜合利用了音樂(lè)、數(shù)字音頻、圖形學(xué)、圖像處理、虛擬現(xiàn)實(shí)等領(lǐng)域的跨學(xué)科知識(shí)，研究?jī)?nèi)容廣泛，如可視化系統(tǒng)構(gòu)建、音樂(lè)感知模型、情感檢測(cè)、沉浸式顯示等，在娛樂(lè)、教育、藝術(shù)、商業(yè)和數(shù)字遺產(chǎn)保護(hù)^[8]中具有廣闊的應(yīng)用前景。音樂(lè)可視化實(shí)現(xiàn)方法很多，如水彩畫(huà)風(fēng)格的音樂(lè)動(dòng)畫(huà)技術(shù)^[9]，基于實(shí)時(shí)MIDI響應(yīng)的Music on the Spiral Array系統(tǒng)^[10]，三維蠕蟲(chóng)效果^[11]，以及基于虛擬技術(shù)的ANIMUS框架^[12]等。

1 圖像與MIDI樂(lè)曲的映射轉(zhuǎn)換模型

1.1 圖像像素與MIDI音符分析

一幅數(shù)字圖像由若干個(gè)離散的像素點(diǎn)組成，不同的像素點(diǎn)具有不同的屬性，彩色圖像的像素點(diǎn)由三個(gè)基本的顏色RGB構(gòu)成，每個(gè)顏色占用1個(gè)字節(jié)空間，可以有256種不同的顏色值，灰度圖像的每個(gè)像素點(diǎn)的值是灰度級(jí)，范圍是0～255，二值圖像的每個(gè)像素的像素值不是0就是1。

音樂(lè)音符有四個(gè)基本的屬性，分別是音色、音高、時(shí)值和力度，在MIDI樂(lè)曲中，不同的音軌軌道包含有不同的音色，一個(gè)軌道的MIDI音符由三個(gè)字節(jié)構(gòu)成，第1個(gè)字節(jié)為軌道信息和音符開(kāi)或關(guān)的信息，第2個(gè)字節(jié)為音符的音高信息，范圍為0～127，第3個(gè)字節(jié)是音符的力度信息，范圍為0～127，音符的時(shí)值由音符的開(kāi)信號(hào)和關(guān)信號(hào)之間的時(shí)間差來(lái)決定，時(shí)長(zhǎng)不定。

因此，圖像的像素由三維的RGB分量構(gòu)成，而MIDI樂(lè)曲則由四維的音軌、音高、時(shí)值和力度構(gòu)成，圖像信息與MIDI信號(hào)之間的映射轉(zhuǎn)換就是研究三維空間與四維空間之間的映射關(guān)系。

1.2 映射轉(zhuǎn)換模型

圖像信息與音樂(lè)MIDI信號(hào)之間的互映射轉(zhuǎn)換是一個(gè)視覺(jué)信息與抽象信息的互轉(zhuǎn)換過(guò)程，從MIDI音樂(lè)到圖像的轉(zhuǎn)換是音樂(lè)信息可視化的研究?jī)?nèi)容之一，從圖像到MIDI音樂(lè)的轉(zhuǎn)換是圖像抽象化的一種有趣探索。這里，分析圖像和MIDI樂(lè)曲之間的對(duì)應(yīng)映射轉(zhuǎn)換關(guān)系：

常見(jiàn)的彩色圖像有RGB、HIS格式等，圖像信息的主要內(nèi)容是像素的色彩信息，在RGB格式中，每個(gè)像素包含有RGB三個(gè)分量的圖像信息，MIDI樂(lè)曲的主要信息是音符信息，音樂(lè)樂(lè)曲的MIDI音序中包含有k（≥1）個(gè)軌道信息，每個(gè)軌道中的樂(lè)音信息由音高（Pitch）、時(shí)值（Duration）、力度（Value）三要素構(gòu)成，因此，可以在圖像的RGB分量與MIDI的PDV要素之間建立對(duì)應(yīng)映射關(guān)系，使得圖像的單個(gè)像素的RGB分量與MIDI的單個(gè)樂(lè)音PDV要素之間構(gòu)成互映射轉(zhuǎn)換，見(jiàn)圖1。

同時(shí)，音樂(lè)樂(lè)曲常有多聲部構(gòu)成，每個(gè)聲部中的樂(lè)音之間有先后的時(shí)序關(guān)系，并且樂(lè)曲的音調(diào)和調(diào)性制約著樂(lè)曲中樂(lè)音的呈現(xiàn)方式；而圖像中的像素之間并無(wú)時(shí)序關(guān)系，因此需要設(shè)計(jì)圖像中的各個(gè)像素與樂(lè)曲中的樂(lè)音之間的對(duì)應(yīng)關(guān)系，常見(jiàn)的方法是按圖像的從上到下、從左到右的像素掃描序列對(duì)應(yīng)樂(lè)曲中樂(lè)音的先后時(shí)序。

圖像像素的RGB向量是三維結(jié)構(gòu)，RGB向量的每一分量取值范圍為0～255；樂(lè)曲的樂(lè)音MIDI信號(hào)的PDV向量也是三維結(jié)構(gòu)，其中P分量的取值范圍為0～127，V分量的取值范圍為1～127，D分量的取值范圍為不定。V分量的取值范圍雖然為1～127，但是由于樂(lè)曲中表示力度的符號(hào)一般包括：ppp，pp，p，mp，mf，f，ff，fff等幾種定性符號(hào)，定性力度符號(hào)與定量MIDI信號(hào)之間可根據(jù)不同樂(lè)曲進(jìn)行個(gè)性化對(duì)應(yīng)轉(zhuǎn)換。

P分量表示樂(lè)音音高，比如鋼琴的音域范圍的MIDI信號(hào)為21～108，中央C的MIDI信號(hào)為60；由于樂(lè)曲不僅有音調(diào)、調(diào)式，而且還有一些限制，如人聲的音域范圍不可能為0～127，調(diào)式有大小調(diào)式、五聲調(diào)式（見(jiàn)于中國(guó)古代音樂(lè)）、七聲調(diào)式（西方音樂(lè)的主要調(diào)式）等之分，音調(diào)有C調(diào)、D調(diào)、F調(diào)等12個(gè)，這些都限制了實(shí)際樂(lè)曲中樂(lè)音的MIDI信號(hào)音高取值范圍，如C大調(diào)五聲調(diào)式的樂(lè)音使用的MIDI信號(hào)值為：60/62/64/67/69+12*j，-5≤j≤5，共49個(gè)值。

樂(lè)音的時(shí)值通常有1拍、2拍、1/2拍、3拍、1/3拍、4拍、1/4拍等等定性的記譜符號(hào)，在MIDI信號(hào)中，則表示為門(mén)時(shí)間，由同一個(gè)樂(lè)音的MIDI信號(hào)分兩次不同出現(xiàn)之間的間隔來(lái)決定。

圖像像素信息與樂(lè)曲MIDI信號(hào)的樂(lè)音之間映射關(guān)系可以有不同的組合，如在圖像的R/G/B分量與樂(lè)音的P分量之間建立映射，可分為無(wú)調(diào)性映射、調(diào)性映射、調(diào)式映射、窄音域映射等。無(wú)調(diào)性映射是P分量的MIDI信號(hào)值只取決于圖像像素的某個(gè)分量的取值，調(diào)性映射是指P分量的MIDI信號(hào)值屬于某調(diào)性的MIDI信號(hào)值集合，調(diào)式映射是指P分量的MIDI信號(hào)值屬于某調(diào)式的MIDI信號(hào)值集合，窄音域映射是指P分量的MIDI信號(hào)值屬于特定的較小音域的MIDI信號(hào)值集合。

從MIDI信號(hào)到圖像像素之間的映射關(guān)系主要考慮MIDI信號(hào)的取值范圍能等概率地映射到像素各分量的取值范圍。如從MIDI的力度信號(hào)映射到圖像的R/G/B分量，由于常見(jiàn)的力度符號(hào)只有8個(gè)，而彩色圖像的R/G/B分量取值范圍為0～255，共256個(gè)不同的值，這樣可以在映射過(guò)程中加入隨機(jī)變量，使得從8個(gè)力度符號(hào)能等概率地產(chǎn)生256個(gè)不同的R/G/B分量值。

1.3 彩色圓圈

為可視化MIDI樂(lè)音信號(hào)的抽象信息，把MIDI樂(lè)音信號(hào)的PDV分量用二維彩色圓圈按樂(lè)音的時(shí)序先后呈現(xiàn)，其中P/V分量分別為X-Y軸，圓圈的大小由樂(lè)音的時(shí)值決定，圓圈的色彩根據(jù)2.2的MIDI樂(lè)音信號(hào)的PDV分量映射轉(zhuǎn)換得到。

按公式（6）映射關(guān)系映射轉(zhuǎn)換后的MIDI樂(lè)曲的部分樂(lè)譜見(jiàn)圖3的子圖（b），由圖3（b）可知，樂(lè)曲在時(shí)序的樂(lè)音音高上隨機(jī)性比較大，與人工的樂(lè)曲的創(chuàng)作上有很大的區(qū)別，但在動(dòng)機(jī)片段的選取上，可在人工參與的基礎(chǔ)上進(jìn)行遴選，為動(dòng)機(jī)素材的產(chǎn)生提供了一種方法，對(duì)樂(lè)曲的動(dòng)機(jī)創(chuàng)作有一定的幫助。

2.2 MIDI樂(lè)曲的彩色圓圈

選取的MIDI樂(lè)曲為著名的《藍(lán)色多瑙河》和《命運(yùn)交響曲》第一樂(lè)章，按公式（5）對(duì)樂(lè)曲中的樂(lè)音信息進(jìn)行彩色圓圈映射轉(zhuǎn)換，得到圖3的映射結(jié)果，圖中X軸上的信息為樂(lè)音的音高信息，Y軸上的信息為樂(lè)音的力度信息，圖中的圓圈有嵌套現(xiàn)象，這說(shuō)明存在大量的音高相同且力度相同但時(shí)值不同的樂(lè)音，同時(shí)，子圖（a）按X軸上可以把所有彩色圓圈分成兩個(gè)聚類(lèi)，說(shuō)明此樂(lè)曲的主旋律與伴奏音樂(lè)的音高差異比較鮮明，子圖（b）按Y軸上可以把圓圈分成若干個(gè)條狀聚類(lèi)，此樂(lè)曲的力度上變化相對(duì)比較簡(jiǎn)單。

3 結(jié)論

本文首先分析了計(jì)算機(jī)作曲在音樂(lè)創(chuàng)作中的作用，列舉了一些計(jì)算機(jī)音樂(lè)創(chuàng)作系統(tǒng)和音樂(lè)創(chuàng)作的人工智能方法，簡(jiǎn)單敘述了音樂(lè)的可視化方法，著重分析了圖像的三維信息空間與MIDI樂(lè)曲的四維信息空間的特征，提出了圖像三維空間到MIDI四維空間之間的互映射轉(zhuǎn)換關(guān)系，對(duì)一種有趣的MIDI信息的彩色圓圈動(dòng)畫(huà)模型進(jìn)行了敘述。通過(guò)實(shí)驗(yàn)，表明了圖像空間到MIDI信息空間的映射轉(zhuǎn)換能有效提供音樂(lè)創(chuàng)作的音樂(lè)素材，彩色圓圈動(dòng)畫(huà)能方便地對(duì)音樂(lè)的基本信息進(jìn)行展示。

參考文獻(xiàn)：

[1] Kenneth McAlpine，Eduardo Miranda and Stuart Hoggar.Making Music with Algorithms：A CaseStudy System，Computer Music Journal， 23：2， pp.1930，1999.

[2] Iannis Xenakis.Formalized Music.Thought and Mathematics in Composition.Indiana University Press， 1991.

[3] Mary Farbood ，Bernd Schoner.Analysis and synthesis of palestrina style counterpoint using markov chains.Proceedings of International Computer Music Conference.Havana， Cuba， 2001.

[4] A.Horner and D.E.Goldberg.Genetic algorithms and computerassisted music composition.Proceedings of the 1991 International Computer Music Conference， 1991，pp.479482.

[5] Loy， G.1989， “Composing with ComputersA Survey of Some Compositional Formalisms and Music Programming Languages.” In M.Mathews and J.R.Pierce， eds.Current Directions in Computer Music Research.Cambridge， Massachusetts：MIT Press， pp.292396.

[6] Haykin， S.1994.Neural Networks：A Comprehensive Foundation.Indianapolis：Macmillan.

[7] 屈天喜，黃東軍，童卡娜.音樂(lè)可視化研究綜述[J].計(jì)算機(jī)科學(xué)，2007，34 （9）：1622.

[8] 潘志庚.虛擬現(xiàn)實(shí)和數(shù)字化文化遺產(chǎn).2005.http：∥www.86vr.com/files/200507/6029/slideszgpan.pdf.

[9] 李華，胡春暉，顧明.基于實(shí)時(shí)渲染技術(shù)具有水彩畫(huà)風(fēng)格的音樂(lè)可視化方法[J].計(jì)算機(jī)應(yīng)用，2005，25（3）：729731.

[10] Chew E，Chen Y C.Mapping midi to the spiral array：Disambiguatin pitch spellings.In：Pro 8th INFORMS Computer Society Conference，Chandler，AZ，2003：259275.

[11] Gasser M.Interactive Visualization of Expressive Piano Performance，2005，http：∥www.cp.jku.at/research/papers/gasserdiplomarbeit.pdf.

[12] Taylor R，Torres D，Boulanger P.Using Music to Interact with a Virtual Character.In：Proceedings of New Interfaces for Musical Expression，Vancouver，BC，Canda，2005：200223.

作者簡(jiǎn)介： 陳根方（1968—），男，博士，副教授，杭州師范大學(xué)國(guó)際服務(wù)工程學(xué)院，主要從事算法分析、數(shù)字音樂(lè)、圖像處理以及非物質(zhì)文化遺產(chǎn)的數(shù)字化保護(hù)研究。