黃志方，劉博元，申林

基于腦電波芯片的自動化音樂創(chuàng)作系統(tǒng)

黃志方，劉博元，申林

透過腦電波，藉以反應(yīng)人腦的思考狀態(tài)，并透過研究中所設(shè)定的機制，將使用者的腦波自動轉(zhuǎn)換生成音樂，以表達當時用戶的情感。本研究除了運用微電腦研發(fā)一套可攜式腦電波設(shè)備，并整合計算機音樂軟件，采用隨機音樂之概念，以中國傳統(tǒng)五聲音階作為原始音樂素材，并運用純律系統(tǒng)，籍由腦波傳感器拾取測試對象的腦波進行調(diào)制，透過音樂節(jié)奏參數(shù)與腦波參數(shù)的對應(yīng)關(guān)系，得到合理的結(jié)果。最后對無音樂基礎(chǔ)的聆聽者測試對象進行實驗，并配合實驗的問卷調(diào)查，從而論證沒有受過音樂訓(xùn)練的人均可透過本研究之自動化音樂生成技術(shù)，產(chǎn)生可反映人們腦波的音樂，能使用戶的情緒得到舒緩，未來將可應(yīng)用于教育、療愈與游戲娛樂之功能。

腦電波；純律系統(tǒng)；自動化音樂生成

0 引言

EEG（electroencephalographic）腦電圖透過電路與軟件擷取之機制，可記錄大腦各區(qū)域電壓的變化，顯示人類大腦活動[1,2]，在二十世紀中則開始應(yīng)用于反應(yīng)人類心理狀態(tài)的領(lǐng)域[3]。EEG實驗證實了人們聆賞音樂可以對情緒有相對應(yīng)的關(guān)系，例如α波段對于音樂節(jié)奏的改變較為敏感[4]，若聆賞不同類的音樂，已證實會時腦波功率頻譜有不同的反應(yīng)[5]。聆賞快樂與悲傷等不同情緒的音樂會引起額中線附近θ波[6]，這些反應(yīng)在具有系統(tǒng)化學習音樂經(jīng)歷的專業(yè)演奏員身上將更為顯著[7]。

早在1965年，Alvin Lucier就使用EEG訊息，透過一定的處理與轉(zhuǎn)換而產(chǎn)生音樂作品[8]，如圖一所示：

圖1 藝術(shù)創(chuàng)作者Alvin Lucier 腦波音樂作品

近年來也有一些運用EEG自動、實時創(chuàng)作音樂的例子，如英國的Miranda運用腦電波整合并控制自動演奏鋼琴，可產(chǎn)生并控制音樂片段的速度與節(jié)拍等[9]，如圖2所示：

圖2 Miranda運用腦波控制自動演奏鋼琴的彈奏

由于傳統(tǒng)腦電圖需要比較復(fù)雜且數(shù)十個電極點來測試受測者腦部的EEG訊息，在娛樂與簡易生物回饋方面領(lǐng)域的應(yīng)用并不便利，因此近年來有些簡易的腦機接口（Brian-Computer Interface，BCI）問世，可作為連接大腦和計算機的橋梁[10]。本研究則采用Neurosky公司的TGAM芯片模塊[11]，自行制作樣機，讓一般沒有受過音樂訓(xùn)練的人均可透過本研究之自動化音樂生成技術(shù)來產(chǎn)生可反映人們腦波的音樂。

1 方法

本研究所采用的腦波EEG微電腦系統(tǒng)芯片為Neurosky公司的TGAM芯片模塊，透過該模塊所提供與音樂交互的生物信息，除了功率頻譜（PS, Power Spectrum），還有原始腦波數(shù)據(jù)（RD, Raw Data）等值，各波段特征定義如表1所示：

表1 腦電波各波段特征定義 (NeuroSky 產(chǎn)品白皮書“Brain Wave Signal（EEG） ofNeuroSky， Inc.”）

并分別指示出受測者的「專注度」（Attention，注意力集中程度）和「冥想度」（Meditation，放松程度）。

雖然Neurosky在產(chǎn)品手冊中并未公布如何獲得這二值的具體算法，但已有國內(nèi)外學者在一系列的實驗中對eSence?值的有效性做出了評估，結(jié)果表明該值能客觀反應(yīng)測試對象的精神狀態(tài)[12-14]。此外，信號強度（SQ）值可以供我們評估當前腦電信號的采集質(zhì)量，作品系統(tǒng)根據(jù)腦電信息的有效性決定是否將其采納用于交互。其主要輸出參數(shù)如圖3所示：

圖3 腦波儀TGAM模塊主要系統(tǒng)參數(shù)輸出

本研究系統(tǒng)在音高生成方面，可自動隨機產(chǎn)生音階系統(tǒng)：中國傳統(tǒng)音樂的五聲音階，其重要特征是指宮、商、角、征、羽這五個音，可分別對應(yīng)于我們今天所熟悉的“Do、Re、Me、Sol、La”[15]。

在音律系統(tǒng)方面，傳統(tǒng)的民樂音樂治療領(lǐng)域，存在許多以古琴治療心理或生理疾病的案例[16-18]，因著古琴曲“節(jié)奏緩慢，旋律舒緩，音色優(yōu)美，靜而不喧”。其優(yōu)美音色的背后其實質(zhì)乃“古琴有純律”[19]。古琴曲中因著純律音程的存在，具有公認的情緒舒緩作用，而純律在和聲方面的運用。因著其符合自然泛音列的特點，“當和聲縱向排列時，和弦音就像是泛音列中的音被放大、加強，并不會產(chǎn)生不協(xié)和、刺耳的音響，反而是使和聲更加的協(xié)和、飽滿”[20]。因此本研究乃舍棄西方十二平均律，改采用純律為系統(tǒng)音律之基石。

若以圖四所表示之泛音列，宮音（Do）基礎(chǔ) 頻率為4f，則在同一個八度內(nèi)的商音（Re）基礎(chǔ)頻率為 9f/2 = 4.5f；角音（Mi）為5f；征音（Sol）基礎(chǔ)頻率為6f；羽音（La）基礎(chǔ)頻率為13f / 2 = 6.5f。

因此，純律的中國五聲音階之頻率比值關(guān)系為：

宮：商：角：征：羽 = 4：4.5：5：6：6.5，如圖4所示：

圖4 泛音列與整數(shù)倍頻率的音高關(guān)系

各泛音的強度也是構(gòu)成音色的主要因素之一[21]，將用于加法合成的各振蕩器的振幅與演奏者當前的EEG狀態(tài)相關(guān)聯(lián)，有助于使得音樂的音色隨著演奏者EEG功率譜上各波段的起伏而變得豐富多彩。其映像方式為：將從低頻到高頻的各波段功率數(shù)值，與從生成低倍率泛音與高倍率泛音的各振蕩器（OSC）輸出信號的振幅相關(guān)聯(lián)，如圖5所示：

圖5 腦波轉(zhuǎn)換為泛音振幅控制之加法合成

作為音樂特征的強度，其數(shù)值由當前Attention值Meditation值之和決定，即演奏者的專注度和冥想度，將實時控制整首樂曲的強弱。在節(jié)奏產(chǎn)生方面，本研究系統(tǒng)運用音長與音符密度這兩個音樂參數(shù)均與Medita -tion值呈反比的生成方式來控制，使得音樂的節(jié)奏性可反映出腦波的狀態(tài)。例如圖6所示：

1123(3)工作面走向長2 190 m，面長260 m，平均煤厚4.2 m，原始瓦斯含量5.3 m3/t，配風量2 290 m3/min，回風瓦斯?jié)舛?.15 %，絕對瓦斯涌出量14.3 m3/min。工作面煤層頂板為復(fù)合頂板，以泥巖、砂質(zhì)泥巖、細砂巖、13-2煤、14煤、15煤為主，少量粉砂質(zhì)泥巖及花斑泥巖，其中13-2煤約厚0.26 m，14煤約厚0.66 m，15煤約厚0.22 m。

圖6 本研究系統(tǒng)音長 (Duration) 在不同冥想度 (M, Meditation) 之反比關(guān)系

當Meditation值為10 (M=10)，則產(chǎn)生的音樂節(jié)奏偏向于振奮型的短音符且音符密度高的振奮型音樂狀態(tài)；當當Meditation值為90 (M=90)，則產(chǎn)生的音樂節(jié)奏偏向于長音符，且音符密度低的舒緩型音樂情境。

綜整上述概念，本研究腦電波- 音樂自動生成參數(shù)對應(yīng)關(guān)系如圖7所示：

圖7 腦電波 - 音樂自動生成參數(shù)對應(yīng)關(guān)系

包括從純律生成之音律系統(tǒng)，到中國傳統(tǒng)五聲音階之音高篩選生成、音長和音符密度對應(yīng)至EEG Meditation放松程度呈反比的節(jié)奏生成方式，乃至加上適度混響等效果器的運用。

本研究的整體工作過程包括下列項目：

讀取腦電波EEG訊息：透過PC程序讀取表演者所穿戴微電腦系統(tǒng)之腦電波裝置EEG基本訊息；

腦波與音樂參數(shù)對應(yīng)機制：運用PC程序透過如前所述之腦波Meditation參數(shù)值，與音樂參數(shù)之節(jié)奏與MIDI音符長短等對應(yīng)機制，透過隨機方式產(chǎn)生適當之音符事件；

自動音樂生成系統(tǒng)：本研究之PC程序整合上述邏輯運算于Max/MSP程序中，產(chǎn)生音高、音長與節(jié)奏等，自動創(chuàng)作音樂；

混響音效系統(tǒng)：程序加入適當之延遲混響音效，以適合腦波音樂之氛圍；

腦波音樂生成：將程序所產(chǎn)生之音符事件透過MIDI機制送至計算機音頻系統(tǒng)播放音樂，以回授予表演者與一般聽眾聆賞。

本研究整體工作過程之程序框圖如圖8所示：

圖8 工作過程程序框圖

2 實驗

本研究在PC軟件方面采用Max/MSP交互音樂程序是Cycling74公司開發(fā)的一個交互式編程語言與開發(fā)環(huán)境[22]，其采用了圖形化的編程界面。Max/MSP程序的工程文件（patch）由對象（object）構(gòu)成，一種對象通常有一個或若干個專用于某一方面的功能。通常一個Max/MSP patch內(nèi)部會包含若干不同種類的對象，程序運行時，這些彼此連接的對象依照自身功能互相通信，進行數(shù)據(jù)的處理。用Max/MSP進行編程，實際上就是將各對象按一定規(guī)則進行連接，將不同對象的功能進行組合，讓設(shè)計的功能得以實現(xiàn)。本研究的基本Max/MSP程序接口如圖9所示：

圖9 本研究所采用之TGAM EEG Max/MSP 圖形化接口設(shè)計

在硬件實踐方面，如圖10所示：

圖10 本研究采用TGAM模塊的便攜式腦機接口BCI

本研究采用TGAM模塊，并使用Arduino微電腦系統(tǒng)整合，自行開發(fā)了一套可透過藍芽傳遞腦波訊息至計算機的便攜式腦機接口BCI，使用者只要將腦波儀戴在頭上，并將電極接觸點夾于耳，藉由音樂聆賞，便可進行相關(guān)實驗。

本研究的測試流程，從程序開始，讓受測者閉上雙眼聆賞音樂，使演奏者EEG訊息自動產(chǎn)生，進入反饋式計算器自動作曲程序，最后自動生成音樂，程序結(jié)束，如圖11所示：

圖11 腦波音樂測試流程

在娛樂模式之應(yīng)用方面，本研究系統(tǒng)可透過表演者穿戴腦電波裝置刻意的「冥想」，在娛樂或表演藝術(shù)場合下讓自動生成的音樂亦同時播放給現(xiàn)場所有聽眾聆賞，并透過如圖9所示之TGAM EEG Max/MSP 圖形化接口顯示予聽眾理解表演者的冥想程度，成為一種具有舞臺互動特性之娛樂表演項目，亦可發(fā)展APP成為獨立之手機互動游戲。

本項腦波音樂研究系統(tǒng)曾于2015上海音樂學院主辦之國際電子音樂周、2015上海藝術(shù)科技館等地展示，獲得不少民眾廣泛討論。上海藝術(shù)科技館展示現(xiàn)場獲上海電視臺采訪實況如圖12所示：

圖12 本研究腦波音樂系統(tǒng)于2015上海藝術(shù)科技館展出實景

根據(jù)10位無音樂專業(yè)背景人士所量測之問卷，本研究在腦波音樂相關(guān)反應(yīng)的結(jié)果如表2所示：

表2 本研究腦波音樂對于各項問卷調(diào)查之結(jié)果

根據(jù)此項調(diào)查結(jié)果，“腦波音樂可正確反映當下情感”獲得了超過90%的滿意度，其次為“腦波音樂與音樂內(nèi)容之相關(guān)度”與“腦波音樂之愉悅度”，均為80% ~ 90%的滿意度，“腦波音樂生成作品之完整性”方面則獲得了70%~80%的滿意度。

3 總結(jié)

本項腦波音樂應(yīng)用微電腦整合音樂科技的技術(shù)，經(jīng)過人機交互的形式演奏，更將其擴展成為一種對外開放的，邀請觀眾親自體驗的藝術(shù)形式。觀眾在體驗音樂創(chuàng)作的過程中，不僅完成了作品，自身也成為作品的一部分，這樣的理念源自杜尚的格言“觀眾完成了藝術(shù)品”。本研究之腦波音樂系統(tǒng)并只要求演奏者具一定的意念控制能力以及音色感知能力即可，并不要求演奏者需具備音樂背景，經(jīng)過生物反饋訓(xùn)練，大致上能夠順利地提高降低專注及冥想，從而使音樂更具段落性、作品性。演奏過程以即興為主，要求配戴腦波儀的演奏者控制專注、冥想到指定程度。演奏的終止由軟件內(nèi)置的定時器觸發(fā)，將用于交互的EEG信號切斷后音樂隨即停止，混響效果會使得最后一個樂音的殘響繼續(xù)存在約十秒左右，形成一個淡出的、空靈的余音。但現(xiàn)實中，由于人的意念很大程度還是會受到環(huán)境影響，包括現(xiàn)場的燈光、溫度，甚至氣味。因此需要有足夠的前期訓(xùn)練，同時對于演奏中給予演奏者適當?shù)匾龑?dǎo)，方可朝向具有意念導(dǎo)引的自動生成音樂產(chǎn)生。未來此項研究可逐步改善其使用性與音樂性，應(yīng)可應(yīng)用于智能學習、音樂舒緩、娛樂等產(chǎn)業(yè)中，為新的物聯(lián)網(wǎng)世代增加有趣的發(fā)展可能。未來本研究將可進一步改善并擴大整合自動音樂生成系統(tǒng)之范疇，制定各種用戶所需之音樂風格，讓腦波自動生成音樂可具更豐富而多樣之面貌，甚至可發(fā)展手機APP，并可透過云計算與人工智能深度學習之整合，使得本研究走入家庭，具有更廣之使用性。

[1] Broetz, D., Braun, C., Weber, C., Soekadar, S. R., Caria, A., & Birbaumer, N. Combination of brain-computer interface training and goal-directed physical therapy in chronic stroke: a case report. Neurorehabilitation and Neural Repair, 2010.

[2] Guger, C., Ramoser, H., & Pfurtscheller, G. Real-time EEG analysis with subject-specific spatial patterns for a brain-computer interface (BCI). Rehabilitation Engineering. IEEE Transactions on, 2010, 8(4): 447-456.

[3] Wagner, M. J. Brainwaves and biofeedback: A brief history. Implications for music research. Journal of Music Therapy, 1975, 12(2): 46-58.

[4] Ma, W., Lai, Y., Yuan, Y., Wu, D., & Y, D. Electroencephalogram variations in the α band during tempo-specific perception. NEUROREPORT, 2010, 23(3): 125-128.

[5] Pavlygina,R. A., Sakharov, D. S. & Davydov,V. I. Spectral Analysis of the Human EEG during Listening to Musical Compositions. Human Physiology, 2004, 30(1): 54-60.

[6] Sammler, D., Grigutsch, M., Fritz, T., & Koelsch, S. Music and emotion: electrophysiological correlates of the processing of pleasant and unpleasant music. Clinical Chemistry, 2007, 44(2): 293-304.

[7] Mikuttaa, C.A., Maissenb,G., Altorferb,A., Strika,W. & Koenigb,T Professional musicians listen differently to music, Neuroscience, 2014, 1(268): 102-111.

[8] Pressing, J. Cybernetic issues in interactive performance systems. Computer music journal, 1990, 14(1): 12-25.

[9] Miranda, E. R. Brain-computer music interface for composition and performance. International Journal on Disability and Human Development, 2006, 5(2): 119-126.

[10] Vidal, JJ Toward direct brain-computer communication. Annual review of biophysics and bioengineering, 1973, 2 (1): 157-80. doi:10.1146/annurev.bb.02.060173.001105 PMID 4583653.

[11] Liu, N. H., Hsu, H. M., Chu, H. C., & Hsu, S. H. Intelligent Music Player for Bike Sport Using Electroencephalogram and Global Positioning System Sensors. Sensor Letters, 2003, 11(5): 772-780.

[12] Crowley, K., Sliney, A., Pitt, I. & Murphy, D. Evaluating a Brain-Computer Interface to Categorise Human Emotional Response，Advanced Learning Technologies (ICALT), 2010 IEEE 10th International Conference on. IEEE, 2010, 2010:276-278.

[13] Vourvopoulos, A., & Liarokapis, F. Evaluation of commercial brain-computer interfaces in real and virtual world environment: a pilot study, Computers & Electrical Engineering, 2014, 40(2): 714-729.

[14] Katona, J., Farkas, I., Ujbanyi, T., Dukan, P., & Kovari, A. Evaluation of the NeuroSky MindFlex EEG headset brain waves data. Applied Machine Intelligence and Informatics (SAMI), 2014 IEEE 12th International Symposium on 2014, PP: 9-94.

[15] 劉偉. 淺談五音療法的理論基礎(chǔ). 國醫(yī)論壇, 2003, 18(5): 17-17.

[16] 邊江紅. 古琴音樂療法概況及其對中風后抑郁癥的治療淺析. 湖南中醫(yī)雜志, 2012, 28(4): 144-145.

[17] 風美茵,汪衛(wèi)東. 古琴音樂干預(yù)原發(fā)性失眠的臨床療效和心身機制探討. 國際中醫(yī)中藥雜志, 2013, 35(5): 428-430.

[18] 鄭曉燕. 古琴音樂療法配以保健穴防治心血管疾病的初步研究. 中國民族民間醫(yī)藥, 2014, (14): 26-26

[19] 顧震夷. 純律,中國的驕傲. 人民音樂, 1993, 11.

[20] 孫克利. 五度相生律、純律、十二平均律律制之美. 北方音樂, 2014, (07): 5-5.

[21] 張寶生. 淺談聽覺激勵器的原理和應(yīng)用. 音響技術(shù), 2011, (3): 59-62.

[22] Jensenius, Alexander Refsum, Rolf Inge God?y, and Marcelo M. Wanderley. Developing tools for studying musical gestures. within the Max/MSP/Jitter environment (2005): 282-285.

EEG Chip-based Algorithmic Music Composition

Huang Zhifang1,2, Liu Boyuan1, Shen Lin1
(1. Shanghai Normal University, Shanghai 200336, China; 2. Kainan University, Taoyuan, Tai wan 338, China)

This research is mainly based on the EEG （Electroencephalographic） data to reflect human’s thinking situation， via the proposed settings and mechanism, to transform the brainwave data into the generative music automatically, in order to express the user’s emotion. This research not only uses microcomputer to develop a set of portable EEG equipment， but also integrates computer music software, to generate the randomized music with traditional Chinese pentatonic scale as the raw material. The just intonation system is also adopted to perform the brainwave music transformation, with the mapping relationship between the brainwave of subject listener and music features, to obtain a reasonable result. Finally a questionnaire for the non-musicians has been performed, to prove that the people without music training can accept the proposed automated music composition from the brainwave, to alleviate user’s mood. Hopefully it can be applied into the fields including education， healing, and gaming entertainment.

EEG; Just Intonation System; Automated Music Composition

TP311

A

1007-757X(2016)08-0069-05

2016.06.20）

黃志方（1965-），男，中國臺灣臺北市，上海師范大學、臺灣開南大學，副教授，博士；研究方向：音樂科技，桃園，338

劉博元（1989-），男，上海，上海師范大學，碩士，研究方向：音樂數(shù)字媒體，上海，200336

申 林（1970-），男，河南新鄉(xiāng)市，上海師范大學，副教授，碩士；研究方向：電子音樂，音樂劇音樂作曲，上海，200234