李洪偉，李海峰，馬 琳

(哈爾濱工業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150001)

1 研究背景

人類的基本認(rèn)知功能之一就是對音樂的情感反應(yīng).對情感的研究由來已久，情感研究領(lǐng)域的研究者提出從不同的角度揭示情感的產(chǎn)生、發(fā)展.目前主流的情感理論有兩種: 一種是以Ekman等[1]為代表的基本情感理論(basic emotions theroy)，認(rèn)為基本情感(discrete emotion)在人類中是普遍存在的，包括興奮(excited)、高興(happy)、寧靜(serene、calm)等基本積極情感以及悲傷(sad)、憤怒(angry)、無聊(bored)和痛苦(distressed)等基本消極情感，基本情感是相對獨立的；另一種是以Russell[2]等為代表的情感的維度理論(dimensional model of emotion)，該理論認(rèn)為核心情感在大腦中是連續(xù)的，由愉悅度(非愉悅-愉悅)和喚醒度(非喚醒-喚醒)兩大維度混合而成，其表示方式如圖1所示.目前大多數(shù)學(xué)者更認(rèn)同情感的維度理論.

圖1 情感的維度理論模型Fig.1 Dimension theory model of emotion

音樂產(chǎn)生情感的腦機制一直是研究的熱點.研究者對音樂誘發(fā)情感的腦認(rèn)知機制的研究主要是通過腦電信號(electroencephalogram, EEG)和功能性磁共振成像(functional Magnetic Resonance Imaging, fMRI)完成的[3].目前已有的研究結(jié)果證明腦在對音樂要素的認(rèn)知過程中的確存在著模塊化的結(jié)構(gòu).某一區(qū)域的損傷不會影響其他區(qū)域?qū)σ魳芬氐募庸?，說明腦具有的相對獨立性.

Schupp等[4]通過事件相關(guān)電位(Event Related Potential, ERP)方法來探究音樂誘發(fā)情感的神經(jīng)機制，他們發(fā)現(xiàn)情感的早期加工與ERP成分的前120ms成分密切相關(guān).Peretz等[5]通過對失樂癥患者的研究，發(fā)現(xiàn)右腦損傷的患者不能感知前后音高的差異，但是卻能感受到不同刺激間的間隔事件是一致的，而左腦損傷的患者能感知前后音高的差異，但卻不能感知刺激的間隔，右顳葉受傷的患者不能很好地識別不同樂器的樂音，即失去了對音色的感知能力，但卻能感知音樂的其他要素.Siedenburg等[6]通過進一步的研究發(fā)現(xiàn)，大腦對音色要素的認(rèn)知存在單獨的神經(jīng)通道.左側(cè)顳頂區(qū)受傷的音樂家喪失了對節(jié)奏的認(rèn)知能力，無法準(zhǔn)確把握節(jié)奏，但卻保留了對韻律和旋律的認(rèn)知能力[7].這表明大腦對節(jié)奏與對韻律和旋律進行處理的功能區(qū)位于不同腦區(qū)，左側(cè)顳頂區(qū)與節(jié)奏認(rèn)知存在關(guān)系[8].隨后，Brancucci等通過雙耳分聽實驗研究發(fā)現(xiàn)音高系統(tǒng)由右側(cè)腦支配，而左側(cè)腦在涉及時間變化的節(jié)奏和節(jié)拍系統(tǒng)方面起作用，即負(fù)責(zé)音樂結(jié)構(gòu)，但是這需要右側(cè)腦半球支持，所以雖然大腦左右半球加工功能不同，但大腦的音樂功能需要兩個大腦半球共同參與[9].

2010年，賴永秀等[10]采用ERP主動聽覺實驗范式研究發(fā)現(xiàn): 音強重音影響聽眾對中速序列局部速度擾動的感知，且影響顯著.項愛齋等[11]的fMRI研究結(jié)果顯示: 隨著音樂的進行，人腦與情感加工的相關(guān)腦區(qū)被顯著激活，并且大腦對喜悅和恐懼情感具有不同的神經(jīng)加工網(wǎng)絡(luò).聶聃等[12]通過視頻刺激，誘使被試產(chǎn)生積極情感和消極情感，并提取了50種不同特征，將這些特征映射到腦區(qū)和頻段上，發(fā)現(xiàn)這些共性特征分布在alpha，beta和gamma頻段: alpha頻段特征主要分布與右枕葉和頂葉部位，beta頻段特征主要分布在的中間區(qū)域，gamma頻段主要分布在左額葉和右顳葉.

大腦網(wǎng)絡(luò)可以看成是代表神經(jīng)元或者腦區(qū)等的點與代表神經(jīng)元或者腦區(qū)等之間聯(lián)系的邊所構(gòu)成的腦圖(brain graph).根據(jù)腦圖中點、邊性質(zhì)的不同，可以構(gòu)成不同層次的腦網(wǎng)絡(luò).人腦網(wǎng)絡(luò)是典型的復(fù)雜網(wǎng)絡(luò)，具有“小世界”屬性和無標(biāo)度性，引入圖論中的復(fù)雜網(wǎng)絡(luò)模型能有助于理解腦網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與其功能差異的關(guān)系.

已有眾多關(guān)于情感識別的研究表明: 使用EEG腦網(wǎng)絡(luò)進行復(fù)雜網(wǎng)絡(luò)分析，能夠有效區(qū)分不同的情感狀態(tài).Csukly等[13]通過腦網(wǎng)絡(luò)發(fā)現(xiàn)在處理受損情感刺激時，精神分裂患者在低頻的beta波段顯示出去同步化的降低，并且在處理負(fù)性情感與非負(fù)性情感刺激下的低頻beta波段的去同步化差異明顯低于正常對照組.曹銳等[14]使用相位滯后指數(shù)(Phase Lag Index, PLI)在基于生理信號的情感分析數(shù)據(jù)庫(Database for Emotion Analysis using Physiological signals, DEAP)上構(gòu)建了不同波段下的人腦EEG功能腦網(wǎng)絡(luò)進行情感識別，準(zhǔn)確率達到了63%以上.Gupta等[15]則構(gòu)建了該數(shù)據(jù)集上的幅值平方相干功能腦網(wǎng)絡(luò)，提取平均路徑長度、全局效率、局部效率等特征，在兩個維度上的分類的準(zhǔn)確率均達67%以上.

本文針對傳統(tǒng)腦網(wǎng)絡(luò)研究中忽略了腦的實時性和動態(tài)性的問題，提出了動態(tài)腦網(wǎng)絡(luò)用于分析長時音樂欣賞誘發(fā)的腦電信號.在長時間音樂欣賞過程中，腦的連接性會不斷地發(fā)生變化.我們使用互信息對腦電信號的不同頻帶構(gòu)建動態(tài)腦網(wǎng)絡(luò)，觀察腦網(wǎng)絡(luò)隨時間的變化并用于情感識別.我們使用腦網(wǎng)絡(luò)進行情感分類，4分類下情感識別率達到了53.3%，超過了目前的最高識別率.

2 長時音樂情感的腦認(rèn)知實驗

2.1 實驗材料與被試

實驗數(shù)據(jù)是本實驗室自行采集的腦電數(shù)據(jù).刺激材料是16首通過預(yù)實驗篩選出的鋼琴曲，每首曲子時長為30s，播放音量均在60dB以下，在人耳接聽聲音的舒適音量范圍內(nèi).預(yù)實驗: 選擇60首經(jīng)典鋼琴曲，請不參加實驗的志愿者(共10人)依次聽取并填寫情感量表，統(tǒng)計所有人的打分結(jié)果后，取情感變化最強烈的16首并截取高潮部分30s.

2.2 實驗流程

參加實驗的被試來源為31名哈爾濱工業(yè)大學(xué)大二和大三的學(xué)生(21名男生，10名女生).所有被試均為右利手；所有被試母語均為漢語，第一外語都為英語；所有被試本人無神經(jīng)系統(tǒng)疾病且家族無相應(yīng)遺傳病史；所有被試無專業(yè)音樂背景.

腦電數(shù)據(jù)采集流程如下.

1) 被試被告知實驗?zāi)康?、實驗流程以及注意事?被試填寫個人信息表并保證屬實，被試在同意實驗書上簽字.

2) 為被試佩戴腦電信號采集設(shè)備，被試坐在隔音室中的舒適椅子上，兩眼注視屏幕中心，眼睛距離電腦屏幕60～80cm.

3) 15s靜息腦電數(shù)據(jù)采集.

4) 為被試播放1首音樂，采集其腦電數(shù)據(jù)，播放過程中屏幕中央顯示符號“+”以幫助被試集中注意力.

5) 15s靜息腦電數(shù)據(jù)采集.

6) 被試聽完音樂后15s填寫情感量化表，情感量化表由愉悅度和喚醒度兩部分組成，得分1～9表示愉悅度或喚醒度從高到低，被試需根據(jù)自身情況如實填寫該量化表.

7) 被試自由休息30s.

8) 更換音樂并重復(fù)步驟3)～7)，16首音樂全部播放1次后，繼續(xù)后續(xù)實驗步驟.

9) 為被試取下腦電信號采集設(shè)備，為被試清洗頭部，給予被試物質(zhì)獎勵.

實驗的簡易流程圖如圖2所示.

圖2 腦認(rèn)知的實驗流程Fig.2 Experimental process of brain cognition

實驗采用Presentation軟件播放系統(tǒng)，按照實驗流程編寫程序.所有實驗均在本實驗室配置的隔音暗室中進行，實驗時始終控制光線條件一致.腦電信號通過NeuroScan腦電記錄儀記錄，該設(shè)備使用64個電極進行數(shù)據(jù)采集，電極排列位置根據(jù)國際10-20系統(tǒng)標(biāo)準(zhǔn)放置，以Scan4.5(NeuroScan Inc., Herndon, VA, USA)記錄腦電信號，采用左右乳突參考避免左右半球不對稱性，所有信號經(jīng)過SynAmp2系統(tǒng)放大，傳到主試電腦上被記錄，采樣頻率為1000Hz，各電極頭皮阻抗均小于5.0kΩ.采用Presentation15.0軟件同步記錄行為學(xué)數(shù)據(jù).

3 EEG數(shù)據(jù)處理

3.1 EEG數(shù)據(jù)預(yù)處理

原始腦電信號在采集過程中受到各種噪聲干擾并有與包含其他認(rèn)知心理學(xué)活動不相關(guān)的神經(jīng)反應(yīng)引起的電活動，而真正與腦認(rèn)知相關(guān)的電位變化只有幾微伏，通常遠(yuǎn)小于神經(jīng)細(xì)胞自發(fā)活動引起的電位變化(幾十微伏以上)，因此對腦電信號數(shù)據(jù)研究前需要對測量到的腦電信號進行預(yù)處理.

本文首先對腦電信號進行預(yù)覽，人工剔除較為明顯的干擾噪聲以及典型的因被試頭部的運動產(chǎn)生的大幅度數(shù)據(jù)漂移，使用全電極的均值作為參考電極；其次，對腦電信號做1～45Hz的帶通濾波，去除市電與電器頻率干擾；最后，對腦電信號做獨立成分分析(Independent Component Analysis, ICA)分解， 將EEG信號分離成相互獨立的信號，去除眼電、肌電等偽跡信號后，將留下的信號還原得到干凈的EEG成分.

3.2 腦網(wǎng)絡(luò)的構(gòu)建

腦網(wǎng)絡(luò)構(gòu)建的流程如圖3所示，具體可以分為以下4個步驟.

圖3 腦網(wǎng)絡(luò)構(gòu)建的流程圖Fig.3 Flow chart of brain network construction

1) 定義腦網(wǎng)絡(luò)節(jié)點.節(jié)點可以是腦電記錄中多電極陣列中的電極位置，也可以是根據(jù)先驗知識或解剖學(xué)經(jīng)驗自定義感興趣腦區(qū)作為節(jié)點.在本文中，我們使用電極位置作為腦網(wǎng)絡(luò)的節(jié)點，實驗共有62個有效數(shù)據(jù)電極，因此，構(gòu)建的腦網(wǎng)絡(luò)共有62個節(jié)點.

2) 估計節(jié)點間可能的連接，選擇合適的度量指標(biāo)度量節(jié)點之間的關(guān)聯(lián)強度，得到關(guān)聯(lián)矩陣.在本文中，我們使用互信息來刻畫兩個電極之間的關(guān)聯(lián)強度.兩個離散隨機變量X和Y的互信息的計算如下:

(1)

互信息的本質(zhì)是1個變量包含另一個變量的信息.在EEG信號中，某個電極上含有其他電極信號上的信息，存在信息傳遞，即互信息.因此，我們可以使用互信息描述大腦皮層上各個導(dǎo)聯(lián)所代表的腦區(qū)間聯(lián)系的密切程度.

3) 連接矩陣的生成.對每對節(jié)點間的連接進行編譯，取1個閾值，將低于閾值的連接設(shè)為零或刪去，從而構(gòu)成連接矩陣.

4) 繪制網(wǎng)絡(luò)拓?fù)?，計算網(wǎng)絡(luò)的圖論參數(shù)或進行認(rèn)知層面的解釋.

至此，傳統(tǒng)的腦網(wǎng)絡(luò)構(gòu)建完成.

腦網(wǎng)絡(luò)構(gòu)建的實質(zhì)是將復(fù)雜的大腦通過定義節(jié)點和邊得到數(shù)學(xué)上的表示，從而可以利用數(shù)學(xué)理論進行分析.由腦網(wǎng)絡(luò)的構(gòu)建過程我們可以發(fā)現(xiàn): 傳統(tǒng)的腦網(wǎng)絡(luò)是1種靜態(tài)網(wǎng)絡(luò)，它表達了腦在某段時間內(nèi)的連通性，弱化了EEG信號實時性的特點.為了彌補這種缺陷，我們提出了動態(tài)腦網(wǎng)絡(luò)的概念.

在本文中，我們?nèi)?00ms的滑動時間窗，在每個窗內(nèi)構(gòu)建1次腦網(wǎng)絡(luò)，直至音樂結(jié)束，從而得到腦在音樂持續(xù)階段，腦連通性的動態(tài)變化.我們提取每個時間窗內(nèi)腦網(wǎng)絡(luò)的特征，分析腦網(wǎng)絡(luò)特征的動態(tài)性變化規(guī)律.

3.3 腦網(wǎng)絡(luò)特征的提取

本文主要提取以下腦網(wǎng)絡(luò)特征.

1) 節(jié)點度 節(jié)點度是對節(jié)點相互連接的統(tǒng)計特性最重要的描述，也是反應(yīng)重要的網(wǎng)絡(luò)演化特性[16].節(jié)點度是用來度量圖G中節(jié)點i與其他節(jié)點之間的連接性的屬性指標(biāo)，定義為圖G中連接節(jié)點i的邊數(shù)，是節(jié)點的出度與其入度的和.節(jié)點度是復(fù)雜網(wǎng)絡(luò)分析當(dāng)中使用的最為廣泛的局部屬性之一.第i個節(jié)點的度ki的定義如下:

(2)

其中:E={1，2，…，N}，為圖G所有節(jié)點的集合；aij為節(jié)點i與節(jié)點j連接的邊數(shù).

2) 聚類系數(shù) 聚類系數(shù)是復(fù)雜網(wǎng)絡(luò)理論中重要的拓?fù)鋵傩?，其量化網(wǎng)絡(luò)中節(jié)點的聚集程度，它表示某個節(jié)點的鄰居節(jié)點間互為鄰居節(jié)點的可能性[17].舉例來說，在朋友關(guān)系網(wǎng)絡(luò)中，聚類系數(shù)是指1個人的朋友彼此間也是朋友的可能性.常見的3種網(wǎng)絡(luò)中，規(guī)則網(wǎng)絡(luò)與小世界網(wǎng)絡(luò)具有較高的聚類系數(shù)，而隨機網(wǎng)絡(luò)的聚類系數(shù)較低.節(jié)點i的聚類系數(shù)

(3)

其中:Bi表示的是與節(jié)點i相鄰的節(jié)點中存有連接的邊數(shù)；ni表示節(jié)點i的全部連接點數(shù)目.

在網(wǎng)絡(luò)中，聚類系數(shù)越大的節(jié)點，網(wǎng)絡(luò)的局部的集團會越緊密.通常，我們使用所有節(jié)點的平均聚類系數(shù)(C)來描述1個網(wǎng)絡(luò)，且

(4)

4 結(jié)果分析與討論

4.1 行為學(xué)實驗結(jié)果

我們對被試填寫的情感量表進行統(tǒng)計，得到各個被試聽音樂時的情感狀態(tài)，將所有被試的結(jié)果做統(tǒng)計平均，得到如圖4所示的統(tǒng)計分布圖.

在分布圖中，被試情感打分的期望分布與實際分布相似，表明被試確實按照預(yù)測誘發(fā)出相應(yīng)的情感.根據(jù)被試的實際打分表，我們將實驗所用音樂分為4類，如表1所示，其中曲目10的實際打分與預(yù)期打分邊界不明確，舍棄.

圖4 被試的音樂情感分布圖Fig.4 Music emotion distribution map in the database

表1 音樂情感分布表

Tab.1 Music emotion distribution of subjects

情感曲目Happy1,2,3,4Distressed9,16Bored5,12,13,14,15Calm6,7,8,11

4.2 情感的動態(tài)腦網(wǎng)絡(luò)分析

我們使用愉悅度和喚醒度將情感劃分為4類: Happy、Distressed、Bored、Calm.根據(jù)已有的研究成果[12，18]，不同情感間的差異主要表現(xiàn)在alpha頻段和gamma頻段上，其中以alpha頻段差異最為明顯.因此，我們選擇alpha頻段來進行腦網(wǎng)絡(luò)的構(gòu)建.圖5為4類情感在0～200ms時段alpha頻段的腦網(wǎng)絡(luò)的連接矩陣圖.

圖5 0～200ms時段alpha頻段的腦網(wǎng)絡(luò)的連接矩陣Fig.5 Adjacency matrix of alpha band brain network from 0 to 200ms

圖5所示結(jié)果為所有被試在該情感類別下的總平均.從圖中可以發(fā)現(xiàn)，在對角線方向上，連接矩陣的值普遍較高，這說明在腦電信號中，1個電極總是包含著附近幾個電極的信息.另外，在連接矩陣圖上還可以明顯看出，電極間存在聚集效應(yīng)，相鄰幾個電極間互信息較高，表現(xiàn)在連接矩陣圖上為形成了一個個矩陣塊.

圖6為4類情感的腦網(wǎng)絡(luò)特征隨時間變化的示意圖，圖6(a)是節(jié)點度的時間變化圖，圖6(b)是聚類系數(shù)的時間變化圖，圖中橫軸代表時間，縱軸分別是節(jié)點度的取值和聚類系數(shù).從圖中可以看出，Calm、Happy和Bored這3類情感的腦網(wǎng)絡(luò)特征層次分明，具體表現(xiàn)為在節(jié)點度變化圖和聚類系數(shù)變化圖上，Calm具有最高的節(jié)點度分布，Happy次之，最低的是Bored.這種層次性在音樂持續(xù)期間一直保持.這說明這兩種腦網(wǎng)絡(luò)特征可以用來區(qū)分這3類情感.

圖6 腦網(wǎng)絡(luò)特征的時間變化圖Fig.6 Time-varying graph of brain network characteristics

4類情感的腦網(wǎng)絡(luò)的特征統(tǒng)計量如表2所示.由表可知，Distressed情感具有最高的標(biāo)準(zhǔn)差，這說明Distressed情感的離散程度很高，即該類情感的時間過程中，腦的連接性不斷地發(fā)生較大的變化.

4.3 情感分類結(jié)果

根據(jù)3.2節(jié)的研究，我們發(fā)現(xiàn)4類情感之間的腦網(wǎng)絡(luò)特征存在區(qū)分度，其中Distressed情感與其他3類情感在離散程度上存在較大區(qū)別，而Calm、Happy和Bored這3類情感在數(shù)值上存在明顯區(qū)別.基于這一發(fā)現(xiàn)，我們用圖7所示的分類策略，首先使用支持向量機(Support Vector Machine, SVM)分類器區(qū)分Distressed和其他3類情感，然后將非Distressed類別的樣本再使用SVM分類器進行分類.

表2 腦網(wǎng)絡(luò)的特征統(tǒng)計量Tab.2 Characteristic statistics of brain network

圖7 基于認(rèn)知規(guī)律的分類策略Fig.7 Classification strategy based on cognitive rules

為了比較我們分類策略的效果，使用多層感知器(Multilayer Perception, MLP)、SVM、K最近鄰(K-Nearest Neighbor, KNN)，bagged tree等多種分類器在我們自行采集的數(shù)據(jù)集上進行試驗，結(jié)果如表3所示.

由表3可知，使用腦網(wǎng)絡(luò)特征進行情感分類的識別率最高可以達到53.3%.這說明我們所提出的動態(tài)腦網(wǎng)絡(luò)可以有效地區(qū)分不同種類的情感.

表3 基于腦網(wǎng)絡(luò)特征的四分類情感識別結(jié)果Tab.3 Four-class emotion recognition result based on brain network characteristics

在使用單一特征時且無分類策略加入時，MLP與SVM分類器的性能相似，但在SVM分類器中加入分類策略后(即本文的方法)，SVM的識別效果明顯好于不加入分類策略的SVM和MLP.這說明，通過認(rèn)知規(guī)律指導(dǎo)，進行精細(xì)化分類是提高情感識別率的重要手段.

但是，我們同時也發(fā)現(xiàn)在使用兩種特征進行分類時，本文方法的識別率發(fā)生了下降，經(jīng)過分析，這是由于腦網(wǎng)絡(luò)特征的特性導(dǎo)致的，通過腦網(wǎng)絡(luò)提取的特征并不是正交的，節(jié)點度和聚類系數(shù)兩類特征間存在部分相關(guān)，這就導(dǎo)致冗余信息比重增大，從而導(dǎo)致識別率下降.

5 結(jié) 語

對大腦神經(jīng)機制的研究是類腦智能的基礎(chǔ)，是實現(xiàn)人工智能的重要途徑[18]，對情感的識別是類腦智能領(lǐng)域的重要問題.本文針對音樂欣賞過程中情感產(chǎn)生的腦認(rèn)知機制及分類方法進行探索，研究了腦認(rèn)知功能相關(guān)的動態(tài)特征的提取方法，提出了動態(tài)腦網(wǎng)絡(luò)來研究長時音樂情感.分時段的動態(tài)腦網(wǎng)絡(luò)的分析方法考慮了長時間腦活動中腦的連接性的變化，克服了傳統(tǒng)的全時段腦網(wǎng)絡(luò)過于片面的缺點.實驗結(jié)果說明基于EEG信號的動態(tài)腦網(wǎng)絡(luò)可以有效地感知人腦的情感變化，為音樂情感研究和情感計算提供了新的研究思路.