彭金歌,郭濱,沙文青,白雪梅,張晨潔
(長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院,長(zhǎng)春 130022)
自20世紀(jì)中期起,音樂(lè)治療便開(kāi)始在社會(huì)中悄然發(fā)揮作用。隨著社會(huì)和科學(xué)的發(fā)展,人們?cè)絹?lái)越意識(shí)到音樂(lè)對(duì)人情感、情緒引導(dǎo)的重要作用。因此,將音樂(lè)與神經(jīng)科學(xué)、認(rèn)知心理學(xué)和信號(hào)處理等學(xué)科交叉融合的研究已經(jīng)成為學(xué)術(shù)界的熱點(diǎn)。
理論研究表明,產(chǎn)生的刺激信息主要經(jīng)過(guò)大腦的下丘腦、海馬體和杏仁核傳遞給腦部邊緣系統(tǒng),在此產(chǎn)生情緒、情感[1]。隨著科學(xué)技術(shù)的發(fā)展,腦—機(jī)接口(Brain-Computer Interface,BCI)技術(shù)越來(lái)越受到人工智能領(lǐng)域研究者的青睞;將BCI通信方式應(yīng)用于EEG信號(hào)的情感特征提取與識(shí)別,使研究腦的情緒感知不對(duì)稱性、大腦分區(qū)等問(wèn)題變得更加方便[2]。此外,音樂(lè)作為對(duì)大腦的一種無(wú)形的刺激,不僅可以影響人的認(rèn)知,還可以改變?nèi)说淖灾魃窠?jīng)系統(tǒng)反應(yīng)功能,誘發(fā)情緒。在現(xiàn)有的研究中,很多實(shí)驗(yàn)可以有效證明音樂(lè)可以影響情緒變化[3-5]。
針對(duì)將音樂(lè)與EEG信號(hào)相結(jié)合的這一創(chuàng)新,國(guó)內(nèi)外已經(jīng)開(kāi)展了一系列研究工作,如:文獻(xiàn)[6]利用EEG信號(hào)分析了在悲傷情緒下不同類型的音樂(lè)對(duì)此情緒的舒緩作用;文獻(xiàn)[7]使用各種影片視頻誘導(dǎo)產(chǎn)生平靜、愉悅、悲傷、緊張和厭惡五種常見(jiàn)情緒狀態(tài),對(duì)情緒下的EEG信號(hào)進(jìn)行分類,最高識(shí)別率達(dá)89.22%;文獻(xiàn)[8-12]的共性都是將EEG信號(hào)劃分到α、β、δ、θ、γ的頻段后,結(jié)合機(jī)器學(xué)習(xí)算法,通過(guò)對(duì)每個(gè)頻段的信號(hào)數(shù)據(jù)進(jìn)行特征提取來(lái)實(shí)現(xiàn)對(duì)情緒的分類、識(shí)別以及關(guān)聯(lián)度分析等研究;文獻(xiàn)[13]研究發(fā)現(xiàn),左右腦區(qū)中存在的各種EEG信號(hào)的節(jié)律波會(huì)隨著情緒的變化而不同;文獻(xiàn)[14]運(yùn)用Hjorth參數(shù)對(duì)情感識(shí)別實(shí)現(xiàn)了優(yōu)化的特征選擇并研究出了一套集成學(xué)習(xí)的方法;文獻(xiàn)[15]綜合探討了目前在腦電與音樂(lè)相結(jié)合的研究領(lǐng)域所采用的熱門分析方法。
實(shí)驗(yàn)研究在人處于緊張情緒時(shí),通過(guò)聆聽(tīng)歡快、憂傷兩種類型的音樂(lè),測(cè)量在音樂(lè)作用前后人腦EEG的變化情況,分析出左右腦區(qū)對(duì)不同類型音樂(lè)的敏感程度及不同類型音樂(lè)對(duì)人緊張情緒的舒緩作用。
自我評(píng)估(Self-Assessment Manikins,SAM)表是由Lang等人設(shè)計(jì)提出的一種非語(yǔ)言且面向圖片的情感自我評(píng)估工具,可以用來(lái)直接測(cè)量與一個(gè)人對(duì)各種刺激的情感反應(yīng)有關(guān)的愉悅度、喚醒度和對(duì)一個(gè)物體或事物的反應(yīng)支配度(即優(yōu)勢(shì)事件)[16-17]。目前大多采用的SAM表是紙筆版本的,因此在情感檢測(cè)中,是一種被廣泛使用、成本低廉、簡(jiǎn)單方便的方法。根據(jù)研究的實(shí)際需要,對(duì)標(biāo)準(zhǔn)的SAM表進(jìn)行了改進(jìn),只考慮愉悅度和喚醒度兩方面,如圖1所示[18]。改進(jìn)的SAM表愉悅度的范圍是從哭臉到笑臉,愉悅程度逐漸上升;喚醒度的范圍是從閉眼困倦到睜眼興奮逐漸上升。
濾波后,通過(guò)對(duì)比前額左右腦區(qū)在不同音樂(lè)舒緩作用下振幅能量的變化,可以初步分析出在緊張情緒刺激下左右腦對(duì)不同音樂(lè)的敏感程度,篩選出在歡樂(lè)、憂傷音樂(lè)舒緩條件下左右腦區(qū)波形變化反應(yīng)最明顯的區(qū)域,為后續(xù)的功率譜分析做鋪墊。
圖1 改進(jìn)的SAM表評(píng)價(jià)圖
在對(duì)EEG信號(hào)進(jìn)行頻域分析時(shí),功率譜估計(jì)是一種常用方法。EEG信號(hào)可以通過(guò)將EEG轉(zhuǎn)換成功率隨頻率變化的譜圖,更加直觀的從功率譜圖中分析EEG信號(hào)不同波段的功率分布與變化情況。在對(duì)腦電弱信號(hào)進(jìn)行定量分析時(shí),功率譜估計(jì)是所有頻域分析的基本方法。
研究中采用非參數(shù)譜估計(jì)法中的周期圖法對(duì)EEG信號(hào)中的α波、β波進(jìn)行功率譜估計(jì)。周期圖法是一種基于離散傅里葉變換(Discrete Fourier Transform,DFT)且常用于離散信號(hào)功率譜密度估計(jì)的方法。對(duì)于長(zhǎng)度為N的離散時(shí)間序列x(1),x(2),…,x(n),先對(duì)x(n)取DFT或FFT,由時(shí)域變換到頻域,得到F(ω)即:
功率譜密度函數(shù)的其中一種定義是:
當(dāng)序列的長(zhǎng)度N為有限值時(shí),可以忽略公式(2)中求極限和求期望的運(yùn)算,由此得到周期圖法功率譜估計(jì)的公式:
從理論分析上,若信號(hào)在時(shí)域上是離散的,那么對(duì)應(yīng)在頻域上就是周期的;對(duì)于在頻域上帶寬一定的離散信號(hào),時(shí)域一定是無(wú)限長(zhǎng)的序列。由于FFT、DFT對(duì)于時(shí)間序列的分析都是只取一段有限長(zhǎng)的數(shù)據(jù)進(jìn)行計(jì)算,這就相當(dāng)于在原信號(hào)上加了一個(gè)矩形窗?!凹哟啊边€對(duì)頻譜起到平滑作用,研究中選用具有較高分辨率的矩形窗作為窗函數(shù):
其中,w(n)為窗函數(shù),M為截止時(shí)間序列的個(gè)數(shù)。為了便于研究,在Matlab分析數(shù)據(jù)時(shí),取功率為。
1970年,Bo Hjorth首次提出了Hjorth參數(shù)的概念,并廣泛應(yīng)用于EEG信號(hào)的特征提取和分析處理[19]。Hjorth參數(shù)是一種可以同時(shí)描述EEG信號(hào)在時(shí)域、頻域中瞬時(shí)特征的統(tǒng)計(jì)函數(shù),也稱為歸一化斜率描述符(NSD)。Hjorth參數(shù)由三個(gè)描述符組成:活動(dòng)性(Activity)、移動(dòng)性(Mobility)、復(fù)雜性(Complexity)。
活動(dòng)性(Activity)表示信號(hào)的活動(dòng)情況,用來(lái)衡量EEG信號(hào)的平均功率;是一次函數(shù)的方差。移動(dòng)性(Mobility)表示平均頻率或功率譜的標(biāo)準(zhǔn)偏差的比例,用來(lái)衡量與平均頻率的接近性;定義為方差的一階導(dǎo)數(shù)標(biāo)準(zhǔn)差與標(biāo)準(zhǔn)差的比值。復(fù)雜性(Complexity)表示的是信號(hào)與純正弦波的相似性,用來(lái)度量頻率變化情況,衡量與信號(hào)帶寬的接近性;定義為函數(shù)一階導(dǎo)數(shù)的移動(dòng)性與函數(shù)的移動(dòng)性的比值。若信號(hào)相似于純正弦波,則復(fù)雜性(Complexity)值收斂到1。由此可以看出,Hjorth參數(shù)的分析都是在計(jì)算EEG信號(hào)方差的基礎(chǔ)上展開(kāi)的,相比于其他分析方法計(jì)算量較小,成本低,更容易實(shí)現(xiàn)。三個(gè)描述符的公式定義如下所示:
其中,σx是EEG信號(hào)x的標(biāo)準(zhǔn)差,是x的方差,σd對(duì)應(yīng)x的方差的一階導(dǎo)數(shù)標(biāo)準(zhǔn)差,σdd對(duì)應(yīng)x的方差的二階導(dǎo)數(shù)標(biāo)準(zhǔn)差。
實(shí)驗(yàn)分別在兩個(gè)房間里進(jìn)行:房間A在放松情緒時(shí)僅播放歡快舒緩的音樂(lè),而房間B中僅播放憂傷舒緩的音樂(lè)。實(shí)驗(yàn)過(guò)程中盡量避免使用所有可能的干擾電磁輻射源。實(shí)驗(yàn)對(duì)象為20名男女各半的18~22歲在校本科生(被測(cè)者均聽(tīng)力正常,未受過(guò)專業(yè)音樂(lè)訓(xùn)練,心理健康且為右利手),平均分為兩組,分別在兩個(gè)實(shí)驗(yàn)房間同時(shí)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中選取的情緒誘導(dǎo)視頻是本校大學(xué)生網(wǎng)站所評(píng)選的令人感到最緊張的三個(gè)視頻片段;房間A、B在對(duì)被測(cè)者進(jìn)行情緒放松時(shí),分別播放該網(wǎng)站所評(píng)選的具有舒緩作用的歡快節(jié)奏和憂傷節(jié)奏的音樂(lè)。實(shí)驗(yàn)前讓所有被測(cè)者填寫改進(jìn)的SAM表并測(cè)量EEG信號(hào),及時(shí)對(duì)采集到的數(shù)據(jù)進(jìn)行分析,確保其情緒都處于平靜狀態(tài)。
首先,按照國(guó)際10-20系統(tǒng)(the 10-20 international System)電極放置法,將腦電帽的8個(gè)電極固定在被測(cè)者頭部的規(guī)定區(qū)域,在實(shí)驗(yàn)中持續(xù)采集EEG信號(hào)。然后,在兩個(gè)房間內(nèi)同時(shí)播放篩選后的緊張視頻片段5分鐘,用于誘發(fā)緊張情緒;被測(cè)者在觀看完視頻后,用2分鐘填寫改進(jìn)的SAM表,通過(guò)對(duì)SAM進(jìn)行數(shù)據(jù)分析,判斷其情緒是否發(fā)生變化。填表的2分鐘過(guò)后,在房間A、房間B分別對(duì)應(yīng)播放篩選后的歡快、憂傷舒緩音樂(lè)5分鐘;被測(cè)者在聆聽(tīng)完音樂(lè)后,用2分鐘時(shí)間再次填寫改進(jìn)的SAM表,分析其情緒是否恢復(fù)平靜。一次實(shí)驗(yàn)過(guò)程持續(xù)約14分鐘。最后,將實(shí)驗(yàn)過(guò)程中各時(shí)間段采集的EEG信號(hào)進(jìn)行數(shù)據(jù)分析處理,并通過(guò)分析對(duì)比EEG信號(hào)的振幅能量、功率譜密度和Hjorth參數(shù)得出結(jié)論。
實(shí)驗(yàn)采用OpenBCI V3 8bit開(kāi)源Arduino EEG模塊-8通道進(jìn)行EEG數(shù)據(jù)的采集,腦電采樣頻率為250Hz,可以持續(xù)記錄實(shí)驗(yàn)過(guò)程中被測(cè)者EEG變化情況。將EEG的8個(gè)電極采用標(biāo)準(zhǔn)的電極安放法,安放于大腦前額FP1(左前額區(qū),通道1)、FP2(右前額區(qū),通道2)、C3(左側(cè)中央?yún)^(qū),通道3)、C4(右側(cè)中央?yún)^(qū),通道4)、T5(左后顳區(qū),通道5)、T6(右后顳區(qū),通道6)、O1(左枕區(qū),通道7)、O2(右枕區(qū),通道8)。由于前腦是精神思維和情緒感知最集中的部分,大腦中部用于運(yùn)動(dòng)和感覺(jué),后部主要跟視覺(jué)有關(guān),所以前腦是與實(shí)驗(yàn)研究最相關(guān)的區(qū)域。由于FP1、FP2這2個(gè)區(qū)域幾乎覆蓋了人的整個(gè)額葉區(qū),所以由這2個(gè)區(qū)域測(cè)得的數(shù)據(jù)更能綜合反映出人情緒變化時(shí)左右腦波差異。因此,可利用左右前腦波振幅均值的變化來(lái)初步估計(jì)音樂(lè)舒緩前后受試者左右腦波形變化。
實(shí)驗(yàn)共測(cè)出了20名學(xué)生的EEG數(shù)據(jù),每種音樂(lè)環(huán)境下10名。由于數(shù)據(jù)量過(guò)大,將處于同房間的人在對(duì)應(yīng)相同時(shí)間點(diǎn)測(cè)得的數(shù)據(jù)先取平均值處理,再進(jìn)行噪聲(包括眼電信號(hào))濾除。其中,所有數(shù)據(jù)取均值處理都是采用SPSS軟件實(shí)現(xiàn)的;濾波是采用獨(dú)立分量分析(Independent Component Analysis,ICA)[20]的方法,利用Matlab中Eeglab工具箱中的命令編程實(shí)現(xiàn)的。對(duì)濾波后得到的EEG信號(hào)進(jìn)行腦電特征提取,經(jīng)過(guò)FFT加窗函數(shù)的運(yùn)算處理,將完整的EEG信號(hào)在1~30Hz內(nèi)分成4個(gè)主要頻段,如表1所示。
表1 EEG信號(hào)的4個(gè)主要頻段劃分
α波為正常人腦中的普通波,是EEG的基本節(jié)律;α波的出現(xiàn)說(shuō)明此時(shí)大腦處于清醒放松狀態(tài)。β波是人受到刺激時(shí)出現(xiàn)的EEG波形,反應(yīng)出此時(shí)大腦處于高度緊張、注意力集中的興奮狀態(tài)[21]。因此,在分離出的4個(gè)波段中,只需分析α波和β波的變化即可判斷受試者情緒的變化情況。由于情緒是一個(gè)緩慢變化的過(guò)程,所以分析緊張情緒時(shí)只分析播放音樂(lè)前1分鐘的腦電變化;分析音樂(lè)的舒緩作用時(shí)只分析音樂(lè)播放完成后1分鐘的腦電變化,因此在仿真圖中只展示15000個(gè)點(diǎn)的數(shù)據(jù)變化。
通過(guò)在不同階段讓受試者接受SAM表測(cè)試,確定是否達(dá)到滿足實(shí)驗(yàn)需求的情緒狀態(tài)。由得到的情緒數(shù)據(jù)分析發(fā)現(xiàn),受試者在平靜、緊張狀態(tài)下總分的平均值分別為5.24和3.61;在聆聽(tīng)過(guò)一段時(shí)間的歡樂(lè)、憂傷風(fēng)格的音樂(lè)后情緒總分的均值分別為6.12和5.89。行為數(shù)據(jù)分析表明,音樂(lè)可以緩解緊張情緒,轉(zhuǎn)變情緒的發(fā)展方向。
3.2.1 振幅能量分析
不同腦區(qū)對(duì)不同類型音樂(lè)刺激的敏感程度是不同的,圖2、圖3分別展示了在播放不同音樂(lè)的環(huán)境下測(cè)得的左右前額腦區(qū)能量變化。在同一時(shí)間,圖2(a)和圖2(b)中可以看出,在聆聽(tīng)歡樂(lè)舒緩音樂(lè)前,通道1(左腦區(qū))與通道2(右腦區(qū))的能量變化近似;圖2(c)和圖2(d)中可以看出,通道1(左腦區(qū))在聆聽(tīng)歡樂(lè)舒緩音樂(lè)后,能量明顯增大且大于通道2(右腦區(qū))的能量變化。圖3(a)和圖3(b)中可以看出,在聆聽(tīng)?wèi)n傷舒緩音樂(lè)前,通道1(左腦區(qū))與通道2(右腦區(qū))的能量變化近似;圖3(c)和圖3(d)中可以看出,通道2(右腦區(qū))在聆聽(tīng)?wèi)n傷舒緩音樂(lè)后,能量明顯增大且大于通道1(左腦區(qū))的能量變化。由此可初步估計(jì),在緊張情緒的刺激下,左腦對(duì)歡快風(fēng)格的音樂(lè)較敏感,右腦對(duì)憂傷風(fēng)格的音樂(lè)較敏感。
3.2.2 EEG功率譜分析
經(jīng)過(guò)FFT加窗函數(shù)實(shí)現(xiàn)對(duì)腦電信號(hào)α、β波段的特征提取后,可以在頻域分析兩種腦波節(jié)律的功率譜。如圖4-6所示,取1、2通道采集的EEG信號(hào)計(jì)算功率譜,按照腦波節(jié)律的頻段劃分出α波和β波,分別展示兩種波段的功率。
從圖4(a)和圖4(b)中可以看出,此時(shí)α波的功率最大值為1000dB/Hz左右,功率主要分布在300dB/Hz;β波的功率較小,最高為50dB/Hz左右,功率主要分布15dB/Hz。同一時(shí)間α波的功率值明顯高于β波,說(shuō)明此時(shí)受試者正處于情緒穩(wěn)定狀態(tài),無(wú)緊張?jiān)诜抡鎴D4(c)和圖4(d)中可以看出,此時(shí)α波的功率最大值不超過(guò)1000dB/Hz,且頻率主要分布在8~10.5Hz;β波的功率較大,在14~15Hz的功率均接近2000dB/Hz。同一時(shí)間β波的功率值明顯高于α波,可以說(shuō)明受試者當(dāng)前確實(shí)處于情緒波動(dòng)狀態(tài),有緊張情緒產(chǎn)生。
在緊張情緒的刺激下,研究對(duì)歡樂(lè)音樂(lè)敏感的左腦區(qū)的α、β節(jié)律變化情況如圖5所示。讓受試者聆聽(tīng)歡樂(lè)音樂(lè)后,α波在8~10.5Hz處的功率譜值在2500dB/Hz附近較為集中,較緊張狀態(tài)下的α波功率明顯提升;β波除少數(shù)尖峰值的出現(xiàn)外,功率值都在1000dB/Hz左右,且主要分布頻段也擴(kuò)大到14~17Hz,較緊張狀態(tài)下的β波功率明顯下降,主要占用頻寬變大。可以說(shuō)明在緊張情緒下,歡快的音樂(lè)對(duì)左腦區(qū)情緒波動(dòng)有舒緩作用。
圖3 憂傷音樂(lè)舒緩前后左右腦區(qū)能量變化
圖4 緊張情緒前后的α、β波變化情況
圖5 歡樂(lè)音樂(lè)舒緩情緒后α、β波變化情況
在緊張情緒的刺激下,研究對(duì)憂傷音樂(lè)敏感的右腦區(qū)的α、β節(jié)律變化情況如圖6所示。在讓受試者聆聽(tīng)?wèi)n傷音樂(lè)后,α波在8.5~10.5Hz之間的功率值主要分布在1000dB/Hz附近,少數(shù)峰值可達(dá)到2000dB/Hz以上,與圖4中處于緊張情緒時(shí)α波變化有所不同,且少數(shù)峰值接近3000dB/Hz,功率上升,主要分布頻段為8~10Hz;對(duì)于β波,主要分布在14~17Hz,平均功率值在50dB/Hz左右,與圖4中的β波功率相比明顯減小,主要占用頻寬變大??梢哉f(shuō)明在緊張情緒下,憂傷的音樂(lè)對(duì)右腦區(qū)情緒波動(dòng)有舒緩作用。
圖6 憂傷音樂(lè)舒緩情緒后α、β波變化情況
3.2.3 Hjorth參數(shù)分析
對(duì)表2中計(jì)算的在情緒的各個(gè)階段測(cè)得的EEG信號(hào)的Hjorth參數(shù)進(jìn)行數(shù)據(jù)分析,可以發(fā)現(xiàn):緊張狀態(tài)與平靜狀態(tài)相比,EEG信號(hào)的活動(dòng)性、移動(dòng)性變小,復(fù)雜性變大,即功率和平均功率譜之間的偏差比例變小,與正弦波的接近程度變小;在經(jīng)過(guò)歡樂(lè)音樂(lè)舒緩和憂傷音樂(lè)舒緩后,對(duì)比參數(shù)變化看出,歡樂(lè)音樂(lè)播放后計(jì)算出的Hjorth參數(shù)與平靜狀態(tài)下的Hjorth參數(shù)更為接近,并且活動(dòng)性有明顯提高,即功率明顯變大。由此可說(shuō)明,在歡樂(lè)音樂(lè)對(duì)左腦的緊張情緒有明顯舒緩作用;憂傷音樂(lè)的舒緩作用對(duì)于左腦并不明顯。
表2 左腦前額Hjorth參數(shù)計(jì)算數(shù)據(jù)
對(duì)表3中計(jì)算的在情緒的各個(gè)階段測(cè)得的EEG信號(hào)的Hjorth參數(shù)進(jìn)行數(shù)據(jù)分析,可以發(fā)現(xiàn):在經(jīng)過(guò)歡樂(lè)音樂(lè)舒緩和憂傷音樂(lè)舒緩后,憂傷類型的音樂(lè)播放后計(jì)算出的Hjorth參數(shù)與平靜狀態(tài)下的Hjorth參數(shù)更為接近,復(fù)雜度明顯降低,即復(fù)雜度參數(shù)值更接近于1,證明EEG波形更接近于正弦波的狀態(tài)。由此可說(shuō)明,憂傷音樂(lè)對(duì)右腦的緊張情緒有明顯舒緩作用;歡樂(lè)音樂(lè)的舒緩作用對(duì)于右腦并不明顯。
表3 右腦前額Hjorth參數(shù)計(jì)算數(shù)據(jù)
讓被測(cè)者在緊張情緒下聆聽(tīng)歡快與憂傷兩種類型的音樂(lè),運(yùn)用改進(jìn)的SAM表分析被測(cè)者實(shí)驗(yàn)過(guò)程中的情緒變化,并在頻域?qū)Σ杉腅EG信號(hào)進(jìn)行α波、β波的分波段、分腦區(qū)的功率譜分析;利用Hjorth參數(shù)對(duì)EEG信號(hào)的時(shí)間序列進(jìn)行時(shí)頻分析,驗(yàn)證了在緊張情緒下不同類型音樂(lè)對(duì)左右腦的舒緩作用不同,左腦對(duì)節(jié)奏歡樂(lè)的音樂(lè)更敏感,右腦對(duì)憂傷的音樂(lè)更敏感。在研究中還發(fā)現(xiàn),音樂(lè)舒緩緊張情緒后對(duì)α波的主要占用頻寬無(wú)明顯影響,而β波的主要占用頻寬變大。因此,在舒緩緊張情緒時(shí),可以選擇聆聽(tīng)融合這兩種風(fēng)格的音樂(lè)。根據(jù)緊張程度的不同,若將兩種風(fēng)格的音樂(lè)針對(duì)EEG信號(hào)與情緒變化進(jìn)行提取特征,選擇不同的融合比例,作為音樂(lè)治療的新型專用音樂(lè),可以達(dá)到更好的治療效果,為音樂(lè)治療領(lǐng)域的發(fā)展提供新的途徑。