陳煦海 楊曉虹 楊玉芳
(1陜西省行為與認(rèn)知心理學(xué)重點(diǎn)實(shí)驗(yàn)室,陜西師范大學(xué)心理學(xué)院,西安 710062)(2腦與認(rèn)知國(guó)家重點(diǎn)實(shí)驗(yàn)室,中國(guó)科學(xué)院心理研究所,北京 100101)
口頭語(yǔ)言表現(xiàn)情緒主要有兩種手段:“說(shuō)什么”和“怎么說(shuō)”。前者指語(yǔ)義傳達(dá)的情緒內(nèi)容;后者則指依靠語(yǔ)音的音高、語(yǔ)速、響度和音質(zhì)等聲學(xué)特征的不同組合所表達(dá)的情緒,稱作語(yǔ)音情緒(Banse&Scherer,1996)。在交流中,人們更多依靠語(yǔ)音來(lái)判斷他人的情緒(Dietrich,Ackermann,Szameitat,&Alter,2006)。語(yǔ)音情緒變化是生活中常見的現(xiàn)象,也是凸顯情緒的重要手段(Paulmann,Jessen,&Kotz,2012;Paulmann,Pell,&Kotz,2008),人腦能敏感地識(shí)別語(yǔ)音情緒的變化并有效加工,但人們對(duì)語(yǔ)音情緒變化加工的神經(jīng)生理機(jī)制還知之甚少。因此,本研究擬運(yùn)用腦電技術(shù)探索語(yǔ)音情緒變化加工的神經(jīng)生理機(jī)制。
盡管語(yǔ)音情緒變化加工機(jī)制的研究還不多見,但聽覺刺激變化加工的研究卻頗為豐富。聽覺刺激在時(shí)間維度延伸,導(dǎo)致預(yù)期式加工是聽覺加工的重要特征(Winkler,Denham,&Nelken,2009),即聽者會(huì)根據(jù)已聽到的刺激對(duì)即將出現(xiàn)的刺激形成預(yù)期,并將后來(lái)的刺激與預(yù)期相對(duì)比,二者相符則順利整合,不相符則造成期待違反,形成變化檢測(cè)與再整合的過(guò)程。對(duì)這一機(jī)制研究最多的是oddball范式,大概率呈現(xiàn)標(biāo)準(zhǔn)刺激讓被試提取規(guī)則形成預(yù)期,小概率呈現(xiàn)偏差刺激與預(yù)期違反。大量研究發(fā)現(xiàn)人腦能夠迅速檢測(cè)這種聽覺刺激的變化,在自動(dòng)加工時(shí)偏差刺激誘發(fā)MMN(N??t?nen,2007),主動(dòng)加工時(shí)誘發(fā)N2/P3復(fù)合成分(Polich,2007;Polich&Kok,1995)。連續(xù)性聲音刺激的變化加工也表現(xiàn)出相似的機(jī)制。如連續(xù)語(yǔ)流中,后續(xù)語(yǔ)音與前文句法違反誘發(fā)ELAN和P600(Hahne&Jescheniak,2001),而音韻違反誘發(fā)PMN(D'Arcy,Connolly,Service,Hawco,&Houlihan,2004;Newman,Connolly,&Mcivor,2003)。音樂(lè)旋律中某個(gè)音符的音高違反或句法違反也可誘發(fā)早期負(fù)波ERAN和晚正成分P300(Magne,Schon,&Besson,2006;Sch?n,Magne,&Besson,2004)。與語(yǔ)言和音樂(lè)相似,語(yǔ)音情緒也是依靠聲音為載體,在時(shí)間維度展開,并且擁有某種固有的發(fā)展趨勢(shì),人們可能根據(jù)已聽刺激對(duì)即將聽到的刺激形成預(yù)期,表現(xiàn)出預(yù)期加工的特點(diǎn)。
已有一些研究運(yùn)用語(yǔ)音情緒變化來(lái)考察語(yǔ)音情緒加工的時(shí)間進(jìn)程(江愛世等,2009)。一些研究沿用oddball范式,分別用攜帶不同情緒的聲音為標(biāo)準(zhǔn)刺激和偏差刺激,結(jié)果發(fā)現(xiàn)語(yǔ)音情緒偏差刺激在自動(dòng)加工中誘發(fā)MMN,但峰值潛伏期不一(Bostanov&Kotchoubey,2004;Goydke,Altenmüler,M?ller,&M?nte,2004;Th?nnessen et al.,2010),而在主動(dòng)加工時(shí)則誘發(fā)P300(Thierry&Roberts,2007;Wambacq,Shea-Miller,&Abubakr,2004)。另一些研究則用語(yǔ)句情緒韻律為材料,Kotz和Paulmann(2007)在語(yǔ)句中交互拼接構(gòu)建情緒變化,形成語(yǔ)音情緒發(fā)展模式的期待違反,發(fā)現(xiàn)語(yǔ)句中情緒韻律的變化誘發(fā)潛伏期約為350 ms的正成分—— 韻律期待違反正波(prosodic expectancy positivity,PEP)。他們隨后的研究證明該成分不受情緒類別、注意資源投入程度的影響(Paulmann et al.,2012;Paulmann&Kotz,2008),且在基底節(jié)受損的患者中仍然存在(Paulmann et al.,2008)。最近Chen 等人(2011)發(fā)現(xiàn)人腦對(duì)情緒韻律期待違反的識(shí)別可能更早,表現(xiàn)為早期負(fù)波類N200,然后是反映對(duì)違反再加工并整合的正成分PEP及LPC,且這些成分會(huì)受任務(wù)要求和違反特征的調(diào)制。顯然,這些研究以情緒變化為手段對(duì)語(yǔ)音情緒加工進(jìn)行了很好的探索,但其焦點(diǎn)在語(yǔ)音情緒,未把語(yǔ)音情緒變化本身作為一種現(xiàn)象予以關(guān)注。
上述有關(guān)聲音變化的電生理研究都僅從時(shí)域考察變化誘發(fā)的事件相關(guān)電位(ERP)并推測(cè)其背后的認(rèn)知機(jī)制。然而,在鎖時(shí)又鎖相的ERP數(shù)據(jù)之外,對(duì)腦電(EEG)數(shù)據(jù)進(jìn)行頻域的神經(jīng)振蕩分析(event related oscillations,ERO),具體離析各個(gè)頻段能量變化(事件相關(guān)攝動(dòng),event related spectral power,ERSP)和相位變化特征(試次間相位相干系數(shù),inter-trial coherence,ITC),能從神經(jīng)活動(dòng)的層面說(shuō)明語(yǔ)音情緒加工的神經(jīng)生理機(jī)制(Delorme&Makeig,2004)。已有研究證明不同頻段的神經(jīng)振蕩往往和不同的認(rèn)知活動(dòng)相關(guān),一般認(rèn)為低頻振蕩(theta和alpha頻段)和大范圍的神經(jīng)活動(dòng)相關(guān),而高頻(如gamma頻段)振蕩和局部的神經(jīng)活動(dòng)相關(guān)(Ba?ar,Ba?ar-Eroglu,Karaka?,&Schürmann,2001;Pfurtscheller&da Silva,1999)。在與本研究?jī)?nèi)容相關(guān)的一些研究中,Fuentemilla等人(2008)發(fā)現(xiàn)前中部分布聽覺MMN主要源于偏差刺激theta能量的增加以及試次間相位同步性增加,而乳突記錄到的顳區(qū)MMN則只源于試次間相位同步性增加。另外,Yordanova等(1998)則發(fā)現(xiàn)theta能量增加是時(shí)域P300成分的主要貢獻(xiàn)者。事實(shí)上,對(duì)獎(jiǎng)賞預(yù)期的違反也導(dǎo)致theta頻段的能量增強(qiáng)(Cavanagh,Frank,Klein,&Allen,2010;Tzur&Berger,2007),且theta能量增加值和期待違反的凸顯性有線性關(guān)系(Chen,Yang,Gan,&Yang,2012;Tzur&Berger,2007)。因此,基于如上一些神經(jīng)振蕩理論和研究事實(shí),可以預(yù)期,從神經(jīng)振蕩特征的角度深入分析語(yǔ)音情緒變化的腦電數(shù)據(jù)可能進(jìn)一步揭示語(yǔ)音情緒加工的神經(jīng)生理機(jī)制。
綜上所述,當(dāng)前有關(guān)語(yǔ)音情緒的研究?jī)H以變化為手段來(lái)考察語(yǔ)音情緒的加工特點(diǎn),未曾把語(yǔ)音情緒變化本身作為一個(gè)現(xiàn)象來(lái)研究,而且已有的電生理研究都只做時(shí)域ERP分析,沒(méi)有揭示語(yǔ)音情緒變化加工在頻域的神經(jīng)振蕩機(jī)制。因此,本研究擬將語(yǔ)音情緒變化作為關(guān)注的焦點(diǎn),記錄被試加工語(yǔ)音情緒變化的腦電,從時(shí)域和頻域挖掘腦電數(shù)據(jù),進(jìn)一步揭示語(yǔ)音情緒加工的神經(jīng)生理機(jī)制。本研究沿用交互拼接的方法(Chen et al.,2011;Kotz&Paulmann,2007)構(gòu)建語(yǔ)句情緒韻律的變化,同時(shí)將凸顯程度不同的兩種變化模式(中性到憤怒,憤怒到中性)納入考察范圍,然后讓被試完成與情緒變化無(wú)關(guān)的語(yǔ)音判斷任務(wù),以期回答如下問(wèn)題:情緒無(wú)關(guān)任務(wù)條件下語(yǔ)音情緒變化加工時(shí)域和頻域的神經(jīng)生理機(jī)制是怎樣的?語(yǔ)音情緒的變化模式對(duì)這些機(jī)制有什么影響?本研究預(yù)期在完成情緒無(wú)關(guān)任務(wù)時(shí),語(yǔ)音情緒變化仍能誘發(fā)反應(yīng)期待違反與整合的ERP成分,且受變化模式的調(diào)控;另外,這種變化加工可能和theta能量的增加以及相位同步性變化相關(guān)。
在校大學(xué)生15名,其中女生7名,年齡在20至26歲之間,平均21.45歲。所有被試均為漢語(yǔ)母語(yǔ)的右利手者,身體健康,沒(méi)有情感或精神障礙。所有被試均自愿參加實(shí)驗(yàn)并獲得適量報(bào)酬,正式實(shí)驗(yàn)前簽署知情同意書。其中一名被試的數(shù)據(jù)因?yàn)閭污E太多而剔除。
t
(49)=28.12,p
<0.001),強(qiáng)度更強(qiáng)(70 dB vs.63 dB,t
(49)=23.18,p
<0.001),語(yǔ)速更快(206 ms vs.216 ms/字,t
(49)=5.43,p
<0.01),見圖1B。另請(qǐng)8名被試就所有語(yǔ)句韻律情緒進(jìn)行歸類,被試區(qū)分兩種韻律的正確率接近100%。用交互拼接法將原始材料制作成包含情緒變化的新語(yǔ)句:中性—憤怒、憤怒—中性,拼接模式見圖1-A。為了避免被試就發(fā)生拼接的位置形成固定預(yù)期,分別在第五和第九個(gè)音節(jié)上拼接。共200個(gè)語(yǔ)句(兩種包含情緒變化的語(yǔ)句和兩種沒(méi)有情緒變化的控制語(yǔ)句)作為刺激材料呈現(xiàn)給被試。所有材料隨機(jī)分為5個(gè)block,每個(gè)block 40句,含“aa”,“nn”,“an”,“na”各10 句,以等概率、偽隨機(jī)順序用耳機(jī)呈現(xiàn)給被試,確保同一類別刺激不會(huì)連續(xù)呈現(xiàn)3次。實(shí)驗(yàn)在隔音的小房間進(jìn)行,被試端坐在電腦屏幕前115 cm。先呈現(xiàn)注視點(diǎn)“+”300 ms,接著注視點(diǎn)變成紅色,耳機(jī)呈現(xiàn)語(yǔ)句韻律,聽覺呈現(xiàn)完畢即呈現(xiàn)問(wèn)號(hào)要求被試判斷整個(gè)句子聲音大小是否有變化,被試雙手按鍵盤上的“F、J”反應(yīng),F、J鍵代表的含義和反應(yīng)手在被試間平衡。在整個(gè)句子呈現(xiàn)過(guò)程中,要求被試盯著注視點(diǎn)并減少眨眼和頭動(dòng)。判斷完畢后間隔1500 ms進(jìn)入下一個(gè)trial。在正式實(shí)驗(yàn)前給被試數(shù)次練習(xí)以熟悉實(shí)驗(yàn)程序。
用NeuroScan公司放大器及64導(dǎo)電極帽記錄腦電信號(hào)Electroencephalogram(EEG),采樣率500 Hz,帶寬0.05至100 Hz,左側(cè)乳突在線參考,離線分析時(shí)從各導(dǎo)聯(lián)的腦電數(shù)據(jù)中減去雙側(cè)乳突的平均數(shù)作再參考。垂直眼電通過(guò)左眼上下電極記錄,水平眼電通過(guò)兩只眼睛外周約1 cm處電極記錄。GND電極作為接地,所有電極的阻抗小于5千歐。
圖1 實(shí)驗(yàn)材料示意圖。A:例句及拼接。紅色和綠色分別代表憤怒和中性情緒的句子,在第五和第九個(gè)音節(jié)上對(duì)兩種韻律進(jìn)行拼接,形成具有情緒變化的韻律“an”和“na”。B:語(yǔ)句韻律拼接后的聲學(xué)特征,中性到憤怒變化的韻律在拼接點(diǎn)處音強(qiáng)、基頻增高,語(yǔ)速增快,而憤怒到中性韻律聲學(xué)特征相反。(縮寫:aa——全憤怒;an—— 憤怒-中性;nn——全中性;na——中性-憤怒;請(qǐng)下載電子版查看彩圖,下同。)
首先用NeuroScan 4.3軟件對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,包括去除眼電,去除極端偽跡數(shù)據(jù)。然后截取關(guān)鍵點(diǎn)(拼接處)之前1000 ms和之后2000 ms的數(shù)據(jù)存為EEG數(shù)據(jù),剔除判斷不正確以及偽跡污染嚴(yán)重的trial(電位超過(guò)±90 μV),每個(gè)條件平均約40個(gè)trial進(jìn)入最終的時(shí)域ERP分析和頻域ERSP和ITC分析。ERP分析中,首先以句子呈現(xiàn)前200 ms做基線校正,然后以違反點(diǎn)前200 ms為基線再做矯正,再分條件平均得到各個(gè)被試四種韻律誘發(fā)的ERP,導(dǎo)出關(guān)鍵時(shí)間窗的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,平均所有被試各條件下的ERP得到總平均圖,本文只呈現(xiàn)關(guān)鍵點(diǎn)前200 ms到關(guān)鍵點(diǎn)后1000 ms的數(shù)據(jù)。基于對(duì)總平均圖的觀察和初步分析,選取如下時(shí)間窗作為我們的興趣窗口:130~230 ms(N2),250~450 ms(早正成分)和450~900 ms(晚正成分LPC)。
運(yùn)用EEGLAB工具箱對(duì)EEG數(shù)據(jù)進(jìn)行ERO分析。該分析用正弦小波與時(shí)域數(shù)據(jù)卷積,隨著頻率升高小波周期也升高(Delorme&Makeig,2004),先進(jìn)行單試次分析,然后再進(jìn)行多個(gè)試次的平均,最終獲得各個(gè)條件下的ERSP和ITC。然后以關(guān)鍵點(diǎn)前200 ms為基線對(duì)關(guān)鍵點(diǎn)后的ERSP和ITC進(jìn)行校正。本實(shí)驗(yàn)分段的數(shù)據(jù)包括關(guān)鍵點(diǎn)之前1000 ms和之后2000 ms,保證感興趣的時(shí)間段(-200至1000 ms)在頻域處理后不被遺失。為了簡(jiǎn)明起見,ERSP和ITC數(shù)據(jù)都只選擇Cz點(diǎn)作頻譜圖,有差異的頻段和時(shí)程內(nèi)的全腦數(shù)據(jù)做地形分布圖,見圖5。
然后以變化(CHANGE:有情緒變化 vs.無(wú)情緒變化)和關(guān)鍵韻律類型TYPE:憤怒vs.中性)為被試內(nèi)因素對(duì)正確率數(shù)據(jù)做重復(fù)測(cè)量方差分析。以CHANGE、TYPE和電極點(diǎn)(ELECTRODE:F5,FZ,F6,C5,CZ,C6,P5,PZ,P6,前中后和左中右各取一個(gè)電極)為被試內(nèi)因素對(duì)ERP數(shù)據(jù)做重復(fù)測(cè)量方差分析。ERSP和ITC數(shù)據(jù)先用EEGLAB工具箱導(dǎo)出統(tǒng)計(jì)差異圖,找到有顯著差異的頻段和時(shí)間窗,然后導(dǎo)出該范圍的數(shù)據(jù)做統(tǒng)計(jì)分析(因素設(shè)置跟ERP數(shù)據(jù)相同)。當(dāng)自由度分子大于1時(shí),F
值都進(jìn)行Greenhouse-Geisser校正,P
值進(jìn)行 Bonferroni校正。F
(1,13)=0.02,p
=0.90;TYPE:F
(1,13)=0.71,p
=0.42;CHANGE×TYPE:F
(1,13)=2.23,p
=0.16]。由于實(shí)驗(yàn)中被試在語(yǔ)句呈現(xiàn)完成后再做反應(yīng),反應(yīng)時(shí)數(shù)據(jù)有不同延遲,故未作分析。圖2 對(duì)四種韻律判斷的正確率(M±SE)。
t
(13)=5.02,p
<0.001。在該負(fù)成分之后,包含情緒變化的韻律誘發(fā)了更大波幅的正飄移。下文分時(shí)間窗做具體分析。F
(8,104)=4.08,p
<0.05,η
=0.24]和CHANGE 效應(yīng)[F
(1,13)=9.51,p
<0.01,η
=0.42],其他主效應(yīng)和交互作用均不顯著。兩兩比較表明,有情緒變化的韻律誘發(fā)N2波幅更大,右中前部F6、C6電極N2波幅相對(duì)較大,而后部電極P5、P6、PZ的N2波幅相對(duì)較小(見圖3B地形圖)。F
(8,104)=5.20,p
<0.01,η
=0.29,事后比較發(fā)現(xiàn)中部電極的ERP相對(duì)雙側(cè)電極顯著更正(ps
<0.01)。還發(fā)現(xiàn)顯著的TYPE主效應(yīng)[F
(1,13)=14.19,p
<0.01,η
=0.52]和CHANGE 主效應(yīng)[F
(1,13)=6.96,p
<0.05,η
=0.35]。另外CHANGE與TYPE有顯著的交互作用,F
(1,13)=28.55,p
<0.001,η
=0.69。簡(jiǎn)單效應(yīng)分析發(fā)現(xiàn)從中性變化到憤怒的韻律相對(duì)全無(wú)變化憤怒韻律誘發(fā)顯著更大的正成分,F
(1,13)=21.57,p
<0.001;而相對(duì)無(wú)轉(zhuǎn)換的中性韻律,“憤怒—中性”韻律在則沒(méi)有誘發(fā)顯著更大的正成分,F
(1,13)=0.08,p
=0.778(見圖3 ERP波形圖和地形圖)。F
(1,104)=16.91,p
<0.001,η
=0.57]、CHANGE 主效應(yīng)[F
(1,13)=7.50,p
<0.05,η
=0.37]以及兩因素的交互作用[F
(8,104)=4.80,p
<0.01,η
=0.27]。簡(jiǎn)單效應(yīng)分析表明變化效應(yīng)出現(xiàn)在中部和后部電極[C5:F
(1,13)=5.07,p
<0.05,C6:F
(1,13)=3.61,p
=0.08,CZ:F
(1,13)=9.05,p
<0.01,P5:F
(1,13)=11.70,p
<0.01,P6:F
(1,13)=10.40,p
<0.01,PZ:F
(1,13)=22.92,p
<0.001],且后中部電極PZ的幅度值最大(見圖3 ERP波形圖和地形圖)。圖3 四種韻律誘發(fā)的ERP。A:各個(gè)條件在中線3個(gè)代表性電極點(diǎn)上的ERPs;B:四種韻律誘發(fā)ERP在興趣時(shí)間窗的地形圖。
如圖4可見,包含情緒變化的韻律(na和an)相對(duì)于無(wú)變化的韻律(aa和nn)在theta和beta頻段的能量都有顯著的變化。下文分頻率段做具體分析。
Theta頻段(4~6 Hz)ERSP在200到600 ms較長(zhǎng)時(shí)程內(nèi)出現(xiàn)差異,重復(fù)測(cè)量方差分析表明CHANGE主效應(yīng)顯著,F
(1,13)=11.58,p
<0.001,η
=0.27,其他條件主效應(yīng)及交互作用的均不顯著,說(shuō)明情緒變化相對(duì)于無(wú)情緒變化的韻律都會(huì)引起theta的能量的增加。Theta頻段(4~6 Hz)ITC在0到500 ms時(shí)程內(nèi)出現(xiàn)差異,重復(fù)測(cè)量方差分析表明CHANGE主效應(yīng)顯著,F
(1,13)=7.84,p
<0.05,η
=0.38,說(shuō)明情緒變化相對(duì)于無(wú)情緒變化的韻律都會(huì)引起theta頻段試次間相位一致性性增高。其他條件主效應(yīng)及交互作用的均不顯著。Beta頻段差異的頻率和時(shí)程有較大差別,將兩種變化模式分別分析。從中性到憤怒的韻律選擇CZ和C6兩個(gè)電極點(diǎn),取23到25 Hz在500到700 ms內(nèi)能量做重復(fù)測(cè)量方差分析,發(fā)現(xiàn)有變化的韻律能量顯著降低,F
(13)=7.26,p
<0.05,η
=0.36。而憤怒到中性的韻律相對(duì)無(wú)情緒變化的中性韻律beta能量降低主要出現(xiàn)在20~24 Hz的450到700 ms時(shí)程內(nèi),選擇9個(gè)電極做方差分析發(fā)現(xiàn)CHANGE主效應(yīng)邊緣性顯著,F
(13)=4.41,p
=0.056,η
=0.25,進(jìn)一步分析這種降低主要出現(xiàn)C3、CZ和P5幾個(gè)電極。憤怒變化到中性的韻律相對(duì)于無(wú)情緒變化的中性韻律Beta頻段ITC差異出現(xiàn)在19~21 Hz,300到600 ms的時(shí)程內(nèi)。重復(fù)測(cè)量方差分析表明CHANGE主效應(yīng)顯著,F
(1,13)=8.65,p
<0.001,η
=0.40,說(shuō)明從憤怒到中性變化的韻律在該頻段試次相干性增加。而中性到憤怒相對(duì)于無(wú)變化的憤怒韻律在C3點(diǎn)24~26Hz頻段內(nèi),600至800 ms的時(shí)程內(nèi)ITC顯著增加t
(13)=2.38,p
<0.05。圖4 四種韻律誘發(fā)的ERSP。方形圖為4種韻律所對(duì)應(yīng)的ERSP,豎虛線對(duì)應(yīng)于韻律中的拼接點(diǎn),紅色代表能量增加,藍(lán)色代表能量降低,單位為分貝。方形圖右側(cè)為有、無(wú)情緒變化韻律之間有顯著差異的頻段和時(shí)程所對(duì)應(yīng)的能量分布地形圖。
本研究采用交互拼接技術(shù)構(gòu)建語(yǔ)音情緒變化,記錄被試不關(guān)注情緒時(shí)語(yǔ)音情緒變化誘發(fā)的腦電以考查語(yǔ)音情緒變化加工的神經(jīng)生理機(jī)制,結(jié)果發(fā)現(xiàn)語(yǔ)音情緒變化誘發(fā)反映變化檢測(cè)與整合的N2/P3復(fù)合成分,同時(shí)4~6 Hz的theta能量顯著增加,ITC也顯著提高,而beta頻段能量在有所下降。這些神經(jīng)生理特征受情緒變化模式的調(diào)節(jié),激烈的情緒變化檢測(cè)時(shí)間早,theta能量和相位變化更強(qiáng)烈。下文對(duì)上述結(jié)果及意義分別進(jìn)行討論。
圖5 四種韻律誘發(fā)的ITC。方形圖為4種韻律所對(duì)應(yīng)的ITC,豎虛線對(duì)應(yīng)于韻律中的拼接點(diǎn),紅色代表試次間相關(guān)系數(shù)增大,綠色代表降低。方形圖右側(cè)為有、無(wú)情緒變化韻律之間有顯著差異的頻段和時(shí)程所對(duì)應(yīng)的ITC分布地形圖。
當(dāng)被試不關(guān)注情緒變化,僅就情緒韻律的聲學(xué)特征完成任務(wù)時(shí),語(yǔ)音情緒的變化仍然誘發(fā)早期負(fù)波加晚正波的復(fù)合成分。而且該復(fù)合成分的特征受到變化模式的調(diào)節(jié),變化越激烈早期負(fù)波的潛伏期更早,前中部正成分(類P3a)越明顯。這些結(jié)果跟Chen等人(2011;2012)的研究一致,跟Kotz等人(Kotz&Paulmann,2007;Paulmann et al.,2012)的系列研究發(fā)現(xiàn)也有相似性,即情緒韻律變化誘發(fā)PEP。但是,Kotz等人的研究?jī)H用了中性到情緒性的變化,情緒凸顯性都較高,造成正成分十分明顯,而且他們的研究也只報(bào)告了該正成分。問(wèn)題在于,語(yǔ)音情緒變化的檢測(cè)不可能需要300ms以后才被人腦所檢測(cè)到,因?yàn)檫@跟oddball范式研究的結(jié)果相左(Goydke et al.,2004;Th?nnessen et al.,2010)。因此,結(jié)合Chen等人(2011;2012)的研究,本研究認(rèn)為語(yǔ)音情緒變化誘發(fā)的早期負(fù)成分(從產(chǎn)生機(jī)理、潛伏期和地形圖分布來(lái)看,類似于oddball范式中的N200)反應(yīng)了人腦對(duì)語(yǔ)音情緒變化的檢測(cè)和對(duì)新異刺激的注意。該負(fù)成分之后的正成分,包括中性到憤怒條件下的稍早的前中部分布正波以及兩種轉(zhuǎn)換中均存在的中后部分布的晚正成分LPC,可能反應(yīng)了對(duì)語(yǔ)音情緒變化的再加工以及重新整合。
事實(shí)上,這一推斷跟語(yǔ)音和音樂(lè)的研究結(jié)果相一致。如語(yǔ)句中句法的違反會(huì)誘發(fā)早期成分ELAN加晚期正成分P600的復(fù)合波,Friederici等人(Friederici,2002)曾提出這種組合分別反應(yīng)了句法違反的檢測(cè)和再整合。另外,音樂(lè)旋律中個(gè)別音符音高的違反形成旋律句法的違反也有類似的發(fā)現(xiàn)(Koelsch,2010;Sch?n et al.,2004)。本文關(guān)注的語(yǔ)音情緒也是負(fù)載于聲音載體之上,表現(xiàn)一種情緒的韻律就有其固有的發(fā)展趨勢(shì),讓聽者逐步構(gòu)建預(yù)期,一旦語(yǔ)音情緒發(fā)生變化,大腦將迅速檢測(cè)到該變化并進(jìn)行再加工。
這種變化檢測(cè)與整合的現(xiàn)象可能具有進(jìn)化論層面的意義。事實(shí)上,語(yǔ)音情緒是比語(yǔ)言更為原始的一種交流信號(hào),在人類和其他物種都廣泛使用。生活中不難發(fā)現(xiàn),人和其他物種都能迅速檢測(cè)交際對(duì)方語(yǔ)音情緒的變化并采用相應(yīng)的對(duì)策。這種推測(cè)得到本研究所觀察到另一現(xiàn)象的支持,即語(yǔ)音情緒變化的激烈程度影響情緒變化引起的ERP成分的特征。當(dāng)從中性變成憤怒時(shí),N200潛伏期更短,前中部分布的正成分更明顯,而反向變化,情緒變化不夠激烈時(shí),則N200潛伏期稍長(zhǎng),只有反映后期整合的LPC。這再次說(shuō)明語(yǔ)音情緒變化的加工是一個(gè)變化檢測(cè)到再整合的過(guò)程,變化的模式具有調(diào)節(jié)作用。
時(shí)域分析明晰了語(yǔ)音情緒變化加工是變化檢測(cè)與再整合的過(guò)程,且人腦對(duì)此十分敏感。但人腦是靠何種機(jī)制迅速檢測(cè)這種變化并重新整合?本研究通過(guò)對(duì)EEG數(shù)據(jù)的ERSP和ITC分析,對(duì)這一問(wèn)題進(jìn)行探討。結(jié)果表明,語(yǔ)音情緒變化導(dǎo)致了theta頻段(4~6 Hz)ERSP的增加和ITC的增加,theta能量提升發(fā)生在變化約200 ms之后,而變化發(fā)生之后立即出現(xiàn)ITC的提升。此外語(yǔ)音情緒的變化導(dǎo)致了beta(na:23~25 Hz;an:20~24 Hz)ERSP的降低,還導(dǎo)致了beta(na:24~26 Hz;an:19~21 Hz)頻段ITC增加。
Theta能量和相位變化的結(jié)果跟前人研究結(jié)果一致。Fuentemilla等人(2008)曾經(jīng)考察了聽覺MMN的神經(jīng)生理源,發(fā)現(xiàn)前中部分布的MMN主要源于刺激變化引發(fā)的theta能量和試次間相位同步性的增加。Yordanova等(1998)發(fā)現(xiàn)theta能量增加是時(shí)域P300成分的主要貢獻(xiàn)者。另外,其他一些有關(guān)規(guī)則違反的研究也發(fā)現(xiàn)期待違反引起theta頻段的能量增強(qiáng),能量增幅與違反強(qiáng)度之間存在線性關(guān)系(Cavanagh et al.,2010;Tzur&Berger,2007)。將本研究關(guān)注的語(yǔ)音情緒變化置于聲音變化研究的大背景之下,可以很容易找到本研究與前人研究的相似性—— 都依靠一些刺激(大概率刺激或連續(xù)的同類刺激)來(lái)提取規(guī)則并形成對(duì)即將到來(lái)刺激的期待,而隨后刺激違反原有規(guī)則發(fā)展,構(gòu)成了期待違反。因此,基于本研究的結(jié)果和已有的研究事實(shí),可以推知theta能量的變化和相位特征的改變是語(yǔ)音情緒變化快速檢測(cè)并重新整合最主要的神經(jīng)生理源。
除了theta能量和相位的變化之外,beta頻段的能量和相位在語(yǔ)音情緒變化中也發(fā)生了顯著的變化。Beta能量(15~25 Hz)活動(dòng)被認(rèn)為和動(dòng)作控制相關(guān)(Pfurtscheller&Lopes da Silva,1999)。而言語(yǔ)相關(guān)研究中,beta能量的功能還沒(méi)有一致說(shuō)法,Bastiaansen等人認(rèn)為16~21 Hz beta能量的降低可能反應(yīng)了視覺輸入的感知加工(Bastiaansen,van der Linden,Ter Keurs,Dijkstra,&Hagoort,2005),而另有研究則發(fā)現(xiàn)13~30 Hz能量下降和短語(yǔ)的結(jié)構(gòu)違反相關(guān),認(rèn)為該頻段能量降低反映了語(yǔ)法規(guī)則違反的加工(Davidson&Indefrey,2007)。最近有研究發(fā)現(xiàn)與期待不符的韻律結(jié)構(gòu)也導(dǎo)致beta(20~24 Hz)能量的降低,可能反映了對(duì)這種反常韻律結(jié)構(gòu)的再加工(Luo,Zhang,Feng,&Zhou,2010)。本研究中,兩種含有情緒變化的韻律都導(dǎo)致beta能量的顯著降低,而ITC值升高,出現(xiàn)的時(shí)間在較晚的400到500 ms之后。這和前人研究結(jié)果一致,可能反應(yīng)了對(duì)韻律情緒期待違反的再加工。
和時(shí)域的結(jié)果相似,語(yǔ)音情緒變化的模式對(duì)ERSP和ITC都有影響,不過(guò)這種影響并不顯著,僅表現(xiàn)了一種趨勢(shì)。這和Chen等人(2012)發(fā)現(xiàn)的“情緒變化越激烈,其誘發(fā)的能量就越強(qiáng)烈”不完全一致,可能反應(yīng)內(nèi)隱加工與外顯加工的差異。beta頻段能量和相位特征在兩種情緒變化中沒(méi)有顯著差異。這可能和該頻段主要和對(duì)情緒變化的再加工有關(guān),因?yàn)樵趦煞N變化模式下,都涉及到對(duì)韻律情緒的再加工和重新整合。
傳統(tǒng)的腦電研究多從時(shí)域分析數(shù)據(jù),對(duì)同質(zhì)試次疊加后得到ERP,然后根據(jù)ERP出現(xiàn)差異的成分推測(cè)其后的認(rèn)知加工過(guò)程。ERP的長(zhǎng)處在于其高時(shí)間精度,對(duì)于探討認(rèn)知過(guò)程的時(shí)間進(jìn)程有無(wú)可取代的優(yōu)勢(shì),非常適合回答“when”的問(wèn)題。但是,認(rèn)知活動(dòng)的神經(jīng)生理基礎(chǔ)在于神經(jīng)細(xì)胞的電活動(dòng),神經(jīng)細(xì)胞群的電位能量變化以及相位變化可能才是認(rèn)知活動(dòng)的真正基礎(chǔ)(Klimesch,Sauseng,Hanslmayr,Gruber,&Freunberger,2007;Lopes da Silva,2006)。ERP只能就鎖時(shí)又鎖相的數(shù)據(jù)進(jìn)行分析,會(huì)丟掉不同頻段能量變化和相位變化的信息,因而無(wú)從回答認(rèn)知活動(dòng)是何以實(shí)現(xiàn)(how)的問(wèn)題。如本研究中,若只做ERP分析,可知語(yǔ)音情緒變化誘發(fā)N2/P3復(fù)合成分,進(jìn)而推知語(yǔ)音情緒變化加工是變化檢測(cè)與整合的過(guò)程,但無(wú)法回答該過(guò)程在神經(jīng)層面是如何實(shí)現(xiàn)的。
神經(jīng)振蕩分析避免直接的疊加平均,而是對(duì)單試次的數(shù)據(jù)進(jìn)行小波分析或傅里葉分析,然后再進(jìn)行多個(gè)試次的平均(Delorme&Makeig,2004),最終獲得事件相關(guān)的能量變化(ERSP)和相位變化(ITC),能更好地從神經(jīng)振蕩層面回答認(rèn)知活動(dòng)何以實(shí)現(xiàn)的問(wèn)題。如本研究中,語(yǔ)音情緒變化的檢測(cè)與整合就是因?yàn)樯窠?jīng)細(xì)胞theta頻段能量和ITC增高,beta能量降低與ITC增加得以實(shí)現(xiàn)的,這就更好地回答了語(yǔ)音情緒變化加工的神經(jīng)生理基礎(chǔ)問(wèn)題。近年來(lái),從神經(jīng)振蕩層面考察認(rèn)知活動(dòng)何以實(shí)現(xiàn)的研究越來(lái)越多。除了以病人或動(dòng)物為被試做顱內(nèi)記錄,精細(xì)地分析單個(gè)神經(jīng)細(xì)胞或神經(jīng)細(xì)胞群的能量及相位變化外,還以正常人為被試,運(yùn)用腦電圖和腦磁圖記錄數(shù)據(jù)做神經(jīng)振蕩分析(Luo,Liu,&Poeppel,2010;Mu&Han,2010),以解讀認(rèn)知活動(dòng)的神經(jīng)生理基礎(chǔ),有力地促進(jìn)了認(rèn)知神經(jīng)科學(xué)的發(fā)展。
本研究從時(shí)域和頻域考察語(yǔ)音情緒變化加工的神經(jīng)生理機(jī)制,提出語(yǔ)音情緒變化加工是變化檢測(cè)與再加工整合的過(guò)程,該過(guò)程主要依靠theta頻段能量和相位變化得以實(shí)現(xiàn)。但本研究仍存在一些局限。首先,本研究?jī)H考察中性與憤怒之間情緒變化加工的特點(diǎn),沒(méi)有涉及積極情緒以及不同情緒之間的轉(zhuǎn)換,因而將本研究的結(jié)論推及所有語(yǔ)音情緒變化加工時(shí)需要謹(jǐn)慎對(duì)待。其次,由于實(shí)驗(yàn)時(shí)間限制,本研究?jī)H用了一個(gè)錄音人的語(yǔ)音作為實(shí)驗(yàn)材料,也可能限制了本研究的外部效度。另外,本研究雖然嘗試回答了語(yǔ)音情緒變化加工神經(jīng)生理基礎(chǔ)中“when”和“how”的問(wèn)題,但由于腦電研究空間分辨率較低,尚不能很好回答“where”的問(wèn)題,即這種變化加工的腦區(qū)及大腦加工網(wǎng)絡(luò)。
這些局限都可能是未來(lái)研究的方向。首先可以擴(kuò)展研究的情緒和刺激的多樣性,并且逐步引入更具有生態(tài)效度的刺激,提高研究的生態(tài)效度。其次,未來(lái)的研究還應(yīng)當(dāng)進(jìn)一步推進(jìn)神經(jīng)振蕩分析,對(duì)不同腦區(qū)之間的相干等特性進(jìn)行深入分析。最后,也可以引入fMRI等研究手段,對(duì)語(yǔ)音情緒變化加工的腦區(qū)和網(wǎng)絡(luò)進(jìn)行深入探討,進(jìn)一步揭示語(yǔ)音情緒變化加工的神經(jīng)生理機(jī)制。
語(yǔ)音情緒變化的加工是變化檢測(cè)與再整合的過(guò)程,反映為情緒變化誘發(fā)的N2/P3復(fù)合成分以及theta和beta頻段能量和試次間相位同步性的變化。語(yǔ)音情緒變化加工是通過(guò)theta頻段能量和試次間相位同步性的增加,beta頻段能量的降低和相位一致性增加得以實(shí)現(xiàn)的。情緒變化的模式會(huì)調(diào)控情緒變化加工神經(jīng)生理特點(diǎn),變化越激烈,誘發(fā)N2/P3復(fù)合成分潛伏期越早,theta能量和相位改變也相對(duì)強(qiáng)烈。
Banse,R.,&Scherer,K.(1996).Acoustic profiles in vocal emotion expression.Journal of Personality and Social Psychology,70
(3),614–636.Ba?ar,E.,Ba?ar-Eroglu,C.,Karaka?,S.,&Schürmann,M.(2001).Gamma,alpha,delta,and theta oscillations govern cognitive processes.International Journal of Psychophysiology,39
(2-3),241–248.Bastiaansen,M.C.,van der Linden,M.,Ter Keurs,M.,Dijkstra,T.,&Hagoort,P.(2005).Theta responses are involved in lexical-semantic retrievalduring language processing.JournlofCognitive Neuroscience,17
(3),530–541.Boersma,P.,&Weenink,D.(2006).Praat:Doing phonetics by computer[computer program](Version 4.2).Retrieved July 2006,from http://www.praat.org/.
Bostanov,V.,& Kotchoubey,B.(2004).Recognition of affective prosody:Continuous wavelet measures of eventrelated brain potentials to emotional exclamations.Psychophysiology,41
(2),259–268.Cavanagh,J.F.,Frank,M.J.,Klein,T.J.,&Allen,J.J.B.(2010).Frontal theta links prediction errors to behavioral adaptation in reinforcement learning.NeuroImage,49
(4),3198–3209.Chen,X.H.,Yang,J.F.,Gan,S.Z.,&Yang,Y.F.(2012).The contribution of sound intensity in vocal emotion perception:Behavioral and electrophysiological evidence.PLoS One,7
(1),e30278.Chen,X.H.,Zhao,L.,Jiang,A.S.,&Yang,Y.F.(2011).Event-related potential correlates of the expectancy violation effectduring emotionalprosody processing.Biological Psychology,86
(3),158–167.D'Arcy,R.,Connolly,J.,Service,E.,Hawco,C.,&Houlihan,M.(2004).Separating phonological and semantic processing in auditory sentence processing:A highresolution event-related brain potential study.Human Brain Mapping,22
(1),40–51.Davidson,D.J.,&Indefrey,P.(2007).An inverse relation between event-related and time-frequency violation responses in sentence processing.Brain Research,1158
,81–92.Delorme,A.,&Makeig,S.(2004).EEGLAB:An open source toolbox for analysis of single-trial EEG dynamics including independent component analysis.Journal of Neuroscience Methods,134
(1),9–21.Dietrich,S.,Ackermann,H.,Szameitat,D.,&Alter,K.(2006).Psychoacoustic studies on the processing of vocal interjections:How to disentangle lexical and prosodic information?Progress in Brain Research,156
,295.Friederici,A.D.(2002).Towards a neural basis of auditory sentence processing.Trends in Cognitive Sciences,6
(2),78–84.Fuentemilla,L.,Marco-Pallarés,J.,Münte,T.F.,&Grau,C.(2008).Theta EEG oscillatory activity and auditory change detection.Brain Research,1220
(1),93–101.Goydke,K.N.,Altenmüler,E.,M?ller,J.,&M?nte,T.F.(2004).Changes in emotional tone and instrumental timbre are reflected by the mismatch negativity.Cognitive Brain Research,21
(3),351–359.Hahne,A.,&Jescheniak,J.D.(2001).What's left if the Jabberwock gets the semantics?An ERP investigation into semantic and syntactic processes during auditory sentence comprehension.Cognitive Brain Research,11
(2),199–212.Jiang,A.S.,Chen,X.H.,&Yang,Y.F.(2009).The time course of verbal emotional prosody processing.Advances in Psychological Science,17
(6),1109–1115.[江愛世,陳煦海,楊玉芳.(2009).言語(yǔ)情緒韻律加工的時(shí)間進(jìn)程.心理科學(xué)進(jìn)展,17
(6),1109–1115.]Klimesch,W.,Sauseng,P.,Hanslmayr,S.,Gruber,W.,&Freunberger,R.(2007).Event-related phase reorganization may explain evoked neural dynamics.Neuroscience and Biobehavioral Reviews,31
(7),1003–1016.Koelsch,S.(2010).Towards a neural basis of music-evoked emotions.Trends in Cognitive Sciences,14
(3),131–137.Kotz,S.A.,&Paulmann,S.(2007).When emotional prosody and semantics dance cheek to cheek:ERP evidence.Brain Research,1151
(2),107–118.Lopes da Silva,F.H.(2006).Event-related neural activities:What about phase?Progress in Brain Research,159
,3–17.Luo,H.,Liu,Z.,&Poeppel,D.(2010).Auditory cortex tracks both auditory and visual stimulus dynamics using lowfrequency neuronal phase modulation.PLoS Biology,8
(8),e1000445.Luo,Y.,Zhang,Y.,Feng,X.,&Zhou,X.(2010).EEG oscillations differentiate semantic and prosodic processes during sentence reading.Neuroscience,169
(2),154–164.
Magne,C.,Schon,D.,&Besson,M.(2006).Musician children detect pitch violations in both music and language better than nonmusician children: Behavioral and electrophysiological approaches.Journal of Cognitive Neuroscience,18
(2),199–211.Mu,Y.,&Han,S.H.(2010).Neural oscillations involved in self-referential processing.NeuroImage,53
(2),757–768.N??t?nen,R.(2007).The mismatch negativity:Where is the big fish?Journal of Psychophysiology,21
(3-4),133–137.Newman,R.,Connolly,J.,Service,E.,&Mcivor,K.(2003).Influence of phonological expectations during a phoneme deletion task:Evidence from event-related brain potentials.Psychophysiology,40
(4),640–647.Paulmann,S.,Jessen,S.,&Kotz,S.A.(2012).It's special the way you say it:An ERP investigation on the temporal dynamics of two types of prosody.Neuropsychologia,50
(7),1609–1620.Paulmann,S.,Pell,M.D.,&Kotz,S.A.(2008).Functional contributions of the basal ganglia to emotional prosody:Evidence from ERPs.Brain Research,1217
(4),171–178.Paulmann,S.,&Kotz,S.A.(2008).An ERP investigation on the temporal dynamics of emotional prosody and emotional semantics in pseudo-and lexical-sentence context.Brain and Language,105
(1),59–69.Pfurtscheller,G.,&da Silva,F.H.L.(1999).Event-related EEG/MEG synchronization and desynchronization:Basic principles.Clinical Neurophysiology,110
(11),1842–1857.Polich,J.(2007).Updating P300:An integrative theory of P3a and P3b.Clinical Neurophysiology,118
(10),2128–2148.Polich,J.,& Kok,A.(1995).Cognitive and biological determinants of P300:An integrative review.Biological Psychology,41
(2),103–146.Sch?n,D.,Magne,C.,&Besson,M.(2004).The music of speech:Music training facilitates pitch processing in both music and language.Psychophysiology,41
(3),341–349.Thierry,G.,&Roberts,M.(2007).Event-related potential study of attention capture by affective sounds.Neuroreport,18
(3),245–248.Th?nnessen,H.,Boers,F.,Dammers,J.,Chen,Y.H.,Norra,C.,&Mathiak,K.(2010).Early sensory encoding of affective prosody:Neuromagnetic tomography of emotional category changes.NeuroImage,50
(1),250–259.Tzur,G.,&Berger,A.(2007).When things look wrong:Theta activity in rule violation.Neuropsychologia,45
(13),3122–3126.Wambacq,I.J.A.,Shea-Miller,K.J.,&Abubakr,A.(2004).Non-voluntary and voluntary processing ofemotional prosody:An event-related potentials study.Neuroreport,15
(3),555–559.Winkler,I.,Denham,S.,&Nelken,I.(2009).Modeling the auditory scene:Predictive regularity representations and perceptual objects.Trends in Cognitive Sciences,13
(12),532–540Yordanova,J.,&Kolev,V.(1998).Single-sweep analysis of the theta frequency band during an auditory oddball task.Psychophysiology,35
(1),116–126.