蔣宇宸 蔡 笑 張清芳

(中國人民大學(xué)心理學(xué)系,北京 100872)

1 引言

口語產(chǎn)生是指將思想通過發(fā)音器官進(jìn)行表達(dá)的過程(張清芳,楊玉芳,2003b),通常經(jīng)歷概念化(conceptualization)、言語組織(formulation)以及發(fā)音運動(articulation)三個階段。首先,講話者需要在概念層面明確自己想要表達(dá)的內(nèi)容,其次,對特定的概念信息進(jìn)行組織并建立相應(yīng)的發(fā)音運動程序,包括詞條選擇(lexical selection),詞素音位編碼(morphophonological encoding),音 韻 編 碼(phonological encoding)以及語音編碼(phonetic encoding)。最后,通過聲帶運動將發(fā)音目標(biāo)以聲音的形式輸出(Levelt,Roelofs,&Meyer,1999;Roelofs,1997)。音韻編碼階段的加工單元是口語產(chǎn)生研究的爭論焦點之一。

1.1 口語產(chǎn)生中音韻編碼單元的跨語言差異

研究表明印歐語系中音素是音韻編碼階段首先被提取的加工單元。Dell (1986)發(fā)現(xiàn)在字母語言中發(fā)生的語誤現(xiàn)象主要為音素遺漏或音素替換。采用內(nèi)隱啟動范式,研究者發(fā)現(xiàn)連續(xù)命名首音素相同的目標(biāo)詞(例如cible-cintre-cerf),其反應(yīng)時快于首音素不同的條件,出現(xiàn)了首音素促進(jìn)效應(yīng)(Alario,Perre,Castel,&Ziegler,2007;Damian &Bowers,2003;Jacobs &Dell,2014;Meyer,1991)。采用形容詞-名詞命名任務(wù),Damian 與Dumay (2007)發(fā)現(xiàn)被試命名首音素相同的詞對(例如green goat)快于首音素不同的詞對(例如green rug)。另外,利用圖詞干擾范式(Damian &Martin,1999)與掩蔽啟動范式(Forster &Davis,1991;Schiller,2008),研究者都發(fā)現(xiàn)了首音素促進(jìn)效應(yīng)。

然而,研究表明漢語口語產(chǎn)生中的音韻編碼單元是音節(jié)而非音素。漢語中的語誤現(xiàn)象主要為音節(jié)交換錯誤(Chen,2000)。Chen,Chen 和Dell (2002)采用內(nèi)隱啟動范式,發(fā)現(xiàn)音節(jié)同質(zhì)條件比音節(jié)異質(zhì)條件的命名反應(yīng)時更短,但音素同質(zhì)條件與音素異質(zhì)條件之間無顯著差異。利用掩蔽啟動范式(Chen,O’Seaghdha,&Chen,2016)和圖詞干擾范式(張清芳,楊玉芳,2005),研究者發(fā)現(xiàn)了相同模式的結(jié)果。岳源和張清芳(2015)結(jié)合圖詞干擾范式與不同的實驗任務(wù)(即時命名,延時命名,延時命名與發(fā)音抑制相結(jié)合),發(fā)現(xiàn)音節(jié)促進(jìn)效應(yīng)發(fā)生在音韻編碼階段,并且該促進(jìn)作用是一個穩(wěn)定可靠的效應(yīng)(Cohen

d

=0.85 >0.8) (Cohen,1988)。上述研究結(jié)果一致地表明音節(jié)是漢語口語詞匯產(chǎn)生中音韻編碼階段最先被提取的單元。

根據(jù)跨語言研究的不同結(jié)果,O’Seaghdha,Chen 和Chen (2010)提出了有關(guān)音韻編碼的合適單元假說(proximate units principle)。合適編碼單元(proximate units)指的是激活詞匯詞素之后首先被加工的音韻編碼單元,最先選擇的單元存在語言上的差異：印歐語系如英語或荷蘭語中最先選擇的單元是音素,而在漢語中則為音節(jié)。在印歐語系中,講話者在選擇音素后,結(jié)合節(jié)律信息進(jìn)行音節(jié)化過程,從心理音節(jié)表中提取音節(jié)準(zhǔn)備發(fā)音運動程序。漢語口語產(chǎn)生中講話者在選擇音節(jié)后進(jìn)一步分解為音素或音段信息(音韻編碼),準(zhǔn)備發(fā)音運動程序(語音編碼),最后進(jìn)行發(fā)音,輸出口語產(chǎn)生的結(jié)果(發(fā)音運動) (同見Roelofs,2015)。

音韻編碼單元的跨語言差異與不同語言各自的特點密切相關(guān)。在漢語中,音節(jié)是受具體語言的語義和結(jié)構(gòu)制約的最小自然發(fā)音單位,對口語產(chǎn)生具有重要意義(張清芳,2005)。一方面,漢語的音節(jié)數(shù)量遠(yuǎn)遠(yuǎn)低于其他字母語言(張清芳,楊玉芳,2005),另一方面,漢語的音節(jié)邊界相對清晰,不存在字母語言中重新音節(jié)化的現(xiàn)象。因此,對漢語而言,更加經(jīng)濟高效的加工方式是將詞條的音節(jié)信息儲存在長時記憶中,并在音韻編碼的早期進(jìn)行直接提取。而在印歐語系中,音節(jié)的數(shù)量巨大,在發(fā)音過程中存在大量重新音節(jié)化的現(xiàn)象(Levelt et al.,1999),因此,講話者在音韻編碼階段首先提取的加工單元是音素。

研究者采用事件相關(guān)電位(event-related potential,ERP)技術(shù)對該問題進(jìn)行了研究。Qu,Damian 和Kazanina (2012)采用首音素重復(fù)范式(如首音素重復(fù)的“黃盒子”和首音素不重復(fù)的“綠盒子”),在圖畫呈現(xiàn)后的200～300 ms 之間發(fā)現(xiàn)了首音素重復(fù)效應(yīng),表明音素信息在音韻編碼階段也會被激活(同見Yu,Mo,&Mo,2014)。利用圖圖干擾范式和延遲圖畫命名任務(wù),Wang,Wong,Wang 與Chen (2017)發(fā)現(xiàn)音節(jié)效應(yīng)發(fā)生在目標(biāo)圖呈現(xiàn)后的200～400 ms (音韻編碼)以及400～600 ms (語音編碼);采用掩蔽啟動范式,Zhang 和Damian (2019)發(fā)現(xiàn)在目標(biāo)圖呈現(xiàn)后的300～400 ms (音韻編碼),音節(jié)相關(guān)條件誘發(fā)了更小的ERP 波幅。雖然ERP 能夠區(qū)分不同實驗效應(yīng)的時間進(jìn)程,但上述研究都忽視了口語產(chǎn)生過程中的神經(jīng)振蕩活動(neural oscillations)。傳統(tǒng)的ERP 分析是對相同實驗條件下的神經(jīng)信號進(jìn)行疊加平均(Rugg &Coles,1995)。然而,腦電信號在經(jīng)過多次疊加后,會減弱甚至消除非相位鎖定的神經(jīng)振蕩活動(Bidelman,2015)。本研究擬采用腦電時頻分析探索漢語母語者音韻編碼加工過程中神經(jīng)振蕩的特點,特別關(guān)注的是對應(yīng)于音節(jié)和音素效應(yīng)的神經(jīng)振蕩。

1.2 θ 頻段(4～8 Hz)神經(jīng)振蕩與音節(jié)加工之間的關(guān)系

神經(jīng)振蕩被認(rèn)為是大腦神經(jīng)元的節(jié)律性反應(yīng),包括了delta (δ,<4 Hz),theta (θ,4～8 Hz),alpha (α,8～13 Hz),beta (β,13～30 Hz),gamma (γ,>30 Hz)等頻段(Ward,2003)。研究表明神經(jīng)振蕩與個體的注意、記憶、決策等認(rèn)知過程有著密切的聯(lián)系(Fell&Axmacher,2011;Jensen,Kaiser,&Lachaux,2007;Klimesch,2012;Siegel,Donner,&Engel,2012)。人類的語言活動同樣會引發(fā)特定頻段的神經(jīng)振蕩(Giraud &Poeppel,2012;Lewis,Wang,&Bastiaansen,2015)。例如,當(dāng)被試加工存在句法錯誤的材料時,大腦β 頻段的神經(jīng)振蕩能量會顯著降低(Bastiaansen,Magyari,&Hagoort,2009)。

針對語音信息加工的認(rèn)知神經(jīng)機制,不對稱時間采樣理論(asymmetric sampling in time,AST)提出大腦的聽覺腹側(cè)通路(顳上回STG—顳上溝STS—顳下溝ITS)將按照刺激的聲學(xué)屬性進(jìn)一步分化成兩條平行的加工通路,分別負(fù)責(zé)提取音節(jié)和音素水平的信息 (Poeppel,2003)。一段連續(xù)語流中所包含的音節(jié)信息在時程上的變化速率相對音素而言是比較緩慢的,而大腦低頻的θ 活動則表征了對音節(jié)的加工(Doelling,Arnal,Ghitza,&Poeppel,2014;Howard &Poeppel,2012;Luo &Poppel,2007;Peelle,Gross,&Davis,2013)。雖然大腦神經(jīng)元的放電頻率和語音信號自身的音節(jié)變化頻率不是簡單的直接對應(yīng)關(guān)系,但這仍然提示我們θ 頻段的神經(jīng)振蕩活動與音節(jié)的加工緊密相關(guān)。

第一,大腦θ 活動的相位信息表征了對音節(jié)的追蹤(Ghinst et al.,2016;Gross et al.,2013;Molinaro,Lizarazu,Lallier,Bourguignon,&Carreiras,2016)。在Pefkou,Arnal,Fontolan 和Giraud (2017)的實驗中,研究者首先對人們自然狀態(tài)下產(chǎn)生的實驗材料(句子)音頻進(jìn)行包絡(luò)分析,得到該聲音信號中所包含的音節(jié)總數(shù),再將其除以自身的總持續(xù)時間,計算出這段音頻的音節(jié)速率,最后通過對材料進(jìn)行時程上的壓縮,以獲得不同音節(jié)速率的實驗刺激。進(jìn)入正式實驗后,主試在記錄被試腦電信號的同時,向被試播放不同音節(jié)速率的句子?；貧w分析結(jié)果發(fā)現(xiàn),個體的θ 相位一致性隨著音節(jié)速率的升高而降低,也就是說,當(dāng)句子的播放速度越快,被試越難追蹤其中的音節(jié)信息時,大腦θ 活動的相位一致性就越差。此外,研究發(fā)現(xiàn)當(dāng)被試接受連續(xù)的音節(jié)序列(syllable sequences)刺激時,θ 神經(jīng)振蕩的相位一致性會提高(Power,Mead,Barnes,&Goswami,2012)。

第二,大腦θ 活動的能量信息反映了對音節(jié)的識別。在一項跨語言的研究中,Pe?a 和 Melloni(2012)采用日語,西班牙語,意大利語三種不同語言的口語句子作為實驗材料考察西班牙語母語者和意大利語母語者語言理解的動態(tài)過程。結(jié)果發(fā)現(xiàn)不管是哪種母語類型的被試,當(dāng)聽到正序播放的句子時,θ 頻段神經(jīng)振蕩的能量顯著高于逆序播放句子的條件。并且,當(dāng)被試聽非本國語的材料時,對比正序播放和逆序播放兩種實驗條件,θ 頻段的能量活動表現(xiàn)出加工本國語言材料時相同的模式。正序播放和逆序播放的材料雖然保持了基本聲學(xué)屬性的高度一致,但倒放的材料會造成嚴(yán)重的語音扭曲(phonological distortions),導(dǎo)致個體無法理解材料的意義(Binder et al.,2000;Gross et al.,2013;Saur et al.,2010)。Pe?a 和Melloni (2012)指出,實驗材料在時程上的反向破壞了各個單詞原有的語音結(jié)構(gòu),造成個體難以切分單詞的音節(jié),從而使個體θ 頻段的神經(jīng)振蕩活動變?nèi)?。在一項關(guān)于漢語的研究中,當(dāng)研究者向被試播放音節(jié)刺激時,正放的條件相比于倒放的條件同樣誘發(fā)了更強的θ 頻段能量活動(Ding,Melloni,Zhang,Tian,&Poeppel,2015)。

綜上,行為和ERP 研究均表明音節(jié)在漢語口語產(chǎn)生過程中扮演了重要角色,語言知覺或理解的研究表明θ 頻段的神經(jīng)活動與音節(jié)加工密切相關(guān)。目前尚未有研究考察漢語口語產(chǎn)生中的音節(jié)啟動效應(yīng)是否與特定頻段的神經(jīng)振蕩活動相關(guān),而腦電時頻分析有助于我們更深入地了解漢語口語產(chǎn)生過程中對于音節(jié)的加工機制。本研究中我們采用掩蔽啟動范式,操縱啟動詞和目標(biāo)圖名稱之間的語音相關(guān)關(guān)系(音節(jié)相關(guān)-音節(jié)無關(guān),音素相關(guān)-音素?zé)o關(guān)),要求被試完成圖畫命名任務(wù),同時記錄其腦電信號,最后對EEG 數(shù)據(jù)進(jìn)行時頻分析,考察音節(jié)效應(yīng)和音素效應(yīng)發(fā)生時的神經(jīng)振蕩。在掩蔽啟動范式中,啟動詞的呈現(xiàn)時間非常短(50 ms 左右),被試對啟動刺激的加工通常是閾下的,該范式排除了個體命名策略等無關(guān)因素對實驗結(jié)果的影響(Chen et al.,2016;You,Zhang,&Verdonschot,2012)。由于θ頻段和音節(jié)的加工存在密切聯(lián)系(Ghinst et al.,2016;Gross et al.,2013;Power et al.,2012;Pe?a &Melloni,2012),我們預(yù)期會發(fā)現(xiàn)顯著的音節(jié)啟動效應(yīng),但不會發(fā)現(xiàn)顯著的音素啟動效應(yīng),相應(yīng)地,θ頻段的能量僅在音節(jié)相關(guān)和無關(guān)條件中會存在顯著差異。

2 方法

2.1 被試

23 名大學(xué)生和研究生(11 名男生,平均年齡22歲)。所有被試均為右利手,無任何精神疾病病史,母語為漢語,講標(biāo)準(zhǔn)普通話,視力或矯正視力正常。在參加實驗之前被試閱讀知情同意書并簽字,實驗之后獲得一定報酬。

2.2 材料

64 幅由黑白線條組成的圖片,選自張清芳和楊玉芳(2003a)建立的漢語圖片庫,其中用于正式實驗的圖片60 幅,練習(xí)試次圖片4 幅。每張圖片的名稱為雙音節(jié)名詞,第一個字分別與4 種實驗條件匹配。例如,圖片名稱為“鼻子” (/bi2zi5/),音節(jié)相關(guān)條件的啟動字為“彼” (/bi3/),與圖片名稱音節(jié)完全相同但聲調(diào)不同;音素相關(guān)條件的啟動字為“柏”(/bai3/),與圖片名稱的首音素相同,聲調(diào)不同。音節(jié)相關(guān)與音素相關(guān)的條件下啟動詞的詞頻(Cai &Brysbaert,2010)沒有顯著差異(

t

=0.027,

p

=0.978)。音節(jié)相關(guān)條件與音素相關(guān)條件的啟動字在隨機打亂后重新與圖片進(jìn)行匹配形成音節(jié)無關(guān)條件與音素?zé)o關(guān)條件。檢查后,兩種無關(guān)條件下的啟動字與目標(biāo)圖名稱之間不存在語音相關(guān)。4 種實驗條件下啟動詞和圖片名稱之間不存在語義和正字法相關(guān)。

2.3 設(shè)計

研究采用2×2×2 被試內(nèi)設(shè)計,自變量包括相關(guān)類型(音節(jié),音素)、相關(guān)條件(相關(guān),無關(guān))和重復(fù)次數(shù)(第一次,第二次)。每幅圖片與4 種不同類型啟動字匹配,因此每組測試中包括了240 個試次。每組測試重復(fù)兩次,因此每個被試共完成480 個試次。每個被試在每組測試中的試次呈現(xiàn)順序都是不同的,通過偽隨機的方式呈現(xiàn),保證相同的圖片之間至少間隔5 個試次,圖片名稱首音素相同的試次不會連續(xù)出現(xiàn)。

2.4 實驗儀器

E-prime 2.0 編寫實驗程序,PST SRBOX 反應(yīng)盒,麥克風(fēng)與計算機。實驗圖片均通過計算機呈現(xiàn)在屏幕中央,被試的反應(yīng)通過反應(yīng)盒連接的麥克風(fēng)記錄。實驗材料的呈現(xiàn)和被試的反應(yīng)時由電腦控制與收集。主試記錄被試是否進(jìn)行正確反應(yīng)。采用國際通用10-20 系統(tǒng)的64 導(dǎo)腦電帽,NeuroScan 系統(tǒng)記錄被試的腦電信號。

2.5 程序

實驗分為3 個階段,學(xué)習(xí)階段、測試階段和正式實驗階段。在學(xué)習(xí)階段,屏幕中央會依次呈現(xiàn)每幅圖片及其對應(yīng)的名稱2 s。主試告知被試接下來正式實驗中會出現(xiàn)這些圖片并要求被試記住圖片的內(nèi)容及其對應(yīng)的名稱。在測試階段,呈現(xiàn)圖片要求被試說出圖片名稱,當(dāng)被試對所有圖片都能正確命名時,方可進(jìn)入正式實驗。所有材料都是日常生活中常見的且命名一致性較高的圖片,所有被試均能順利完成對圖片名稱的學(xué)習(xí)。

正式實驗中每個試次的流程如下(見圖1)：首先呈現(xiàn)500 ms 的注視點(“+”),然后是500 ms 的前掩蔽(@@),接著會呈現(xiàn)49 ms 的啟動詞,隨后是20 ms的后掩蔽(@@),掩蔽消失后,屏幕中央會呈現(xiàn)目標(biāo)圖片。被試需要在2000 ms 內(nèi)又快又準(zhǔn)地對圖片進(jìn)行命名,做出反應(yīng)的同時圖片會立刻消失,間隔1000 ms后開始下一次測試。正式實驗之前有4 次練習(xí)使被試熟悉實驗任務(wù)。所有的圖片刺激均標(biāo)準(zhǔn)化為統(tǒng)一大小,啟動字為28 號宋體,掩蔽刺激(@@)為36 號宋體。完成對所有試次的命名需要100 分鐘。

2.6 腦電記錄與分析

圖1 掩蔽啟動范式實驗流程

在線記錄以左側(cè)乳突作為參考電極,離線分析時重參考為雙側(cè)乳突。同時記錄雙眼的水平眼電(HEOG)和左眼的垂直眼電(VEOG)。電極與頭皮之間的阻抗均小于5 kΩ,濾波帶通為0.05～70 Hz,信號采樣率為500 Hz。

預(yù)處理采用EEGLAB 工具包進(jìn)行(Delorme &Makeig,2004)。首先,對于信號采集時與頭部接觸不良或已損壞的電極(數(shù)量未超過總電極數(shù)的5%),采用EEGLAB 中自帶函數(shù)進(jìn)行壞導(dǎo)替換,通過“球面插值算法” (spherical interpolation),利用被替換導(dǎo)聯(lián)周圍電極的數(shù)據(jù),對信號重新估計后進(jìn)行替換(Perrin,Pernier,Bertrand,&Echallier,1989;Pivik et al.,1993)。第二,對數(shù)據(jù)進(jìn)行0.1～30 Hz 的濾波以及獨立成分分析(independent component analysis,ICA)。ICA 基于盲源信號分離技術(shù),基本思路是將多通道觀察的信號按照統(tǒng)計獨立的原則分解為若干成分(ICs)。ICA 對腦電信號中由于眨眼,肌肉運動引發(fā)的偽跡有較高的識別度(Makeig,Bell,Jung,&Sejnowski,1995)。眼電偽跡的判斷標(biāo)準(zhǔn)為：成分排序靠前,成分的頭部活動集中在前額區(qū),能量活動隨頻率升高緩慢衰減,單試次能量大。肌電偽跡的判斷標(biāo)準(zhǔn)為：成分的頭部活動分散在外側(cè)的局部地區(qū),能量活動隨頻率升高而升高,單試次能量較大。按上述標(biāo)準(zhǔn)對每個成分依次進(jìn)行檢查,并結(jié)合EEGLAB 識別偽跡成分的插件ADJUST,對偽跡進(jìn)行排除。第三,按圖片出現(xiàn)前1000 ms 以及出現(xiàn)后1500 ms 對腦電信號進(jìn)行分段,在排除波幅超過 ±100 μV 的試次以及肉眼確認(rèn)后,將數(shù)據(jù)保存。

利用Fieldtrip 工具包對數(shù)據(jù)進(jìn)行時頻分析,采用小波變換的方法(Oostenveld,Fries,Maris,&Schoffelen,2011)。單試次總時長為2500 ms,時間分辨率為10 ms;分析頻段范圍為3～30 Hz,頻率分辨率為1 Hz。小波周期以線性方式遞增,最低頻率處周期為3,最高頻率處周期為8 (同樣的標(biāo)準(zhǔn)見Li,Shao,Xia,&Xu,2019)。隨后將不同周期的正弦小波與腦電時域信號進(jìn)行卷積,進(jìn)而獲得不同頻率范圍內(nèi)各個時間點腦電信號的神經(jīng)振蕩能量值(Goupillaud,Grossmann,&Morlet,1984)。分析過程中首先對單個試次的活動能量進(jìn)行估計,再完成多試次之間的平均。以刺激出現(xiàn)前300～100 ms 作為基線,采用分貝量尺對能量活動進(jìn)行校正：dB=10× log10 (基線后能量/基線平均能量)。簡明起見,事件相關(guān)頻譜擾動(event-related spectral perturbation,ERSP)呈現(xiàn)的頻率范圍為4～20 Hz。

根據(jù)電極點分布的空間位置,研究選取了6 個興趣區(qū)(regions of interest,ROI)并對每個興趣區(qū)內(nèi)的神經(jīng)振蕩能量進(jìn)行平均,分別為：左前區(qū)(F3,FC3,FC5),中前區(qū)(Fz,FCz,Cz),右前區(qū)(F4,FC4,FC6),左后區(qū)(P5,P3,PO3),中后區(qū)(CPz,Pz,POz)與右后區(qū)(P6,P4,PO4)。采用2(相關(guān)類型：音節(jié),音素) × 2(相關(guān)條件：相關(guān),無關(guān)) × 2(重復(fù)：第一次,第二次) × 6(興趣區(qū)：左前,中前,右前,左后,中后,右后)重復(fù)測量方差分析,統(tǒng)計結(jié)果非球形性時利用Greenhouse-Geisser 法對

p

值進(jìn)行校正。在比較音節(jié)相關(guān)和無關(guān)條件,音素相關(guān)和無關(guān)條件的差異是否顯著時,我們采用了基于簇的置換檢驗(cluster-based permutation test)對數(shù)據(jù)進(jìn)行統(tǒng)計分析,該方法能夠有效地對多重比較下的

p

值進(jìn)行校正(Maris &Oostenveld,2007)。進(jìn)行置換檢驗的時間窗口為刺激出現(xiàn)后的600 ms,步長為10 ms,共6 個興趣區(qū),對感興趣的每兩個實驗條件之間的數(shù)據(jù)(時間×頻率×電極)進(jìn)行重復(fù)測量

t

檢驗,

p

值小于0.05 且在時間和空間位置上鄰近的數(shù)據(jù)點將被合并為同一個簇。隨后,計算每個簇內(nèi)

t

值的和以確定簇水平(cluster level)的統(tǒng)計信息,通過蒙特卡洛法(Monte Carlo method)進(jìn)行統(tǒng)計顯著性檢驗,隨機抽樣的次數(shù)為1000 次。

3 結(jié)果

3.1 行為結(jié)果

刪除兩個錯誤率大于10%以及兩個反應(yīng)時均值在3 個標(biāo)準(zhǔn)差之外的項目。刪除設(shè)備未記錄到的數(shù)據(jù)(2.5%)以及命名錯誤的數(shù)據(jù)(1.8%)。刪除反應(yīng)時小于200 ms 以及大于1500 ms 的數(shù)據(jù),包含偏離平均值3 個標(biāo)準(zhǔn)差之外的數(shù)據(jù)在內(nèi),占總試次的2.3%。圖2 所示為不同實驗條件變化下命名反應(yīng)時的均值和95%置信區(qū)間(confidence interval,CI)。

圖2 不同條件下命名反應(yīng)時

3.2 時頻分析結(jié)果

一名被試由于信號偽跡過大未納入后續(xù)分析。刪除反應(yīng)時小于 500 ms (5.1%),大于 1500 ms(1.0%)以及偽跡較大的試次(5.3%)。我們根據(jù)相關(guān)研究確定了 6 個連續(xù)的時間窗口：0～100 ms,100～200 ms,200～300 ms,300～400 ms,400～500 ms,500～600 ms (類似的窗口劃分見Qu et al.,2012;Zhang &Damian,2019),每個時間窗口內(nèi)θ 能量活動方差分析的結(jié)果見表1。

表1 以相關(guān)條件、相關(guān)類型、重復(fù)次數(shù)以及興趣區(qū)為自變量θ 能量活動在0～600 ms 時間窗內(nèi)的方差分析

針對音節(jié)效應(yīng)和音素效應(yīng)所進(jìn)行的基于簇的置換檢驗結(jié)果顯示,第一次重復(fù)時,右前興趣區(qū)(F4,FC4,FC6)音節(jié)相關(guān)條件比音節(jié)無關(guān)條件在刺激出現(xiàn)后的270～460 ms 之間誘發(fā)了更低的θ 頻段能量活動(

p

=0.01,4～8 Hz);左前興趣區(qū)(F3,FC3,FC5)音素相關(guān)條件比音素?zé)o關(guān)條件在刺激出現(xiàn)后的340～390 ms 誘發(fā)了更高的θ 頻段能量活動(邊緣顯著,

p

=0.052,4～8 Hz)。第二次重復(fù)時,各個興趣區(qū)的音節(jié)效應(yīng),音素效應(yīng)均不顯著。在3～30 Hz 之間其他的頻段(δ,α,β)的能量活動上,感興趣的實驗條件之間差異不顯著(見表2)。圖3a 與3b 分別呈現(xiàn)了不同重復(fù)次數(shù)下音節(jié)效應(yīng)與音素效應(yīng)的ERSP。

4 討論

本研究采用掩蔽啟動范式考察了漢語口語產(chǎn)生中音節(jié)與音素的加工過程與θ 頻段能量活動之間的關(guān)系。行為結(jié)果發(fā)現(xiàn)個體在音節(jié)相關(guān)條件下對圖片的命名快于音節(jié)無關(guān)條件,而在音素相關(guān)條件下命名反應(yīng)時慢于音素?zé)o關(guān)條件。腦電時頻分析結(jié)果表明,在圖片出現(xiàn)后的270～460 ms,θ 頻段的能量活動在音節(jié)相關(guān)與音節(jié)無關(guān)條件之間差異顯著,表現(xiàn)為音節(jié)相關(guān)條件下個體θ 頻段的能量更低,音素相關(guān)條件與音素?zé)o關(guān)條件相比無顯著差異。研究結(jié)果表明,漢語口語產(chǎn)生過程中,θ 頻段的活動反映了個體對音節(jié)信息的加工。

表2 0～600 ms 之間各頻段能量活動的音節(jié)效應(yīng)與音素效應(yīng)

圖3 a FC4 點音節(jié)相關(guān)和無關(guān)條件的事件相關(guān)頻譜擾動

圖3 b FC3 點音素相關(guān)和無關(guān)條件的事件相關(guān)頻譜擾動

在行為層面,與Zhang 和Wang (2014)的研究結(jié)果一致,由于試次重復(fù)帶來的練習(xí)效應(yīng)不僅總體降低了第二次命名的反應(yīng)時,也使得實驗關(guān)注的效應(yīng)消失了。重要的是,在第一次命名時,本研究成功重復(fù)了以往利用內(nèi)隱啟動范式(Chen et al.,2002),圖詞干擾范式(岳源,張清芳,2015)以及掩蔽啟動范式(Chen et al.,2016)發(fā)現(xiàn)的音節(jié)促進(jìn)效應(yīng);同時,我們發(fā)現(xiàn)個體在音素相關(guān)條件下命名潛伏期更長,表現(xiàn)出音素抑制效應(yīng)(Chen et al.,2016)。需要注意的是,在以往針對字母語言的研究中,呈現(xiàn)首音素相關(guān)的啟動刺激會降低個體對目標(biāo)刺激的命名反應(yīng)時(Alario et al.,2007;Damian &Bowers,2003;Damian &Martin,1999;Forster &Davis,1991;Schiller,2008)。這提示我們字母語言和漢語的口語產(chǎn)生過程是不同的,具體而言,字母語言需要在音韻編碼階段通過加工刺激的重音、音素等信息確定其音節(jié)結(jié)構(gòu)(Levelt et al.,1999);而漢語的音節(jié)數(shù)量少,音節(jié)邊界清晰,不存在重新音節(jié)化的特點,這使得漢語母語者在音韻編碼階段可以直接提取刺激的音節(jié)信息(O’Seaghdha et al.,2010)。結(jié)合本研究的反應(yīng)時結(jié)果來看,個體表現(xiàn)出的音節(jié)促進(jìn)效應(yīng)表明漢語口語產(chǎn)生中音節(jié)能夠作為獨立的信息表征單元,在音節(jié)相關(guān)條件下通過提前加工目標(biāo)刺激的音節(jié)信息降低了命名反應(yīng)時;而音素抑制效應(yīng)很有可能是相同首音素的音節(jié)協(xié)同激活(co-activation)造成的競爭導(dǎo)致的。在音素相關(guān)條件下,由于啟動刺激與目標(biāo)刺激的首音素是相同的,部分重合的信息可能導(dǎo)致以該音素開頭的音節(jié)都得到了激活,致使個體在提取目標(biāo)詞的音節(jié)信息時,受到了來自其他音節(jié)信息的干擾,延長了命名反應(yīng)時(后文將結(jié)合θ 頻段的神經(jīng)振蕩活動對音素抑制效應(yīng)的競爭機制展開具體討論)。類似的,在一項針對漢語的聽覺詞匯判斷任務(wù)中,Sereno 和Lee (2015)同樣發(fā)現(xiàn)了音素抑制效應(yīng)。盡管如此,相比于音節(jié)促進(jìn)效應(yīng)而言,我們認(rèn)為本研究的音素抑制效應(yīng)是較為微弱的：個體在第二次測試時沒有表現(xiàn)出顯著的音節(jié)促進(jìn)效應(yīng)和音素抑制效應(yīng),但相關(guān)類型與相關(guān)條件的兩因素交互作用依舊是顯著的,個體在音節(jié)相關(guān)條件下命名反應(yīng)時更快,而音素條件之間差異并不顯著。這至少說明再次命名時,被試的行為表現(xiàn)更傾向于音節(jié)促進(jìn)效應(yīng)，而非音素抑制效應(yīng)(見圖2)。

在神經(jīng)層面,我們發(fā)現(xiàn)θ 頻段的神經(jīng)振蕩活動在相關(guān)類型與相關(guān)條件之間存在交互作用：音節(jié)相關(guān)條件相比于音節(jié)無關(guān)條件,個體θ 頻段的能量更低。更重要的是,音節(jié)效應(yīng)發(fā)生在刺激出現(xiàn)后大約270～460 ms,與以往圖片命名ERP 研究中音節(jié)效應(yīng)的時間窗口一致(Cai,Yin,&Zhang,2020;Dell’acqua et al.,2010;Wang et al.,2017;Yu et al.,2014;Zhu,Damian,&Zhang,2015)。根據(jù)元分析的結(jié)果(Indefrey &Levelt,2004),個體通常在看到圖片之后的250 ms 進(jìn)入音韻編碼階段,此時漢語母語者需要提取目標(biāo)詞的音節(jié)信息并為后續(xù)加工做準(zhǔn)備。θ 頻段的能量在音節(jié)相關(guān)條件下比無關(guān)條件下更低,這存在兩種可能的解釋。第一,音節(jié)重復(fù)導(dǎo)致相同音節(jié)所引起的能量活動下降。GrillSpector,Henson 和Martin (2006)指出,個體在加工重復(fù)的刺激時神經(jīng)元活動會減弱,而這種去激活反應(yīng)表現(xiàn)為神經(jīng)振蕩能量的降低。Gruber 和Müller (2002)在客體識別的任務(wù)中發(fā)現(xiàn),在圖片呈現(xiàn)后的220～350 ms,重復(fù)的刺激比非重復(fù)的刺激誘發(fā)了更低的γ 頻段神經(jīng)振蕩能量。采用任務(wù)切換范式,研究者發(fā)現(xiàn)當(dāng)被試完成的任務(wù)前后保持一致時(重復(fù)條件),相比不一致(非重復(fù)條件),β 與γ 的能量顯著下降(Gruber,Giabbiconi,Trujillobarreto,&Müller,2006)。刺激的重復(fù)加工引起神經(jīng)振蕩能量減弱這一結(jié)果在面孔識別的研究中也得到了重復(fù)(Engell &Mccarthy,2014)。Brookes 等(2005)利用功能磁共振(functional magnetic resonance imaging,fMRI)的技術(shù),發(fā)現(xiàn)由重復(fù)引起的神經(jīng)振蕩能量下降與皮層血氧依賴水平(blood oxygenation level dependent,BOLD)的衰減密切相關(guān)。本研究中,音節(jié)相關(guān)條件下啟動詞的音節(jié)與目標(biāo)圖名稱首字的音節(jié)完全一致,這種語音上的相似性極有可能引起“重復(fù)效應(yīng)”,造成θ 頻段能量活動的降低。第二,兩種條件下認(rèn)知加工負(fù)荷的差異引起了能量的變化。來自工作記憶的研究證據(jù)表明,對于認(rèn)知加工負(fù)荷較重的任務(wù),神經(jīng)元釋放的能量相對較高,而認(rèn)知加工負(fù)荷較輕的任務(wù),神經(jīng)元釋放的能量則相對較低(Roux &Uhlhaas,2014)。在音節(jié)相關(guān)條件下,由于對目標(biāo)圖名稱的音節(jié)信息進(jìn)行了提前加工,當(dāng)被試看到目標(biāo)刺激并提取相應(yīng)的音節(jié)進(jìn)行音韻編碼時,認(rèn)知加工的負(fù)荷是相對較低的。相反,音節(jié)無關(guān)條件下,被試無法通過啟動刺激直接提取目標(biāo)圖片的音節(jié)信息,認(rèn)知加工負(fù)荷相對較高。因此,對比音節(jié)無關(guān)條件,θ 神經(jīng)振蕩活動的能量在音節(jié)相關(guān)條件下會更弱,這與行為反應(yīng)時的模式一致：被試在音節(jié)相關(guān)條件下認(rèn)知負(fù)荷更低,命名更快。

需要指出的是,在言語知覺過程中,研究者比較自然的語音材料和逆序播放的聲音刺激時,他們發(fā)現(xiàn)了在自然的語音材料知覺過程中引發(fā)了更高的θ 頻段能量活動,這與本研究發(fā)現(xiàn)的模式不一致。這是由于比較條件的不同引起的：Pe?a 和Melloni (2012)以及Ding 等(2015)的研究發(fā)現(xiàn)在言語知覺過程中,當(dāng)被試聽逆序播放的材料時,相比于正序播放的條件,θ 頻段的活動能量更低。研究者認(rèn)為逆序播放破壞了語言本身正常的語音結(jié)構(gòu),人們不能識別材料中的音節(jié),相應(yīng)皮層的神經(jīng)元活動處于抑制狀態(tài),其神經(jīng)振蕩的能量相對較低。在正序播放材料的情況下,被試能夠順利地加工材料的音節(jié)信息,相應(yīng)皮層的神經(jīng)活動處于興奮狀態(tài),其神經(jīng)振蕩的能量相對較高。我們研究中比較的是音節(jié)相關(guān)與無關(guān),是兩類興奮狀態(tài)下的比較,而言語知覺研究中比較的是興奮狀態(tài)和非興奮狀態(tài),因此產(chǎn)生了不同的模式。

與音節(jié)效應(yīng)相比,在340～390 ms 的時間窗內(nèi),我們發(fā)現(xiàn)了音素相關(guān)條件與音素?zé)o關(guān)的能量差異(邊緣顯著水平),表現(xiàn)為第一次重復(fù)時音素相關(guān)條件下θ 頻段能量活動高于音素?zé)o關(guān)條件,其能量活動模式與音節(jié)相關(guān)條件下不同。當(dāng)啟動詞和目標(biāo)圖名稱存在音素相關(guān)時,二者享有相同的首音素(啟動詞：柏/bai3/,目標(biāo)圖：鼻子/bi2//zi5/),在加工過程中首音素的重疊激活了以該音素開頭的所有音節(jié)(如：/ba/,/bang/等),對目標(biāo)音節(jié)的產(chǎn)生造成了競爭,表現(xiàn)為θ 頻段的能量活動在音素相關(guān)條件與音素?zé)o關(guān)條件對比時更強。這與Chen 等(2016)的發(fā)現(xiàn)一致,他們采用與本研究完全相同的實驗設(shè)計和任務(wù),發(fā)現(xiàn)音素相關(guān)與無關(guān)條件相比出現(xiàn)了微弱的抑制效應(yīng)。

在漢語口語詞匯產(chǎn)生中,音節(jié)效應(yīng)θ 頻段能量變化的時間早于音素效應(yīng),與已有研究中相關(guān)效應(yīng)的時間進(jìn)程一致,從能量變化的角度為“音節(jié)是音韻編碼的合適單元”提供了證據(jù)。例如,Feng,Yue和Zhang (2019)采用圖畫-詞匯干擾任務(wù),操縱了干擾詞與目標(biāo)圖名稱之間的相關(guān)關(guān)系,發(fā)現(xiàn)音節(jié)相關(guān)效應(yīng)出現(xiàn)在圖畫呈現(xiàn)后的320 ms 左右,音素相關(guān)效應(yīng)在368 ms 左右,這兩類效應(yīng)均發(fā)生于音韻編碼階段。在Zhang 和Damian (2019)的研究中,除了發(fā)生在300～400 ms 的音節(jié)效應(yīng),研究者還探測到了音素效應(yīng)：在目標(biāo)圖呈現(xiàn)后的500～600 ms,音素相關(guān)條件比音素?zé)o關(guān)條件誘發(fā)了更小的ERP 波幅。

雖然目前沒有研究者利用腦電技術(shù)直接對比印歐語母語者音素效應(yīng)與音節(jié)效應(yīng)的時間進(jìn)程,但研究者對于音節(jié)頻率效應(yīng)(syllable frequency effect)的研究也許能提供部分的證據(jù)。音節(jié)頻率效應(yīng)是指個體在語言產(chǎn)生過程中對使用頻次較高的音節(jié)加工速度更快,反應(yīng)時更短,該效應(yīng)與音節(jié)水平的加工密切相關(guān)(Levelt et al.,1999)。利用ERP 反應(yīng)鎖時(response locked)的分析方法,Burki,Cheneval 和Laganaro (2015)發(fā)現(xiàn)音節(jié)頻率效應(yīng)出現(xiàn)在被試出聲命名前的180～150 ms 之間,該時間窗正好對應(yīng)口語產(chǎn)生的語音編碼階段。Dell’Acqua 等(2010)通過對比意大利母語者口語產(chǎn)生過程中的語義效應(yīng)和語音效應(yīng),發(fā)現(xiàn)首音素重合引發(fā)的促進(jìn)效應(yīng)發(fā)生在刺激出現(xiàn)后的250～400 ms 之間,即音韻編碼階段(Indefrey &Levelt,2004)。以上的兩個研究在腦電時間進(jìn)程上為字母語言先加工音素后加工音節(jié)提供了間接證據(jù)。相比而言,我們發(fā)現(xiàn)的漢語口語詞匯產(chǎn)生中能量變化上的先后關(guān)系為音節(jié)效應(yīng)在前,音素效應(yīng)在后。漢語和印歐語系中音節(jié)和音素的提取在時間進(jìn)程上表現(xiàn)出完全相反的模式。上述對比表明不同的語言,音韻編碼中首先提取的單元不同,與“合適單元假說”的跨語言假設(shè)一致(O’Seaghdha et al.,2010)。

音節(jié)相關(guān)條件縮短圖畫命名時間,引起θ 頻段能量的減弱,而音素相關(guān)條件可能會延長圖畫命名時間,引起θ 頻段能量的增強。本研究和言語知覺的結(jié)果都表明無論是語言理解任務(wù)還是語言產(chǎn)生任務(wù),θ 頻段的能量活動與音節(jié)的加工相關(guān)。盡管如此,研究中微弱的處于邊緣顯著水平的音素效應(yīng)提示θ 頻段的能量活動可能和語音加工相關(guān)。第二次重復(fù)時在反應(yīng)時上音節(jié)和音素效應(yīng)都消失,這與已有的研究一致(Chen et al.,2016),本研究的時頻結(jié)果與反應(yīng)時結(jié)果一致,表明人類的大腦能夠迅速對加工過的刺激作出反應(yīng)。下一步的研究中可以采用英語作為目標(biāo)語言考察在行為結(jié)果上出現(xiàn)顯著的音素效應(yīng)時,θ 頻段的能量活動是否在相關(guān)條件和無關(guān)條件下存在差異,進(jìn)行跨語言之間的對比,深入考察θ 頻段的能量活動的認(rèn)知涵義。

需要注意的是,雖然傳統(tǒng)的ERP 分析方法在時間進(jìn)程上區(qū)分了音節(jié)和音素的加工順序,但ERP的幅值在不同研究中表現(xiàn)出了完全相反的模式：與Zhang 和Damian (2019)的結(jié)果不同,Dell’Acqua 等(2010)發(fā)現(xiàn)語音相關(guān)條件比語音無關(guān)條件誘發(fā)了被試更大的ERP 波幅。與語義違反的“N400 效應(yīng)”存在矛盾的實驗結(jié)果類似(van Petten &Luka,2012),ERP 波形方向和波幅大小在實驗間的不一致使研究者很難進(jìn)一步解釋語言加工的腦機制。即使ERP的結(jié)果表現(xiàn)出較高的跨實驗一致性,由于差異波并不與特定的認(rèn)知加工過程對應(yīng),我們?nèi)匀粺o法將條件之間不同的ERP 模式完全歸因于口語產(chǎn)生過程中加工機制的不同。例如,在Wang 等(2017)的研究中,音節(jié)相關(guān)條件在刺激屬性上重疊度相對較大(剪刀/jian3dao1/—鍵盤/jian4pan2/),音素相關(guān)條件在刺激屬性上重疊度相對較小(西瓜/xi 1gua1/—信封/xin4feng1/),被試進(jìn)行圖片命名時,完全有可能在閾下水平探測到了不同實驗條件之間重疊度的差異,因此音節(jié)相關(guān)條件與音節(jié)無關(guān)條件對比時差異更大,而音素相關(guān)條件與音素?zé)o關(guān)條件對比時差異更小,甚至消失。雖然本研究在實驗條件的設(shè)置上與前人研究類似,但時頻分析是對不同時間點,不同頻率區(qū)間能量大小的計算,這一指標(biāo)直接反映了不同活動速率的神經(jīng)元激活/抑制情況(Cohen,2017)。對于本研究而言,我們沒有發(fā)現(xiàn)3～30 Hz 區(qū)間內(nèi)其他頻段的能量活動在音節(jié)相關(guān)條件與音素相關(guān)條件之間存在顯著差異,表明音節(jié)相關(guān)和音素相關(guān)兩種條件之間存在的重疊度差異并沒有混淆實驗的主要結(jié)果。而且,相比音節(jié)無關(guān)條件,個體在音節(jié)相關(guān)條件下θ 頻段的活動能量更低;但對音素而言,相關(guān)條件下θ 頻段的活動能量有升高的趨勢。這種實驗條件之間相反的神經(jīng)振蕩模式反映的是個體在口語產(chǎn)生過程中對音節(jié)和音素的加工存在不同的認(rèn)知神經(jīng)機制。

綜上,我們認(rèn)為漢語口語產(chǎn)生中θ 頻段的活動反映了對音節(jié)的加工,從頻段能量變化的角度為音節(jié)是漢語口語詞匯產(chǎn)生中音韻編碼的單元提供了支持證據(jù)。我們的研究也表明人類的語言理解和語言產(chǎn)生過程在神經(jīng)振蕩上引發(fā)了相同的能量活動變化。未來還需結(jié)合不同的實驗范式,進(jìn)一步探索漢語口語產(chǎn)生中各個頻段能量活動的認(rèn)知意義。