楊思琴,江銘虎
(1. 清華大學(xué) 人文學(xué)院計(jì)算語言學(xué)實(shí)驗(yàn)室,北京 100084; 2. 清華大學(xué) 心理學(xué)與認(rèn)知學(xué)科研究中心,北京 100084)
雙語者加工漢語母語語義時(shí)對(duì)英語的ERP激活效應(yīng)的研究
楊思琴1,2,江銘虎1,2
(1. 清華大學(xué) 人文學(xué)院計(jì)算語言學(xué)實(shí)驗(yàn)室,北京 100084; 2. 清華大學(xué) 心理學(xué)與認(rèn)知學(xué)科研究中心,北京 100084)
本研究采用ERP實(shí)驗(yàn),以被試的反應(yīng)時(shí)間、錯(cuò)誤率和腦電成分N400為參考因素,探索高級(jí)雙語者在加工第一語言時(shí)是否自動(dòng)檢索第二語言。結(jié)果顯示,內(nèi)隱的英語首發(fā)音條件引起的效應(yīng)沒有體現(xiàn)在反應(yīng)時(shí)間上。在ERP實(shí)驗(yàn)結(jié)果中,被試在判斷語義相關(guān)的詞語時(shí),大腦語言區(qū)域的N400在詞語英譯首發(fā)音一致與否的情況下差異不顯著;而判斷語義無關(guān)的詞語時(shí),N400在該條件下顯著。實(shí)驗(yàn)結(jié)果分析表明,高級(jí)雙語者在深度加工第一語言時(shí),大腦可能無意識(shí)地檢索第二語言。
ERP;語義;反應(yīng)時(shí)間;N400
在過去的幾十年里,雙語者的語言加工研究一直是語言認(rèn)知領(lǐng)域一個(gè)重要的課題。在雙語者加工兩種語言渠道方面,學(xué)者們一直持有不同的觀點(diǎn)。Rodriguez-Fornells A.等人的認(rèn)知科學(xué)研究結(jié)果表明高級(jí)雙語者在加工第二語言時(shí)其第一語言加工處于抑制狀態(tài)[1]。Kroll J.F.等人的研究結(jié)果表明雙語者大腦中的兩種語言可以互相激活并有互動(dòng)發(fā)生,其他一些研究結(jié)果顯示不同語言在大腦中以獨(dú)立的形式存在[2]。
最近Thierry G.等人在中英雙語加工腦電實(shí)驗(yàn)的結(jié)果表明[3],雙語者在加工第二語言時(shí),大腦會(huì)檢索與其語義相對(duì)應(yīng)的第一語言,即其第一語言也處于激活狀態(tài),且是無意識(shí)的。與此同時(shí),他們繼續(xù)通過腦電實(shí)驗(yàn)證明了大腦在加工第二語言時(shí),對(duì)第一語言的無意識(shí)啟動(dòng)表現(xiàn)在語音而非書面文字的拼寫[4]。
原先在研究大腦雙語語言加工時(shí),主要采用交叉語言啟動(dòng)的研究范式[5]和顯性條件下的翻譯任務(wù)[6]來比較雙語者第一語言和第二語言的啟動(dòng)。但是這種研究范式使得兩種語言合在一起創(chuàng)造了一種雙語文本啟動(dòng)的效果,使得被試的行為實(shí)驗(yàn)結(jié)果即反應(yīng)時(shí)間存在較大的差異。后來又有學(xué)者采用心理學(xué)的遮蔽啟動(dòng)范式來研究雙語啟動(dòng)[7],然而這種研究范式得出的結(jié)果很大程度上受遮蔽語言程度的影響。
本研究我們采用ERP腦電實(shí)驗(yàn)的研究方法,以避免人工雙語激活和遮蔽啟動(dòng)范式帶來的負(fù)面影響。將大腦中語言區(qū)域的活動(dòng)與外界刺激在時(shí)間上鎖定起來,運(yùn)用實(shí)時(shí)的ERP成分來分析大腦對(duì)語言的理解和加工狀態(tài)。N400在腦電研究中以成為語義整合加工和語言、語義無意識(shí)啟動(dòng)的一個(gè)重要指標(biāo)。ERP的研究結(jié)果也顯示,大腦對(duì)第二語言的加工不能單獨(dú)地憑借(外顯)行為實(shí)驗(yàn)來檢測(cè)。
過去在大腦的中英雙語加工研究方面,主要以第二語言為實(shí)驗(yàn)刺激材料,在加工第二語言的語義過程中考察大腦中第一語言的啟動(dòng)情況。本ERP實(shí)驗(yàn)以反應(yīng)時(shí)間和N400為主要的考察因素,探索高級(jí)雙語者在加工第一語言時(shí),第二語言在大腦中的激活情況。掌握高級(jí)英語的被試在判斷漢語詞對(duì)的語義是否相關(guān)時(shí),考察大腦中的第二語言是否啟動(dòng)、啟動(dòng)程度以及大腦語言區(qū)域?qū)?yīng)電極點(diǎn)的N400的表現(xiàn)。
N400自Kutas與Hillyard于1980年首次報(bào)道以來[8],N400是在大腦頂葉中心電極位置上產(chǎn)生的最大負(fù)極性ERP成分,通常在詞刺激觸發(fā)后約250ms出現(xiàn)并在約400ms時(shí)到達(dá)最大振幅。由單詞刺激引發(fā)的N400對(duì)語義關(guān)系的處理高度敏感,與在語義上不一致的語境相比,先前在語義上一致語境的單詞刺激引發(fā)的N400要弱一些,即N400的振幅與單詞和其先前語義上下文之間的語義適合程度呈負(fù)相關(guān)。N400在語言認(rèn)知領(lǐng)域被廣泛運(yùn)用,給心理語言學(xué)注入了新的活力。在關(guān)于N400的多年研究中,誘發(fā)N400的實(shí)驗(yàn)范式和語言文字的特點(diǎn)有了重要的拓展。主要可分為句尾歧義詞、詞與非詞、新詞語舊詞、相關(guān)詞與無關(guān)詞幾類。
相關(guān)詞與無關(guān)詞的研究范式將英語單詞按詞性分為名詞、動(dòng)詞、副詞和形容詞,按語義分為同義詞和反義詞,或者相關(guān)詞與無關(guān)詞。也可按字形、字音的異同分為相關(guān)與無關(guān)。將一個(gè)詞設(shè)定為啟動(dòng)詞,另一個(gè)詞設(shè)定為靶詞。語義相關(guān)者,如“講述—故事”、“肌肉—血液”、“明亮—黑暗”等;無關(guān)者,如“清洗—危險(xiǎn)”、“獅子—護(hù)士”等。結(jié)果是,詞性不同、反義詞、無關(guān)詞產(chǎn)生明顯的N400。魏景漢等人[9]比較了漢語反義字與無關(guān)字,發(fā)現(xiàn)無關(guān)字在頂葉和枕葉等腦區(qū)有N450成分,與N400特征一致。
本研究根據(jù)相關(guān)詞與無關(guān)詞誘發(fā)不同的N400的原理,同時(shí)加入詞語翻譯成英語后首發(fā)音這一隱性條件,記錄被試者在判斷首發(fā)音相同條件下的詞對(duì)語義相關(guān)、無關(guān)以及首發(fā)音不相同條件下的詞對(duì)語義相關(guān)、無關(guān)四種情況下誘發(fā)的N400。取被試在360~450ms時(shí)間區(qū)間的數(shù)據(jù),通過二十多個(gè)被試疊加平均得出結(jié)果,并進(jìn)行分析。
3.1 實(shí)驗(yàn)設(shè)計(jì)
本實(shí)驗(yàn)采用隱性啟動(dòng)范式,要求掌握高級(jí)雙語的被試判斷成對(duì)呈現(xiàn)的中文詞對(duì)在語義上是否相關(guān)(見表1)。設(shè)計(jì)為2(外顯因素,語義是/否相關(guān))×2(內(nèi)隱因素,英文翻譯首發(fā)音是/否重復(fù)),實(shí)驗(yàn)任務(wù)是語義相關(guān)判斷。實(shí)驗(yàn)前,被試對(duì)實(shí)驗(yàn)材料中的一些語義相關(guān)/無關(guān)的詞對(duì)的英語翻譯后的首發(fā)音相同這一內(nèi)隱因素不知情。一方面,試驗(yàn)中的語義判斷任務(wù)保證了語義激活,另一方面,高級(jí)雙語被試者在完全處于中文語境下完成試驗(yàn)任務(wù),防止了外界環(huán)境對(duì)英語語義的啟動(dòng)。任何與詞對(duì)翻譯成英語后首發(fā)音這一因素將反映第一語言加工過程中大腦對(duì)第二語言的啟動(dòng)。
3.2 被試
本實(shí)驗(yàn)采用有償招募方式選擇被試,以漢語為第一語言并掌握高級(jí)英語者作為實(shí)驗(yàn)對(duì)象。被試的裸視和矯正視力(佩戴眼鏡后)正常,共26個(gè)被試,男女性別比例1∶1。所有被試的學(xué)歷均在本科及以上,年齡在19~24歲之間。沒有被試報(bào)告有任何神經(jīng)或心理方面的疾病,整個(gè)實(shí)驗(yàn)過程完全符合赫爾辛基宣言,所有被試在實(shí)驗(yàn)前均簽署了知情同意書,且均通過愛丁堡利手測(cè)試為右利手。被試均未參與語料的處理,實(shí)驗(yàn)前和試驗(yàn)期間完全不了解實(shí)驗(yàn)設(shè)計(jì)的隱性因素。為保證被試者的英語能力,所有的被試都提供了有效的英語語言成績(jī),雅思成績(jī)都在7分及以上,托福成績(jī)都在103分及以上。在實(shí)驗(yàn)過程中,有13名同學(xué)以左手按鍵為“語義相關(guān)”結(jié)果,右手按鍵為“語義無關(guān)”結(jié)果,另外13名同學(xué)在判斷語義過程中被要求顛倒過來,以此排除左右手任務(wù)判斷對(duì)實(shí)驗(yàn)造成的不必要影響。實(shí)驗(yàn)結(jié)束后,其中有一位女生由于特殊原因,原始腦電信號(hào)受到太多干擾,予以剔除。最后一共有25個(gè)被試的行為實(shí)驗(yàn)數(shù)據(jù)和腦電實(shí)驗(yàn)數(shù)據(jù)進(jìn)入了后續(xù)的分析。實(shí)驗(yàn)結(jié)束后,經(jīng)過調(diào)查發(fā)現(xiàn),被試均未發(fā)現(xiàn)實(shí)驗(yàn)過程中隱藏的語音條件。
3.3 實(shí)驗(yàn)材料
本實(shí)驗(yàn)選取的實(shí)驗(yàn)材料為84對(duì)中文詞對(duì)*實(shí)驗(yàn)材料的檢驗(yàn)其中文詞對(duì)語義相關(guān)程度的調(diào)查問卷鏈接: http://www.sojump.com/jq/7337894.aspx, 英文詞對(duì)語義相關(guān)程度的調(diào)查問卷鏈接: http://www.sojump.com/jq/7342613.aspx。每21對(duì)中文詞對(duì)分別滿足詞對(duì)首發(fā)音相同/語義相關(guān)、詞對(duì)首發(fā)音相同/語義無關(guān)、詞對(duì)首發(fā)音不同/語義相關(guān)、詞對(duì)首發(fā)音不同/語義無關(guān)這四個(gè)條件。所有的中文詞語均來自Cai, Q., &Brysbaert, M.制作的語料庫[10]。實(shí)驗(yàn)前我們運(yùn)用SPSS軟件分別對(duì)實(shí)驗(yàn)材料中的詞語的詞頻進(jìn)行了比較均值的配對(duì)樣本的T檢驗(yàn)分析,每對(duì)詞組的詞頻均通過顯著性檢驗(yàn)(p< 0.001),且在詞語的語義相關(guān)/無關(guān)、詞語翻譯成英語后首發(fā)音相同/不同的條件下,每組詞對(duì)的詞頻均通過顯著性檢驗(yàn)(p< 0.001)。該檢測(cè)排除了詞頻對(duì)實(shí)驗(yàn)結(jié)果的影響。所有的實(shí)驗(yàn)材料在實(shí)驗(yàn)過程中重復(fù)3次。為保證中文詞語翻譯成英語后單詞的一致性,另外10位清華的學(xué)生參加了翻譯任務(wù)。在任務(wù)完成過程中,他們提供了出現(xiàn)在腦海里的第一個(gè)翻譯結(jié)果且不能改變。翻譯結(jié)果的一致性均通過了顯著性檢驗(yàn)(p< 0.001)。
表1 語義判斷任務(wù)中的材料范例
表1中的每個(gè)單元格分別有四個(gè)不同條件下的中文詞對(duì),中文詞語翻譯成英文后的英語詞對(duì),每組詞語的語義相關(guān)度的平均值(中文詞對(duì)的語義相關(guān)度用SRC表示,英文詞對(duì)的用SRE表示,括號(hào)中的值是與之對(duì)應(yīng)的標(biāo)準(zhǔn)差)。實(shí)驗(yàn)采用問卷調(diào)查的方式,運(yùn)用李克特量表測(cè)量法,讓問卷填寫人分別根據(jù)中文詞對(duì)和英文詞對(duì)的語義相關(guān)度打分。語義相關(guān)度由1至5逐漸增加,其中1分為語義最不相關(guān),5分為語義最相關(guān)。中文詞對(duì)與英文詞對(duì)分別由兩組不同的21個(gè)人打分。問卷填寫者年齡在18~28歲以間,且均就讀于一本院校。語義相關(guān)的詞語與語義無關(guān)的詞語有顯著差異(p< 0.001),同時(shí),翻譯成英文后首發(fā)音相同的中文詞語與首發(fā)音不同的中文詞語在語義層面無顯著性差異(p> 0.1)。
表2 四種條件的詞對(duì)(詞頻單位: 1/百萬)
續(xù)表
一、語義相關(guān)首字母相同的詞對(duì)二、語義無關(guān)首字母相同的詞對(duì)三、語義相關(guān)首字母不同的詞對(duì)四、語義無關(guān)首字母不同的詞對(duì)詞語/詞頻詞語/詞頻詞語/詞頻詞語/詞頻詞語/詞頻詞語/詞頻詞語/詞頻詞語/詞頻棒球/34.19籃球/21.88猴子/26.56市場(chǎng)/32.13骨頭/31.15肌肉/23.25誠(chéng)實(shí)/29.69方便/29.3入口/15.74出口/30.52同學(xué)/30.35樓梯/24.8歐洲/27.07非洲/30.32背景/24.77耐心/27.1黑色/30.44藍(lán)色/26.29農(nóng)場(chǎng)/29.39手指/29.93顧客/29.42產(chǎn)品/26.2購(gòu)物/26.32抽煙/26.29浴室/28.8臥室/29.9眼淚/15.53小費(fèi)/11.95通訊/15.98網(wǎng)絡(luò)/29.36噩夢(mèng)/23.16阿姨/23.61牙齒/27.93舌頭/20.03家具/12.79發(fā)燒/8.7經(jīng)濟(jì)/26.56股票/14.22沙灘/15.59卡片/13.86季節(jié)/9.18春天/13.35信封/9.78大象/12.4胳膊/25.22肩膀/20.45周日/13.86香蕉/11.77物理/10.85哲學(xué)/7.15肥皂/10.85南部/10.31樹林/18.72森林/24.92皮帶/8.38植物/12.94書籍/3.25手冊(cè)/9.12草莓/9.51沙子/7.96校園/11.24教室/11.24菜單/9.69毛衣/9.99窗簾/7.81布料/2.65英鎊/9.3詩人/9.3長(zhǎng)久/9.78短暫/10.58文學(xué)/8.23芝士/5.87單車/3.55公交/5.93面條/8.79筆記/8.47財(cái)務(wù)/9.69會(huì)計(jì)/8.94節(jié)食/3.37打印/5.07學(xué)者/5.6書房/5.1詩歌/6.22利潤(rùn)/7.84首都/8.4北京/4.14日歷/5.04米飯/4.38涼爽/1.55寒冷/5.57農(nóng)民/7.3羽毛/6.74鼠標(biāo)/0.51鍵盤/3.93風(fēng)箏/3.13郵票/4.5五月/4.74三月/2.83番茄/4.74電筒/1.25牛津/3.37劍橋/2.24鋼筆/3.07西瓜/3.01
3.4 實(shí)驗(yàn)任務(wù)
被試報(bào)名后被提醒在實(shí)驗(yàn)前停止服用咖啡因等中樞神經(jīng)興奮劑以及巴比妥之類的藥物。被試來到實(shí)驗(yàn)室,首先將頭皮清洗干凈并且吹干,接著戴電極帽,告知被試實(shí)驗(yàn)流程和實(shí)驗(yàn)過程中應(yīng)注意的相關(guān)事項(xiàng)。被試被安排在一間隔音的、遠(yuǎn)離人群、車輛、電動(dòng)設(shè)備以及高頻輻射源的實(shí)驗(yàn)室里,以降低外界信號(hào)對(duì)腦電信號(hào)、被試心理的影響。實(shí)驗(yàn)室由隔音板分隔為被試間和主試間,被試間光線較為暗淡或是半暗的背景照明,使被試身心放松,同時(shí)降低光電信號(hào)對(duì)腦電的干擾。被試坐在舒服的靠背椅上,與前方的電腦屏幕之間保持著80cm左右的距離。整個(gè)實(shí)驗(yàn)過程,實(shí)驗(yàn)室保持安靜狀態(tài)。
被試在做好前期的實(shí)驗(yàn)準(zhǔn)備后,進(jìn)入實(shí)驗(yàn)環(huán)節(jié)。實(shí)驗(yàn)任務(wù)是觀看顯示屏上先后呈現(xiàn)的兩個(gè)中文詞語,并在顯示第二個(gè)詞語期間判斷兩個(gè)詞語在語義上是否相關(guān)。實(shí)驗(yàn)字體為courtier new,34號(hào)字。字體呈現(xiàn)的顏色為白色,屏幕背景為灰色,該色差可以降低電腦強(qiáng)光給被試帶來的視覺疲憊。語義相關(guān)與無關(guān)的詞語各有42對(duì),所有的詞對(duì)以隨機(jī)順序呈現(xiàn)。實(shí)驗(yàn)一共分四個(gè)小節(jié),第一個(gè)小節(jié)為實(shí)驗(yàn)的練習(xí)環(huán)節(jié),共有20對(duì)中文詞對(duì),其中語義相關(guān)與無關(guān)的詞對(duì)各占一半。練習(xí)環(huán)節(jié)的行為數(shù)據(jù)和腦電數(shù)據(jù)均不做記錄。接下來的三個(gè)小節(jié)為正式實(shí)驗(yàn),每小節(jié)實(shí)驗(yàn)有84組詞對(duì),且三個(gè)小節(jié)的詞對(duì)是重復(fù)的。整個(gè)實(shí)驗(yàn)的流程如下: 首先,屏幕中間呈現(xiàn)符號(hào)“+”并停頓200ms,以集中被試的注意力;其次,屏幕中心出現(xiàn)中文詞對(duì)中的第一個(gè)詞語并停頓500ms;接著,第一個(gè)詞語消失,屏幕呈現(xiàn)空屏,持續(xù)時(shí)間在500、600和700ms三個(gè)時(shí)間內(nèi)隨機(jī)呈現(xiàn)。然后,屏幕出現(xiàn)中文詞對(duì)的第二個(gè)詞語,此時(shí)要求被試者運(yùn)用實(shí)驗(yàn)手柄判斷兩個(gè)詞語的語義是否相關(guān)。被試按鍵判斷結(jié)束后,屏幕再一次出現(xiàn)間隔空屏,持續(xù)時(shí)間在200、300和400ms三個(gè)時(shí)間里隨機(jī)呈現(xiàn),以供被試眨眼休息。每位被試者將完成256次類似范式的實(shí)驗(yàn)。試驗(yàn)流程示意圖如圖1所示。
數(shù)據(jù)采集采用64導(dǎo)銀/氯化銀電極帽,根據(jù)國(guó)際10-20系統(tǒng)標(biāo)準(zhǔn)連接在BP(brain product GmbH, Munich, Germany)腦電信號(hào)放大器上用于記錄EEG實(shí)驗(yàn)數(shù)據(jù)(采樣率=500Hz,帶通濾波 =1~100 Hz)。兩個(gè)散電極分別置于左眼下側(cè)和右眼外側(cè),用于測(cè)量垂直眼電(VEOG)和水平眼電(HEOG)。腦電信號(hào)采集時(shí)以FCz電極作為參考電極,AFz電極用于接地電極。所有電極的電阻均被調(diào)至20 KΩ以下。EEG數(shù)據(jù)由運(yùn)行于Windows XP平臺(tái)上的Brain Vision Recorder(Brain Products, Munich, Germany)軟件進(jìn)行記錄。
圖1 試驗(yàn)流程示意圖
3.5 實(shí)驗(yàn)假設(shè)
以往有關(guān)詞組語義相關(guān)性判斷的行為實(shí)驗(yàn)結(jié)果表明,被試在進(jìn)行實(shí)驗(yàn)任務(wù)的判斷過程中,語義相關(guān)詞對(duì)的反應(yīng)速度快于語義無關(guān)詞對(duì)的反應(yīng)速度,這可能是因?yàn)槿祟惔竽X更善于識(shí)別正面刺激。本實(shí)驗(yàn)假設(shè)被試在進(jìn)行語義判斷任務(wù)中,被試對(duì)語義相關(guān)詞對(duì)的反應(yīng)時(shí)間相比語義無關(guān)詞對(duì)更短,但是內(nèi)隱的英語首發(fā)音引起的效應(yīng)可能無法在反應(yīng)時(shí)間上體現(xiàn),即英語首發(fā)音的一致與否不影響被試判斷詞對(duì)語義相關(guān)性的反應(yīng)時(shí)間。
圖2 64導(dǎo)電極分布示意圖
根據(jù)詞匯語義相關(guān)性誘發(fā)N400的相關(guān)研究和反復(fù)檢驗(yàn)結(jié)果,語義相關(guān)詞對(duì)誘發(fā)的N400振幅要小于語義無關(guān)詞對(duì)誘發(fā)的N400振幅。Thierry G.等人進(jìn)一步發(fā)現(xiàn)N400存在第一、第二語言之間存在語音方面的相關(guān)作用。本實(shí)驗(yàn)假設(shè)對(duì)于漢語英語雙語者,漢語詞對(duì)的英語譯詞的首發(fā)音一致與否可能影響N400。
4.1 行為實(shí)驗(yàn)結(jié)果
實(shí)驗(yàn)結(jié)束后,運(yùn)用E-Merge軟件將25名被試的行為實(shí)驗(yàn)結(jié)果進(jìn)行合并,并運(yùn)用E-DataAid軟件將行為實(shí)驗(yàn)數(shù)據(jù)中的反應(yīng)時(shí)間、反應(yīng)結(jié)果(正確=1/錯(cuò)誤=0)并導(dǎo)錄出對(duì)應(yīng)的詞對(duì)類型,分別計(jì)算出每個(gè)被試在四個(gè)不同條件下的平均反應(yīng)時(shí)和對(duì)應(yīng)的錯(cuò)誤率。其中第17位被試第一個(gè)條件中的某一反應(yīng)時(shí)超過100 000ms,予以剔除后計(jì)算剩余的83個(gè)條件被試的平均時(shí)間和錯(cuò)誤率。接著使用SPSS.22統(tǒng)計(jì)軟件進(jìn)行分析,對(duì)被試的平均反應(yīng)時(shí)間和錯(cuò)誤率分別進(jìn)行重復(fù)測(cè)量的多因素方差分析。平均反應(yīng)時(shí)間和錯(cuò)誤率如表3所示。
表3 被試在不同詞語條件下的反應(yīng)時(shí)(ms)和錯(cuò)誤率(%)
*括號(hào)內(nèi)為平均值的標(biāo)準(zhǔn)誤差
圖3 行為實(shí)驗(yàn)在四種條件下的平均反應(yīng)時(shí)與錯(cuò)誤率(S+, P+)代表語義相關(guān)/首發(fā)音重復(fù),(S-, P+)代表語義無關(guān)/首發(fā)音重復(fù),(S+, P-)代表語義相關(guān)/首發(fā)音不重復(fù),(S-, P-)代表語義無關(guān)/首發(fā)音不重復(fù)。
被試的平均反應(yīng)時(shí)間重復(fù)測(cè)量的多因素方差分析結(jié)果表明,反應(yīng)時(shí)間在語義相關(guān)與語義無關(guān)之間影響顯著(F(3, 81)= 26.430,p<0.001,ε=0.553),而且語義相關(guān)條件下的反應(yīng)時(shí)間明顯小于語義無關(guān)條件下的反應(yīng)時(shí)間(p<0.001)。該結(jié)果與已有判斷語義相關(guān)性的行為結(jié)果,如David E. Meyer等人的實(shí)驗(yàn)結(jié)果一致。同時(shí),詞語翻譯成英文首發(fā)音條件的反應(yīng)時(shí)間影響不顯著(F(3, 81)= 26.430,p= 1.00,ε=0.553)。這印證了該研究的猜想。而且,行為實(shí)驗(yàn)中被試在四個(gè)條件中錯(cuò)誤率很低,都在8%以下。如圖3被試的反應(yīng)時(shí)間在詞語語義條件下有顯著差異,而詞語翻譯成英語首發(fā)音的條件下其行為實(shí)驗(yàn)無顯著差異。為了進(jìn)一步觀測(cè)詞語翻譯成英語首發(fā)音條件下在大腦中是否有顯著的差異,我們通過接下來的ERP腦電數(shù)據(jù)結(jié)果對(duì)其進(jìn)行進(jìn)一步的分析。
4.2 腦電實(shí)驗(yàn)結(jié)果
我們一共采用了25個(gè)被試的ERP腦電數(shù)據(jù),本實(shí)驗(yàn)選取C系列的三個(gè)電極點(diǎn)(CZ,C1,C2)作為主要分析對(duì)象。實(shí)驗(yàn)采用Brain Version Analyzer2.0軟件進(jìn)行自動(dòng)波峰檢測(cè),選取刺激出現(xiàn)后的360ms~450ms時(shí)段作為平均波幅檢測(cè)的范圍。圖4是C1,C2,CZ三個(gè)電極點(diǎn)的平均波形圖。圖5是分別在四個(gè)條件下的360ms~450ms區(qū)間的腦電地形圖。使用SPSS.22統(tǒng)計(jì)軟件,分別對(duì)CZ,C1,C2三個(gè)電極點(diǎn)上的N400平均波幅進(jìn)行分析。
圖4 CZ,C1,C2三個(gè)電極點(diǎn)上分別在四個(gè)條件下的360~450ms時(shí)段的平均波形圖注: 曲線1.(S+, P+)代表語義相關(guān)/首發(fā)音重復(fù),曲線2.(S+, P-)代表語義相關(guān)/首發(fā)音不重復(fù),曲線3.(S-, P+)代表語義無關(guān)/首發(fā)音重復(fù),曲線4.(S-, P-)代表語義無關(guān)/首發(fā)音不重復(fù)。曲線1.(S+, P+)的波形最低(正電位最高,負(fù)電位朝上),其次分別依次是曲線2.(S+, P-)、曲線3.(S-, P+)和曲線4.(S-, P-)(負(fù)電位最高)的曲線波形。
在腦電圖中,負(fù)的腦電波主要分布在區(qū)域1,正的腦電波主要分布在區(qū)域2。由圖5可知,在各條件下腦電大小分布的圖像中,腦電波越靠近-5μV,在區(qū)域1里的顏色越深;相反腦電波越靠近5μV,區(qū)域2里的顏色越深。即區(qū)域1越深代表腦電波負(fù)向振幅越大;顏色越接近白色代表腦電波值越接近零,振幅越??;區(qū)域2顏色越深代表腦電波正向振幅越大??梢姡?dāng)被試判斷語義相關(guān)的詞對(duì)時(shí),腦電地形圖呈現(xiàn)的顏色以區(qū)域2的顏色為主;當(dāng)被試判斷語義無關(guān)的詞對(duì)時(shí),腦電地形圖呈現(xiàn)的顏色以區(qū)域1的顏色為主。這一點(diǎn)與圖4的腦電平均波形圖契合。在詞對(duì)語義相同的條件下,即(S+,P+)與(S+,P-)兩幅腦電地形圖差異不顯著,在詞對(duì)語義不相同的條件下,即(S-,P+)與(S-,P-)兩幅腦電地形圖差異顯著,且(S-,P+)的區(qū)域1的顏色明顯比(S-,P-)的區(qū)域1的顏色淺一些。這與腦電數(shù)據(jù)的統(tǒng)計(jì)分析結(jié)果互相契合。
圖5 四個(gè)條件下分別在360~450ms區(qū)間的腦電地形圖
注: (S+,P+)表示語義相關(guān)/首發(fā)音重復(fù);(S-,P+)表示語義無關(guān)/首發(fā)音重復(fù);(S+,P-)表示語義相關(guān)/首發(fā)音不重復(fù);(S-,P-)表示語義無關(guān)/首發(fā)音不重復(fù)。
使用SPSS.22統(tǒng)計(jì)軟件對(duì)腦電數(shù)據(jù)進(jìn)行重復(fù)測(cè)量的多因素方差分析,即語音(2)×語義(2)×電極點(diǎn)(3),結(jié)果表明,N400的變化其語義條件在測(cè)量過程中顯著,(F(3, 81)= 53.259,p<0.001,ε=1.000),并且語義相關(guān)條件下的N400明顯小于語義無關(guān)條件下的N400(p< 0.001),這兩項(xiàng)結(jié)果與N400已有關(guān)于判斷語義相關(guān)性的ERP結(jié)果相一致。但是,語音條件在該檢測(cè)中不顯著(F(3, 81)=1.763,p>0.01),電極點(diǎn)亦如此(F(3, 81)= 2.301,p> 0.01)。為了進(jìn)一步檢測(cè)語音條件的影響,接下來分別在語義相關(guān)與語義無關(guān)條件下進(jìn)行檢驗(yàn)。
在語義無關(guān)的條件下,對(duì)語音條件和電極點(diǎn)條件進(jìn)行重復(fù)測(cè)量的多因素方差分析,即語音(2)×電極點(diǎn)(3),結(jié)果表明: 在語義無關(guān)的條件下,語音條件的影響顯著(F(3, 81)= 4.410,p<0.046,ε=1.000),且詞語翻譯成英語首發(fā)音重復(fù)誘發(fā)的N400明顯大于詞語翻譯成英語首發(fā)音不重復(fù)誘發(fā)的N400(p<0.046)。
在語義相關(guān)的條件下,對(duì)語音條件和電極點(diǎn)條件進(jìn)行重復(fù)測(cè)量的多因素方差分析,即語音(2)×電極點(diǎn)(3),結(jié)果表明,在語義相關(guān)的條件下,語音條件的影響不顯著(F(3, 81)= 0.339,p>0.5,ε=1.000)。
綜合以上行為實(shí)驗(yàn)與腦電實(shí)驗(yàn)的結(jié)果可知,語義相關(guān)條件在行為實(shí)驗(yàn)和腦電實(shí)驗(yàn)中均有顯著影響。但是,詞語翻譯成英語后首發(fā)音相同與否的條件在行為實(shí)驗(yàn)的結(jié)果中無顯著影響。同時(shí)在腦電實(shí)驗(yàn)中,當(dāng)詞語語義相關(guān)時(shí),詞語翻譯成英語后首發(fā)音相同與否的條件在N400前后無顯著影響。只有在語義無關(guān)條件下,語音條件才呈現(xiàn)出顯著影響(F(3, 81)= 4.410,p<0.046,ε=1.000),且詞語翻譯成英語首發(fā)音重復(fù)誘發(fā)的N400明顯大于詞語翻譯成英語首發(fā)音不重復(fù)誘發(fā)的N400(p<0.046)。
本研究從事件相關(guān)電位實(shí)驗(yàn)檢測(cè)被試在閱讀隱藏中文詞語詞對(duì)的英譯首發(fā)音一致與否的兩個(gè)條件下引發(fā)N400的顯著性推論出,高級(jí)雙語者在深度加工第一語言,即母語為漢語時(shí),大腦同時(shí)會(huì)自動(dòng)檢索第二語言與之相關(guān)的語義。該研究以高級(jí)雙語者作為被試,采用認(rèn)知心理學(xué)的隱形啟動(dòng)研究范式,將詞語翻譯成英語后首發(fā)音是否相同的條件隱藏在詞匯判斷的任務(wù)中,最終在腦電記錄過程中得到了被試兩個(gè)任務(wù)的結(jié)果,其中一個(gè)是有意識(shí)的任務(wù),另一個(gè)是無意識(shí)的任務(wù)。
本研究的實(shí)驗(yàn)數(shù)據(jù)記錄和分析顯示,判斷語義相關(guān)的詞對(duì)所花的時(shí)間要短于判斷語義無關(guān)的詞對(duì)所花的時(shí)間。無獨(dú)有偶,在David E. Meyer等人的行為實(shí)驗(yàn)結(jié)果中[11]以及Thierry G.等人的實(shí)驗(yàn)結(jié)果中[12]也有類似的結(jié)果。Thierry G.等人給出的分析結(jié)果是積極反應(yīng)要快于消極反應(yīng),他們將判斷語義相關(guān)的詞對(duì)歸為積極反應(yīng),將判斷語義無關(guān)的詞對(duì)歸為消極反應(yīng)。除此之外,本實(shí)驗(yàn)結(jié)果也可以從語義系統(tǒng)理論來解釋,即基于語詞關(guān)系的表征理論[12],語義相關(guān)的詞語在情景記憶系統(tǒng)和語義記憶系統(tǒng)中,距離比較近,所以大腦在進(jìn)行語義檢索時(shí)語義相關(guān)詞語的檢索會(huì)比語義無關(guān)詞語的檢索所花的時(shí)間短,大腦任務(wù)相對(duì)簡(jiǎn)單。被試在行為實(shí)驗(yàn)的四個(gè)條件中的錯(cuò)誤率非常低,都在8%以下。
掌握高級(jí)英語被試者在判斷語義相關(guān)性任務(wù)的過程中,對(duì)隱藏在詞語中首發(fā)音這一條件沒有反應(yīng),即行為實(shí)驗(yàn)中沒有體現(xiàn)大腦語言的相互影響。說明了大腦對(duì)第二語言啟動(dòng)是無意識(shí)的。同時(shí),實(shí)驗(yàn)完成后,根據(jù)對(duì)被試的調(diào)查結(jié)果,即他們均未覺察隱藏在實(shí)驗(yàn)材料中首發(fā)音條件的這一事實(shí),也印證了大腦在加工第一語言語義過程中無意識(shí)啟動(dòng)第二語言的結(jié)論。
在腦電實(shí)驗(yàn)結(jié)果中,判斷語義無關(guān)的詞語誘發(fā)的N400明顯大于判斷語義相關(guān)的詞對(duì)所誘發(fā)的N400。該結(jié)果與相關(guān)詞與無關(guān)詞N400的研究范式結(jié)果無異議,體現(xiàn)了N400波幅反映語義差異性的事實(shí)。
為了進(jìn)一步檢測(cè)語音條件的影響,本研究分別在語義相關(guān)與語義無關(guān)條件下對(duì)首發(fā)音條件進(jìn)行檢驗(yàn)。
在語義相同情況下,詞語翻譯成英文后首發(fā)音是否相同這一條件的影響不顯著,說明高級(jí)雙語者的大腦在加工第一語言相關(guān)相近的語義時(shí),并沒有自動(dòng)檢索到第二語言。然而,在語義不同的情況下,詞語翻譯成英文后首發(fā)音是否相同這一條件的影響顯著。通過比較這兩種語義加工任務(wù)體現(xiàn)在行為實(shí)驗(yàn)結(jié)果中的耗時(shí)長(zhǎng)短和復(fù)雜程度,顯然,當(dāng)被試在加工語義無關(guān)的詞對(duì)時(shí),加工時(shí)間更長(zhǎng)且任務(wù)更為復(fù)雜。所以,在加工語義無關(guān)詞對(duì)過程中,首發(fā)音條件下N400的顯著差異說明了大腦在深度加工第一語言時(shí),會(huì)無意識(shí)地自動(dòng)檢索到第二語言。
Thierry G.等人曾根據(jù)隱藏在語義判斷任務(wù)過程中的隱形條件,即英語翻譯成漢字后首漢字是否相同所誘發(fā)顯著差異的N400,得出高級(jí)雙語者閱讀第二語言時(shí)對(duì)第一語言啟動(dòng)的研究結(jié)果。不同之處在于該研究是以第二語言作為呈現(xiàn)材料,探求大腦對(duì)第一語言的啟動(dòng)。在語義相關(guān)與語義無關(guān)兩種情況下,高級(jí)雙語者的大腦都對(duì)與之相關(guān)的第一語言的語義進(jìn)行了檢索啟動(dòng)。與其研究思路相比較,被試的思維方式和思考習(xí)慣主要是建立在根深蒂固的第一語言上,所以被試在判斷第二語言英語詞對(duì)的語義任務(wù)時(shí),大腦加工的復(fù)雜程度和語言的加工深度都會(huì)大于大腦判斷第一語言漢語詞對(duì)的語義任務(wù)程度。所以,在加工第二語言時(shí),無論在語義相關(guān)還是語義無關(guān)的判斷任務(wù)中,由首發(fā)音不同誘發(fā)的N400都是顯著的,都會(huì)自動(dòng)啟動(dòng)和檢索第一語言的語義。相比較而言,本研究直接以第一語言漢語作為實(shí)驗(yàn)材料,探究第二語言在語義判斷過程中的啟動(dòng)現(xiàn)象。由于被試習(xí)慣于運(yùn)用第一語言思考,所以在語義相同情況下,詞語翻譯成英文后首發(fā)音是否相同這一條件的影響不顯著的原因很可能是被試在這一過程加工語義相關(guān)詞所用的時(shí)間短,加工任務(wù)相對(duì)簡(jiǎn)單,所以大腦中的第二語言沒有來得及激活。
本研究和Thierry G.等人的研究表明,漢英雙語者在進(jìn)行單語言的語義加工時(shí),大腦會(huì)自動(dòng)檢索與之相對(duì)應(yīng)的另一種語言。這種檢索的程度取決于大腦加工的深度和任務(wù)的復(fù)雜程度。同時(shí),根據(jù)以上分析理論也可推論出,掌握多種語言者在進(jìn)行深入思考時(shí),兩種語言在語義層面會(huì)無意識(shí)地互相檢索啟動(dòng)。那么,這種互相啟動(dòng)是否會(huì)對(duì)人的學(xué)習(xí)和思考等認(rèn)知層面帶來影響呢?近年來雙語研究者對(duì)掌握雙語者的認(rèn)知能力有不同的觀點(diǎn)和不同的研究結(jié)果。近期Antón, E.等人的研究[13]表明,沒有證據(jù)證明單語學(xué)習(xí)的優(yōu)越性,并且也沒有科學(xué)的支持說明在一種語言環(huán)境下學(xué)習(xí)是提高學(xué)習(xí)效率的必要前提。
本研究的關(guān)鍵在于在簡(jiǎn)單的實(shí)驗(yàn)任務(wù)過程中設(shè)計(jì)了隱形條件,在以N400作為指標(biāo),發(fā)現(xiàn)掌握高級(jí)英語雙語者在深度加工第一語言漢語時(shí),對(duì)第二語言英語有啟動(dòng)作用。對(duì)于不同水平的英語雙語者來說,英語記憶在大腦認(rèn)知區(qū)域各有不同,用英語思維的能力也有所差異。在此研究基礎(chǔ)之上,本研究提出疑問并進(jìn)行大膽地猜想: 不同英語水平的雙語者,在進(jìn)行試驗(yàn)過程中誘發(fā)N400很可能會(huì)存在差異。這種類型的腦電信號(hào)差異是否可以被量化,是否可以在未來作為檢測(cè)外語學(xué)習(xí)者的水平指標(biāo)?這是一個(gè)值得進(jìn)一步研究和論證的觀點(diǎn)。同時(shí),本研究的詞匯語義判斷任務(wù)主要是以視覺層面為研究角度。在語言研究領(lǐng)域,聽覺層面也應(yīng)作為一個(gè)重要的研究方面。接下來,我們將雙語啟動(dòng)的研究推進(jìn)到以聽覺方式呈現(xiàn)的研究層面,進(jìn)一步探究與N400等語義相關(guān)的腦電成分指標(biāo)。希望對(duì)以后測(cè)量語言學(xué)習(xí)者的第二語言水平方面做出理論和實(shí)踐上的貢獻(xiàn)。
[1] Rodriguez Fornells A, Rotte M, Heinze H J, Nosselt T, Munte T F. Brain potential and functional MRI evidence for how to handle two languages with one brain [J]. Nature, 2002, 415: 1026-1029.
[2] Kroll J F, De Groot A M B. Handbook of Bilingualism: Psycholinguistic Approaches [M]. New York, Oxford Univ Press, 2005: 43-45.
[3] Guillaume T, Wu Y J. Brain potential reveal unconscious translation during foreign-language comprehension [J]. Proceedings of the National Academy of Sciences of the United States of America, 2007, 104(30): 12530-12535.
[4] Guillaume T, Wu Y J. Chinese-English Bilinguals Reading English Hear Chinese[J].The Journal of Neuroscience,2010, 30(22): 7646-7651.
[5] Dijkstra T, Timmermans M, Schriefers H. On being blinded by your other language: effects of task demands on interlingual homograph reaction [J]. Mem Lang, 2000b, 42: 455-464.
[6] De Groot A B M, Hoeks J C J. The development of bilingual memory: Evidence from word translation by trilinguals [J]. Lang Learn,1995, 45: 683-724.
[7] Grosjean F. Studying bilinguals: methodological and conceptual issues[J]. Biling Lang Cogn, 1998,1: 131-149.
[8] 趙侖. ERPs實(shí)驗(yàn)教程 [M]. 南京: 東南大學(xué)出版社,2010: 第20頁.
[9] 魏景漢、羅躍嘉編著. 事件相關(guān)電位原理與技術(shù)[M]. 北京: 科學(xué)出版社2010: p1.
[10] 語料庫: Cai Q., & Brysbaert M. SUBTLEX-CH: Chinese Word and Character Frequencies Based on Film Subtitles. Plos ONE, 2010, 5(6), e10729.
[11] Meyer D E, Schvaneveldt R W. Facilitation in Recognizing Pairs of Words: Evidence of a Dependence Between Retrieval Operations [J]. Journal of Experimental Psychology, 1971,90(2): 227-234.
[12] 楊玉芳. 心理語言學(xué)[M].北京: 科學(xué)出版社,2015: p171.
[13] Antón E, Guillaume T, Duabeitia J A. Mixing Languages during Learning? Testing the One Subject—One Language Rule [J]. Plos ONE, 2015, 10(6), e0130069.
Chinese-English Bilinguals’ ERP Activating Effect for English during the Mother Tongue Semantic Processing
YANG Siqin1,2, JIANG Minghu1,2
(1. Lab of Computational Linguistics, School of Humanities, Tsinghua University, Beijing 100084, China;2. Center for Psychology and Cognitive Science, Tsinghua University, Beijing 100084, China)
Adopting Event Related Potential, measuring the reaction time, error rate and N400, this paper investigates whether the advanced Chinese-English bilinguals retrieve the second language when they are processing their mother language. The results reveal that the implicit conditions, the first English pronunciation did not reflect on the reaction time. In the ERP result, while bilinguals are confronted with semantic related judgments, N400 invoked by the language areas fails a significant difference from the implicit first English pronunciation. However, when faced with the semantic unrelated judgments, N400 shows significant difference between each implicit first English pronunciation conditions. It is concluded that when advanced bilinguals are making comparatively complex and semantic judgments, the second language can be unconsciously retrieved.
ERP; semantic; RT; N400
楊思琴(1993—),碩士研究生,主要研究領(lǐng)域?yàn)檎Z言認(rèn)知與計(jì)算。E-mail:ysq44@yahoo.com江銘虎(1962—),教授、博士生導(dǎo)師,主要研究領(lǐng)域?yàn)檎Z言認(rèn)知與計(jì)算。E-mail:jiang.mh@tsinghua.edu.cn
1003-0077(2016)06-0117-09
2016-09-27 定稿日期: 2016-10-30
國(guó)家自然科學(xué)重點(diǎn)基金(61433015);國(guó)家社會(huì)科學(xué)基金(142DB154,15ZDB017);清華大學(xué)自主科研項(xiàng)目?jī)砂肚迦A大學(xué)專項(xiàng)(20161080056)
TP391
A