李修軍，劉小迪，楊菁菁

（長春理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院，長春 130022）

雙語者是指掌握兩種語言的人，在語言處理的過程中，雙語者通常先對詞匯進行處理，然后再對整體句子進行判斷。整個過程涉及正字法（文字符號的使用規(guī)則）的使用，以及對讀音（聲音）和語義（意思）的加工處理［1］。每種語言都具有其獨特的正字法，研究發(fā)現(xiàn)正字法距離（兩種語言之間的正字法相似性）會影響大腦神經(jīng)表征的激活模式［2-3］。具有不同正字法距離的雙語受試者在進行相同的語義判斷時，可能導(dǎo)致不同的大腦激活表征［4］。而且在實驗過程中即使對于同一種第二外語（L2），兩組雙語者不同的母語（L1）正字法，也會使其表現(xiàn)出不同的激活模式［5］。雙語者在進行不同的語言加工處理時，呈現(xiàn)出的激活表征會有所不同，特別是在讀音和語義兩種加工任務(wù)上［6-9］。對于雙語者語言產(chǎn)生過程中的語義或讀音的共同神經(jīng)表征，之前的一些神經(jīng)影像學(xué)研究表明，讀音加工相關(guān)的大腦區(qū)域主要涉及梭狀回（Fusiform Gyrus，F(xiàn)FG）、顳頂葉和額下回等，語義加工相關(guān)的大腦區(qū)域主要分布在FFG、顳中回（Superior Temporal Gyrus，STG）、顳上回（Middle Temporal Gyrus，MTG）等［10-11］。漢語和日語盡管在日常書寫中存在相似的正字法（字形相似），但在讀音和語義上卻不盡相同，這就可能導(dǎo)致大腦的不同區(qū)域被激活。

功能磁共振成像（functional Magnetic Resonance Imaging，fMRI）技術(shù)因其具有高空間分辨率和無創(chuàng)性等優(yōu)點被廣泛應(yīng)用于認知科學(xué)領(lǐng)域的研究當(dāng)中，為研究者能夠更直接地分析大腦語言區(qū)域提供了有力途徑［12-13］。通過對fMRI 數(shù)據(jù)的統(tǒng)計分析能夠得到大腦表征的相關(guān)信息，進而解碼大腦的語言機制。多體素模式分析（Multi-Voxel Pattern Analysis，MVPA）作為一種大腦解碼分析方法，可以精確地定位在每個體素上，在單變量分析的基礎(chǔ)上，能夠更準確地分析出不同任務(wù)條件下的大腦活動模式［14-15］。然而，目前使用MVPA 方法的研究大多將句子任務(wù)作為實驗刺激［16］，并且很少有人使用MVPA 研究讀音的相關(guān)大腦區(qū)域。對于使用MVPA 在詞匯任務(wù)條件下分析以及對讀音加工的相關(guān)研究都還需要更多的理論支撐，所以需要研究者在這兩個方面進行更深層次的探討。

雙語者大腦加工機制的實驗研究通常是將句子或詞匯作為實驗刺激，想要更好地從源頭分析雙語者的大腦表征，詞匯任務(wù)更為合適。決策任務(wù)比簡單的公開命名任務(wù)涉及更多的認知［17］。所以為了更好地探索大腦認知區(qū)域，本研究對15 名以日語為L1，漢語為L2 的日中雙語受試者進行視覺詞匯的語義和讀音判斷任務(wù)。使用基于一般線性模型（General Linear Model，GLM）的單變量分析簡要劃分大腦不同任務(wù)的不同激活區(qū)域，然后再采用MVPA 方法進行更深層次的分析，以解碼在兩種任務(wù)條件（語義和讀音）下，日語和漢語在實驗過程中產(chǎn)生的不同大腦神經(jīng)激活模式。這種對于具有特殊正字法的雙語者大腦加工機制的研究，不僅能夠為日中雙語者的大腦加工機制帶來新的證據(jù)，還為雙語教學(xué)、失語癥患者的治療以及新型人工智能的研發(fā)帶來新的幫助與啟示。

1 材料與方法

1.1 數(shù)據(jù)收集

（1）受試者

本實驗在沈陽醫(yī)科大學(xué)附屬盛京醫(yī)院進行，招募了15 名（7 名女性，8 名男性）沈陽中國醫(yī)科大學(xué)的日本籍留學(xué)生，他們的平均年齡是22.9歲。所有受試者均以日語為L1，漢語為L2，且均為身體健康的右利手。受試者的具體情況如表1 所示，其中L2 熟練程度反映了第二語言熟練程度測試的正確率。他們在詳細了解知情同意書的情況下簽字。該研究經(jīng)中國醫(yī)科大學(xué)盛京醫(yī)院倫理委員會批準。

表1 受試者個體特征

（2）數(shù)據(jù)掃描

（3）實驗刺激

每個受試者都需要進行日語和漢語的視覺詞匯語義判斷任務(wù)、讀音判斷任務(wù)和字號判斷任務(wù)。實驗刺激包括日文漢字和中文漢字各96個詞，具體以日語為例，將日語的96 個詞打亂，每兩個詞組成一個視覺圖片刺激。每個任務(wù)（語義判斷、讀音判斷和字號判斷）都由這96 個詞組成且各生成一個刺激集（S、P和O），每個刺激集包含48 張圖片（24 張正向判斷，24 張反向判斷）。

不同的詞匯刺激代表著不同的實驗任務(wù)，以漢語任務(wù)為例，如圖1 所示。對于語義詞匯判斷任務(wù)，圖片包括兩個相同含義的詞（包庇和偏袒），以及兩個相反意義的詞（精華和糟粕）；對于讀音詞匯判斷任務(wù)，例如，成功和進攻為讀音押韻詞匯，立刻和油膩為非讀音押韻詞匯；對于字號判斷任務(wù)，判斷無意義詞匯的字符大小是否相同。

圖1 實驗刺激

（4）實驗過程

受試者進行任務(wù)態(tài)（詞匯決策任務(wù)）的fMRI掃描。他們需要分別進行漢語和日語詞匯任務(wù)，每種語言的任務(wù)分為三個會話，每個會話都包含刺激集S、P和O的16 張圖片刺激，共48 次實驗。實驗任務(wù)是偽隨機的，以保證每個會話中的實驗任務(wù)的個數(shù)是相同且平衡的。

在實驗過程中，首先會提示受試者下一個是什么判斷任務(wù)，顯示4 s。每個實驗包括兩部分，均以黑底白字的方式呈現(xiàn)，第一部分是呈現(xiàn)2.5 s的詞匯刺激，兩個詞匯通過白色十字加號固視點并排連接；第二部分是顯示1.5 s 的固視點，要求受試者在這個時間內(nèi)盡快按下按鈕進行詞匯決策（圖2）。連續(xù)進行8 次實驗后，會有24 s 的休息時間，期間顯示固視點。每個會話有6 個塊大約需要6 min，每個受試者需要進行約40 min的實驗。

圖2 詞匯決策實驗過程

1.2 數(shù)據(jù)分析

（1）fMRI 數(shù)據(jù)預(yù)處理

佛經(jīng)翻譯、《圣經(jīng)》翻譯、西學(xué)翻譯合作模式譯者構(gòu)成的歷時變遷為當(dāng)前中國文化經(jīng)典英譯合作模式譯者構(gòu)成建構(gòu)提供了諸多啟示。

在進行預(yù)處理之前需要對采集到的Dicom 圖像進行格式轉(zhuǎn)換，使用MRIconvert 軟件將其轉(zhuǎn)換成NIFTI 格式。圖像的預(yù)處理使用Matlab 軟件下的SPM12 工具箱（www.fil.ion.ucl.ac.uk）。首先，對轉(zhuǎn)換完成的圖像進行時間切片校正和頭部運動校正。然后使用工具箱中提供的由蒙特利爾神經(jīng)研究所研制的標(biāo)準模板（MNI）對圖像進行空間標(biāo)準化。最后，采用8 mm×8 mm×8 mm 的全寬各向同性高斯核進行空間平滑。在執(zhí)行MVPA 時使用未平滑的數(shù)據(jù)，以防止單個體素的激活不明顯。

（2）單變量分析

為了探討日中雙語者在進行詞匯語義判斷任務(wù)、詞匯讀音判斷任務(wù)和字號判斷任務(wù)時有關(guān)語義和讀音的神經(jīng)表征區(qū)域，采用基于GLM的單變量分析方法對其進行分析。三種不同的任務(wù)模式被建模為三個獨立的回歸模型，并與每個受試者的標(biāo)準血流動力學(xué)響應(yīng)函數(shù)進行卷積。以往的經(jīng)驗將視覺刺激通過字符特定表征轉(zhuǎn)換為整體的語義或讀音表征，所以這里的字號判斷是一種基線。語義和讀音任務(wù)與基線進行比較，使用隨機效應(yīng)模型對受試者進行組分析，并采用單樣本T檢驗進行分析。閾值設(shè)定為P＜0.05（Uncorrected）和P＜0.001（Uncorrected）。

（3）多體素模式分析

使用PRoNTo 工具箱（www.mlnl.cs.ucl.ac.uk）進行多體素模式分析，研究兩種語言分別在語義和讀音上的大腦激活差異。首先，使用未平滑的fMRI 數(shù)據(jù)，以單個塊為獨立事件定義GLM的設(shè)計矩陣以計算大腦活動的激活情況。然后，基于前人的研究和單變量分析得到的結(jié)果繪制感興趣區(qū)域（Region Of Interest，ROI），使用WFUpickatlas 工具箱構(gòu)建掩碼，并在固定區(qū)域的體素中分析大腦的激活模式。再使用線性支持向量機（Linear Support Vector Machine，LSVM）分類器對語義和讀音任務(wù)條件下的兩種語言（日語和漢語）進行分類，并使用留一法（Leave one block out）訓(xùn)練模型。最后，通過置換檢驗來檢驗?zāi)Ｐ偷挠行院涂煽啃浴?/p>

2 實驗結(jié)果

2.1 行為學(xué)結(jié)果

fMRI 掃描所有受試者在執(zhí)行詞匯決策任務(wù)時的大腦，行為學(xué)分析結(jié)果如圖3 所示。

圖3 兩種語言的行為學(xué)分析結(jié)果

圖3中CS 為漢語語義任務(wù)；JS 為日語語義任務(wù)；CP 為漢語讀音任務(wù)；JP 為日語讀音任務(wù)；**P＜0.01；***P＜0.001。圖3（a）、圖3（b）分別表示語義和讀音任務(wù)的平均反應(yīng)時間，圖3（c）、圖3（d）分別表示語義和讀音任務(wù)的平均正確率。在平均反應(yīng)時間上，日語和漢語在語義和讀音的任務(wù)條件下均無顯著差異；而在平均正確率上，日語和漢語在語義和讀音任務(wù)條件下均存在顯著差異。

2.2 單變量分析結(jié)果

日語和漢語在語義和讀音判斷任務(wù)中激活的大腦區(qū)域如圖4 所示，其中圖4（a）、圖4（b）顯示漢語和日語在語義任務(wù)下的激活腦區(qū)（P＜0.05，Uncorrected），選取大于5 的所有體素；圖4（c）、圖4（d）顯示漢語和日語在讀音任務(wù)下的激活腦區(qū)（P＜0.001，Uncorrected），選取大于5 的所有體素。CS 為漢語語義任務(wù)；CP 為漢語讀音任務(wù)；CO 為漢語字號任務(wù)；JS 為日語語義任務(wù)；JP 為日語讀音任務(wù)；JO 為日語字號任務(wù)；R 為右腦。

圖4 兩種語言在語義和讀音判斷任務(wù)下的大腦激活圖

漢語詞匯語義判斷任務(wù)的大腦激活涉及大量的左半球區(qū)域。包括舌回、FFG、STG、MTG、角回（Angular Gyrus，AG）、緣上回（Supramarginal Gyrus，SMG）以及部分額葉區(qū)域。右腦也有少量的激活區(qū)域。漢語詞匯讀音判斷任務(wù)激活的腦區(qū)包括枕葉的視覺皮層、頂葉的SMG 和中央前回，顳葉的MTG、STG 和部分區(qū)域，還有額葉的額下回三角部（Pars Triangularis，PT）和額下回島蓋部（Pars Opercularis，PO），以及扣帶皮層、輔助運動區(qū)等。

日語在語義和讀音任務(wù)下的激活腦區(qū)相對較少。語義任務(wù)的主要激活區(qū)域包括雙側(cè)顳葉部分區(qū)域、STG、扣帶回皮層和中央后回。讀音任務(wù)主要激活腦島、PO、PT、頂下緣角回、輔助運動區(qū)及視覺相關(guān)區(qū)域等。

圖5（a）代表漢語與日語在語義任務(wù)條件下的差異腦區(qū)（P＜0.001，Uncorrected），圖5（b）代表漢語與日語在讀音任務(wù)條件下的差異腦區(qū)（P＜0.001，Uncorrected），選取大于5 的所有體素。對于語義任務(wù)，兩種語言的差異腦區(qū)包括額葉部分區(qū)域、中央前回和輔助運動區(qū)、頂葉的楔前葉、SMG、AG 和中央后回、顳葉的海馬區(qū)和MTG、枕葉部分區(qū)域、扣帶皮層；對于讀音任務(wù)，兩者存在激活差異的區(qū)域在中央旁小葉、中央前回、枕葉的枕上回和舌回、額葉的額中回和額上回、楔前葉、頂上回、扣帶回皮層、MTG。

圖5 兩種語言在語義和讀音判斷任務(wù)下的差異腦區(qū)

2.3 多體素模式分析結(jié)果

結(jié)合前人對語義和讀音任務(wù)的討論以及單變量分析的結(jié)果，最終選取了14 個大腦經(jīng)典語言加工區(qū)域的ROI，包括雙側(cè)AG、SMG、FFG、PO、PT、STG 和MTG，探討14 個腦區(qū)在兩種不同任務(wù)（語義和讀音）條件下日語和漢語的分類準確率。通過使用單樣本T 檢驗將每個ROI 的平均分類準確率與偶然準確率（50%）進行對比，以此判定是否成功分類。如圖6 所示，其分別表示語義和讀音判斷任務(wù)的分類準確率。AG 為角回；SMG 為緣上回；FFG 為梭狀回；PO 為額下回島蓋部；PT 為額下回三角部；STG 為顳上回；MTG為顳中回；L 為左腦；R 為右腦；*P＜0.05；**P＜0.01；***P＜0.001。

圖6 14 個ROI 在兩種任務(wù)下日語和漢語的分類準確率

在詞匯語義任務(wù)中，雙側(cè)AG、MTG，左側(cè)FFG、PT，右側(cè)SMG、PO 和STG 具有較高的分類準確率，這說明兩種語言在右半球的激活差異更明顯。對于詞匯讀音任務(wù)，在雙側(cè)AG、SMG、FFG、PO、PT、MTG 和左側(cè)STG 具有顯著的分類準確率，這表明兩種語言在大部分經(jīng)典語言區(qū)域，特別是左側(cè)SMG，具有較大的激活表征差異；而在右側(cè)STG 可能存在兩種語言的相似激活模式。

3 討論

本研究采用單變量分析和MVPA 兩種方法探究雙語者在詞匯語義加工和讀音加工過程中的雙語腦機制。

單變量分析結(jié)果發(fā)現(xiàn)，日中雙語者在執(zhí)行兩種詞匯決策任務(wù)時，表現(xiàn)出同一個激活特點，即漢語加工過程中產(chǎn)生的大腦神經(jīng)激活表征區(qū)域相比日語加工更為廣泛，而這些區(qū)域主要集中在大腦的認知控制區(qū)域，這一發(fā)現(xiàn)與Liu 等人［11］的研究一致。對于漢語讀音和語義任務(wù)以及日語讀音任務(wù)，其腦區(qū)激活情況與Price［18］的研究結(jié)果一致。而日語語義任務(wù)的激活區(qū)域較少且涉及到多個右腦區(qū)域，這可能與受試者對日文漢字［19］的語義進行識別有關(guān)。

受試者在觀察呈現(xiàn)出的視覺詞匯時，首先通過舌回、距狀裂周圍皮層等視覺皮層進行初步的加工，接著會在FFG 對詞匯進行識別。如果是語義加工可能會在左側(cè)AG、左側(cè)MTG 等區(qū)域進行語言信息的整合；如果是讀音加工，則可能在SMG、STG 等區(qū)域進行詞匯的記憶提取和聽覺轉(zhuǎn)換。接下來如果將詞匯復(fù)述，不斷地默讀詞匯，則可能激活PO、PT 等區(qū)域。

在本研究中，使用MVPA 方法對14 個腦區(qū)在兩種加工任務(wù)下漢語和日語的大腦活動模式進行分類，發(fā)現(xiàn)雙側(cè)AG、右側(cè)PO、右側(cè)STG 和右側(cè)MTG 在詞匯語義加工中具有顯著的分類準確率。這些區(qū)域在詞匯語義任務(wù)下表現(xiàn)出兩種語言不同的大腦神經(jīng)激活模式。

AG 具有分析視覺信息并將分析后的信息傳輸?shù)街袠猩窠?jīng)系統(tǒng)的能力。單變量分析結(jié)果顯示，在漢語語義任務(wù)中，左側(cè)AG 激活明顯。兩種語言在左側(cè)AG 的激活差異或許與雙語者對L1 更熟悉有關(guān)［20］。雙側(cè)AG 均參與一般視覺的語義加工［21］，而在右側(cè)AG 體現(xiàn)出的兩種語言的激活差異可能與兩種語言表達能力的強弱有關(guān)。

PO 在復(fù)述或閱讀信息時非常重要。右側(cè)PO的分類準確率較高，這可能與受試者進行不同的詞匯語義決策有關(guān)，涉及個體的大腦變化［22］。右側(cè)STG 在記憶關(guān)聯(lián)中起著重要作用，其在語義判斷過程中產(chǎn)生的激活差異可能與雙語者兩種語言的不同記憶連接［23］有關(guān)。右側(cè)MTG 是命名語言中心，與語言網(wǎng)絡(luò)密切相關(guān)，但這兩種語言之間的具體差異是難以區(qū)分的。

在詞匯讀音加工過程中，除右側(cè)STG 外，其余13 個區(qū)域均表現(xiàn)出顯著的分類準確率。特別是在左側(cè)SMG 區(qū)域，分類精度很高。SMG 是經(jīng)典的聽覺中樞，兩種語言之間發(fā)音的差異可能是分類準確率較高的原因之一。在右側(cè)STG，有研究者發(fā)現(xiàn)其是處理漢字聲調(diào)的特異性區(qū)域［24］，但在這里沒有發(fā)現(xiàn)兩種語言激活差異的可能原因是日中雙語者對中文漢字的聲調(diào)存在一定的基礎(chǔ)。

盡管本研究得到了日中雙語者在語義和讀音任務(wù)條件下兩種語言的大腦神經(jīng)激活表征差異，并探討了產(chǎn)生這種差異的原因，但仍然存在一些不足之處。首先，在受試者的數(shù)量方面。本文選取了15 名受試者參與了本次實驗，受試者的數(shù)量較少可能會導(dǎo)致實驗結(jié)果受到個體差異的影響較大；其次，實驗中使用以單個塊為獨立事件定義GLM 的設(shè)計矩陣，這可能導(dǎo)致單個刺激間的體素值過于接近，進而造成分類誤差。所以在未來的研究當(dāng)中，需要對實驗進行改進，選取更多的受試者參與實驗，并以單個刺激為獨立事件定義GLM 設(shè)計矩陣，完成兩種語言大腦活動模式的分類。

4 結(jié)論

綜上所述，本研究利用單變量分析和MVPA方法探索日中雙語者的大腦機制，發(fā)現(xiàn)兩種語言在共同語言處理區(qū)域的激活存在明顯差異以及共同點。結(jié)果表明，無論是在詞匯語義還是讀音加工任務(wù)條件下，相比于L1、L2 的激活表征更廣泛，涉及大腦的認知控制區(qū)域。日語和漢語的詞匯語義加工在雙側(cè)AG、右側(cè)PO、MTG 和STG 的激活上存在較大差異，且右腦的激活差異更為明顯。在詞匯讀音加工中，兩種語言在13個ROI 中的分類準確率均相對較高，其中左側(cè)SMG 的差異更明顯，而在右側(cè)STG 可能存在兩種語言共同的神經(jīng)表征區(qū)域。這些結(jié)果為進一步理解雙語者的大腦機制提供了證據(jù)，并為雙語教學(xué)、失語癥患者的治療以及新型人工智能技術(shù)的發(fā)展帶來了新的啟示。