楊海波　張雪健　周菘　劉穎　白學(xué)軍

摘要 功能性近紅外光譜技術(shù)（fNIRS）是近十多年興起的一種用于研究腦功能成像的新手段。與其他研究手段相比，它具有便于移動、造價低、對運(yùn)動偽跡不敏感等優(yōu)勢。本文首先簡要介紹fNIRS技術(shù)的原理、算法類型、應(yīng)用與特點(diǎn)，然后總結(jié)了fNIRS在語音加工領(lǐng)域的研究進(jìn)展，其中包括音長、音位序列、音節(jié)結(jié)構(gòu)、重音、語調(diào)等內(nèi)容，最后基于已有成果與研究現(xiàn)狀，對fNIRS在中文語音加工方面的應(yīng)用提出了展望。

關(guān)鍵詞 語音加工，腦機(jī)制，功能性近紅外光譜技術(shù)。

分類號 B84

1.引言

功能性近紅外光譜技術(shù)（functional near-infraredspectroscopy，fNIRS），也稱為近紅外腦功能成像技術(shù)，初現(xiàn)于20世紀(jì)70年代末（Jobsis，1977）。近20年來，該技術(shù)同腦電圖、功能性核磁共振腦成像等技術(shù)一樣，成為人類探索腦機(jī)制發(fā)生發(fā)展的有效工具。fNIRS是一種非侵入式的腦功能成像技術(shù)，它利用近紅外光，穿過頭皮及腦組織，直接監(jiān)測神經(jīng)活動引發(fā)的腦區(qū)血液動力學(xué)的變化狀況。通過氧合血紅蛋白濃度（HbO）、脫氧血紅蛋白濃度（HbR）、總含氧量（HbT）等指標(biāo)反映出來腦各區(qū)域的活躍情況（Rossi，Telkemeyer，Wartenburger，& Obrig，2012）。

目前，fNIRS在認(rèn)知心理學(xué)、教育心理學(xué)、臨床心理學(xué)等領(lǐng)域得到廣泛應(yīng)用（Gallagher，2013；Kahla-oui，et al.，2012；Yu，Pan，Ang，Guan，& Leamy，2012）。在國內(nèi)的研究中也涉及到語義編碼、腦機(jī)接口、閱讀障礙兒童詞加工、孤獨(dú)癥兒童抑制功能、神經(jīng)痛調(diào)控等領(lǐng)域的研究（胡漢彬，祝曄，蔣田仔，2010；李鵬程等人，2000；蘇艷麗等人，2010；吳漢榮，姚彬，2004；辛佳煒，王巖，敖強(qiáng)，左煥琮，2012）。

在語音加工研究方面，fNIRS有自己獨(dú)特的優(yōu)勢。一方面，fNIRS可提供一個安靜的實(shí)驗(yàn)環(huán)境，這樣既能避免噪聲對實(shí)驗(yàn)結(jié)果的污染，也能提高實(shí)驗(yàn)的生態(tài)效度；另一方面，fNIRS實(shí)現(xiàn)了相對較高的時間分辨率和空間分辨率，更有利于語音加工腦功能的定位研究。此外，fNIRS具有非侵入性和對頭動的相對高容忍度特點(diǎn)，從而可以實(shí)現(xiàn)嬰兒與兒童在覺醒狀態(tài)下的實(shí)驗(yàn)；而且，fNIRS還適用于一些特殊的被試群體，如多動癥患者兒童，精神分裂癥等被試，這些被試通常在其他成像技術(shù)上很難進(jìn)行實(shí)驗(yàn)，近紅外技術(shù)可以幫助研究者更加全面地揭示語音加工的相關(guān)機(jī)制（Bortfeld，Wruck和Boas，2007；Diel-er，Tupak，& Fallgatter，2012；Lloyd-Fox，Blasi，& El-well，2010）。

2.語音加工腦機(jī)制的fNIRS研究

目前，fNIRS在語音加工方面的很多領(lǐng)域都取得了不錯的進(jìn)展，主要內(nèi)容包括對音長、音位序列、音節(jié)結(jié)構(gòu)、重音和語調(diào)的研究。

2.1 音長

音長就是聲音的長短。在很多語言中，音長決定著單詞的意義，也就是說音長不同，詞匯的含義就不一樣，尤其是元音的音長，如英語中的bark與buck，一個是長元音/a/，一個是短元音/∧/，盡管只是音長不同，單詞的含義卻大相徑庭。因此音長識別的準(zhǔn)確性對言語知覺起著非常重要的作用。有人（Minagawa-Kawai，Mori，F(xiàn)uruya，Hayashi，& Sato，2002）使用fNIRS研究了日語的長元音和短元音在聽覺皮層區(qū)的表征情況。實(shí)驗(yàn)材料為4種不同條件的非詞，刺激以從/mamo/到/mama：/連續(xù)音體上最后一個元音的不同延時作為區(qū)別，時長分別為151ms（刺激A）、184ms（刺激B）、217ms（刺激C）、250ms（刺激D）。實(shí)驗(yàn)程序是由Rokubunken軟件（Imagawa & Kiritani，1989）寫成的程序，所有非詞都做了合成，保證第二個元音具有穩(wěn)定的音高線和共振峰結(jié)構(gòu)，并且第一個音節(jié)的音長為110ms，而中間的/m/音素為90ms。由于前人研究發(fā)現(xiàn)當(dāng)日語長短元音的音素邊界在B和C條件之間，所以實(shí)驗(yàn)選用四種刺激間毗鄰的兩個刺激作為一個周期進(jìn)行分析，共三個周期，在AB周期中，刺激A在20s中，以1.25s出現(xiàn)一次的頻率呈現(xiàn)，之后以偽隨機(jī)的方式交替呈現(xiàn)刺激A和刺激B，時間為20s，出現(xiàn)頻率同上，實(shí)驗(yàn)把前20s作為基線水平，而后20s作為目標(biāo)分析，如此至少重復(fù)5次。BC與CD周期與AB周期一樣。三個周期隨機(jī)呈現(xiàn)給每個被試。刺激通過耳機(jī)以70dBSPL的水平依次呈現(xiàn)給被試。結(jié)果發(fā)現(xiàn)，當(dāng)評估刺激間音位邊界時，也就是BC周期中，對比的刺激可以引起左腦聽覺區(qū)更大的變化。而對于那些相等時長且屬于相同音位類別的刺激而言，也就是AB和CD周期中，聽覺區(qū)卻沒有表現(xiàn)出顯著變化。

同時，音素加工的大腦左側(cè)化效應(yīng)也得到證實(shí)。相關(guān)的MEG和ERP研究已發(fā)現(xiàn)，人們對母語的音素變體相比非母語的音素變體的腦功能反應(yīng)不同（Alho，et al.，1998；Dehaene-Lambertz，1997；Koya-ma，et al.，2000），而且第二語言學(xué)習(xí)者在識別新語言的某些不同音素時出現(xiàn)了困難（如日本被試識別英語中的/r/和/l/時）（Miyawaki，et al.，1975），所以Minagawa-Kawai等人又研究了學(xué)習(xí)日語的韓國被試在日語的音位對比方面的血氧反應(yīng)和行為表現(xiàn)（Mi-nagawa-Kawai，Mori，& Sato，2005；Minagawa-Kawai，Mori，Sato，& Koizumi，2004），研究中被試為7名日語熟練的韓國人，測試區(qū)域?yàn)殡p側(cè)顳葉的聽覺區(qū)，刺激材料同上述研究（Minagawa-Kawai，et al.，2002），程序也相同，不過該研究加了一個控制條件，即一對日語的合成詞/itta/與/itte/，前者為基線，兩者同時出現(xiàn)為目標(biāo)。結(jié)果發(fā)現(xiàn)，日本被試的左腦聽覺區(qū)存在音位特異性反應(yīng)效應(yīng)，而韓國被試則沒有表現(xiàn)出對母語中相同時長的類別特異性反應(yīng)，這說明他們的腦區(qū)加工模式同日語被試不同。但實(shí)驗(yàn)的行為數(shù)據(jù)表明在類別知覺方面韓語被試同日語被試沒有差別。這說明第二語言的音位類別知覺僅僅通過行為數(shù)據(jù)來確定是還不夠充分。也證明了近紅外腦成像技術(shù)的使用價值。

隨后，有人（Minagawa-Kawai，Mori，Naoi，& K0-jima，2007）把日語音位對比研究擴(kuò)展到嬰兒人群，相對嬰兒還不太成熟的視覺系統(tǒng)，聽覺系統(tǒng)已經(jīng)表現(xiàn)的更好，他們已經(jīng)可以識別出聲音對比中一些非常細(xì)微的差異（Alho，Sainio，Sajaniemi，Reinikainen，& Nāātānen，1990；Huotilainen，et al.，2003），而且對很多語言的一些韻律特征的識別非常敏感，包括他們從未聽過的語言（Jusczyk，2000）。但隨著年齡的增長，約在1歲左右，他們逐漸對母語的識別能力提高，而對其它語言的識別變得不敏感（Werker &Tees，1984），這就是語言特異性變化。所以實(shí)驗(yàn)人員想通過長短元音對比任務(wù)，了解日語音素習(xí)得時語言特異性的神經(jīng)機(jī)制變化，研究測量了5個年齡組的日本嬰兒對不同時長元音的血氧變化，年齡組分別為3-4月組，6-7月組，10-11月組，13-14月組，25-28月組，使用跟成人研究同樣的刺激（Minagawa-Kawai，et al.，2002）。結(jié)果發(fā)現(xiàn)，嬰兒的血氧指標(biāo)在長短元音間的轉(zhuǎn)換方面比長元音或短元音內(nèi)的轉(zhuǎn)換反應(yīng)更強(qiáng)。它最早出現(xiàn)在6-7月組，12月以上組就穩(wěn)定出現(xiàn)。但是聽覺區(qū)的音位特異反應(yīng)的左腦偏側(cè)化效應(yīng)僅在13個月及其以上組中發(fā)現(xiàn)。因此，音位時長對比很可能首先被6-7個月時的一般聽覺通路加工，在12月后轉(zhuǎn)化才會轉(zhuǎn)變?yōu)橐粋€與成人類似的更加偏向語言的通路，這時，語言加工的左腦偏側(cè)化效應(yīng)也變得更加穩(wěn)定。

2.2 音位序列

具體語言中，劃分詞的最小語音單位是音位。隨意排列的音位不能組成有效詞匯，它會受到音位序列的制約（Fromkin，Rodman，& Hyams，2009）。這就涉及到音位組合法。音位組合法是在給定語言中，音節(jié)或詞匯中的音素的各種可能組合方式。大量研究表明，音位組合法是人們切分語音流的有效線索之一（McQueen，2007），它可以幫助聽者加速完成詞匯的識別，其余線索還包括如重音、音位變體規(guī)則等。有人（Rossi，et al.，2011）通過ERP和fNIRS結(jié)合，研究音位組合法的神經(jīng)機(jī)制。ERP有很高的時間分辨率，fNIRS可以提供相對高的空間定位，更重要的是兩種儀器之間的信號互不干擾，兩種儀器的結(jié)合可以更好的完成研究目標(biāo)。實(shí)驗(yàn)中，fNIRS測量區(qū)域覆蓋了左右腦的額顳區(qū)名顳頂區(qū)和顳葉。實(shí)驗(yàn)有25、德國被試參加，刺激包含了216個單音節(jié)的非詞，一種為符合德語的音位組合法規(guī)則非詞，一種為不符合其規(guī)則的非詞。非詞均以兩種不同的語音模式呈現(xiàn)，一種為成人導(dǎo)向語，一種為嬰兒導(dǎo)向語，嬰兒導(dǎo)向語音也就是我們所說的“媽媽語”，它通常帶有更加夸張的音高，更長的音長，更高的清晰度等特征（Soderstrom，2007），這樣就包含了更多的韻律特征，從而可產(chǎn)生不同于成人導(dǎo)向語的腦反應(yīng)模式，加入這兩種模式對比的目的是為了檢驗(yàn)兩種模式的語音是否會影響音位組合法的加工機(jī)制，從而影響腦的偏側(cè)化效應(yīng)。fNIRS的結(jié)果發(fā)現(xiàn)，無論在成人導(dǎo)向語還是在嬰兒導(dǎo)向語的模式下，符合規(guī)則的非詞比不符合音位組合法的非詞對包括額顳區(qū)在內(nèi)的左半球腦區(qū)有更強(qiáng)的激活。而兩種模式間的激活量并不存在顯著的差異。

有人（Abla & Okanoya，2008）通過變換序列順序的方式使用近紅外技術(shù)研究語音流詞切分問題。很多研究發(fā)現(xiàn)不管是成人、兒童還是新生兒都會利用相鄰音節(jié)間的過渡概率來切分語音流（Aslin，Saf-fran，& Newport，1998；Saffran，Newport，& Aslin，1996），研究人員通過變化刺激序列的出現(xiàn)概率來測量正常成人被試加工序列時的腦激活情況，測量位置為左右腦的顳葉區(qū)，刺激序列以隨機(jī)順序呈現(xiàn)。其中，控制出現(xiàn)概率的刺激序列包含6個語調(diào)音素，而隨機(jī)組合排列的刺激序列包含11個語調(diào)音素，兩種不同的序列會交替呈現(xiàn)。最終發(fā)現(xiàn)，在前者序列條件下左腦額下回血氧濃度大幅提高，而后者序列條件沒有出現(xiàn)。這說明左腦額下回在基于概率切分的音調(diào)序列加工處理中扮演著重要角色。

2.3 音節(jié)結(jié)構(gòu)

排列規(guī)則不僅約束著詞中的音位序列，還約束著音節(jié)中和音節(jié)間的音位序列（Fromkin，et al.，2009），后者稱之為音節(jié)結(jié)構(gòu)。有人（Gervain，Mac-agno，Cogoi，Pena，& Mehler，2008）研究了新生兒對音節(jié)簡單重復(fù)結(jié)構(gòu)的知覺和學(xué)習(xí)能力。他們一共進(jìn)行了兩個實(shí)驗(yàn)。在第一個實(shí)驗(yàn)中，22名嬰兒需要聆聽一組包含重復(fù)音節(jié)序列的音素（如：‘mubaba，‘penana），而其中會間雜一些包含隨機(jī)序列的音素（如：‘mubage‘penaku）。結(jié)果發(fā)現(xiàn)，在對重復(fù)序列的音素反應(yīng)時，新生兒的雙側(cè)顳上回和左腦額下回的氧合血紅蛋白濃度上升，說明新生兒大腦已可以分辨出兩種不同的語音。而且在較靠前的幾個試次中，重復(fù)序列組比隨機(jī)序列組引發(fā)了更強(qiáng)的反應(yīng)，說明被試嬰兒的大腦中已存在識別重復(fù)序列音素的知覺機(jī)制。另外，在隨后的試次里，重復(fù)序列激活量繼續(xù)增加，但隨機(jī)序列卻不存在這種效應(yīng)。在第二個實(shí)驗(yàn)中，實(shí)驗(yàn)人員對非臨近重復(fù)組（如：‘bamuba，‘napena）和相同的隨機(jī)控制組進(jìn)行比較，結(jié)果沒有發(fā)現(xiàn)差異。這些結(jié)果說明嬰兒在聽覺方面僅對某些輸入?yún)?shù)敏感，這種知覺能力也許能促進(jìn)隨后的語言發(fā)展。JuditGervain等人（2012）的實(shí)驗(yàn)驗(yàn)證了該結(jié)論。并發(fā)現(xiàn)新生兒大腦可以有效地編碼關(guān)系和序列信息，并可將其整合到一個共同的結(jié)構(gòu)模型中。

2.4 重音

同漢語中的聲調(diào)和英語中的重音不同，日語屬于兩者之間的語言，有自己獨(dú)特的模式，日語在特定音節(jié)會出現(xiàn)重讀，但日語的重音通常被看作是高調(diào)，所以日語被稱為音高-重音語言。有人（Sato，Soga-be和Mazuka，2007）通過語音刺激任務(wù)研究了日語詞的音調(diào)重音的加工機(jī)制。20名聽覺功能正常、母語為日語、右利手被試參與了實(shí)驗(yàn)。研究人員測量了非音節(jié)詞和純音的音調(diào)變化模式下的血氧反應(yīng)。測量位置為左右側(cè)顳葉，刺激分為包括純音與語音在內(nèi)的四種類型。結(jié)果發(fā)現(xiàn)，左腦顳頂區(qū)對詞內(nèi)音調(diào)模式變化的反應(yīng)比純音的反應(yīng)更強(qiáng)烈，同時詞內(nèi)音調(diào)模式變化知覺時激活了左腦額區(qū)，這說明左腦語言區(qū)加工了被試的詞匯音調(diào)重音。Yutaka Sato等人（Sato，Sogabe，& Mazuka，2010）延續(xù)了之前的研究（Sato，et al.，2007），把人群擴(kuò)展到嬰兒，研究日語詞匯音高重音模式變化，在第一個實(shí)驗(yàn)中，20名4個月大和20名10個月大的嬰兒參與了實(shí)驗(yàn)，刺激為14個音高重音有所不同的雙音節(jié)日語詞對，再根據(jù)音高模式的不同從詞庫中隨機(jī)選出4個詞表，每個詞表包含14個詞，每個詞呈現(xiàn)1s，共14s。實(shí)驗(yàn)范式為修訂后的視覺適應(yīng)范式（Stager & Werker，1997），結(jié)果發(fā)現(xiàn)4-10月大的嬰兒對詞匯嵌入非音節(jié)詞的音高重音模式變化有敏感性。第二個實(shí)驗(yàn)中使用近紅外光譜儀對左右半球的血氧變化進(jìn)行監(jiān)測，刺激是同樣的詞匯音調(diào)重音模式變化和相應(yīng)的純音。結(jié)果發(fā)現(xiàn)，在功能性單側(cè)化效應(yīng)方面，4月大與10月大的嬰兒反應(yīng)不同：對詞中音調(diào)變化的左半球優(yōu)勢效應(yīng)僅出現(xiàn)在10月大的嬰兒上。這說明對日語詞匯音調(diào)重音的知覺變化可能與功能單側(cè)化優(yōu)勢轉(zhuǎn)換（從雙側(cè)優(yōu)勢轉(zhuǎn)向單側(cè)優(yōu)勢）有關(guān)。

2.5 語調(diào)

句子中各個音節(jié)的高低、強(qiáng)弱、長短的變化叫做語調(diào)。包括節(jié)奏、聲調(diào)等。有人（Kovelman，et al.，2012）使用近紅外成像技術(shù)對初級閱讀者（6-9歲）語言節(jié)奏的腦機(jī)制進(jìn)行探究。15名兒童參與了實(shí)驗(yàn)，所以被試都要完成一系列語言任務(wù)，包括語音知覺節(jié)奏任務(wù)和言語短時記憶詞匯搭配任務(wù)。fNIRS結(jié)果發(fā)現(xiàn)，右腦對慢節(jié)奏刺激有更強(qiáng)的反應(yīng)，左腦相對其他較快或較慢頻率的刺激有更大的激活。說明右腦可能對叫加工節(jié)奏有更好的敏感性，左右半球?qū)μ厥獾穆?jié)奏調(diào)制具有選擇性。

有人（Wartenburger，et al.，2007）研究了4歲兒童對句子的韻律加工和知覺加工的腦機(jī)制。刺激分為兩種，一種是包含語音、語義、句法和韻律信息的正常語句，一種是僅有韻律信息的語句。結(jié)果發(fā)現(xiàn)，無語境的韻律加工條件激活了右腦額顳區(qū)，但在全語境情況下，左腦腦區(qū)激活更大。這符合雙路徑模型假設(shè)（Friederici和Alter，2004），兒童語言特異性加工依賴于半腦內(nèi)特異性，左腦加工音段，右腦主要加工超音段。

有人（Homae，Watanabe，Nakano，Asakawa，&Taga，2006）研究了3月大的嬰兒句子語調(diào)加工的腦機(jī)制。他們測量了嬰兒在睡眠狀態(tài)下的反應(yīng)。刺激分為正常和平調(diào)語音條件。通過對比發(fā)現(xiàn)，右腦顳頂區(qū)在正常語音條件下比平調(diào)條件下有更強(qiáng)烈的激活。說明3月大嬰兒右腦參與了音高曲線的加工。隨后的研究又測量10月大的嬰兒（Homae，Watan-abe，Nakano，& Taga，2007），發(fā)現(xiàn)在兩種語音條件下，右腦顳葉和顳頂區(qū)，雙側(cè)前額區(qū)對平調(diào)語音的反應(yīng)比對正常語音的反應(yīng)有更明顯的激活。說明被試已經(jīng)有至少一部分母語韻律結(jié)構(gòu)的加工機(jī)制。綜合3月大嬰兒的研究結(jié)果，作者認(rèn)為，嬰兒大腦的言語加工從分析音高信息本身向整合輸入語音信息發(fā)展，從而習(xí)得韻律結(jié)構(gòu)。有人（Saito，et al.，2007）使用同樣任務(wù)研究了新生兒的腦反應(yīng)，結(jié)果發(fā)現(xiàn)正常語音在額區(qū)比平調(diào)語音激活了更大的血氧量。說明他們可以分辨語音中韻律模式的不同。

3.未來研究展望

近紅外腦成像技術(shù)在語音加工方面的研究，未來可以從以下幾個角度去開展研究工作。

從語音的特異性加工角度來看，漢語是典型的聲調(diào)語言，在語音加工的韻律方面有不同于其它拼音文字的獨(dú)特加工模式，此外漢語還是典型的表意文字，從文字加工的腦機(jī)制來看，這些語言間是存在差異，例如正字法的差異，語音結(jié)構(gòu)的差異等（Lee& Pooh，2014），這可能也會映射到對語音的加工上，已有研究證明語音對詞匯通達(dá)的作用等（彭聃齡，2005）。近年來還有學(xué)者對漢語加工特異性提出了自己的理論，如拼義理論（張學(xué)新，2011）?？傊?，語言加工存在共性，也同時存在特異性，目前很多其它語言的結(jié)論不一定適用于自己的母語（Dan，et al.，2013），因此可以從中文特有的加工模式以及語言間差異人手探討腦機(jī)制的差異。

從語音的一般性加工角度來看，在目前的語音加工領(lǐng)域中，利用近紅外光學(xué)腦成像優(yōu)于其它儀器的優(yōu)勢，還可以繼續(xù)深入探究（Quaresima，Bisconti，& Ferrari，2012）。從微觀層面看，有關(guān)語音加工的研究包括語音學(xué)和音系學(xué)。從音系學(xué)角度看，包括的領(lǐng)域有音位、元音輔音音長、音位序列、聲調(diào)、語調(diào)、詞重音、短語重音、句重音、音韻規(guī)則等。目前的研究僅涉及其中一二，且多為被動接受語音刺激的任務(wù)。利用近紅外腦成像的高生態(tài)效度特點(diǎn)（Pollo-nini，et al.，2014），可以更多研究與語音生成有關(guān)的內(nèi)容。從宏觀的層面看，語音加工涉及到語言學(xué)研究的各個方面。尤其在言語習(xí)得領(lǐng)域，fNIRS具有天然的優(yōu)勢。由于語音自身的特點(diǎn)，成為人類語言最先獲得發(fā)展的方式。因此在研究語音習(xí)得的腦機(jī)制方面，對嬰兒群體的研究必不可少，但傳統(tǒng)的腦成像技術(shù)對嬰兒來說是很難接受的，近紅外技術(shù)的相對友好性可以有效的解決該問題，近年來，有人（Benavides-Varela，et al.，2011）就使用fNIRS研究了112個1-5天大的嬰兒語音發(fā)展，結(jié)果發(fā)現(xiàn)新生兒對新奇雙音節(jié)詞的反應(yīng)比對熟悉的雙音節(jié)詞的反應(yīng)更強(qiáng)。因此，利用好近紅外腦成像的優(yōu)勢是相關(guān)語音研究發(fā)展的關(guān)鍵。