周愛保 潘超超

社會情景中的多種刺激信息經(jīng)過不同的感覺通道傳遞到大腦，大腦不斷地接收形色各異的刺激信息，但并未將這個世界感知為支離破碎的各種形狀、顏色、聲音、氣味等，而是整合來自多個感覺通道的線索將其知覺為一個統(tǒng)一、連續(xù)、穩(wěn)定的整體，這個加工過程即為多感覺整合(multisensory integration)[1]。多感覺整合能彌補單通道信息的匱乏及不確定性，有助于人們更迅速而準(zhǔn)確的進行認(rèn)知判斷。因為人類所接收的信息中有97%來自視覺和聽覺,因此，對視聽整合的研究最多[2]。

視聽系統(tǒng)是大腦中最重要的信息處理系統(tǒng)。人類在獲取外界信息時，往往會同時面對視覺和聽覺通道的線索，并由此驅(qū)動視聽信息的整合來完成信息加工；但聽障人群因聽力損失，更多地通過視覺系統(tǒng)來獲取和加工信息。近年來，隨著助聽器、人工耳蝸等技術(shù)的不斷進步及廣泛應(yīng)用，聽障者“聽不到”聲音的問題得到了解決。隨之而來的是更為艱巨的康復(fù)任務(wù)，如何在視覺信息的輔助下，充分利用視聽聯(lián)動機制，促進聽障者在聽覺、言語、情緒、認(rèn)知和人格等多方面的生態(tài)化發(fā)展，是當(dāng)前研究工作的重心所在。因此，明確視聽整合現(xiàn)象及其神經(jīng)認(rèn)知機制，對聽障者多模態(tài)感知研究具有重要意義。

目前，視聽整合的研究大多集中在一些與錯覺相關(guān)的心理學(xué)效應(yīng)中，如腹語術(shù)效應(yīng)(ventriloquism effect)、麥格克效應(yīng)(McGurk effect)、聲音誘發(fā)閃光錯覺(sound induced flash illusion)等。其中，最早發(fā)現(xiàn)于言語感知領(lǐng)域中的麥格克效應(yīng)逐漸發(fā)展成為視聽整合研究的一種經(jīng)典實驗范式——麥格克效應(yīng)范式(McGurk effect paradigm)，其在聽障兒童、自閉癥及語言學(xué)習(xí)障礙等方面的研究中均有應(yīng)用[3]。本文將在已有研究基礎(chǔ)上，對視聽整合的研究進展進行綜述。

1 言語感知中的視聽整合

既往言語感知一直被認(rèn)為是一種純粹的聽覺加工過程，與視覺線索無關(guān)。但近年來，越來越多的學(xué)者們對該觀點提出了質(zhì)疑，認(rèn)為言語感知是視聽信息共同作用的結(jié)果。與單通道相比，視聽雙通道具有感知增益的研究結(jié)果為該觀點提供了間接證據(jù)，言語感知過程中麥格克效應(yīng)的發(fā)現(xiàn)更是直接證明了言語感知是視聽整合的結(jié)果[4]。在此基礎(chǔ)上，研究者們對言語感知過程中視聽整合的現(xiàn)象及其神經(jīng)認(rèn)知機制進行了系統(tǒng)的理論探討。

1.1言語感知中的視聽整合現(xiàn)象 在視聽言語整合的研究中，最經(jīng)典的便是McGurk等[5]的研究，其將剪輯后視聽同步卻不匹配的視頻刺激呈獻給受試者，要求受試者僅對聽覺刺激進行復(fù)述；結(jié)果發(fā)現(xiàn)，當(dāng)呈現(xiàn)的聽覺刺激為/ba/、視覺刺激(指唇部發(fā)音動作)為/ga/時，98%的受試者報告他們聽到的是/da/，研究者將該反應(yīng)定義為“融合反應(yīng)”；反之，當(dāng)呈現(xiàn)的聽覺刺激為/ga/，視覺刺激為/ba/時，大部分受試者報告他們聽到的是/gabga/或/bagba/，研究者將該反應(yīng)定義為“組合反應(yīng)”；但在沒有沖突的視覺信息影響的條件下，受試者對聽覺信息的報告正確率高達99%。上述現(xiàn)象被研究者稱之為“麥格克效應(yīng)”或“麥格克錯覺”(McGurk illusion)，其本質(zhì)是當(dāng)視聽刺激同時出現(xiàn)但又彼此沖突時，人們對聲音的識別出現(xiàn)感知偏差的現(xiàn)象。

1.2言語感知中視聽整合的神經(jīng)機制

許多神經(jīng)生理學(xué)研究為理解視聽言語整合的神經(jīng)結(jié)構(gòu)和神經(jīng)加工的時間進程提供了新的解釋。其中，腦磁圖(magnetoencephalogram, MEG)、功能性磁共振成像(functional agnetic resonance image, fMRI)和顱內(nèi)電生理研究(intracranial electrophysiological study)都一致發(fā)現(xiàn)，正常人在無聲唇讀期間激活了聽覺相關(guān)皮層的活動，這些區(qū)域主要包括顳上溝(superior temporal sulcus, STS)、顳上回(superior temporal gyrus, STG)、顳平面(planum temporale，PT)和顳橫回(Heschl gyrus, HG)等[6]，表明說話者的唇部發(fā)音動作即可導(dǎo)致“聽”的主觀感知。相對而言，先天性聾患者在無聲唇讀時沒有系統(tǒng)激活這些區(qū)域，但后天致聾的聽障者在接受視覺刺激時，能激活聽覺皮層。在此基礎(chǔ)上，Schall等[7]進一步探討了視聽言語整合的神經(jīng)機制，結(jié)果發(fā)現(xiàn)，視覺和聽覺信息能夠相互影響，兩者進行整合的關(guān)鍵腦區(qū)在左側(cè)后顳上溝(posterior superior temporal sulcus, pSTS)。Beauchamp等[8]的研究也發(fā)現(xiàn)，與單通道呈現(xiàn)刺激相比，在一致和不一致的視聽言語感知期間，pSTS和顳中回(middle temporal gyrus，MTG)顯示出超加性的血液動力學(xué)反應(yīng)，因此認(rèn)為視覺語音線索和聽覺語音線索被整合在這個大腦區(qū)域內(nèi)。經(jīng)顱磁刺激(transcranial magnetic stimulation, TMS)研究也發(fā)現(xiàn)，向STS施加TMS可以調(diào)制言語的視聽整合，說明在言語感知的視聽整合中STS起著關(guān)鍵作用。近年來，Komeilipoor等[9]使用事件相關(guān)電位(event-related potentials，ERP)技術(shù)來探討皮層震蕩(cortical oscillations)對視聽言語整合的影響，其源定位結(jié)果也顯示，STS可能是視聽言語整合的關(guān)鍵腦區(qū)。盡管上述各研究在方法上存在很大差異，但一致發(fā)現(xiàn)，大腦左側(cè)pSTS/STS參與了視聽語音信號的整合[10]。隨后，該腦區(qū)再通過反饋投射調(diào)制特定單感官功能區(qū)的活動。

大腦半球優(yōu)勢支持上述觀點。大腦在解剖學(xué)上的結(jié)構(gòu)不對稱是其功能不對稱的基礎(chǔ)，人腦結(jié)構(gòu)和認(rèn)知的主要特征是大腦半球的一側(cè)優(yōu)勢效應(yīng)，即大腦的某一功能向一側(cè)半球集中的現(xiàn)象。右半球主要與情感感知、音樂欣賞等活動相關(guān)；而左半球主要負(fù)責(zé)語言處理、語法表達等，是語言的優(yōu)勢半球所在。其次，從腦區(qū)的功能特異性來講，STS是主要的“高階”多感覺整合區(qū)之一，它不僅接收來自初級聽覺和視覺皮層的刺激輸入，而且該腦區(qū)還包含多感覺神經(jīng)元[11]。經(jīng)由聽覺關(guān)聯(lián)皮層的聽覺輸入和通過視覺區(qū)的視覺刺激會整合在STS，以感知整合后的言語信息。但近年來，隨著研究逐漸深入，有研究者對該觀點提出了質(zhì)疑，他們認(rèn)為，大腦中可能還存在一條更直接的皮層通路，即視覺皮層通過皮質(zhì)-皮質(zhì)間(cortico-cortical)的輸入直接影響聽覺皮層的活動，并不受高階多感覺整合區(qū)的調(diào)節(jié)[12]，而這種較低水平的視覺皮層和聽覺皮層間的功能連通可能是通過丘腦(thalamus)實現(xiàn)的。丘腦是皮層下的中繼中心，用于各感覺通道的信號傳輸，可能有助于多感覺信號的加工?；诖?，研究者們提出了視聽言語感知的雙路徑模型，但在視聽整合過程中，如何區(qū)分直接的皮質(zhì)-皮質(zhì)間通路和反饋通路的貢獻，還有待進一步的研究和探討。

2 情緒感知中的視聽整合

對情緒的正確識別是社會交往所必須掌握的技能[13]。情緒識別主要包括面孔情緒識別和語音情緒識別，通過整合面部表情、聲樂韻律和其他線索的信號，大腦可以對他人的情緒作出判斷。但事實上，大多數(shù)研究都只關(guān)注面部的情緒表達，而關(guān)于情感韻律(affective prosody)的研究較少，只有極少數(shù)的研究會關(guān)注這兩者的整合。de Gelder等[14]以面部表情和聲音語調(diào)作為實驗材料來考察情緒感知的研究發(fā)現(xiàn)，視覺情緒檢測過程和聽覺情緒檢測過程間存在很強的雙向鏈接。

2.1情緒感知中視聽整合的現(xiàn)象 de Gelder等[14]使用經(jīng)典的麥格克效應(yīng)范式，利用情緒面孔照片和聲音語調(diào)之間可能存在不同程度的沖突創(chuàng)建一種視聽雙通道的感知情境，在這種情境下，要求受試者報告其感知到的情緒體驗；結(jié)果發(fā)現(xiàn)，在情緒識別過程中，受試者可以有效的整合面部表情和聲音語調(diào)的信息，對體驗到的情緒作出獨立判斷。Piwek等[15]認(rèn)為，現(xiàn)有情緒感知中視聽整合的研究大多是通過呈現(xiàn)一個單獨的人物來進行考察，但在現(xiàn)實情景中，人們通常面臨更加復(fù)雜的社交場合；因此，在他們的研究中，實驗材料由兩個正在互動的人所產(chǎn)生的自然運動和語音對話組成，以此來考察在較簡單的社會情景中所產(chǎn)生的視聽整合效應(yīng)能否延伸到更復(fù)雜和更生態(tài)的情景中去；在該實驗中，聽覺刺激指兩人間的語音對話，視覺刺激指以光點(point-light display)形式呈現(xiàn)的兩人互動的側(cè)視圖，視聽雙通道刺激則由視覺光點與語音對話結(jié)合而產(chǎn)生，視聽刺激間可以是匹配的(光點刺激與語音對話表達同樣的情緒)，也可以是不匹配的(光點刺激與語音對話表達不同的情緒)，刺激呈現(xiàn)后，要求受試者判斷此次互動是高興的還是憤怒的；結(jié)果發(fā)現(xiàn)，在視聽結(jié)合的刺激條件下受試者對情緒的正確識別顯著高于單通道條件。

2.2情緒感知中視聽整合的神經(jīng)機制 受試者上述經(jīng)典研究從行為層面描述了人腦在加工雙通道情緒信息時存在的交互影響，近年來的認(rèn)知神經(jīng)科學(xué)研究則從神經(jīng)電生理層面觀察了雙通道情緒信息整合加工的腦機制。Kreifelts等[16]通過神經(jīng)成像技術(shù)探討情緒信息整合的神經(jīng)機制，結(jié)果發(fā)現(xiàn)，與單通道條件相比，在視聽雙通道條件下，雙側(cè)pSTG及右側(cè)丘腦表現(xiàn)出更強的激活，且這些腦區(qū)的血氧水平依賴性反應(yīng)強度(blood oxygenation level-dependent responses，BOLD)與面孔-語音情緒整合所帶來的行為增益呈線性相關(guān)，說明這些腦區(qū)可能與情緒信息的整合加工有關(guān)。同樣的，Watson等[17]使用功能磁共振適應(yīng)技術(shù)(functional magnetic resonance adaptation，fMR-A)，以動態(tài)的視聽情緒刺激為實驗材料來探討情緒信息整合的神經(jīng)機制，結(jié)果發(fā)現(xiàn)，在大腦右側(cè)pSTS中視聽情緒信息會產(chǎn)生彼此適應(yīng)的現(xiàn)象，說明該腦區(qū)中可能存在同時從兩種通道接收刺激輸入的多感覺神經(jīng)元。Thompson等[18]的研究結(jié)果也支持該觀點，即面孔-聲音情緒信息的整合加工發(fā)生在大腦右側(cè)pSTS。上述研究表明，雙通道情緒信息的識別也存在半球優(yōu)勢；但與言語感知不同的是，感知情緒、識別情緒和產(chǎn)生情緒反應(yīng)是大腦右半球的功能所在。此外，情緒信息的整合研究進一步證實了STS在視聽整合中的重要作用。

隨著研究不斷細(xì)化，人類認(rèn)知與腦科學(xué)家們提出了情緒的效價假說(valence hypothesis)，即大腦的激活區(qū)域與情緒效價直接相關(guān)[19]。Pourtois等[20]采用正電子發(fā)射斷層掃描技術(shù)(positron emission tomography, PET)研究發(fā)現(xiàn)，積極情緒和消極情緒在大腦中具有單側(cè)化效應(yīng)；高興的視聽刺激所激活的腦區(qū)主要位于大腦左半球前部，而恐懼的視聽刺激更多激活大腦右半球腦區(qū)。在此研究基礎(chǔ)上，Park等[21]將中性刺激納入實驗條件，進一步將情緒刺激(如高興和恐懼)與中性刺激進行比較，結(jié)果發(fā)現(xiàn)，恐懼信息整合加工的特異性腦區(qū)主要位于后扣帶回(posterior cingulate)、梭狀回(fusiform gyrus)和小腦(cerebellum)，而高興信息的整合加工涉及廣泛的神經(jīng)網(wǎng)絡(luò)，主要包括MTG、海馬旁回(parahippocampal gyrus)、海馬(hippocampus)、屏狀核(claustrum)、頂下小葉(inferior parietal lobule，IPL)、楔葉(cuneus)、額中回(middle frontal gyrus，MFG)、額下回(inferior frontal gyrus, IFG)和前扣帶回(anterior cingulate)。這些情緒加工的特異性腦區(qū)表明，各類情緒信息的整合既存在共同的神經(jīng)機制，又有獨特的加工網(wǎng)絡(luò)。對于該研究結(jié)果，生物進化的觀點認(rèn)為，積極情緒和消極情緒在個體進化過程中具有不同的適應(yīng)意義，進化的適應(yīng)性使積極情緒和消極情緒具有不同的神經(jīng)機制。恐懼、憤怒等消極情緒反映個體的生物性需求(如安全和食物等)受到威脅的狀態(tài)，其解決的是生存問題，此時大腦要對外界輸入的威脅信息進行整合加工，更多的是在右腦中進行；而高興、興奮等積極情緒反映人類在進化中形成的高級需要(如審美和自我實現(xiàn)等)得到滿足時的狀態(tài)，解決的是個體成長和發(fā)展問題，其更多的與語言和交際行為相關(guān)，而這正是大腦左半球的任務(wù)。

3 物體感知中的視聽整合

人類對物體的感知是一項非常復(fù)雜的涉及多感官參與的心理過程。例如，在購買產(chǎn)品時，人們不僅會通過眼睛去看、用手去摸，有時還會敲擊它來聽它所產(chǎn)生的聲音，通過這種“多通道”的方法來獲得關(guān)于物體的可靠信息。然而，關(guān)于物體信息的跨通道整合研究卻屈指可數(shù)。

3.1物體感知中的視聽整合現(xiàn)象 盡管很少有研究集中于物體感知中的視聽整合現(xiàn)象，但是一些研究已經(jīng)解決了與物體屬性相關(guān)信息的跨通道整合問題。在此研究基礎(chǔ)上，F(xiàn)ujisaki等[22]采用經(jīng)典的麥格克效應(yīng)范式，即把一種物體的視覺外觀與另一種物體的聲音相結(jié)合，要求受試者報告其感知到的物體類別，以此對物體感知中的視聽整合現(xiàn)象進行研究。該研究通過計算機生成手拿棍子敲打物體(如玻璃、金屬等)的場景視頻作為視覺刺激，將隔音室內(nèi)用木槌敲擊真實物體(如陶瓷、塑料等)而產(chǎn)生的聲音作為聽覺刺激，在此基礎(chǔ)上，將視覺刺激和聽覺刺激進行合并創(chuàng)建出新的場景視頻作為視聽刺激。要求受試者對視聽刺激條件下所感知到的物體類別的可能性進行評分。結(jié)果發(fā)現(xiàn)，當(dāng)“玻璃”的視覺外觀和“玻璃”的聽覺聲音組合時受試者感知到的物體是“玻璃”；但當(dāng)“玻璃”的視覺外觀和“彩椒”的聽覺聲音組合時，受試者傾向于將感知到的物體認(rèn)為是“塑料”；同樣，當(dāng)“木頭”的視覺外觀和聽覺聲音相匹配時，受試者感知到的物體是“木頭”；但當(dāng)“木頭”的聽覺聲音與“玻璃”的視覺外觀組合時，受試者傾向于感知到的物體是“塑料”。在其他視聽刺激條件下，也觀察到與之類似的實驗結(jié)果。這表明，在物體類別感知過程中出現(xiàn)了視聽整合現(xiàn)象，視覺圖像和聽覺聲音之間存在很強的交互作用。

3.2物體感知中視聽整合的神經(jīng)機制 與行為研究相比，只有少數(shù)神經(jīng)生理學(xué)研究采用常見物體作為實驗刺激[6，23]。Kourtzi等[24]的研究發(fā)現(xiàn)，側(cè)枕葉(lateral occipital complex, LOC)中的神經(jīng)元在看到物體時會產(chǎn)生強烈活動，說明視覺物體信息主要在LOC中加工。Beauchamp等[23]通過視覺呈現(xiàn)物體的fMRI研究發(fā)現(xiàn)，視覺物體刺激主要激活的腦區(qū)集中在枕葉(occipital)、腹側(cè)顳葉(ventral temporal)和后外側(cè)顳葉(posterior lateral temporal cortex)。但不同類別的物體刺激激活顳葉皮層的不同區(qū)域，腹側(cè)顳葉皮質(zhì)主要對物體的形狀、顏色和質(zhì)感進行反應(yīng)，而外側(cè)顳葉皮質(zhì)對物體運動更敏感[8，25]。聽覺通道中物體信息加工的研究則主要基于動物的解剖學(xué)數(shù)據(jù)，非人靈長類動物的解剖學(xué)研究、單細(xì)胞記錄研究以及人類的fMRI研究表明，被belt和parabelt區(qū)包圍的core區(qū)專門用于加工聽覺刺激，而該區(qū)主要位于顳橫回，但沿著顳平面向前和向后延伸，覆蓋了顳上回的大部分區(qū)域并擴展到了下額葉皮層(inferior frontal cortex)[26，27]。在單通道物體感知研究基礎(chǔ)上，研究者們對物體視聽信息整合的神經(jīng)機制進行了探討，較為一致的結(jié)論是外側(cè)顳葉皮質(zhì)(尤其是顳上溝)、腹側(cè)顳葉皮質(zhì)和額葉皮質(zhì)可能參與物體視聽信息的整合[6，8]。Beauchamp等[8]的研究也發(fā)現(xiàn)，與單通道感知相比，當(dāng)要求受試者整合物體的視聽信息時，pSTS或MTG、背外側(cè)前額葉皮層(dorsolateral prefrontal cortex, DLPFC)和腹側(cè)顳葉皮質(zhì)的激活程度更高。此外，ERP研究中的溯源分析和最近的TMS研究均表明，腹側(cè)視覺流，特別是側(cè)枕葉，可能參與了物體視聽信息的整合加工[28，29]。

從上述研究結(jié)果來看，物體視聽信息的整合加工主要涉及視覺的腹側(cè)枕-顳通路(ventral occipitotemporal pathway)(即“What”通路)。Cichy等[30]的研究表明，物體信息所誘發(fā)的神經(jīng)活動最早(大約在50～80 ms)出現(xiàn)在枕葉，然后沿著腹側(cè)和背側(cè)向前迅速、漸進地傳遞，最終抵達顳下腦區(qū)或后頂葉區(qū)域，這個加工過程也是信息不斷整合的過程。其中，背側(cè)通路的主要功能是空間位置和運動的識別；而腹側(cè)通路的主要功能是物體識別，該觀點與當(dāng)前的研究結(jié)論相一致。此外，物體信息的視聽整合與言語、情緒信息的整合相一致，也證明了顳上溝是重要的多感覺整合區(qū)之一；同時，物體信息的整合加工又獨特地激活了枕葉皮層，尤其是側(cè)枕葉，表明側(cè)枕葉中可能存在只對物體信息敏感的多感覺神經(jīng)元，是物體信息整合加工的特異性腦區(qū)。

4 社會認(rèn)知中的視聽整合

對人身份進行識別是社會認(rèn)知的重要方面，僅基于說話者的面孔或聲音便能提取到對方的個人身份信息(如性別、年齡和人格特質(zhì)等)。但在現(xiàn)實情景中，人們在聽他人說話時也會看到他的臉，因此，大腦同時要對面孔和聲音進行加工。近年來的行為和神經(jīng)生理學(xué)研究表明，在身份識別過程中，面孔-聲音信息會整合加工且相互影響。

4.1社會認(rèn)知中的視聽整合現(xiàn)象 Peynircioglu等[31]的研究利用聲音音色和面孔信息間的不匹配證明身份識別中也存在視聽整合現(xiàn)象。該實驗選用面孔性別與聲音性別一致或不一致的視頻刺激作為實驗材料，要求受試者對視頻中的音域進行判斷——女高音、女低音、男高音或男低音。其中，女高音和女低音的判斷被認(rèn)為是“女性”反應(yīng)，男高音和男低音的判斷被認(rèn)為是“男性”反應(yīng)(即采用間接推理的方法判斷聲音屬于男性還是女性)。結(jié)果發(fā)現(xiàn)，在面孔-聲音相匹配的條件下，正確率為100%，但在不匹配的條件下，正確率僅為31%。這表明，在識別聲音的性別身份時存在視聽整合現(xiàn)象，換言之，當(dāng)聽覺和視覺信息導(dǎo)致識別沖突時，人們傾向于將“聽到”的音色報告成與視覺信息所暗示的音色一致。

4.2社會認(rèn)知中視聽整合的神經(jīng)機制 在行為研究基礎(chǔ)上，神經(jīng)成像研究解決了面孔-聲音加工的腦機制問題。關(guān)于面孔識別的fMRI研究發(fā)現(xiàn)，面孔加工是基于廣泛分布的神經(jīng)網(wǎng)絡(luò)，但主要由梭狀回面孔區(qū)(fusiform face area, FFA)、枕部面孔區(qū)(occipital face area)和顳上溝組成了面孔識別的核心體系[32～34]。此外，研究還進一步發(fā)現(xiàn)，不同的面孔特征激活的大腦區(qū)域不同：恒定的面孔特征及面孔身份識別主要激活FFA，而動態(tài)的面孔特征(如眼動和面部表情)主要激活顳上溝[33]。相比之下，聲音身份識別的研究較少，但研究結(jié)論較為一致：大腦右側(cè)顳上溝/G前部是聲音身份識別的相關(guān)腦區(qū)[35，36]。在單通道面孔/聲音識別的基礎(chǔ)上，研究者們對于大腦如何整合面孔-聲音信息以進行身份識別提出了兩種截然不同的觀點，傳統(tǒng)觀點認(rèn)為，面孔和聲音信息分別加工，在一個超通道節(jié)點(即person identity nodes，PINs)上視聽信息整合，身份識別才得以實現(xiàn)[37，38]。Joassin等[37]的研究支持該觀點，PINs所對應(yīng)的腦區(qū)可能是右側(cè)海馬(right hippocampus)、左側(cè)角回(angular)和左下頂區(qū)(left inferior parietal regions)。盡管該觀點在解釋身份識別的研究結(jié)果方面具有一定的影響力，但最近的一些腦科學(xué)研究對其提出質(zhì)疑，他們認(rèn)為面孔與聲音加工之間存在直接的聯(lián)系，而并非各自獨立加工[33，36，39，40]。Blank等[39]采用磁共振擴散追蹤成像技術(shù)(probabilistic tractography)證明，面孔敏感區(qū)FFA與語音敏感區(qū)STS/G直接相連。這種連接可能為單通道感覺區(qū)域間的信息交流提供直接途徑，并能促進FFA的反應(yīng)[36，41]。Von Kriegstein等[42]的研究結(jié)果也證明，在身份識別過程中，右側(cè)FFA與右側(cè)顳上溝的連接顯著增強，表明多通道身份識別不一定涉及超通道皮層，而是由于單通道視覺和聽覺區(qū)域間直接共享信息[37]。其中，神經(jīng)震蕩(neutral oscillatory)活動的同步，尤其是gamma頻段(>30 Hz)，可能是單通道腦區(qū)間直接連接的神經(jīng)基礎(chǔ)[43]。

5 對聽障者多模態(tài)感知研究的意義

綜上所述，最初發(fā)現(xiàn)于言語感知中的視聽整合現(xiàn)象也普遍存在于情緒感知、物體感知和社會認(rèn)知等更復(fù)雜的感知加工中，幾乎參與了人類所有的感知活動。而神經(jīng)系統(tǒng)在加工外界刺激時，通常是以多模態(tài)信息整合的方式進行。

多模態(tài)感知是人類智能的重要能力。人類的感知能力是多元的，任何感知能力的缺失或退化都有可能造成能力異常。聽障者因聽覺障礙，不僅降低了其對單純的語音物理刺激的感知，而且也喪失了由語音信息所承載的語義、情感、情緒、邏輯、態(tài)度等內(nèi)部心理特征的感知，導(dǎo)致其在言語、情緒、認(rèn)知、人格和個性發(fā)展等方面都表現(xiàn)出異于常人的特點；即使通過助聽器等電子設(shè)備進行適當(dāng)?shù)穆犃ρa償或重建，聽障患者仍難以得到完整的聽覺信息，需依賴于視覺線索的輔助作用。因此，從視覺、聽覺等單模態(tài)感知延伸到視聽雙模態(tài)，甚至多模態(tài)信息的聯(lián)合感知對聽障者的感知加工具有重要意義。

視覺、聽覺等信息間交互的多模態(tài)現(xiàn)象在日常生態(tài)環(huán)境中普遍存在，聽障者應(yīng)善于利用多模態(tài)信息間的互補性，將多模信息結(jié)合并消除冗余，以此來增強綜合感知能力，并有效地補償患者的聽力損失。近年來，越來越多的研究者致力于言語感知中視聽模式的研究，結(jié)果顯示，視聽結(jié)合的語音識別效果要顯著好于單純視或單純聽條件下的識別效果，表明視聽條件對聽障患者語言信息的獲取、加工、理解具有重要意義?；诖?，研究者們提出了對聽障者采用視聽結(jié)合的訓(xùn)練方法，在殘余聽力的基礎(chǔ)上，或人工聽力補償?shù)臈l件下，充分發(fā)揮視覺等其他線索所提供大量信息的輔助作用，廣泛應(yīng)用“殘余聽力+助聽設(shè)備+視覺信息+其他感覺通道”的多模態(tài)感知模式作為日常接收外界信息的手段，以此來提高其在日常生活環(huán)境下的綜合交流能力。